公开(公告)号：CN114154077A

公开(公告)日：2022-03-08

申请号：CN202111229233.5

申请日：2021-10-21

Applicant: 北京邮电大学

Inventor： 欧中洪 ,  陆舸帆 ,  田中一 ,  胡塞尔 ,  宋美娜 ,  钟茂华 ,  梁昊光

IPC: G06F16/9536 ,  G06Q50/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出一种多维度细粒度动态情感分析方法及系统，其中，方法包括：利用多模态数据相关经验，对缺失数据进行预测补全；对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；分别计算文本音频图像多模态的特征；利用所述多模态数据的融合特征，用训练好的分类模型预测情感；基于实体的历史情感数据，预测所述实体未来情感走向。本发明实现了针对多模态数据的一整套分析及预测技术方案。

公开(公告)号：CN114154054A

公开(公告)日：2022-03-08

申请号：CN202111227971.6

申请日：2021-10-21

Applicant: 北京邮电大学

Inventor： 欧中洪 ,  刘沛航 ,  韩宗志 ,  宋美娜 ,  钟茂华 ,  梁昊光

IPC: G06F16/9535 ,  G06F16/9536 ,  G06Q50/00

Abstract: 本发明提出一种基于多头自注意神经机制的多模态新闻推荐方法及装置，其中方法包括步骤，采集数据信息，包括新闻数据、特征数据、痕迹数据；基于view‑level注意力机制的多成分特征交叉模型、流式数据的热点新闻实时预测技术、智能抽帧的多模态信息融合技术，将所述数据信息融合成统一的新闻特征；将所述统一的新闻特征作为模型输入，通过用户兴趣表征模型并结合最高未来影响策略，完成个性化精准推荐的功能。本提案有效缓解了用户冷启动问题，并通过多模态信息融合对新闻中的多模态信息进行特征采集和融合，多头自注意机制进行高阶交叉特征挖掘和用户兴趣表征学习，以及最高未来影响策略和实时新闻热点挖掘为新闻赋予时序权重，参与最终的用户推荐。

公开(公告)号：CN114419387A

公开(公告)日：2022-04-29

申请号：CN202111229288.6

申请日：2021-10-21

Applicant: 北京邮电大学

Inventor： 欧中洪 ,  田子敬 ,  史明昊 ,  罗中李 ,  宋美娜 ,  钟茂华 ,  梁昊光

IPC: G06V10/774 ,  G06K9/62 ,  G06N20/00

Abstract: 本发明提出一种基于预训练模型和召回排序的跨模态检索系统及方法，其中，该系统包括：多维度文本信息提取模块，用于为所述跨模态检索系统提供文本侧的信息支持，通过不同维度扩大文本信息的语义表示，增加文本样本量；智能图像检索模块，用于视频智能抽帧模块和以图搜图模块，其中，视频智能抽帧模块用于从一段视频中抽取出最能代表视频内容的若干张图片，以图搜图模块用于完成大规模高效率的图片检索任务；跨模态检索模块，用于根据查询项生成大致相关地候选集，对所述候选集进行精确排序，最终返回相关地检索结果。该系统用于降低信息管理成本、提升信息搜索精度和效率，支撑大型赛事咨询和新闻搜索的多模态自动化信息检索。