基于多模态大语言模型的关系抽取方法

    公开(公告)号:CN117972121B

    公开(公告)日:2024-10-18

    申请号:CN202410039197.3

    申请日:2024-01-10

    Applicant: 南京大学

    Abstract: 本发明公开了基于多模态大语言模型的关系抽取方法,具体涉及数据处理技术领域,采用多模态相似度检测模块为数据集中的每一个样本从一组人工预定义的样本中选择相关示例,将选定的示例与输入样本整合到特定格式的多模态提示模板中,用以启发大语言模型生成辅助知识;将输入文本与大语言模型生成的辅助知识拼接在一起,再将其送入编码器用于生成融合特征;将融合特征送入全连接层解码,以预测原始文本中两个实体间的关系。本发明创新地结合大语言模型的生成能力和Transformer编码器的建模能力,充分利用视觉和文本模态中的关键信息,从而提高多模态关系抽取模型的性能。

    面向推荐公平性的生成式序列推荐模型及构建方法

    公开(公告)号:CN118733885A

    公开(公告)日:2024-10-01

    申请号:CN202410903353.6

    申请日:2024-07-08

    Applicant: 南京大学

    Inventor: 朱学芳 刘洋

    Abstract: 本发明涉及面向推荐公平性的生成式序列推荐模型及构建方法,其方法包括:向用户交互行为中注入随机噪声,得到服从高斯分布的损坏交互表示,之后在反向还原过程中设计序列去噪模型,并利用动态路由机制挖掘用户历史交互行为中的多兴趣表征,结合用户侧建模进行双阶段训练完成去噪;仿造前向加噪过程将项目表示噪声化进而用以迭代式地反向重建生成项目。本发明相比于传统序列推荐模型,一方面基于扩散模型构建生成式推荐范式,通过学习数据的统计规律并以此生成新的数据,来建模不确定性和缓解噪声;另一方面避免可能导致歧视或不平等待遇的用户敏感特征等因素对推荐效果的影响,通过提升推荐公平性进一步促进生成式序列推荐模型的多样性。

    基于多模态Transformer的虚假新闻检测方法

    公开(公告)号:CN115982350A

    公开(公告)日:2023-04-18

    申请号:CN202211567967.9

    申请日:2022-12-07

    Applicant: 南京大学

    Inventor: 朱学芳 王震宇

    Abstract: 本发明公开了基于多模态Transformer的虚假新闻检测方法,包括通过视觉Transformer图像特征提取器提取新闻中的图像特征,通过RoBERTa文本特征提取器提取新闻中的文本特征,将提取后的图像特征和文本特征送入共同注意力模块进行多模态特征融合,将融合特征输入至虚假新闻检测器,以生成预测新闻是真假新闻的概率,同时通过MEET与其他基线模型对虚假新闻检测的结果进行对比,使用视觉Transfomer作为图像特征提取器,以相同的方式处理不同模态的输入,在虚假新闻检测任务中引入端到端预训练,并在TWITTER数据集上与没有经过预训练的MEET模型进行了对比分析,实验结果验证了端到端预训练方法的优越性,MEET模型可以通过图像输入补充信息,有助于提升模型检测性能。

    一种指示阅读者的文献阅读专注度状态的自动化检测系统

    公开(公告)号:CN115909461A

    公开(公告)日:2023-04-04

    申请号:CN202211568268.6

    申请日:2022-12-07

    Applicant: 南京大学

    Inventor: 朱学芳 刘洋

    Abstract: 本发明公开了一种指示阅读者的文献阅读专注度状态的自动化检测系统,基于人脸区域的定位结果和人脸多个特征点的标记结果,提取多种面部特征,在多角度面部特征数据采集完毕后,完成指标转化并输入到基于模糊综合评价的专注度评分模型,完成专注度状态评测,所述检测系统具体包括以下步骤,特征点定位模块;头部姿态提取模块;疲劳姿态提取模块;面部姿态提取模块;数据处理分析模块。本发明通过设计针对阅读者的文献阅读专注度进行自动化检测和实时反馈,一是便于阅读者监测自身阅读专注度,从而能够及时调整文献阅读策略以提高阅读效率;二是能够辅助图书馆等相关部门有效识别读者的阅读需求。

    一种基于半马尔可夫的智慧服务响应能力优化方法

    公开(公告)号:CN118113472A

    公开(公告)日:2024-05-31

    申请号:CN202410279815.1

    申请日:2024-03-12

    Applicant: 南京大学

    Inventor: 朱学芳 夏思洋

    Abstract: 本发明公开了一种基于半马尔可夫的智慧服务响应能力优化方法,具体涉及边缘计算技术领域,优化方法利用半马尔可夫决策过程对响应能力进行建模,形成智慧服务架构,架构包括终端、云层以及边缘层,当终端发布任务后,该架构支持将任务分配给边缘层,并利用值迭代算法和Bellman方程,以系统的长期效益最大化为目标,得到最优的资源分配策略。本发明采用SMDP模型实现资源的最优利用,并建立了服务响应模型,利用边缘计算技术节省大量服务响应时延,满足智慧服务需求。

    面向推荐公平性的生成式序列推荐模型及构建方法

    公开(公告)号:CN118733885B

    公开(公告)日:2025-02-11

    申请号:CN202410903353.6

    申请日:2024-07-08

    Applicant: 南京大学

    Inventor: 朱学芳 刘洋

    Abstract: 本发明涉及面向推荐公平性的生成式序列推荐模型及构建方法,其方法包括:向用户交互行为中注入随机噪声,得到服从高斯分布的损坏交互表示,之后在反向还原过程中设计序列去噪模型,并利用动态路由机制挖掘用户历史交互行为中的多兴趣表征,结合用户侧建模进行双阶段训练完成去噪;仿造前向加噪过程将项目表示噪声化进而用以迭代式地反向重建生成项目。本发明相比于传统序列推荐模型,一方面基于扩散模型构建生成式推荐范式,通过学习数据的统计规律并以此生成新的数据,来建模不确定性和缓解噪声;另一方面避免可能导致歧视或不平等待遇的用户敏感特征等因素对推荐效果的影响,通过提升推荐公平性进一步促进生成式序列推荐模型的多样性。

    一种基于半马尔可夫的智慧服务响应能力优化方法

    公开(公告)号:CN118113472B

    公开(公告)日:2024-11-15

    申请号:CN202410279815.1

    申请日:2024-03-12

    Applicant: 南京大学

    Inventor: 朱学芳 夏思洋

    Abstract: 本发明公开了一种基于半马尔可夫的智慧服务响应能力优化方法,具体涉及边缘计算技术领域,优化方法利用半马尔可夫决策过程对响应能力进行建模,形成智慧服务架构,架构包括终端、云层以及边缘层,当终端发布任务后,该架构支持将任务分配给边缘层,并利用值迭代算法和Bellman方程,以系统的长期效益最大化为目标,得到最优的资源分配策略。本发明采用SMDP模型实现资源的最优利用,并建立了服务响应模型,利用边缘计算技术节省大量服务响应时延,满足智慧服务需求。

    基于多模态大语言模型的关系抽取方法

    公开(公告)号:CN117972121A

    公开(公告)日:2024-05-03

    申请号:CN202410039197.3

    申请日:2024-01-10

    Applicant: 南京大学

    Abstract: 本发明公开了基于多模态大语言模型的关系抽取方法,具体涉及数据处理技术领域,采用多模态相似度检测模块为数据集中的每一个样本从一组人工预定义的样本中选择相关示例,将选定的示例与输入样本整合到特定格式的多模态提示模板中,用以启发大语言模型生成辅助知识;将输入文本与大语言模型生成的辅助知识拼接在一起,再将其送入编码器用于生成融合特征;将融合特征送入全连接层解码,以预测原始文本中两个实体间的关系。本发明创新地结合大语言模型的生成能力和Transformer编码器的建模能力,充分利用视觉和文本模态中的关键信息,从而提高多模态关系抽取模型的性能。

Patent Agency Ranking