公开(公告)号：CN115982350A

公开(公告)日：2023-04-18

申请号：CN202211567967.9

申请日：2022-12-07

Applicant: 南京大学

Inventor： 朱学芳 ,  王震宇

IPC: G06F16/35 ,  G06V10/764 ,  G06F18/25 ,  G06V10/40 ,  G06N3/045 ,  G06N3/048

Abstract: 本发明公开了基于多模态Transformer的虚假新闻检测方法，包括通过视觉Transformer图像特征提取器提取新闻中的图像特征，通过RoBERTa文本特征提取器提取新闻中的文本特征，将提取后的图像特征和文本特征送入共同注意力模块进行多模态特征融合，将融合特征输入至虚假新闻检测器，以生成预测新闻是真假新闻的概率，同时通过MEET与其他基线模型对虚假新闻检测的结果进行对比，使用视觉Transfomer作为图像特征提取器，以相同的方式处理不同模态的输入，在虚假新闻检测任务中引入端到端预训练，并在TWITTER数据集上与没有经过预训练的MEET模型进行了对比分析，实验结果验证了端到端预训练方法的优越性，MEET模型可以通过图像输入补充信息，有助于提升模型检测性能。

公开(公告)号：CN117972121B

公开(公告)日：2024-10-18

申请号：CN202410039197.3

申请日：2024-01-10

Applicant: 南京大学

Inventor： 朱学芳 ,  王震宇 ,  杨睿

IPC: G06F16/383 ,  G06F40/186 ,  G06F40/194 ,  G06F40/30 ,  G06F18/214

Abstract: 本发明公开了基于多模态大语言模型的关系抽取方法，具体涉及数据处理技术领域，采用多模态相似度检测模块为数据集中的每一个样本从一组人工预定义的样本中选择相关示例，将选定的示例与输入样本整合到特定格式的多模态提示模板中，用以启发大语言模型生成辅助知识；将输入文本与大语言模型生成的辅助知识拼接在一起，再将其送入编码器用于生成融合特征；将融合特征送入全连接层解码，以预测原始文本中两个实体间的关系。本发明创新地结合大语言模型的生成能力和Transformer编码器的建模能力，充分利用视觉和文本模态中的关键信息，从而提高多模态关系抽取模型的性能。

公开(公告)号：CN117972121A

公开(公告)日：2024-05-03

申请号：CN202410039197.3

申请日：2024-01-10

Applicant: 南京大学

Inventor： 朱学芳 ,  王震宇 ,  杨睿

IPC: G06F16/383 ,  G06F40/186 ,  G06F40/194 ,  G06F40/30 ,  G06F18/214

Abstract: 本发明公开了基于多模态大语言模型的关系抽取方法，具体涉及数据处理技术领域，采用多模态相似度检测模块为数据集中的每一个样本从一组人工预定义的样本中选择相关示例，将选定的示例与输入样本整合到特定格式的多模态提示模板中，用以启发大语言模型生成辅助知识；将输入文本与大语言模型生成的辅助知识拼接在一起，再将其送入编码器用于生成融合特征；将融合特征送入全连接层解码，以预测原始文本中两个实体间的关系。本发明创新地结合大语言模型的生成能力和Transformer编码器的建模能力，充分利用视觉和文本模态中的关键信息，从而提高多模态关系抽取模型的性能。