公开(公告)号：CN119129732A

公开(公告)日：2024-12-13

申请号：CN202411285243.4

申请日：2024-09-13

Applicant: 电子科技大学

Inventor： 段贵多 ,  戴瑞婷 ,  何涛 ,  董云睿 ,  李云灏 ,  蒋搏洋

IPC: G06N5/025 ,  G06F18/25 ,  G06V10/40 ,  G06V20/70 ,  G06F40/126 ,  G06F40/30 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/0475 ,  G06N7/01 ,  G06N3/084 ,  G06N3/09

Abstract: 本发明涉及多模态关系抽取技术领域，公开了一种基于媒介的注意力机制的多模态关系抽取方法，解决了现有方法诸如模态对齐噪声、跨模态融合差异、文本相对位置信息的保留以及分类标签的独特性等问题。通过整合对比学习和变分自编码器约束，该方法最小化了无关噪声，并优先考虑了对多模态关系抽取至关重要的语义数据。为了提高模型的性能和训练效果，通过联合多个优化目标来训练模型，包括单模态自编码、对齐损失、观察者损失、关系抽取损失、InfoNCE损失、CRF损失以及重构损失等。执行多模态关系抽取任务时，直接利用训练好的模型对新的多模态数据进行预测，并通过评分函数计算所有候选关系的得分，最终选择得分最高的作为关系抽取的结果。