公开(公告)号：CN115828891A

公开(公告)日：2023-03-21

申请号：CN202211578663.2

申请日：2022-12-06

Applicant: 厦门大学

Inventor： 王鑫 ,  林达真 ,  周艺涵 ,  曹冬林

IPC: G06F40/205 ,  G06F40/242 ,  G06F40/30 ,  G06V40/16 ,  G06V20/40 ,  G06V10/82 ,  G06N3/048 ,  G06N3/08

Abstract: 一种基于情感引导的跨模态视频情感分析方法，涉及自然语言处理。围绕如何应对跨模态原始数据中的情感信息淡化问题，提出基于增强文本embedding的情感引导机制和基于提示学习Prompt的情感引导机制。根据一个预定义好的情感词典匹配出源数据中的情感内容。基于增强文本embedding的情感引导机制通过对文本模态情感内容的注意力权重进行一定的干预。基于提示学习情感引导机制引入一个带有情感槽位的提示Prompt模版，通过情感预测的辅助任务增加模型对情感信息的学习能力和关注力度。该情感引导机制能达到甚至超越目前主流模型水平，且具有泛化到主流模型上的能力。几种情感引导机制的消融实验结果证明各自的有效性。

公开(公告)号：CN115936005A

公开(公告)日：2023-04-07

申请号：CN202211555747.4

申请日：2022-12-06

Applicant: 厦门大学

Inventor： 林达真 ,  王鑫 ,  周艺涵 ,  曹冬林

IPC: G06F40/30 ,  G06F16/33 ,  G06F16/583 ,  G06F16/683 ,  G06F16/783

Abstract: 一种跨模态语义关联的视频情感分析方法，属于自然语言处理领域。围绕主观性视频数据在情感分析中存在的跨模态语义鸿沟问题，提出语义引导机制，该机制利用对比学习和度量学习，通过拉近情感副模态与情感主模态的距离，使副模态向主模态靠近，从而加强情感主模态与副模态之间的语义关联，缓解视频数据中的跨模态语义鸿沟问题。基于多流和单流两种跨模态模型，分别引入语义引导机制，设计与主流模型的对比实验，结果表明，所提出的语义引导机制能达到甚至超越目前的主流模型水平。还进行语义引导机制的消融实验，从实验结果看出，语义引导机制能在多个模型中发挥出有效性。