公开(公告)号：CN118245846B

公开(公告)日：2024-12-24

申请号：CN202410477786.X

申请日：2024-04-19

Applicant: 烟台大学 ,  哈尔滨工业大学(威海)

Inventor： 刘志中 ,  吴宇轩 ,  初佃辉 ,  郭强 ,  王莹洁

IPC: G06F18/24 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0985 ,  G06N3/09

Abstract: 本发明提供了一种面向不确定模态缺失的多模态意图识别方法及系统，属于数据处理技术领域。首先，通过LSTM编码器进行特征提取；其次，通过基于注意力的双向门控多模态特征融合方法进行多模态特征融合，并基于CMD的距离约束策略拉近各个模态到文本模态的距离；然后，将融合后的多模态特征输入Transformer编解码器进行学习，同时，根据不确定模态缺失情况，输入不同的注意力级提示，从而引导网络关注那些缺失的模态；最后，将多模态特征输入分类器进行意图识别；同时，在训练过程中以全模态场景下预训练的模型在分类器对模型进行指导，从而帮助模型在减少过拟合的同时进一步提升泛化能力。

公开(公告)号：CN118245846A

公开(公告)日：2024-06-25

申请号：CN202410477786.X

申请日：2024-04-19

Applicant: 烟台大学 ,  哈尔滨工业大学(威海)

Inventor： 刘志中 ,  吴宇轩 ,  初佃辉 ,  郭强 ,  王莹洁

IPC: G06F18/24 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0985 ,  G06N3/09

Abstract: 本发明提供了一种面向不确定模态缺失的多模态意图识别方法及系统，属于数据处理技术领域。首先，通过LSTM编码器进行特征提取；其次，通过基于注意力的双向门控多模态特征融合方法进行多模态特征融合，并基于CMD的距离约束策略拉近各个模态到文本模态的距离；然后，将融合后的多模态特征输入Transformer编解码器进行学习，同时，根据不确定模态缺失情况，输入不同的注意力级提示，从而引导网络关注那些缺失的模态；最后，将多模态特征输入分类器进行意图识别；同时，在训练过程中以全模态场景下预训练的模型在分类器对模型进行指导，从而帮助模型在减少过拟合的同时进一步提升泛化能力。

公开(公告)号：CN116304984A

公开(公告)日：2023-06-23

申请号：CN202310256990.4

申请日：2023-03-14

Applicant: 烟台大学

Inventor： 刘志中 ,  吴宇轩 ,  初佃辉 ,  孟令强 ,  孙宇航

IPC: G06F18/25 ,  G06F18/21

Abstract: 本发明属于意图识别技术领域，提供了基于对比学习的多模态意图识别方法及系统，首先，与以往的工作相比，改进了跨模态Transformer模型，通过最大化多模态特征与标签之间的互信息以及最小化多模态特征与输入之间的互信息的方式过滤掉单模态表示中的噪声信息实现多模态特征的充分融合，改进后的模型减少了多模态融合过程中的冗余信息，增大了有效信息占比，更有利于多模态特征的充分融合。其次，针对用于训练的标记数量不足的问题，引入了对比学习的学习任务，通过数据增强获得增强样本，原始样本与增强样本之间拉近相似样本，推远不同样本，帮助模型在训练过程中学习到更多意图相关的特征，提高模型提取和融合多模态数据特征的能力。