-
公开(公告)号:CN111581470A
公开(公告)日:2020-08-25
申请号:CN202010415082.1
申请日:2020-05-15
Applicant: 上海乐言信息科技有限公司
IPC: G06F16/906 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种用于对话系统情景匹配的多模态融合学习分析方法和系统,能够提高场景匹配率,提升用户体验,更加智能理解用户需求。其技术方案为:本发明处理和理解多源模态信息,分别对图像信息、音频信息和文本信息进行特征抽取得到各自特征的向量化表达,再将这些向量化表达通过注意力机制对不同模态的动态权重进行学习调整,同时对场景定义也进行特征抽取以得到其向量化表达,再将注意力机制加权后的输出向量和场景定义特征抽取后的输出向量,通过全连接层将这两个向量进行进一步的映射以进行转换,实现最终的分类决策动作。