公开(公告)号：CN109241912B

公开(公告)日：2020-08-07

申请号：CN201811046842.5

申请日：2018-09-08

Applicant: 河南大学

Inventor： 刘扬 ,  周毅 ,  刘春 ,  杨伟 ,  沈亚田 ,  孟伟 ,  孔德珍

IPC: G06K9/00 ,  G06F40/30 ,  G10L15/00 ,  G10L15/26 ,  G06N3/04

Abstract: 本发明提供一种面向无人自主系统的基于类脑跨媒体智能的目标识别方法。该方法包括：步骤1、获取无人自主系统采集到的目标场景的视音频数据，对所述视音频数据进行预处理，提取所述视音频数据中的语言文字，将所述语言文字采用分布式表示，得到词向量；步骤2、结合对象时空上下文信息，对预处理后的视音频数据和词向量进行显著性计算；步骤3、根据显著性计算结果和对象时空上下文信息，训练多模态融合神经网络，提取视音频数据和词向量的属性语义信息；步骤4、根据对象时空上下文信息、属性语义信息和目标知识图谱的先验知识，采用认知计算和贝叶斯推理，得到目标场景中的目标语义信息。本发明能有效提升无人自主设备的智能化目标识别效果。

公开(公告)号：CN109241912A

公开(公告)日：2019-01-18

申请号：CN201811046842.5

申请日：2018-09-08

Applicant: 河南大学

Inventor： 刘扬 ,  周毅 ,  刘春 ,  杨伟 ,  沈亚田 ,  孟伟 ,  孔德珍

IPC: G06K9/00 ,  G06F17/27 ,  G10L15/00 ,  G10L15/26 ,  G06N3/04

Abstract: 本发明提供一种面向无人自主系统的基于类脑跨媒体智能的目标识别方法。该方法包括：步骤1、获取无人自主系统采集到的目标场景的视音频数据，对所述视音频数据进行预处理，提取所述视音频数据中的语言文字，将所述语言文字采用分布式表示，得到词向量；步骤2、结合对象时空上下文信息，对预处理后的视音频数据和词向量进行显著性计算；步骤3、根据显著性计算结果和对象时空上下文信息，训练多模态融合神经网络，提取视音频数据和词向量的属性语义信息；步骤4、根据对象时空上下文信息、属性语义信息和目标知识图谱的先验知识，采用认知计算和贝叶斯推理，得到目标场景中的目标语义信息。本发明能有效提升无人自主设备的智能化目标识别效果。