公开(公告)号：CN112861726B

公开(公告)日：2024-07-12

申请号：CN202110179052.X

申请日：2021-02-09

Applicant: 北京工业大学

Inventor： 李秀智 ,  王珩 ,  张祥银

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08 ,  G06F3/01 ,  G10L25/24 ,  G10L15/16

Abstract: 本发明公开了基于规则意图表决器的D‑S证据理论多模态融合人机交互方法，机器人听觉系统采集音频信息，调整自身姿态并进行硬件降噪，视觉系统使用双层网络来对动态手势进行检测和识别，对手势动作进行分类；对语音和手势的识别网络添加全连接层，输出机器人对于交互对象的意图理解。让两种模式以并行协助的方式来实现人机交互的通信过程，能够接受更多信息，做出准确的意图理解，视觉和听觉更容易被人接受，并在交互机制上做出改进。将不同模态对当前信息输入的输出判断结果。这样的合成结果更为关注深层次的信息之间的联系，解决多模态之间的融合，也能适应不同模态之间的证据冲突问题，并且关注于标签中的单一结果，更适用于的人机交互工作。

公开(公告)号：CN112861726A

公开(公告)日：2021-05-28

申请号：CN202110179052.X

申请日：2021-02-09

Applicant: 北京工业大学

Inventor： 李秀智 ,  王珩 ,  张祥银

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F3/01 ,  G10L25/24 ,  G10L15/16

Abstract: 本发明公开了基于规则意图表决器的D‑S证据理论多模态融合人机交互方法，机器人听觉系统采集音频信息，调整自身姿态并进行硬件降噪，视觉系统使用双层网络来对动态手势进行检测和识别，对手势动作进行分类；对语音和手势的识别网络添加全连接层，输出机器人对于交互对象的意图理解。让两种模式以并行协助的方式来实现人机交互的通信过程，能够接受更多信息，做出准确的意图理解，视觉和听觉更容易被人接受，并在交互机制上做出改进。将不同模态对当前信息输入的输出判断结果。这样的合成结果更为关注深层次的信息之间的联系，解决多模态之间的融合，也能适应不同模态之间的证据冲突问题，并且关注于标签中的单一结果，更适用于的人机交互工作。