一种多模态融合的智能手套系统

    公开(公告)号:CN114816077A

    公开(公告)日:2022-07-29

    申请号:CN202210754057.5

    申请日:2022-06-30

    Applicant: 济南大学

    Inventor: 冯志全 王鸿岳

    Abstract: 本发明公开了一种多模态融合的智能手套系统,涉及人工智能技术领域,包括输入层、识别层、融合层和交互层,所述输入层包括视觉通道、传感器通道和语音通道,所述的识别层分别采用基于YOLOv5的视觉通道意图概率获取算法、基于欧氏距离传感器通道意图概率获取算法和基于余弦相似度匹配的语音通道意图概率获取算法来分别获取视觉通道、传感器通道和语音通道的实验意图,所述的融合层采用多模态融合算法来融合用户多通道意图信息。本发明能够更好识别用户意图并进行交互,利用智能手套手腕处的视觉通道对场景信息进行了无遮挡的实时感知,改进了传统TMFA算法串行处理模态信息的不足的问题。

Patent Agency Ranking