公开(公告)号：CN108960191A

公开(公告)日：2018-12-07

申请号：CN201810813473.1

申请日：2018-07-23

Applicant: 厦门大学

Inventor： 佘莹莹 ,  陈锦 ,  舒杨

IPC: G06K9/00 ,  G06K9/62

CPC classification number: G06K9/00302 ,  G06K9/00369 ,  G06K9/00389 ,  G06K9/6288

Abstract: 本发明提供一种面向机器人的多模态融合情感计算方法，包括：获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息；构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。本发明还提供一种面向机器人的多模态融合情感计算系统，通过获取用户的多模态信息，包括非语言与语言信息，使用PAD模型、OCC模型，以及线性回归模型分别对语言信息和非语言信息进行融合之后，再使用线性回归模型进行最终融合，实现机器人更佳精确的情感计算。

公开(公告)号：CN108960191B

公开(公告)日：2021-12-14

申请号：CN201810813473.1

申请日：2018-07-23

Applicant: 厦门大学

Inventor： 佘莹莹 ,  陈锦 ,  舒杨

IPC: G06K9/00 ,  G06K9/62

Abstract: 本发明提供一种面向机器人的多模态融合情感计算方法，包括：获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息；构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。本发明还提供一种面向机器人的多模态融合情感计算系统，通过获取用户的多模态信息，包括非语言与语言信息，使用PAD模型、OCC模型，以及线性回归模型分别对语言信息和非语言信息进行融合之后，再使用线性回归模型进行最终融合，实现机器人更佳精确的情感计算。