公开(公告)号：CN116226715A

公开(公告)日：2023-06-06

申请号：CN202310218789.7

申请日：2023-03-07

Applicant: 东南大学

Inventor： 李潍 ,  田也 ,  房承 ,  柳军

IPC: G06F18/24 ,  G06V40/16 ,  G06V10/82 ,  G06F40/30 ,  G06F18/10 ,  G06F18/213 ,  G06F18/2134 ,  G06F18/25 ,  G06N3/0464 ,  G10L25/30 ,  G10L25/45 ,  G10L25/48

Abstract: 本发明公开了一种基于多模态特征融合的作业人员在线多态识别系统，包括信号采集模块、信号传输模块、处理终端、基于多模态特征融合的在线多态识别模型、终端显示模块和结果反馈模块。信号采集模块收集脑电、语音、面部数据，通过信号传输模块与处理终端建立通信。在处理终端中提取语音、脑电和图像特征向量，基于多模态特征融合的在线多态识别模型进行信息融合，实现负荷、疲惫、情绪的多态识别，识别结果与人员信息实时显示在显示终端。在线学习算法根据作业人员在结果反馈模块中提供的信息对模型进行快速调整。该发明有效解决数据稀疏问题，提高多状态识别准确度，以辅助决策人员根据作业人员的工作状态做出更加高效、人性化的作业安排。