公开(公告)号：CN118411748A

公开(公告)日：2024-07-30

申请号：CN202410505558.9

申请日：2024-04-25

Applicant: 重庆邮电大学

Inventor： 张普宁 ,  付秒 ,  杨志刚 ,  吴大鹏 ,  王汝言 ,  张鸿

IPC: G06V40/16 ,  G06V20/59 ,  G06V20/40 ,  G06V10/80 ,  G06V10/774 ,  G06F18/213 ,  G06F18/25

Abstract: 本发明涉及一种边云协同的车联网多模态数据分析方法，属于车联网技术领域。该方法通过车载设备实时采集驾驶人的面部视频和对话音频多模态数据，并进行预处理后发送至路边单元进行计算；在路边单元中，通过CNN捕获人脸区域的重要信息，同时通过区域特征交互模块将区域特征与全局特征进行交叉融合以实现粗粒度的面部表情识别；此外，在路边单元中使用堆叠的卷积神经网络分别对音频和人脸图像进行特征提取，并计算输出性格特征；最后将粗粒度的表情特征与性格特征上传至云端，与语音特征进行融合，识别出驾驶人的真实情绪。本发明嫩巩固提高驾驶人情绪识别精度，有效实现驾驶员的真实情绪识别。