公开(公告)号：CN113128399B

公开(公告)日：2022-05-17

申请号：CN202110418369.4

申请日：2021-04-19

Applicant: 重庆大学

Inventor： 曾孝平 ,  陈光辉 ,  焦爽 ,  李勇明 ,  熊东 ,  董丽 ,  董琦 ,  李依玲 ,  陈曼枝 ,  朱鹏

IPC: G06V40/16 ,  G06V20/40 ,  G06K9/62 ,  G06N3/04 ,  G06V10/74 ,  G06V10/82

Abstract: 本发明涉及视频处理技术领域，具体公开了一种用于情感识别的语音图像关键帧提取方法，该方法针对传统的基于驾驶员情感识别的语音图像关键帧提取方法存在关键帧冗余、丢失重要的情感信息等问题，首先将情感视频分为语音信息和图像信息；此外，利用语音活动检测算法处理语音信息来提取初步语音关键帧；其次，利用信息熵的思想表征人类情感产生是一个连续过程，并利用感知哈希算法有效地提取初步图像关键帧；最后，在语音图像关键帧对齐处理中利用语音和图像模态之间的互补性提取最终语音关键帧和最终图像关键帧。实验结果表明：本方法不仅有效地减少了语音和图像关键帧的冗余，而且也有效地保存了重要的情感信息。

公开(公告)号：CN113128399A

公开(公告)日：2021-07-16

申请号：CN202110418369.4

申请日：2021-04-19

Applicant: 重庆大学

Inventor： 曾孝平 ,  陈光辉 ,  焦爽 ,  李勇明 ,  熊东 ,  董丽 ,  董琦 ,  李依玲 ,  陈曼枝 ,  朱鹏

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明涉及视频处理技术领域，具体公开了一种用于情感识别的语音图像关键帧提取方法，该方法针对传统的基于驾驶员情感识别的语音图像关键帧提取方法存在关键帧冗余、丢失重要的情感信息等问题，首先将情感视频分为语音信息和图像信息；此外，利用语音活动检测算法处理语音信息来提取初步语音关键帧；其次，利用信息熵的思想表征人类情感产生是一个连续过程，并利用感知哈希算法有效地提取初步图像关键帧；最后，在语音图像关键帧对齐处理中利用语音和图像模态之间的互补性提取最终语音关键帧和最终图像关键帧。实验结果表明：本方法不仅有效地减少了语音和图像关键帧的冗余，而且也有效地保存了重要的情感信息。