公开(公告)号：CN116740691A

公开(公告)日：2023-09-12

申请号：CN202310637461.9

申请日：2023-05-31

Applicant: 清华大学

Inventor： 文子潇 ,  杨毅 ,  孙甲松

IPC: G06V20/62 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请提供一种基于图像的情绪识别方法、装置、设备和存储介质，涉及深度学习技术领域，包括获取目标图像及目标用户针对目标图像的描述文本，目标图像为可引起用户产生情绪的图像；将目标图像输入图像字幕生成模型进行图像字幕生成，得到目标图像对应的多种情绪风格的图像字幕；针对多种情绪风格的图像字幕中的每种情绪风格的图像字幕，确定情绪风格的图像字幕对应的第一PAD值；并确定描述文本对应的第二PAD值；根据多个第一PAD值和第二PAD值，确定目标PAD值，进而根据目标PAD值，确定目标用户的情绪状态，有利于提高识别结果的准确率。另外，根据得到的多种情绪风格的图像字幕，可以进一步提高用户情绪状态识别结果的准确率。