公开(公告)号：CN116645716B

公开(公告)日：2024-01-19

申请号：CN202310634726.X

申请日：2023-05-31

Applicant: 南京林业大学

Inventor： 郁舒兰 ,  储东东 ,  凌禹杭 ,  赵扬

IPC: G06V40/16 ,  G06V10/42 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于局部特征和全局特征的表情识别方法，包括：获取人脸表情图像数据集；构建基于局部特征和全局特征的人脸表情识别模型，包括多尺度局部特征提取融合网络以及vit网络；基于训练好的人脸表情识别模型获取待测的人脸表情图像的表情识别结果。本发明不仅利用多尺度局部特征提取融合网络扩大感受野的特性，提取人脸图像中不同尺度的局部特征，减小无用信息的干扰，增强有用信息，将这些多尺度局部特征通过改进的注意力机制融合，通过vit网络，利用其能够学习全局特征的优势，将多尺度局部特征提取融合网络所得局部特征作为原始特征图，输入vit中进一步学习全局特征，(56)对比文件Mingyuan Fan et al..RethinkingBiseNet for real-time semanticsegmentation.CVPR2021.2021,全文.刘颖;董占龙;卢津;王富平.多注意力域的稠密连接人脸超分算法.计算机工程与应用.2019,(第20期),全文.

公开(公告)号：CN116665273B

公开(公告)日：2023-11-17

申请号：CN202310634720.2

申请日：2023-05-31

Applicant: 南京林业大学

Inventor： 郁舒兰 ,  凌禹杭 ,  储东东 ,  赵扬

IPC: G06V40/16 ,  G06V10/764 ,  G06V10/82 ,  G06N3/047

Abstract: 本发明公开了一种基于表情识别和情感量化分析计算的机器人人机交互方法，包括：步骤P100：对用户表情进行识别；步骤P200：根据步骤P100的表情识别结果进行情感的量化和计算分析，得到当前情感量化计算分析结果；步骤P300：将当前情感量化计算分析结果传送至交互机器人，交互机器人根据当前情感量化计算分析结果确定对应的交互内容，采用人机交互方式输出交互内容，以此对用户进行情感调节。本发明机器人人机交互方法可以识别用户可能同时具备的多种情感，从而更精准地识别出用户当前情感状态，同时，交互机器人根据用户当前情感状态做出针对性的反应，更好地起到对用户的情感调节。

公开(公告)号：CN118824471A

公开(公告)日：2024-10-22

申请号：CN202410894145.4

申请日：2024-07-04

Applicant: 南京林业大学

Inventor： 郁舒兰 ,  赵扬 ,  储东东

IPC: G16H20/70 ,  G16H50/70 ,  G06F16/332 ,  G06F16/33 ,  G06F16/35 ,  G06F40/284 ,  G06N3/084 ,  G06N3/096 ,  G06N3/0455

Abstract: 本发明公开了一种基于对话识别和情感分类模型的人机交互系统及交互方法，包括对话机器人模型、情感分类模型和实体机器人；对话机器人模型和情感分类模型均与实体机器人连接；对话机器人模型结合了大学生用户具体的烦恼类别和支持策略信息对大学生用户进行对话回复缓解用户的负面情绪，情感分类模型对大学生用户的输入语句进行情感分类并给出情感分类结果，实体机器人输出对话回复语句并执行对应的情感交互动作。本发明可以根据用户输入的文字或者语音进行输出对答语句和情感交互动作，缓解了大学生的负面心理情绪，解决了大学生群体心理健康问题，实现了对大学生用户心理辅助调节的功能。

公开(公告)号：CN116665273A

公开(公告)日：2023-08-29

申请号：CN202310634720.2

申请日：2023-05-31

Applicant: 南京林业大学

Inventor： 郁舒兰 ,  凌禹杭 ,  储东东 ,  赵扬

IPC: G06V40/16 ,  G06V10/764 ,  G06V10/82 ,  G06N3/047

Abstract: 本发明公开了一种基于表情识别和情感量化分析计算的机器人人机交互方法，包括：步骤P100：对用户表情进行识别；步骤P200：根据步骤P100的表情识别结果进行情感的量化和计算分析，得到当前情感量化计算分析结果；步骤P300：将当前情感量化计算分析结果传送至交互机器人，交互机器人根据当前情感量化计算分析结果确定对应的交互内容，采用人机交互方式输出交互内容，以此对用户进行情感调节。本发明机器人人机交互方法可以识别用户可能同时具备的多种情感，从而更精准地识别出用户当前情感状态，同时，交互机器人根据用户当前情感状态做出针对性的反应，更好地起到对用户的情感调节。

公开(公告)号：CN116645716A

公开(公告)日：2023-08-25

申请号：CN202310634726.X

申请日：2023-05-31

Applicant: 南京林业大学

Inventor： 郁舒兰 ,  储东东 ,  凌禹杭 ,  赵扬

IPC: G06V40/16 ,  G06V10/42 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于局部特征和全局特征的表情识别方法，包括：获取人脸表情图像数据集；构建基于局部特征和全局特征的人脸表情识别模型，包括多尺度局部特征提取融合网络以及vit网络；基于训练好的人脸表情识别模型获取待测的人脸表情图像的表情识别结果。本发明不仅利用多尺度局部特征提取融合网络扩大感受野的特性，提取人脸图像中不同尺度的局部特征，减小无用信息的干扰，增强有用信息，将这些多尺度局部特征通过改进的注意力机制融合，通过vit网络，利用其能够学习全局特征的优势，将多尺度局部特征提取融合网络所得局部特征作为原始特征图，输入vit中进一步学习全局特征，输出最终表情分类结果，有效提高人脸表情识别的准确率。