公开(公告)号：CN115910366A

公开(公告)日：2023-04-04

申请号：CN202211509298.X

申请日：2022-11-29

Applicant: 复旦大学

Inventor： 张立华 ,  余豪文 ,  李明程 ,  王顺利 ,  苏柳桢 ,  陈嘉伟 ,  王帅兵 ,  卢宇蓝

IPC: G16H50/70 ,  A61B5/055 ,  A61B6/00

Abstract: 本发明涉及一种基于多模态临床诊疗数据的病情分析系统，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；病历信息提取单元用于提取患者的医疗信息；视频采集单元用于采集患者就诊视频；影像数据采集单元用于采集患者影像数据；特征提取单元用于提取多模态数据特征；多模态融合单元将多模态数据特征进行融合，得到多模态融合特征；病情分类单元基于多模态融合特征，输出病情分类；在线学习单元基于医疗信息、就诊视频及影像数据，更新网络模型参数，实现模型在线学习。与现有技术相比，本发明提高了病情分析的正确率，解决了病情识别正确率低和信息挖掘程度不深的问题。

公开(公告)号：CN113947702A

公开(公告)日：2022-01-18

申请号：CN202111080047.X

申请日：2021-09-15

Applicant: 复旦大学

Inventor： 张立华 ,  杨鼎康 ,  王顺利 ,  邝昊鹏 ,  黄帅

IPC: G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06V40/16 ,  G06V40/10 ,  G06V40/20 ,  G06K9/62 ,  G10L25/30 ,  G10L25/63 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于情境感知的多模态情感识别方法和系统，系统包括多模态信息采集单元、基于多模态行为表现的情感处理单元、基于场景上下文的情感分析单元、基于代理人群体交互的情感分析单元、基于代理人和情境交互的情感分析单元、基于自适应规划的特征融合单元、基于离散情感的识别单元、基于连续情感的预测单元以及显示模块，多模态数据一部分来源于面部表情、步态和手势信息；另一部分来自情境中的场景上下文、代理人群体互动上下文以及场景与代理人互动的上下文信息。与现有技术相比，本发明有效的解决了真实场景中情感识别效率低下，现有算法情感识别准确率不达标，识别算法鲁棒性和泛化能力受外界因素干扰的问题。

公开(公告)号：CN113947127A

公开(公告)日：2022-01-18

申请号：CN202111079583.8

申请日：2021-09-15

Applicant: 复旦大学

Inventor： 张立华 ,  黄帅 ,  杨鼎康 ,  王顺利 ,  邝昊鹏

IPC: G06K9/62 ,  G06V40/16 ,  G10L25/18 ,  G10L25/45 ,  G10L25/63 ,  A61B5/00 ,  A61B5/16 ,  A61B5/369 ,  A61B5/372 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种用于陪伴机器人的多模态情感识别方法和系统，方法包括分别采集面部表情图片、语音信号和脑电信号；提取面部表情的情感特征向量、语音的情感特征向量和脑电信号的特征向量；获取权重矩阵，将各特征向量与权重矩阵相乘，得到融合特征；通过支持向量机实现对于高兴、悲伤、平静和厌恶四类常见情感的分类；通过将情感演化为愉快度‑紧张度‑激动度‑确定度这四个维度，采取多元非线性回归的方式进行情感评分的预测。与现有技术相比，本发明通过信息融合，具有更接近人类的情感识别能力；利用动态更新权重参数的形式，实现自主进化和不断调整情感判别的能力；离散和连续的情感识别，能够实现更加科学、深入的描绘情感变化。