-
公开(公告)号:CN111881818A
公开(公告)日:2020-11-03
申请号:CN202010732191.6
申请日:2020-07-27
Applicant: 复旦大学
Abstract: 本发明涉及一种医疗行为细粒度识别装置,包括摄像机、处理器和存储器及如下算法:通过摄像机采集实时发生的医疗行为视频;对视频数据预处理;获取上一时刻的卷积核的采样感受野;计算上一时刻图像与当前时刻图像的局部相干约束;计算当前时刻的感受野位移量;对每个采样点增加相应的位移量,获得变形后的卷积核;进行当前时刻的卷积运算,得到外观特征信息;计算感受野随时间的差值并提取运动特征信息;合并上述运动特征和外观特征,得到时空特征;将所述时空特征输入到三维卷积神经网络,经由全连接层得到动作分割与预测结果;对三维卷积神经网络的输出结果进行特征分割和动作分类预测。本发明可以提高系统的速度和效率及识别精度。
-
公开(公告)号:CN119577568A
公开(公告)日:2025-03-07
申请号:CN202311113314.8
申请日:2023-08-30
Applicant: 复旦大学
IPC: G06F18/2415 , G06F18/2431 , G06F16/35 , G06F16/334 , G06F16/3329 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种适用于不确定模态缺失的多模态情感识别系统,包括多模态信息感知单元、异构模态缺失样本生成单元、多粒度跨模态交互单元、特征语义一致性约束单元、自适应特征增强单元、选择性特征过滤单元、特征集成单元、情感识别单元以及情感显示单元。与现有技术相比,本发明通能够深入挖掘缺失模态中元素之间的自然相关性,最大限度地激发缺失模态潜在的能力,从而有效提升缺失模态场景下多模态情感识别方法的鲁棒性。
-
公开(公告)号:CN115457368A
公开(公告)日:2022-12-09
申请号:CN202211159308.1
申请日:2022-09-22
Applicant: 复旦大学
Abstract: 本发明涉及一种太空目标6D位姿估计系统,包括特征提取单元、因果推理单元,关键点检测单元,位姿估计单元及神经网络量化单元,通过DarkNet‑53模型提取图像特征,并引入特征金字塔网络完成特征增强;因果推理单元基于反事实分析技术获得图像的无偏特征;关键点检测单元基于无偏特征预测出2D关键点坐标和置信度;位姿估计单元基于2D关键点等信息求解出卫星的6D姿态;神经网络量化单元大幅度减少系统能耗的同时可以保留极少的精度损失。与现有技术相比,本系统能够在恶劣的成像条件和复杂的太空背景下精确地完成卫星的6D位姿估计,同时节省资源,拥有更低的时延和相当可观的精度,为卫星在太空中的自动化任务部署和未来的发展提供有力基础保障。
-
公开(公告)号:CN111881818B
公开(公告)日:2022-07-22
申请号:CN202010732191.6
申请日:2020-07-27
Applicant: 复旦大学
Abstract: 本发明涉及一种医疗行为细粒度识别装置,包括摄像机、处理器和存储器及如下算法:通过摄像机采集实时发生的医疗行为视频;对视频数据预处理;获取上一时刻的卷积核的采样感受野;计算上一时刻图像与当前时刻图像的局部相干约束;计算当前时刻的感受野位移量;对每个采样点增加相应的位移量,获得变形后的卷积核;进行当前时刻的卷积运算,得到外观特征信息;计算感受野随时间的差值并提取运动特征信息;合并上述运动特征和外观特征,得到时空特征;将所述时空特征输入到三维卷积神经网络,经由全连接层得到动作分割与预测结果;对三维卷积神经网络的输出结果进行特征分割和动作分类预测。本发明可以提高系统的速度和效率及识别精度。
-
公开(公告)号:CN116013118B
公开(公告)日:2025-01-03
申请号:CN202211511923.4
申请日:2022-11-29
Applicant: 复旦大学
IPC: G09B9/00 , G06F18/25 , G06N3/0442 , G06N3/047 , G06N3/08
Abstract: 本发明涉及一种基于增强现实的儿科气管插管培训系统及方法,包括增强现实模块、气管插管实体模型模块、医疗行为识别评估模块及语音交互模块;增强现实模块包括增强现实眼镜,增强现实模块用于为使用者提供增强现实画面及音频;气管插管实体模型模块用于为使用者提供模拟完成气管插管操作的实体模型;医疗行为识别评估模块用于识别使用者执行气管插管过程中的行为并给予实时评估;语音交互模块用于向使用者发出指令或回复,同时模拟临床中执行气管插管操作时发出的声音。本发明融合增强现实、语音交互、深度学习等技术,使得培训方法更加专业、高效。与现有技术相比,本发明具有成本低、节约教学时间、教学效率高等优点。
-
公开(公告)号:CN116013118A
公开(公告)日:2023-04-25
申请号:CN202211511923.4
申请日:2022-11-29
Applicant: 复旦大学
IPC: G09B9/00 , G06F18/25 , G06N3/0442 , G06N3/047 , G06N3/08
Abstract: 本发明涉及一种基于增强现实的儿科气管插管培训系统及方法,包括增强现实模块、气管插管实体模型模块、医疗行为识别评估模块及语音交互模块;增强现实模块包括增强现实眼镜,增强现实模块用于为使用者提供增强现实画面及音频;气管插管实体模型模块用于为使用者提供模拟完成气管插管操作的实体模型;医疗行为识别评估模块用于识别使用者执行气管插管过程中的行为并给予实时评估;语音交互模块用于向使用者发出指令或回复,同时模拟临床中执行气管插管操作时发出的声音。本发明融合增强现实、语音交互、深度学习等技术,使得培训方法更加专业、高效。与现有技术相比,本发明具有成本低、节约教学时间、教学效率高等优点。
-
公开(公告)号:CN115910366A
公开(公告)日:2023-04-04
申请号:CN202211509298.X
申请日:2022-11-29
Applicant: 复旦大学
Abstract: 本发明涉及一种基于多模态临床诊疗数据的病情分析系统,包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元,多模态融合单元、病情分类单元和在线学习单元;病历信息提取单元用于提取患者的医疗信息;视频采集单元用于采集患者就诊视频;影像数据采集单元用于采集患者影像数据;特征提取单元用于提取多模态数据特征;多模态融合单元将多模态数据特征进行融合,得到多模态融合特征;病情分类单元基于多模态融合特征,输出病情分类;在线学习单元基于医疗信息、就诊视频及影像数据,更新网络模型参数,实现模型在线学习。与现有技术相比,本发明提高了病情分析的正确率,解决了病情识别正确率低和信息挖掘程度不深的问题。
-
-
-
-
-
-