-
公开(公告)号：CN111881979B
公开(公告)日：2022-05-13
申请号：CN202010739336.5
申请日：2020-07-28
Applicant: 复旦大学
Abstract: 本发明公开了一种基于患者行为的多模态数据标注装置，包括数据采集设备、标注存储器及处理器，还包括预处理服务器、数据库服务器、AI协作服务器和多图半监督学习算法，该算法由预处理模块、审查模块、管理模块以及AI协作模块四个程序模块组成，旨在利用数据采集设备采集的多模态信息进行信息融合，之后通过融合数据的特征构建成图，然后通过融合图上进行半监督学习，在学习过程中实现患者行为多模态数据的自动标注。本发明克服了训练数据不足和数据冗余较大的问题，实现患者行为多模态数据的自动标注，极大地提高了标注精度。
-
公开(公告)号：CN113947702B
公开(公告)日：2024-09-27
申请号：CN202111080047.X
申请日：2021-09-15
Applicant: 复旦大学
IPC: G06F18/25 , G06V10/80 , G06V10/764 , G06V10/82 , G06V40/16 , G06V40/10 , G06V40/20 , G10L25/30 , G10L25/63 , G06N3/0464 , G06N3/0455 , G06N3/096 , G06N3/048
Abstract: 本发明涉及一种基于情境感知的多模态情感识别方法和系统，系统包括多模态信息采集单元、基于多模态行为表现的情感处理单元、基于场景上下文的情感分析单元、基于代理人群体交互的情感分析单元、基于代理人和情境交互的情感分析单元、基于自适应规划的特征融合单元、基于离散情感的识别单元、基于连续情感的预测单元以及显示模块，多模态数据一部分来源于面部表情、步态和手势信息；另一部分来自情境中的场景上下文、代理人群体互动上下文以及场景与代理人互动的上下文信息。与现有技术相比，本发明有效的解决了真实场景中情感识别效率低下，现有算法情感识别准确率不达标，识别算法鲁棒性和泛化能力受外界因素干扰的问题。
-
公开(公告)号：CN111920420B
公开(公告)日：2023-08-08
申请号：CN202010740444.4
申请日：2020-07-28
Applicant: 复旦大学
IPC: A61B5/11 , A61B5/16 , G06F18/25 , G06F18/241
Abstract: 本发明涉及一种基于统计学习的患者行为多模态分析与预测系统，包括多模态采集模块、基于姿态的患者行为识别模块、基于生理信号的患者行为识别模块、基于情感信号的患者行为识别模块、基于语音信号的患者行为识别模块和基于多核学习的融合模块；基于多核学习的融合模块包括多核分类器，其训练过程具体为，对各个核函数分别进行训练并组合后，进行整体训练，得到每个核函数的权重系数。与现有技术相比，本发明所运用的多模态数据更接近云计算和大数据背景下患者信息流真实的形态，具有综合性和复杂性，利用多特征多核学习方法，在面对复杂的非线性多模态信息处理时减少了大量信息的损耗，且在处理模态跨度较大的数据时表现较好。
-
公开(公告)号：CN113989920A
公开(公告)日：2022-01-28
申请号：CN202111193385.4
申请日：2021-10-13
Applicant: 复旦大学
Abstract: 本发明涉及一种基于深度学习的运动员行为质量评估方法，基于的评估系统包括人体跟踪单元、人体姿势估计单元、动作序列特征提取与增强单元，得分预测单元和显示单元；视频输入至人体跟踪单元，对视频的各帧进行目标检测，得到各帧的检测框作为跟踪结果，在显示单元对跟踪结果进行可视化；人体姿势估计单元获取跟踪结果，对各帧中运动员的姿势进行估计，得到关键点信息作为姿势估计结果，在显示单元对姿势估计结果进行可视化；动作序列特征提取与增强单元以视频、跟踪结果和姿势估计结果作为输入，进行特征提取、特征增强和特征融合后得到视频特征；得分预测单元以视频特征为输入，进行全动作流程质量评估和阶段性行为质量评估。
-
公开(公告)号：CN113888698A
公开(公告)日：2022-01-04
申请号：CN202111196268.3
申请日：2021-10-14
Applicant: 复旦大学
Abstract: 本发明涉及一种面向肝切除术的动态三维重建方法及系统，包括：基于术前CT图像得到初始网格数据；使用术中CT获取手术区域的二维投影图像，得到目标网格数据；使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准，划定形变区域较大的模型曲面部分为待重构空间；将待重构空间内的初始网格区域进行非刚性变形，重建待重构空间的高分辨率曲面模型；使用生成的待重构空间的高分辨率曲面模型替代术前全肝组织精准三维曲面模型的对应部分。与现有技术相比，本发明解决了现有技术时间复杂度高、算力要求高、不能进行局部区域动态监测的问题，实现了在术中快速重建手术区域肝脏组织曲面，达到手术过程中动态监测和辅助精准切除的目的。
-
Patent Agency Ranking
公开(公告)号：CN119538168A
公开(公告)日：2025-02-28
申请号：CN202311111253.1
申请日：2023-08-30
Applicant: 复旦大学
IPC: G06F18/25 , G06F18/213 , G06F18/2431 , G06F18/2415 , G06F40/30 , G06N3/0464 , G06N3/047 , G06N3/0499 , G06N3/08
Abstract: 本发明涉及一种基于脑认知启发的多模态人类意图理解系统，包括多模态信息采集单元、互交叉注意力强化单元、自交叉注意力强化单元、源模态更新单元、自适应多模态信息融合单元、连续维度的情感意图理解单元，以及细粒度的行为意图理解单元。与现有技术相比，本发明充分融合来自语言、音频以及视频模态的有效特征语义，利用不同强化和更新单元中的注意力机制实现了高效的多模态建模，进一步完成了多任务模式下的人类情感和行为意图理解，有效的解决了真实应用场景下人类意图理解准确率低，多模态利用率不足以及系统鲁棒性差等问题。
-
公开(公告)号：CN115272977A
公开(公告)日：2022-11-01
申请号：CN202210948571.2
申请日：2022-08-09
Applicant: 复旦大学
Abstract: 本发明涉及一种基于卷积神经网络和迁移学习的心脏病发作检测系统，输入由图像获取装置获取的视觉图像或视频帧，对图片进行统一尺寸、背景去除以及数据增广等预处理，使其构成数量大、精度高的图片数据集，并采用该数据集在卷积神经网络模型上进行训练，训练过程中应用迁移学习的方法提升训练效率以及效果。训练好的模型可以对后续的输入图片进行检测，迅速精准地输出心脏病发作或无异常的标签，并在输出心脏病发作的异常标签时，利用通讯设备向预设的紧急联系人发送预警或呼叫医疗急救电话。与现有技术相比，本发明具有无应用场景限制、快速高效和使用便捷等优点。
-
公开(公告)号：CN111914925B
公开(公告)日：2022-03-29
申请号：CN202010740442.5
申请日：2020-07-28
Applicant: 复旦大学
IPC: G06K9/62 , G06N3/04 , G06N3/08 , G06V40/10 , A61B5/318 , A61B5/389 , A61B5/398 , A61B5/0533 , A61B5/11 , A61B5/00 , A61B5/0205 , A61B5/055 , A61B6/00 , A61B6/03 , A61B8/00
Abstract: 本发明涉及一种基于深度学习的患者行为多模态感知与分析系统，包括数据采集单元、患者人体姿态识别单元、患者生理信号识别单元、患者图像信息识别单元、患者语音信息识别单元以及深度融合单元；通过对采集到的患者姿态、生理、图像和语音等多模态数据实现预处理和感兴趣区提取和诊断，深度融合单元采用多模态二维特征和三维特征融合网络结构，由2D深度学习网络获取初步分割结果，并通过3D深度学习网络在初步分割结果的基础上，获取患者行为检测结果。与现有技术相比，本发明实现了更加精准的评估患者行为，准确定位病灶，显著提高了患者病理走向预测准确度，为患者行为科学干预与医疗流程智能优化手段的实施提高有力的基础保障。
-
公开(公告)号：CN119577568A
公开(公告)日：2025-03-07
申请号：CN202311113314.8
申请日：2023-08-30
Applicant: 复旦大学
IPC: G06F18/2415 , G06F18/2431 , G06F16/35 , G06F16/334 , G06F16/3329 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种适用于不确定模态缺失的多模态情感识别系统，包括多模态信息感知单元、异构模态缺失样本生成单元、多粒度跨模态交互单元、特征语义一致性约束单元、自适应特征增强单元、选择性特征过滤单元、特征集成单元、情感识别单元以及情感显示单元。与现有技术相比，本发明通能够深入挖掘缺失模态中元素之间的自然相关性，最大限度地激发缺失模态潜在的能力，从而有效提升缺失模态场景下多模态情感识别方法的鲁棒性。
-
公开(公告)号：CN119495115A
公开(公告)日：2025-02-21
申请号：CN202311023919.8
申请日：2023-08-15
Applicant: 复旦大学
Abstract: 本发明涉及一种基于自适应权重特征融合和双流卷积神经网络的身体异常状况发作检测方法，包括以下步骤：构建数据集，并添加身体状况标签；对数据集中的人物进行表情分析，添加面部表情标签；对数据集进行数据增广；构建检测模型，以身体状况图像作为输入，身体状况标签、面部表情标签作为输出，检测模型包括用于提取整体身体姿态特征和局部面部表情特征双流卷积神经网络模块和对提取到的特征进行自适应权重融合的自适应权重特征融合模块；获取待检测图像并输入训练完成的检测模型，输出预测的身体状况标签、面部表情标签及其对应概率，实现身体异常状况发作检测。与现有技术相比，本发明具有检测精度高、不受限于应用场景等优点。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.02 seconds)
