公开(公告)号：CN119418846A

公开(公告)日：2025-02-11

申请号：CN202411337098.X

申请日：2024-09-25

Applicant: 复旦大学

Inventor： 张立华 ,  蒋越 ,  陈嘉伟 ,  李明程 ,  魏金杰 ,  许庆尧 ,  韩菁杭

IPC: G16H15/00 ,  G16H30/20 ,  G16H50/70 ,  G06N5/04 ,  G06F16/3329

Abstract: 本发明涉及一种基于医疗思维链的多模态医疗影像报告生成方法及系统，其中方法包括以下步骤：获取现有的原始无序非结构化医学影像报告数据集；对数据集中的影像报告进行预处理，得到高质量数据集；基于大语言模型对高质量数据集中的医疗影像报告进行处理，抽取层次化医学属性问答对；将层次化医学数学问答对串联重构为链式推理问答对；利用链式推理问答对数据对对现有的医学影像报告生成模型进行微调，利用微调后的医学影像报告生成模型生成医疗影像报告。与现有技术相比，本发明具有显式的加强了多模态特征的利用率和意图理解的识别能力，提高了推理能力的泛化性、可靠性和准确性，生成的医疗影像报告可靠性更高等优点。

公开(公告)号：CN119418390A

公开(公告)日：2025-02-11

申请号：CN202411337099.4

申请日：2024-09-25

Applicant: 复旦大学

Inventor： 张立华 ,  韩菁杭 ,  王顺利 ,  王帅兵 ,  魏金杰 ,  蒋越 ,  李明程

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/776 ,  G16H30/00 ,  G16H40/20 ,  G06Q10/0639 ,  G06V10/82 ,  G06N3/0455

Abstract: 本发明涉及一种基于时序动作分割的医疗行为质量评估方法及系统，其中方法包括以下步骤：获取多种视角的拍摄设备采集的整个医疗过程中全部的操作行为视频，并分析视频的维度与帧数；将视频数据输入时序分割模型进行时序动作分割与识别，所述时序分割模型引入了扩散模型，包括特征提取模块、编码器和解码器三个部分，其中，所述特征提取模块提取视频对应的I3D特征，所述编码器将通用的I3D特征编码为更符合任务的特征，所述解码器完成扩散模型的迭代过程，从随机噪声中迭代生成预测动作标签序列；根据时序分割模型给出的动作标签序列和对应医疗行为的标准规范进行得分统计。与现有技术相比，本发明具有时序行为分割准确率高等优点。