公开(公告)号：CN116052849A

公开(公告)日：2023-05-02

申请号：CN202211674570.X

申请日：2022-12-26

Applicant: 上海交通大学

Inventor： 张立箎 ,  赵翔宇

IPC: G16H30/40 ,  G06T11/00

Abstract: 本发明涉及一种模拟TBI脑图像的制备方法，该方法通过大量的训练样本完成对形变生成器，病灶生成器以及多尺度判别器的机器学习训练，在输入的正常脑图像上叠加形变场及该强度场，完成对TBI脑图像中的形变、血肿、占位等因素的模拟，实现将一张正常的脑图像转化为与真实的TBI脑图像相似度极高的模拟TBI脑图像。本发明的优点在于，用模拟的TBI脑图像代替真实的TBI脑图像，解决真实的TBI脑图像训练样本缺乏的问题，通过对训练样本脑区域的自动标注，降低了人工标注成本且模拟的TBI脑图像与真实的TBI脑图像相似度极高，质量过关。

公开(公告)号：CN117853435A

公开(公告)日：2024-04-09

申请号：CN202311820800.3

申请日：2023-12-27

Applicant: 上海交通大学 ,  上海赛增医疗科技有限公司

Inventor： 张立箎 ,  宋志云 ,  袁豪磊 ,  赵翔宇

IPC: G06T7/00 ,  G06T7/10 ,  G06V10/764 ,  G06V10/74 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/096

Abstract: 本发明公开了一种医疗图像的分析方法，收集不同类型的医学图像数据和对应的病例报告，在特定任务上针对性进行微调训练，构建专注于该类型数据的多模态医疗大模型；针对小数据集难以微调大模型的问题，我们设计了针对文本与图像配对数据的数据增强策略，同时利用BiomedCLIP进行迁移学习，实现对CLIP模型在特定医学领域的有效微调和应用；不仅实现了各个数据集上的疾病零样本分类与诊断，同时在疾病相关区域标记、病例报告生成任务上也完成了有效性验证。本发明的优点在于病例分析准确，训练成本低，提高了本方法在实际临床场景下的应用价值，可以帮助医生和患者快速分析疾病类型、病变位置，并生成相应的病例报告。

公开(公告)号：CN117725435A

公开(公告)日：2024-03-19

申请号：CN202311820799.4

申请日：2023-12-27

Applicant: 上海交通大学 ,  上海赛增医疗科技有限公司

Inventor： 张立箎 ,  赵翔宇 ,  袁豪磊 ,  宋志云

IPC: G06F18/22 ,  G06N3/0455 ,  G06N3/08 ,  G06V10/26 ,  G06V10/74 ,  G06V10/774

Abstract: 本发明提供了一种多模态大模型的适配方法及存储介质，在常规的多模态大模型的基础上增加了一个适配器，适配器能够将样本数据通过低维投射层转化为数据的低维表示，并通过非线性激活函数处理数据，可在原始网络先验的基础上快速学习新样本数据。且通过共享文本编码器中低维投射层的权重与图像编码器中低维投射层的权重，来更新文本编码器以及图像编码器中低维投射层的参数，将已有的模型快速适配至医学临床场景，有效避免了多模态大模型的灾难性遗忘和过拟合问题，并仅需极少量可训练参数，即可实现图像编码器以及文本编码器的联合微调。