公开(公告)号：CN116385330A

公开(公告)日：2023-07-04

申请号：CN202310661539.0

申请日：2023-06-06

Applicant: 之江实验室

Inventor： 张楚杰 ,  胡季宏 ,  王伟彬 ,  陈延伟 ,  童若锋 ,  林兰芬 ,  李劲松

IPC: G06T5/50 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明公开了一种利用图知识引导的多模态医学影像生成方法和装置，该方法首先获取MR图像和CT图像并进行预处理，以构建数据集；然后利用图知识引导构建基于对抗生成网络的对抗生成模型，使用训练集训练对抗生成模型；再获取训练好的对抗生成模型中训练好的生成器，使用验证集通过评估指标对训练好的生成器的性能进行评估，并根据评估结果对生成器的参数进行调整，以获取最优生成器；最后将源域图像或测试集中的源域图像输入最优生成器中以获取生成的目标域图像。本发明能够捕获到跨区域和跨图像关系作为上下文和补偿信息，约束对抗的方向，进一步提升多模态生成的结果，有利于提高生成图像的质量。

公开(公告)号：CN113643336B

公开(公告)日：2024-03-15

申请号：CN202110844296.5

申请日：2021-07-26

Applicant: 之江实验室

Inventor： 张楚杰 ,  王俊彦

IPC: G06T7/33 ,  G06T19/20 ,  G06T5/20 ,  G06T3/10 ,  G06T5/70 ,  G06N3/084 ,  G06N3/0464

Abstract: 本发明公开了基于球极坐标系深度神经网络的三维图像刚性匹配方法，包括如下步骤：S1，构建球极坐标三维图像；S11，将医学影像的三维直角坐标系转换到球极坐标系；S12，以球极坐标系为轴建立三维直角坐标系；S2，对公开的数据集进行预处理，S3，构建卷积神经网络模型并且基于数据集训练网络模型；S31，构建球极坐标三维卷积神经网络模型，输出得到特定的特征空间；S32，基于数据集训练球极坐标三维卷积神经网络模型；S33，对卷积神经网络输出的角变量特征图做插值处理；S4，评估模型的性能；使用卷积神经网络提取三维医学影像中核磁共振影像的低维配准特征用于快速配准，与传统方法对比，减少了时间成本。

公开(公告)号：CN116433795A

公开(公告)日：2023-07-14

申请号：CN202310699766.2

申请日：2023-06-14

Applicant: 之江实验室

Inventor： 李劲松 ,  张楚杰 ,  陈延伟 ,  童若锋 ,  林兰芬

IPC: G06T11/00 ,  G06T7/33 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明公开了一种基于对抗生成网络的多模态影像生成方法和装置，包括：获取同一目标的第一模态影像和第二模态影像，对第一模态影像进行增强得到两幅增强后模态影像；构建包括生成器和判别器的对抗生成网络，其中，生成器基于第一模态影像及其两幅增强后模态影像生成三幅预测第二模态影像，判别器对第二模态影像和第一模态影像对应的预测第二模态影像进行真伪区分判别，判别器还计算输出两幅增强后模态影像对应的两幅预测第二模态影像在判别器中间层的两幅中间特征图；基于两幅中间特征图构建特征之间的对比损失，将对比损失结合对抗生成网络的原有损失对对抗生成网络进行参数优化，提取参数优化的生成器用于多模态影像生成，以提高影像精度。

公开(公告)号：CN116402865A

公开(公告)日：2023-07-07

申请号：CN202310661495.1

申请日：2023-06-06

Applicant: 之江实验室

Inventor： 张楚杰 ,  刘婧 ,  杨玉林 ,  赵嘉玥 ,  陈延伟 ,  童若锋 ,  林兰芬 ,  李劲松

IPC: G06T7/30 ,  G06N3/088

Abstract: 本发明公开了一种利用扩散模型的多模态影像配准方法、装置和介质，该方法首先获取MR图像和CT图像并进行预处理，以构建数据集；然后构建跨模态的生成网络和可变形配准网络，进一步构建跨模态配准网络模型，并基于数据集对该模型进行训练；再使用数据集通过评估指标对训练好的跨模态配准网络模型的性能进行评估，并根据评估结果进一步调整模型参数，以获取最优跨模态配准网络模型；最后获取最优跨模态配准网络模型中的最优可变形配准网络，将待配准图像输入最优可变形配准网络中以获取配准后的图像。本发明包含了利用扩散思想的无判别器的生成模型，有助于减少生成图像的不一致性和伪影，提高多模态配准的结果，提高生成图像的质量。

公开(公告)号：CN116342922A

公开(公告)日：2023-06-27

申请号：CN202211604295.4

申请日：2022-12-13

Applicant: 之江实验室

Inventor： 李印豪 ,  陈青青 ,  赵嘉玥 ,  基隆若沙库提提郎 ,  刘婧 ,  张楚杰 ,  胡季宏 ,  许莹莹 ,  陈延伟 ,  童若锋 ,  林兰芬

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/25 ,  G06N3/0464 ,  G06N3/08 ,  G06T7/00

Abstract: 本发明公开了一种基于多任务模型的智能肝脏影像征象分析及LI‑RADS分类系统，该系统将多期像二维肝脏肿瘤影像输入到多任务卷积神经网络模型中，在主任务中利用该模型自动提取基于LI‑RADS标准的分类任务时所需潜在特征，同时在子任务中提取LI‑RADS标准定义的主要征象分类所需潜在特征，不仅能够实现更高的LI‑RADS分级精度，而且可为医生在临床诊断等实际应用中提供分类依据参考。本发明使用多任务卷积神经网络、基于图像的肿瘤大小自动分析方法，依靠端到端与监督对比学习相结合的方式训练模型，实现可为医生提供判断依据的肝脏肿瘤LI‑RADS分类系统。