一种多模态深度神经网络的特征融合方法

    公开(公告)号:CN112288041B

    公开(公告)日:2021-03-30

    申请号:CN202011477932.7

    申请日:2020-12-15

    Abstract: 本发明公开了一种多模态深度神经网络的特征融合方法,在多模态深度三维CNN里,通过在深度学习特征域上,利用压缩激励(squeeze and excitation,S&E)模块,可获得关于模态之间的通道注意力掩膜,即在所有模态中,给予那些对于任务目标有着显著帮助的通道更大的关注,从而显式地建立了多模态三维深度特征图在通道上的权重分布;随后,利用四维卷积和Sigmoid激活函数计算,可获得关于模态之间的空间注意力掩膜,即在每个模态的三维特征图中,空间中哪些位置需要给予更大的关注,从而显式地建立了多模态三维深度特征图在空间上的相关性,对模态、通道、空间中具有重要信息的位置给予更大的关注,从而提高多模态智能诊断系统的诊断效能。

    一种基于图像数据和点云数据的融合配准方法

    公开(公告)号:CN112802073B

    公开(公告)日:2021-07-06

    申请号:CN202110376958.0

    申请日:2021-04-08

    Abstract: 本发明公开了一种基于图像数据和点云数据的融合配准方法,该方法首先通过图像分割获得组织器官的边界点云或通过特征提取得到图像内的特征点云,将图像数据和点云数据输入设计好的融合配准模型中,获得配准好的图像和点云数据以及变形场。所述融合配准模型包含图像配准网络和点云配准网络,训练时,损失函数由图像距离项、点云距离项、约束图像变形场和点云变形场的正则化项以及图像变形场和点云变形场的一致性约束项组成。本发明的方法能提高图像配准中边界保持的能力,在配准前获得细小结构点云信息时,该方法还能改善因细小结构隐藏在图像背景而发生误匹配的问题。

    一种基于图像数据和点云数据的融合配准方法

    公开(公告)号:CN112802073A

    公开(公告)日:2021-05-14

    申请号:CN202110376958.0

    申请日:2021-04-08

    Abstract: 本发明公开了一种基于图像数据和点云数据的融合配准方法,该方法首先通过图像分割获得组织器官的边界点云或通过特征提取得到图像内的特征点云,将图像数据和点云数据输入设计好的融合配准模型中,获得配准好的图像和点云数据以及变形场。所述融合配准模型包含图像配准网络和点云配准网络,训练时,损失函数由图像距离项、点云距离项、约束图像变形场和点云变形场的正则化项以及图像变形场和点云变形场的一致性约束项组成。本发明的方法能提高图像配准中边界保持的能力,在配准前获得细小结构点云信息时,该方法还能改善因细小结构隐藏在图像背景而发生误匹配的问题。

    一种多模态深度神经网络的特征融合方法

    公开(公告)号:CN112288041A

    公开(公告)日:2021-01-29

    申请号:CN202011477932.7

    申请日:2020-12-15

    Abstract: 本发明公开了一种多模态深度神经网络的特征融合方法,在多模态深度三维CNN里,通过在深度学习特征域上,利用压缩激励(squeeze and excitation,S&E)模块,可获得关于模态之间的通道注意力掩膜,即在所有模态中,给予那些对于任务目标有着显著帮助的通道更大的关注,从而显式地建立了多模态三维深度特征图在通道上的权重分布;随后,利用四维卷积和Sigmoid激活函数计算,可获得关于模态之间的空间注意力掩膜,即在每个模态的三维特征图中,空间中哪些位置需要给予更大的关注,从而显式地建立了多模态三维深度特征图在空间上的相关性,对模态、通道、空间中具有重要信息的位置给予更大的关注,从而提高多模态智能诊断系统的诊断效能。

    基于可变形图谱的医学影像配准网络训练数据集扩充方法

    公开(公告)号:CN113506333A

    公开(公告)日:2021-10-15

    申请号:CN202111057958.0

    申请日:2021-09-09

    Abstract: 本发明公开了一种基于可变形图谱的医学影像配准网络训练数据集扩充方法。该方法首先在尽可能避免引入不符合形态学变形的前提下,将输入的训练数据配准到不同形态的图谱上。随后,评估配准后训练数据和图谱的差异,修正图谱的参数向不引入不合理变形的方向微调。接着,在最大化配准精度的条件下,将输入的训练数据配准到不同形态的修正后的图谱上,恢复出训练数据第一次配准时未变形完全的细节。最后,计算相关性度量参数,剔除不满足预期的变形数据,从而生成与输入训练数据集形态不同且反应人体形态真实变化规律的扩充数据集。本发明可以有效地扩充医学影像配准网络的训练数据集,从而降低构建数据集的时间成本、人力成本和费用成本。

    一种基于数字人技术的肺叶分割方法

    公开(公告)号:CN112598669B

    公开(公告)日:2021-06-01

    申请号:CN202110241193.X

    申请日:2021-03-04

    Inventor: 朱闻韬 饶璠 张铎

    Abstract: 本发明公开了一种基于数字人技术的肺叶分割方法,该方法通过数字人图像和临床上患者的肺部图像进行非刚性配准,得到变形场和形变后的数字人图像,采用形变后的数字人图像拟合出数字人的形状参数并根据形状参数生成新的数字人图像,再将新的数字人图像与患者肺部图像不断迭代配准和更新,得到更接近于患者肺部图像的数字人图像,最后将数字人图像与患者肺部图像进行非刚性配准并获得变形场,将变形场加到数字人肺叶的边界点云或掩模图像上,得到的结果即为本方法得到的肺叶分割结果。本发明方法首次利用数字人模型进行医学图像中器官分割,本发明方法可以有效提高患者图像存在异常或病变情形下肺叶分割的精度和稳定性。

    一种SPECT三维重建图像左心室自动分割的方法

    公开(公告)号:CN112508949B

    公开(公告)日:2021-05-11

    申请号:CN202110135783.4

    申请日:2021-02-01

    Abstract: 本发明公开了一种SPECT三维重建图像左心室自动分割的方法,通过对原始SPECT胸部三维图像线性插值进行等比例缩小,利用特征提取网络对缩小后图像提取刚性配准参数特征,利用空间变换网络及参数特征对SPECT图像进行自动转向获得标准视图的预测图像,从预测图像中切割中心部位获取心脏图像,并通过U‑NET网络进行图像自动分割获得标准视图下的左心室结构分割结果。本发明使用多任务学习的深度学习网络同步提取图像的位置特征和语义特征,并利用双网络特征的互相监督达到网络一体化训练的效果实现不同角度到标准视图的一体化自动转向、心脏定位及左心室的结构分割,减少了手动转向、分割的复杂性和人为误差,实现了图像操作的全自动并提高了准确性。

    一种SPECT三维重建图像左心室自动分割的方法

    公开(公告)号:CN112508949A

    公开(公告)日:2021-03-16

    申请号:CN202110135783.4

    申请日:2021-02-01

    Abstract: 本发明公开了一种SPECT三维重建图像左心室自动分割的方法,通过对原始SPECT胸部三维图像线性插值进行等比例缩小,利用特征提取网络对缩小后图像提取刚性配准参数特征,利用空间变换网络及参数特征对SPECT图像进行自动转向获得标准视图的预测图像,从预测图像中切割中心部位获取心脏图像,并通过U‑NET网络进行图像自动分割获得标准视图下的左心室结构分割结果。本发明使用多任务学习的深度学习网络同步提取图像的位置特征和语义特征,并利用双网络特征的互相监督达到网络一体化训练的效果实现不同角度到标准视图的一体化自动转向、心脏定位及左心室的结构分割,减少了手动转向、分割的复杂性和人为误差,实现了图像操作的全自动并提高了准确性。

    一种PET三维图像左心室自动转向及分割的方法

    公开(公告)号:CN113516658B

    公开(公告)日:2021-12-17

    申请号:CN202111073596.4

    申请日:2021-09-14

    Inventor: 朱闻韬 张铎 朱海

    Abstract: 本发明公开了一种PET三维图像左心室自动转向及分割的方法,通过构建和训练包括由卷积模块、多个残差‑卷积模块和下采样模块组成的编码器、空间变换网络、包含多个上采样模块及残差‑卷积模块的解码器以及介于编码器与解码器之间的跳跃连接的PET三维图像左心室自动转向及分割模型,将常规视图A作为模型输入,利用此模型实现将图像自动旋转至临床标准视图并基于标准视图得到此视图中的左心室结构分割结果。本发明使用多任务学习的深度学习网络提取图像的位置特征和语义特征,实现不同角度到标准视图的自动转向、心脏定位及左心室的结构分割,一站式处理的操作减少了手动转向、分割的复杂性和人为误差,提高了图像操作的便捷和准确性。

    一种PET三维图像左心室自动转向及分割的方法

    公开(公告)号:CN113516658A

    公开(公告)日:2021-10-19

    申请号:CN202111073596.4

    申请日:2021-09-14

    Inventor: 朱闻韬 张铎 朱海

    Abstract: 本发明公开了一种PET三维图像左心室自动转向及分割的方法,通过构建和训练包括由卷积模块、多个残差‑卷积模块和下采样模块组成的编码器、空间变换网络、包含多个上采样模块及残差‑卷积模块的解码器以及介于编码器与解码器之间的跳跃连接的PET三维图像左心室自动转向及分割模型,将常规视图A作为模型输入,利用此模型实现将图像自动旋转至临床标准视图并基于标准视图得到此视图中的左心室结构分割结果。本发明使用多任务学习的深度学习网络提取图像的位置特征和语义特征,实现不同角度到标准视图的自动转向、心脏定位及左心室的结构分割,一站式处理的操作减少了手动转向、分割的复杂性和人为误差,提高了图像操作的便捷和准确性。

Patent Agency Ranking