公开(公告)号：CN110211165B

公开(公告)日：2022-08-05

申请号：CN201910497153.4

申请日：2019-06-10

Applicant: 成都信息工程大学

Inventor： 胡靖 ,  罗梓巍 ,  李欣妍

IPC: G06T7/33 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于异步深度强化学习的图像多模态配准方法，所述配准方法包括以下内容：将不同模态(如CT、MRII)的两张图片堆叠输入神经网络进行处理并输出当前的状态值信息和策略动作的概率分布信息；根据概率分布信息在环境中移动动态图像并返回一个奖励值；判断当前网络状态值信息是否达到阈值；对当前图像配准进行采样并输出最终结果。通过基于强化学习(A3C算法)，提出一种自定义的奖励函数，加入循环卷积结构以充分利用时空信息，并采用蒙特卡洛进行图像配准，提高了配准的性能，相比于现有配准方法配准结果更接近标准的配准图像，面对差异大的图像配准更加稳定。

公开(公告)号：CN110211165A

公开(公告)日：2019-09-06

申请号：CN201910497153.4

申请日：2019-06-10

Applicant: 成都信息工程大学

Inventor： 胡靖 ,  罗梓巍 ,  李欣妍

IPC: G06T7/33 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于异步深度强化学习的图像多模态配准方法，所述配准方法包括以下内容：将不同模态(如CT、MRII)的两张图片堆叠输入神经网络进行处理并输出当前的状态值信息和策略动作的概率分布信息；根据概率分布信息在环境中移动动态图像并返回一个奖励值；判断当前网络状态值信息是否达到阈值；对当前图像配准进行采样并输出最终结果。通过基于强化学习(A3C算法)，提出一种自定义的奖励函数，加入循环卷积结构以充分利用时空信息，并采用蒙特卡洛进行图像配准，提高了配准的性能，相比于现有配准方法配准结果更接近标准的配准图像，面对差异大的图像配准更加稳定。

公开(公告)号：CN111462146A

公开(公告)日：2020-07-28

申请号：CN202010302248.9

申请日：2020-04-16

Applicant: 成都信息工程大学

Inventor： 胡靖 ,  罗梓巍 ,  姚明青 ,  吴锡

IPC: G06T7/12 ,  G06T7/33 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种时空智能体的医学图像多模态配准方法，将不同模态的动态图像和固态图像输入到构建好的神经网络中，通过神经网络中的卷积神经网络模块提取图像的高层抽象特征，然后卷积长短时记忆网络模块自动提取高层抽象特征中序列间的时序和空间信息，经过神经网络后输出当前状态值和策略动作的概率分布，时空智能体对动态图像实施概率最大的动作，在当前状态值达到阈值前，循环进行配准，直到循环结束；最后对配准图像进行蒙特卡洛采样得到最终配准结果。本发明的卷积长短时记忆模型通过卷积来捕获图像内部的空间关系和时序信息，配准精度更高。