-
公开(公告)号:CN119205802A
公开(公告)日:2024-12-27
申请号:CN202411687403.8
申请日:2024-11-25
Applicant: 东南大学
IPC: G06T7/10 , G06T7/00 , G06N3/0499 , G06N3/0895 , G06N3/096 , G06F3/01
Abstract: 本发明公开了一种眼动引导混合数据增强的半监督医学图像分割方法,步骤如下:通过眼动追踪设备收集医生阅读医学图像时的注视位置信息;使用教师—学生网络模型并采用两阶段训练方式训练模型;采用GazeMix作为训练中的数据增强策略,提取标注或未标注图像中的注视区域,将其粘贴到其他未标注图像的背景上,生成混合图像数据对;一阶段结合GazeMix数据增强策略预训练教师网络;二阶段训练学生网络,GazeMix生成多样化数据,同时预训练教师网络用于伪标签生成;采用多尺度注视感知,在不同尺度上提取模型感知信息并用于感知损失计算;优化器对学生网络参数进行迭代优化,同时使用指数移动平均方法更新教师网络。
-
公开(公告)号:CN117635621B
公开(公告)日:2024-04-09
申请号:CN202410111204.6
申请日:2024-01-26
Applicant: 东南大学
Abstract: 本发明公开了一种动态视觉驱动的大模型无感交互分割方法,具体如下:引入动态视觉驱动分割技术,在医用领域利用医生动态视觉引导实时无感交互分割;初始化医学图像分割大模型并加载相关参数;使用眼动仪实时收集用户在图像上的视觉运动数据并将该图像输入图像编码器编码为高维特征;采用视觉运动数据过滤器,过滤噪声并将视觉运动数据分类为扫视行为数据和凝视行为数据;根据用户的视觉运动行为模式,智能选择将扫视行为数据或凝视行为数据作为提示信息用于分割;分割结果与原始图像叠加并可视化给用户提供反馈。本发明在临床上为医生提供更灵活、智能的交互方式,使整个交互分割过程更符合医生个性化的需求,提高了医生的工作效率。
-
公开(公告)号:CN117455906B
公开(公告)日:2024-03-19
申请号:CN202311755220.0
申请日:2023-12-20
Applicant: 东南大学
IPC: G06T7/00 , G06T7/10 , G06N3/0464 , G06N3/08 , G06N3/0455
Abstract: 本发明公开了一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法。包括步骤:注释神经,并对神经掩膜做距离变换,在1000um的距离做截断,生成了阴性掩膜和神经掩膜;对全视野数字切片分别在多个分辨率下提取得到对应的不重叠的图像块;将#imgabs0#与设计的轻量级的DSAFormer层交替连接形成新颖的混合编码器网络,得到高分辨率中间特征;构建FCN网络作为辅助分支,得到低分辨率中间特征;构建多尺度双交叉注意力模块融合多尺度及多分辨率信息;使用交叉熵损失和Dice损失的组合损失函数来指导和约束模型的优化。本发明可以对胰腺癌的全视野病理切片图像中的神经实现精准分割。
-
公开(公告)号:CN117635621A
公开(公告)日:2024-03-01
申请号:CN202410111204.6
申请日:2024-01-26
Applicant: 东南大学
Abstract: 本发明公开了一种动态视觉驱动的大模型无感交互分割方法,具体如下:引入动态视觉驱动分割技术,在医用领域利用医生动态视觉引导实时无感交互分割;初始化医学图像分割大模型并加载相关参数;使用眼动仪实时收集用户在图像上的视觉运动数据并将该图像输入图像编码器编码为高维特征;采用视觉运动数据过滤器,过滤噪声并将视觉运动数据分类为扫视行为数据和凝视行为数据;根据用户的视觉运动行为模式,智能选择将扫视行为数据或凝视行为数据作为提示信息用于分割;分割结果与原始图像叠加并可视化给用户提供反馈。本发明在临床上为医生提供更灵活、智能的交互方式,使整个交互分割过程更符合医生个性化的需求,提高了医生的工作效率。
-
公开(公告)号:CN117455906A
公开(公告)日:2024-01-26
申请号:CN202311755220.0
申请日:2023-12-20
Applicant: 东南大学
IPC: G06T7/00 , G06T7/10 , G06N3/0464 , G06N3/08 , G06N3/0455
Abstract: 本发明公开了一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法。包括步骤:注释神经,并对神经掩膜做距离变换,在1000um的距离做截断,生成了阴性掩膜和神经掩膜;对全视野数字切片分别在多个分辨率下提取得到对应的不重叠的图像块;将 与设计的轻量级的DSAFormer层交替连接形成新颖的混合编码器网络,得到高分辨率中间特征;构建FCN网络作为辅助分支,得到低分辨率中间特征;构建多尺度双交叉注意力模块融合多尺度及多分辨率信息;使用交叉熵损失和Dice损失的组合损失函数来指导和约束模型的优化。本发明可以对胰腺癌的全视野病理切片图像中的神经实现精准分割。
-
公开(公告)号:CN119205802B
公开(公告)日:2025-02-28
申请号:CN202411687403.8
申请日:2024-11-25
Applicant: 东南大学
IPC: G06T7/10 , G06T7/00 , G06N3/0499 , G06N3/0895 , G06N3/096 , G06F3/01
Abstract: 本发明公开了一种眼动引导混合数据增强的半监督医学图像分割方法,步骤如下:通过眼动追踪设备收集医生阅读医学图像时的注视位置信息;使用教师—学生网络模型并采用两阶段训练方式训练模型;采用GazeMix作为训练中的数据增强策略,提取标注或未标注图像中的注视区域,将其粘贴到其他未标注图像的背景上,生成混合图像数据对;一阶段结合GazeMix数据增强策略预训练教师网络;二阶段训练学生网络,GazeMix生成多样化数据,同时预训练教师网络用于伪标签生成;采用多尺度注视感知,在不同尺度上提取模型感知信息并用于感知损失计算;优化器对学生网络参数进行迭代优化,同时使用指数移动平均方法更新教师网络。
-
公开(公告)号:CN119205822A
公开(公告)日:2024-12-27
申请号:CN202411698289.9
申请日:2024-11-26
Applicant: 东南大学
IPC: G06T7/11 , G06T7/00 , G06V10/26 , G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于双域交融网络的胰腺及肿瘤、十二指肠联合分割方法,具体如下:使用临床多中心腹部CT图像作为数据集,利用先验信息对腹部CT预处理;对处理后的图像采用粗‑细两阶段分割,首先将图像输入到粗分割网络中得到胰腺、胰腺肿瘤以及十二指肠的大致位置信息;在细分割阶段中,首先进行双域构建,其次,将双域图像同时输入到双域融合分割网络中,在双域融合分割分割网络中使用环状多层次注意力模块获取柱状空间域全局连续注意力;分别对物理空间域和柱状空间域进行编码,并使用跨域信息融合模块实现域间融合的过程;在双域融合网络中得到最终的多器官分割结果。
-
公开(公告)号:CN119205822B
公开(公告)日:2025-02-28
申请号:CN202411698289.9
申请日:2024-11-26
Applicant: 东南大学
IPC: G06T7/11 , G06T7/00 , G06V10/26 , G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于双域交融网络的胰腺及肿瘤、十二指肠联合分割方法,具体如下:使用临床多中心腹部CT图像作为数据集,利用先验信息对腹部CT预处理;对处理后的图像采用粗‑细两阶段分割,首先将图像输入到粗分割网络中得到胰腺、胰腺肿瘤以及十二指肠的大致位置信息;在细分割阶段中,首先进行双域构建,其次,将双域图像同时输入到双域融合分割网络中,在双域融合分割分割网络中使用环状多层次注意力模块获取柱状空间域全局连续注意力;分别对物理空间域和柱状空间域进行编码,并使用跨域信息融合模块实现域间融合的过程;在双域融合网络中得到最终的多器官分割结果。
-
公开(公告)号:CN118154627B
公开(公告)日:2024-09-03
申请号:CN202410567441.3
申请日:2024-05-09
Applicant: 东南大学
IPC: G06T7/11 , G06N3/0464 , G06N3/0455 , G06N3/09 , G06F3/01
Abstract: 本发明公开了一种基于眼动注意力驱动的心超图像域适应分割方法,包括步骤:使用眼动仪收集医生在阅读目标域心脏超声图像时的眼动注视位置分布信息,利用源域数据训练初始化教师神经网络模型,获得初步的心脏超声图像分割能力,学生模型以伪标签为优化目标进行训练,眼动注视热力图经过编码器提取高维注意力特征,生成具有眼动注意力的教师模型在心脏超声图像上的通用特征,计算眼动加权损失和通用特征对齐损失之和优化模型。利用了医生诊断时的眼动热力图和领域自适应方法,使其能够在数据集紧缺并不额外消耗时间标注数据集的情况下训练出一个性能良好的心脏超声图像分割神经网络,并可以随着医生诊断过程的进行,持续不断的改善模型性能。
-
公开(公告)号:CN118154627A
公开(公告)日:2024-06-07
申请号:CN202410567441.3
申请日:2024-05-09
Applicant: 东南大学
IPC: G06T7/11 , G06N3/0464 , G06N3/0455 , G06N3/09 , G06F3/01
Abstract: 本发明公开了一种基于眼动注意力驱动的心超图像域适应分割方法,包括步骤:使用眼动仪收集医生在阅读目标域心脏超声图像时的眼动注视位置分布信息,利用源域数据训练初始化教师神经网络模型,获得初步的心脏超声图像分割能力,学生模型以伪标签为优化目标进行训练,眼动注视热力图经过编码器提取高维注意力特征,生成具有眼动注意力的教师模型在心脏超声图像上的通用特征,计算眼动加权损失和通用特征对齐损失之和优化模型。利用了医生诊断时的眼动热力图和领域自适应方法,使其能够在数据集紧缺并不额外消耗时间标注数据集的情况下训练出一个性能良好的心脏超声图像分割神经网络,并可以随着医生诊断过程的进行,持续不断的改善模型性能。
-
-
-
-
-
-
-
-
-