-
公开(公告)号:CN116503457A
公开(公告)日:2023-07-28
申请号:CN202310419384.X
申请日:2023-04-14
Applicant: 合肥工业大学 , 安徽医科大学第二附属医院 , 济南显微智能科技有限公司 , 合肥昊川信息科技有限公司
Abstract: 本发明提供一种基于双目内窥镜的在线自监督学习深度估计方法和系统,涉及深度估计技术领域。本发明基于双模式切换的深度估计网络框架:实时重建模式用于对连续影像视频帧进行过拟合,基于连续帧的相似性,将一对双目图像上的过拟合思想扩展到时间序列上的过拟合,通过在线学习不断更新模型参数,能在各种双目内窥镜手术环境下得到高精度的组织深度;精准测量模式用于对医生选定的关键影像视频帧进行过拟合,实现关键影像视频帧的高精度重构。此外,提出的交叉验证排除了无效区域像素的自监督损失对网络学习的误导,进一步提升深度估计的精度;以及稀疏光流引导,提升网络对新场景的适应性与过拟合速度。
-
公开(公告)号:CN115359104A
公开(公告)日:2022-11-18
申请号:CN202210779462.2
申请日:2022-07-04
Applicant: 合肥工业大学 , 安徽医科大学第二附属医院
Abstract: 本发明提供一种基于双目内窥镜的在线自监督学习深度估计方法和系统,涉及深度估计技术领域。本发明包括获取双目内窥镜影像,采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征;采用当前双目深度估计网络的解码器网络,对多尺度特征进行融合,获取当前帧图像中每个像素点的视差;据相机内外参数,将视差转化为深度并作为当前帧图像的结果输出;在不引入外部真值的条件下,利用自监督损失更新当前双目深度估计网络的参数,用于下一帧图像的深度估计。利用连续帧的相似性,将一对双目图像上的过拟合思想扩展到时间序列上的过拟合,通过在线学习不断更新模型参数,能在各种双目内窥镜手术环境下得到高精度的组织深度。
-
公开(公告)号:CN115349952A
公开(公告)日:2022-11-18
申请号:CN202210778943.1
申请日:2022-07-04
Applicant: 安徽医科大学第二附属医院 , 合肥工业大学
Abstract: 本发明提供一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备,涉及虚拟夹具技术领域。本发明中,通过关键点的位置确定局部区域,对局部区域进行追踪,来减少三维关键点的错误追踪;结合内窥镜图像的纹理信息和形状信息,一定程度上避免体内环境特征的不明显带来的影响;在降维后的点云上通过构造优化函数对三维关键点进行精确定位,避免了不同视角下造成的曲线形状不一致性。更进一步的,沿着跟踪得到的三维曲线,建立包含引力与粘滞阻力的虚拟力场,即引导型虚拟夹具,所述引导型虚拟夹具通过力反馈机制精准引导手术器械的移动轨迹。
-
公开(公告)号:CN113555078A
公开(公告)日:2021-10-26
申请号:CN202110668395.2
申请日:2021-06-16
Abstract: 本发明提供一种模式驱动的胃镜检查报告智能生成方法、系统、存储介质和电子设备,涉及胃镜检查报告智能生成技术领域。本发明融合胃镜检查图像以及预先构建的报告词典,在Transformer的编码器‑解码器框架基础上搭建预先训练的图片部位识别网络,提取图片的部位特征信息;同时,设计胃镜检查位置模式存储模块LMS;契合临床报告生成过程,融入了胃镜医生专业知识与经验;参考相同检查部位报告的关键模式信息,有效提高了生成报告的自动化程度,大大减轻胃镜医生撰写检查报告的工作压力。
-
公开(公告)号:CN113555078B
公开(公告)日:2023-06-30
申请号:CN202110668395.2
申请日:2021-06-16
Abstract: 本发明提供一种模式驱动的胃镜检查报告智能生成方法、系统、存储介质和电子设备,涉及胃镜检查报告智能生成技术领域。本发明融合胃镜检查图像以及预先构建的报告词典,在Transformer的编码器‑解码器框架基础上搭建预先训练的图片部位识别网络,提取图片的部位特征信息;同时,设计胃镜检查位置模式存储模块LMS;契合临床报告生成过程,融入了胃镜医生专业知识与经验;参考相同检查部位报告的关键模式信息,有效提高了生成报告的自动化程度,大大减轻胃镜医生撰写检查报告的工作压力。
-
公开(公告)号:CN115359215A
公开(公告)日:2022-11-18
申请号:CN202210779481.5
申请日:2022-07-04
Applicant: 合肥工业大学 , 安徽医科大学第二附属医院
Abstract: 本发明提供一种面向微创关键位点导航的体内三维关键点动态跟踪方法,涉及自主手术机器人技术领域。本发明中根据内窥镜图像与点云之间的映射关系,分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上;并确定第一二维关键点在第一局部点云上的第一三维关键点,通过坐标变换得到第二局部点云上的第二三维关键点;将第二三维关键点映射回第二局部区域,获取下一帧图像上的第二二维关键点;并结合初始二维关键点,通过最小化预设的优化函数,获取跟踪得到的关键点的二维坐标,最终获取对应的三维坐标。通过三维仿射变换对所选择的关键点进行初始跟踪;并结合纹理和光流信息实现了体内环境中三维关键点的精确动态定位与追踪。
-
公开(公告)号:CN119226897B
公开(公告)日:2025-03-14
申请号:CN202411757938.8
申请日:2024-12-03
Applicant: 合肥工业大学
IPC: G06F18/241 , G06F18/25 , G06F18/213 , G06N20/00
Abstract: 本申请提供一种面向人机系统的认知负荷评估方法、系统、设备和介质,涉及人机系统领域;该方法包括:对第一目标群体进行认知能力测试,以将第一目标群体划分为高认知能力组和低认知能力组,并构建第一分类器和第二分类器;采集第一多模态数据并进行预处理和特征提取,将得到的关键特征融合成目标特征向量;基于目标特征向量,引入平衡因子分别训练第一分类器和第二分类器,得到第一目标评估模型和第二目标评估模型;并进行融合得到综合评估模型。本申请具有跨参与者和跨任务的特性,提升了评估的适用范围和实用性,同时增强了模型的通用性和易用性;实现了多特征融合的人机系统认知负荷评估,为用户提供了一个全面、精确且易于操作的评估工具。
-
公开(公告)号:CN119090928B
公开(公告)日:2025-02-11
申请号:CN202411580080.2
申请日:2024-11-07
Applicant: 合肥工业大学
IPC: G06T7/33 , G06T7/00 , G06T17/20 , G06T7/73 , G06T15/00 , G06T15/08 , G06T7/55 , G06T1/20 , G06V10/25 , G16H20/40
Abstract: 本发明提供一种基于人工标注引导的交互式手术案例指导方法、系统、存储介质和电子设备,涉及模型配准领域。本发明中,在术前CT模型上选取特征标记点、在彩色图像帧上点取术中对应标记点;然后基于三维高斯溅射渲染的3D高斯三维模型进行非刚性配准,获取术中CT模型;接着对术中CT模型进行高斯初始化并优化;之后接收医生在术中时刻彩色图像帧上标记的ROI区域,分别完成3D高斯与CT高斯采样;最后基于GPU排序与块渲染策略分开渲染两种高斯模型,获取用于交互式手术案例指导的原始图像与CT图像的融合图像。本发明可以呈现出更精确的组织解剖信息,实现精准决策,尤其有助于新手医生观测不同手术案例在不同手术时刻的手术特性、提高手术经验认知。
-
公开(公告)号:CN118429539A
公开(公告)日:2024-08-02
申请号:CN202410595255.0
申请日:2024-05-14
Applicant: 合肥工业大学
Abstract: 本申请提供一种超声图像三维重建方法、装置、电子设备及存储介质,涉及超声图像处理技术领域,该方法包括:采集超声探头监测的第一超声图像并筛选确定第一散点组和第二散点组,以拟合第一边界圆和第一边界直线组,并据此对超声探头进行位置校准;在超声探头的位置校准结束后采集第二超声图像,并进行坐标转换得到目标图像信息,进而基于神经辐射场进行三维重建和渲染处理,得到超声三维重建图像。本申请基于采集的第一超声图像中的像素信息来拟合边界圆和边界直线,并通过分析对超声探头的位置进行校准,保证后续采集的第二超声图像与超声探头在图像坐标系中能够精准匹配,以使超声三维重建图像具有较高的分辨率。
-
公开(公告)号:CN116439825B
公开(公告)日:2024-07-30
申请号:CN202310419392.4
申请日:2023-04-14
Applicant: 合肥工业大学
IPC: A61B34/10 , G06T7/00 , G06T7/60 , G06T7/62 , G06N3/0455 , G06N3/0895 , A61B34/20
Abstract: 本发明提供一种面向微创术中辅助决策的体内三维信息测量系统,涉及微创手术技术领域。本发明中接收医生任意的感兴趣区域标注,获取多样性测量数据,实现术中主动选择性和高参考性,在一定程度上提高了手术的质量;提出通过精准重建的数字化模型获取手术部位的三维信息,经计算提供手术部位的真实长度、面积和体积,辅助医生在术中更精准决策,有效避免手术意外、术中大出血等风险,保障手术安全性,有效提高手术医疗质量。此外,引入的基于双目内窥镜的在线自监督学习深度估计方法,其所使用的双目深度估计网络具有快速过学习的能力,能够利用自监督信息不断适应新场景,进而保证在复杂多变的环境下计算三维测量信息的准确性。
-
-
-
-
-
-
-
-
-