公开(公告)号：CN116977236A

公开(公告)日：2023-10-31

申请号：CN202310892017.1

申请日：2023-07-20

Applicant: 复旦大学附属眼耳鼻喉科医院 ,  复旦大学

Inventor： 罗静静 ,  李文献 ,  韩园 ,  赵世尊 ,  凌寅洲 ,  王洪波

IPC: G06T5/50 ,  G06T7/33 ,  G06V10/40 ,  G06V10/74 ,  G06V10/766 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/088

Abstract: 本发明提供一种基于无监督学习的内镜视野拓展方法，涉及图像处理技术领域，通过设计包含有特征提取模块、全局对齐模块、局部对齐模块和融合中间模块的无监督视野拓展网络模型，在实时内镜视频上应用训练好的模型，以关键解剖结构附近具有重叠区域的视频帧作为输入，形成该结构附近具有较大视野拓展范围的全景图像，解决了现有内镜视野拓展方法存在的处理步骤复杂、匹配点错误多，拼接与融合不准确等问题，可以通过简便的端到端操作获取无伪影、清晰的全景图像，通过无监督对齐‑融合联立网络，实现手术过程中实时视野拓展。

公开(公告)号：CN114387154B

公开(公告)日：2023-04-21

申请号：CN202111521917.2

申请日：2021-12-13

Applicant: 复旦大学

Inventor： 罗静静 ,  赵世尊 ,  王洪波 ,  周路延 ,  周昊宇 ,  念帆 ,  鞠兆洵

IPC: G06T3/00 ,  G06T3/60 ,  G06T5/00 ,  G06T5/20 ,  G06T5/40 ,  G06T7/00 ,  G06T7/80

Abstract: 本发明涉及一种用于插管机器人的立体气道环境构建方法，包括以下步骤：1)获取初始图像和关键帧图像；2)对初始图像和关键帧图像分别进行预处理，消除畸变、噪点及反光的影响；3)进行仿射变换增强处理用以增加待匹配的特征点，获取仿射变换后的图像组及对应的仿射变换矩阵；4)对仿射变换后的图像组提取特征点，并对初始图像和关键帧图像进行特征点的重新映射展示；5)根据重新映射展示后的初始图像和关键帧图像进行特征点的稀疏重建；6)对稀疏重建后的稀疏点云进行稠密重建得到最终的稠密点云，即立体气道环境的3D模型。与现有技术相比，本发明具有三维重建精度高、鲁棒性强、适用于气道插管手术等优点。

公开(公告)号：CN114387154A

公开(公告)日：2022-04-22

申请号：CN202111521917.2

申请日：2021-12-13

Applicant: 复旦大学

Inventor： 罗静静 ,  赵世尊 ,  王洪波 ,  周路延 ,  周昊宇 ,  念帆 ,  鞠兆洵

IPC: G06T3/00 ,  G06T3/60 ,  G06T5/00 ,  G06T5/20 ,  G06T5/40 ,  G06T7/00 ,  G06T7/80

Abstract: 本发明涉及一种用于插管机器人的立体气道环境构建方法，包括以下步骤：1)获取初始图像和关键帧图像；2)对初始图像和关键帧图像分别进行预处理，消除畸变、噪点及反光的影响；3)进行仿射变换增强处理用以增加待匹配的特征点，获取仿射变换后的图像组及对应的仿射变换矩阵；4)对仿射变换后的图像组提取特征点，并对初始图像和关键帧图像进行特征点的重新映射展示；5)根据重新映射展示后的初始图像和关键帧图像进行特征点的稀疏重建；6)对稀疏重建后的稀疏点云进行稠密重建得到最终的稠密点云，即立体气道环境的3D模型。与现有技术相比，本发明具有三维重建精度高、鲁棒性强、适用于气道插管手术等优点。

公开(公告)号：CN114387153B

公开(公告)日：2023-07-04

申请号：CN202111521916.8

申请日：2021-12-13

Applicant: 复旦大学

Inventor： 韩园 ,  赵世尊 ,  王洪波 ,  李文献 ,  罗静静 ,  鞠兆洵 ,  周路延 ,  周昊宇 ,  潘琪琪

IPC: G06T3/00 ,  G06T3/40 ,  G06T3/60 ,  G06T5/00 ,  G06T5/20 ,  G06T5/40 ,  G06T7/00 ,  G06T7/33

Abstract: 本发明涉及一种用于插管机器人的视野拓展方法，包括以下步骤：1)通过控制插管机器人对内镜图像进行采集，获取初始图像和待拼接图像；2)对初始图像和待拼接图像进行预处理，消除畸变、噪点及反光的影响；3)对初始图像和待拼接图像分别进行仿射变换增强处理用以增加待匹配的特征点，获取仿射变换后的图像组及对应的仿射变换矩阵；4)对仿射变换后的图像组提取特征点，并对初始图像和待拼接图像进行特征点的重新映射展示；5)对初始图像和待拼接图像进行图像配准并获取单应性变换矩阵；6)根据单应性变换矩阵进行图像拼接，得到拼接完成的全景图。与现有技术相比，本发明具有适用于气道组织等非刚体情况、拼接准确、鲁棒性高等优点。

公开(公告)号：CN114387153A

公开(公告)日：2022-04-22

申请号：CN202111521916.8

申请日：2021-12-13

Applicant: 复旦大学

Inventor： 罗静静 ,  赵世尊 ,  王洪波 ,  鞠兆洵 ,  周路延 ,  周昊宇 ,  潘琪琪

IPC: G06T3/00 ,  G06T3/40 ,  G06T3/60 ,  G06T5/00 ,  G06T5/20 ,  G06T5/40 ,  G06T7/00 ,  G06T7/33

Abstract: 本发明涉及一种用于插管机器人的视野拓展方法，包括以下步骤：1)通过控制插管机器人对内镜图像进行采集，获取初始图像和待拼接图像；2)对初始图像和待拼接图像进行预处理，消除畸变、噪点及反光的影响；3)对初始图像和待拼接图像分别进行仿射变换增强处理用以增加待匹配的特征点，获取仿射变换后的图像组及对应的仿射变换矩阵；4)对仿射变换后的图像组提取特征点，并对初始图像和待拼接图像进行特征点的重新映射展示；5)对初始图像和待拼接图像进行图像配准并获取单应性变换矩阵；6)根据单应性变换矩阵进行图像拼接，得到拼接完成的全景图。与现有技术相比，本发明具有适用于气道组织等非刚体情况、拼接准确、鲁棒性高等优点。