公开(公告)号：CN114943802B

公开(公告)日：2024-10-08

申请号：CN202210523100.7

申请日：2022-05-13

Applicant: 南开大学深圳研究院

Inventor： 王鸿鹏 ,  陈建韧 ,  王雨轩 ,  韩建达 ,  许丽

IPC: G06T17/00 ,  G06N3/08 ,  G06T7/80 ,  G06V10/26 ,  A61B34/20

Abstract: 本发明提供一种基于深度学习与增强现实的知识引导外科手术交互方法，该方法包括以下步骤：设置一个双目相机，对其完成标定操作后，用于拍摄现实空间中的人工标记与相关医学组织；基于深度学习算法，对双目相机获取的术中图像进行语义分割，得到相关医学组织的预测图；通过最小二乘法，对双目相机左右目镜相应的预测图进行三维重建；将三维重建模型导入到Unity，基于现实空间中人工标记与医学组织的位置关系，在Unity建立人工标记与虚拟模型间的位置，进行渲染操作后，将其注册到增强现实空间内。本发明通过将深度学习与增强现实两大技术交互结合，从而实现知识引导外科手术操作的目的，为外科医生手术操作提供了直接有效的帮助。

公开(公告)号：CN114943802A

公开(公告)日：2022-08-26

申请号：CN202210523100.7

申请日：2022-05-13

Applicant: 南开大学深圳研究院

Inventor： 王鸿鹏 ,  陈建韧 ,  王雨轩 ,  韩建达 ,  许丽

IPC: G06T17/00 ,  G06N3/08 ,  G06T7/80 ,  G06V10/26

Abstract: 本发明提供一种基于深度学习与增强现实的知识引导外科手术交互方法，该方法包括以下步骤：设置一个双目相机，对其完成标定操作后，用于拍摄现实空间中的人工标记与相关医学组织；基于深度学习算法，对双目相机获取的术中图像进行语义分割，得到相关医学组织的预测图；通过最小二乘法，对双目相机左右目镜相应的预测图进行三维重建；将三维重建模型导入到Unity，基于现实空间中人工标记与医学组织的位置关系，在Unity建立人工标记与虚拟模型间的位置，进行渲染操作后，将其注册到增强现实空间内。本发明通过将深度学习与增强现实两大技术交互结合，从而实现知识引导外科手术操作的目的，为外科医生手术操作提供了直接有效的帮助。