公开(公告)号：CN118766589A

公开(公告)日：2024-10-15

申请号：CN202410829315.0

申请日：2024-06-25

Applicant: 复旦大学

Inventor： 陈欣荣 ,  赵姝婷 ,  汪文胜 ,  刘雅文

IPC: A61B34/20 ,  A61B34/10 ,  A61B1/233 ,  G06T19/00 ,  G06T17/00 ,  G06N3/0455

Abstract: 本发明公开一种基于场景重建的鼻腔内窥镜手术导航系统，包括设备采集器、去模糊模块、特征提取模块、深度估计器和模型重建模块，去模糊模块与设备采集器信号连接，用于获取鼻腔内部的视频图像序列以及对视频图像序列进行逐帧去模糊处理，特征提取模块分别与去模糊模块以及设备采集器连接，用于获取去模糊后的图像序列以及对应的相机位姿以及从去模糊后的图像序列和对应的相机位姿中提取三维特征，深度估计器与特征提取模块连接，用于获取三维特征以及从三维特征中提取深度信息，模型重建模块与深度估计器连接，用于构建三维重建模型。本发明能够实时、高质量地重建鼻腔内窥镜场景，为医生提供丰富的三维信息，有助于降低手术风险。

公开(公告)号：CN118840489A

公开(公告)日：2024-10-25

申请号：CN202410971824.7

申请日：2024-07-19

Applicant: 复旦大学

Inventor： 陈欣荣 ,  邵良靖 ,  陈本双 ,  刘雅文

IPC: G06T17/00 ,  G06T19/00 ,  G06T19/20 ,  G06N3/0464

Abstract: 本发明公开了一种基于单张RGB图像与扩展现实技术的人体与衣物重建方法及系统，涉及扩展现实技术和计算机图形学领域，重建方法包括，S1：通过单目相机获取单张单目RGB图像；S2：对获取的图像进行分割处理，使用在Look into Person数据集上微调的U‑Net网络模型分割出图像中的衣物部分，并标注出不同种类衣物对应的区域；使用Mask RCNN网络分割出图像中的人体部分；S3：基于输入图像重建三维人体模型与对应匹配的衣物模型；S4：在现实场景中调整模型比例并叠加三维模型显示。重建系统包括图像预处理模块、三维重建模块和扩展现实模块；本发明能基于单张RGB图像在现实场景中显示附有相应衣物模型的人体模型，提高现实场景的多媒体应用中人物模型的生成和重建效率。

公开(公告)号：CN118902367A

公开(公告)日：2024-11-08

申请号：CN202410958294.2

申请日：2024-07-17

Applicant: 复旦大学

Inventor： 陈欣荣 ,  邵良靖 ,  陈本双 ,  刘雅文

IPC: A61B1/233 ,  A61B1/00 ,  B25J11/00 ,  G06T7/00 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08 ,  G16H40/00 ,  G16H30/00

Abstract: 本发明提供了一种全自动的机器人辅助鼻内窥镜检查方法及系统，包括鼻内窥镜，图像预处理模块，光学定位模块，动作规划模块，力传感模块，控制模块，全自动鼻内窥镜检查方法包括以下步骤：机器人夹持鼻内窥镜到达初始位置；获取内窥镜图像，对于内窥镜图像进行图像增强和光流估计的预处理；将内窥镜图像，对应的光流图及机器人当前状态输入深度学习网络进行动作与路径规划；基于内窥镜上设置的力传感器系统监测内窥镜与鼻腔组织的接触情况；基于运动规划结果和力反馈数据控制机器人运动。本发明采用上述的一种全自动的机器人辅助鼻内窥镜检查方法及系统控制机器人全自动地进行鼻内窥镜的检查流程，从而提高鼻内镜手术和诊疗的效率与稳定性。