基于场景重建的鼻腔内窥镜手术导航系统

    公开(公告)号:CN118766589A

    公开(公告)日:2024-10-15

    申请号:CN202410829315.0

    申请日:2024-06-25

    Applicant: 复旦大学

    Abstract: 本发明公开一种基于场景重建的鼻腔内窥镜手术导航系统,包括设备采集器、去模糊模块、特征提取模块、深度估计器和模型重建模块,去模糊模块与设备采集器信号连接,用于获取鼻腔内部的视频图像序列以及对视频图像序列进行逐帧去模糊处理,特征提取模块分别与去模糊模块以及设备采集器连接,用于获取去模糊后的图像序列以及对应的相机位姿以及从去模糊后的图像序列和对应的相机位姿中提取三维特征,深度估计器与特征提取模块连接,用于获取三维特征以及从三维特征中提取深度信息,模型重建模块与深度估计器连接,用于构建三维重建模型。本发明能够实时、高质量地重建鼻腔内窥镜场景,为医生提供丰富的三维信息,有助于降低手术风险。

    一种基于单张RGB图像与扩展现实技术的人体与衣物重建方法及系统

    公开(公告)号:CN118840489A

    公开(公告)日:2024-10-25

    申请号:CN202410971824.7

    申请日:2024-07-19

    Applicant: 复旦大学

    Abstract: 本发明公开了一种基于单张RGB图像与扩展现实技术的人体与衣物重建方法及系统,涉及扩展现实技术和计算机图形学领域,重建方法包括,S1:通过单目相机获取单张单目RGB图像;S2:对获取的图像进行分割处理,使用在Look into Person数据集上微调的U‑Net网络模型分割出图像中的衣物部分,并标注出不同种类衣物对应的区域;使用Mask RCNN网络分割出图像中的人体部分;S3:基于输入图像重建三维人体模型与对应匹配的衣物模型;S4:在现实场景中调整模型比例并叠加三维模型显示。重建系统包括图像预处理模块、三维重建模块和扩展现实模块;本发明能基于单张RGB图像在现实场景中显示附有相应衣物模型的人体模型,提高现实场景的多媒体应用中人物模型的生成和重建效率。

    一种基于多信息图像的足部压力检测算法

    公开(公告)号:CN117017268A

    公开(公告)日:2023-11-10

    申请号:CN202311017639.6

    申请日:2023-08-14

    Applicant: 复旦大学

    Abstract: 本发明公开了一种基于多信息图像的足部压力检测算法,设计的足部压力预测网络模型采用了一个多输入、多分支的架构,包括三个输入:原始RGB图像、脚的分割图和脚的动作文本提示,输入的图片使用图卷积进行特征提取。模型编码器为ResNet50,解码器为FPN,模型中还引入了CLIP模型用于建立足部动作文本与图像之间的关系,再引入交叉注意力机制用于不同输入信息的交互,得到特征送入解码器;在训练过程中,使用交叉熵损失函数,经过推理,得到图像上每个像素的压力估计,最终得到整个图像的压力预测图,足部压力预测模型可以应用于医疗、运动科学、体育等领域,具有广泛的应用前景。

    一种基于增强现实的内窥镜投影方法及系统

    公开(公告)号:CN114886558A

    公开(公告)日:2022-08-12

    申请号:CN202210526481.4

    申请日:2022-05-16

    Applicant: 复旦大学

    Abstract: 本发明提供了一种基于增强现实的内窥镜投影方法及系统,包括如下步骤:对病人进行术前CT或MR扫描,获取目标部位的医学扫描数据;对扫描数据进行三维体重建,并输入图卷积网络分割目标手术部位;建立手术场景坐标系,使用光学跟踪系统将三维模型与病人,以及内窥镜末端位置姿态进行配准;通过光学跟踪系统和内窥镜内置三轴加速度计实时跟踪内窥镜的位置和姿态并与三维模型进行实时配准;基于实时配准的坐标变换和相机投影模型,将内窥镜影像在三维模型上叠加显示,获得内窥镜所示部位的增强现实图像,在显示设备中显示。本发明使医生能够同时获知三维影像精确的结构信息和内窥镜影像丰富的真实细节信息,从而提高手术的准确性和安全性。

    一种基于内窥镜的微创手术机器人系统

    公开(公告)号:CN113520603A

    公开(公告)日:2021-10-22

    申请号:CN202110988731.1

    申请日:2021-08-26

    Applicant: 复旦大学

    Abstract: 本发明公开一种基于内窥镜的微创手术机器人系统,包括:手术机械臂模块与内窥镜标定系统;内窥镜手术机械臂用于夹持内窥镜和精确调整内窥镜的空间位置,从而不需要医生长时间地手持内窥镜;内窥镜标定系统采用被动式光学定位法,将反光球固定在内窥镜和医疗器械上,采用手术导航模块通过捕获反射光源来实时追踪目标的空间位置,进而实现术中器械的实时跟踪与配准。本发明能够高效、便捷、准确地进行内窥镜校准,可用于实时的手术导航,便于临床应用,有利于提高内窥镜手术的灵活性和稳定性。

    一种基于增强现实的内窥镜投影方法及系统

    公开(公告)号:CN114886558B

    公开(公告)日:2025-05-13

    申请号:CN202210526481.4

    申请日:2022-05-16

    Applicant: 复旦大学

    Abstract: 本发明提供了一种基于增强现实的内窥镜投影方法及系统,包括如下步骤:对病人进行术前CT或MR扫描,获取目标部位的医学扫描数据;对扫描数据进行三维体重建,并输入图卷积网络分割目标手术部位;建立手术场景坐标系,使用光学跟踪系统将三维模型与病人,以及内窥镜末端位置姿态进行配准;通过光学跟踪系统和内窥镜内置三轴加速度计实时跟踪内窥镜的位置和姿态并与三维模型进行实时配准;基于实时配准的坐标变换和相机投影模型,将内窥镜影像在三维模型上叠加显示,获得内窥镜所示部位的增强现实图像,在显示设备中显示。本发明使医生能够同时获知三维影像精确的结构信息和内窥镜影像丰富的真实细节信息,从而提高手术的准确性和安全性。

    一种全自动的机器人辅助鼻内窥镜检查方法及系统

    公开(公告)号:CN118902367A

    公开(公告)日:2024-11-08

    申请号:CN202410958294.2

    申请日:2024-07-17

    Applicant: 复旦大学

    Abstract: 本发明提供了一种全自动的机器人辅助鼻内窥镜检查方法及系统,包括鼻内窥镜,图像预处理模块,光学定位模块,动作规划模块,力传感模块,控制模块,全自动鼻内窥镜检查方法包括以下步骤:机器人夹持鼻内窥镜到达初始位置;获取内窥镜图像,对于内窥镜图像进行图像增强和光流估计的预处理;将内窥镜图像,对应的光流图及机器人当前状态输入深度学习网络进行动作与路径规划;基于内窥镜上设置的力传感器系统监测内窥镜与鼻腔组织的接触情况;基于运动规划结果和力反馈数据控制机器人运动。本发明采用上述的一种全自动的机器人辅助鼻内窥镜检查方法及系统控制机器人全自动地进行鼻内窥镜的检查流程,从而提高鼻内镜手术和诊疗的效率与稳定性。

    机器人自动路径生成方法、系统及介质

    公开(公告)号:CN118453118A

    公开(公告)日:2024-08-09

    申请号:CN202410743724.9

    申请日:2024-06-11

    Applicant: 复旦大学

    Abstract: 本发明公开了一种机器人自动路径生成方法、系统及介质,所述方法包括:采集待输入的鼻腔内窥镜图像序列,通过鼻腔内窥镜图像特征提取模型对鼻腔内窥镜图像进行特征分析,获取鼻腔内窥镜图像序列特征,其中鼻腔内窥镜图像特征提取模型通过自然图像数据集训练得到;将提取的鼻腔内窥镜图像序列特征输入鼻腔内窥镜位姿估计模型,估计鼻腔内窥镜的位姿矩阵,其中鼻腔内窥镜位姿估计模型通过多组图像位姿矩阵训练得到;对鼻腔内窥镜位姿矩阵随时序联合,获取机器人的运动轨迹。本发明能够实时、精确的根据图像序列实现机器人的自动路径生成。

    一种高精度自动神经导航空间配准方法

    公开(公告)号:CN103908346A

    公开(公告)日:2014-07-09

    申请号:CN201210595045.9

    申请日:2012-12-31

    Applicant: 复旦大学

    Abstract: 本发明属医学图像处理及应用领域,涉及一种高精度自动神经导航空间配准方法。本发明方法中采用基于高斯混合模型的全局优化点集配准方法,将基于激光扫描仪获得的点云与CT获得的点云得到两个点云之间的坐标变换实现初步配准;然后采用无序点自动配准的方法,将初步配准的结果与神经导航中通过CT重建出来的病人空间再次进行配准。使用结果表明,本发明所述的方法实施简单,精度可靠,便于临床应用,可集成在现有导航系统中,从而大幅度提高导航系统精度。

Patent Agency Ranking