-
公开(公告)号:CN119048947A
公开(公告)日:2024-11-29
申请号:CN202410894276.2
申请日:2024-07-04
Applicant: 中国科学院香港创新研究院人工智能与机器人创新中心 , 中国科学院自动化研究所
Abstract: 本发明提供一种基于多模态大模型的手术视频处理方法及装置,其中,上述方法包括:确定手术视频以及与手术视频相关的原始问题;对手术视频进行拆分,得到固定帧数的多个视频段落;通过预训练的视频编码器对多个视频段落中的每个视频段落进行编码处理,得到抽象特征;通过预设的多模态转换器将抽象特征的空间维度转换至与预设的多模态大模型的空间维度一致,得到处理后的抽象特征;基于处理后的抽象特征与文字辅助描述进行交叉嵌入,得到混合抽象特征;将混合抽象特征与原始问题输入至预设的多模态大模型,得到预设的多模态大模型输出的文字回答内容。通过本发明能够增强模型的交互性和灵活性。
-
公开(公告)号:CN118231163A
公开(公告)日:2024-06-21
申请号:CN202410301335.0
申请日:2024-03-15
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及医疗器械技术领域,提供一种脚踏板装置、医疗器械及医疗器械的控制方法。上述的脚踏板装置,包括:脚踏板、固定机构和多轴力传感器,脚踏板上设有用于固定操作者脚部的固定机构,固定机构的长度可调节,以匹配不同操作者的脚部尺寸;多轴力传感器设置于脚踏板的下部,多轴力传感器用于检测操作者的脚部施加在脚踏板上的力或力矩,以根据力或力矩控制医疗器械的操作装置运动。上述的脚踏板装置,通过设置脚踏板、固定机构和多轴力传感器,可将脚踏板固定于操作者的脚部,操作者通过对脚踏板的不同位置施力,即可控制医疗器械朝不同方向动作;将多个自由度方向的控制融合于一个脚踏板,为控制医疗器械安全进行手术操作提供了基础。
-
公开(公告)号:CN117710279A
公开(公告)日:2024-03-15
申请号:CN202211086312.X
申请日:2022-09-06
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种内窥镜定位方法、电子设备和非暂态计算机可读存储介质,包括:基于深度提取网络获取真实内窥镜采集的第t帧图像的深度图像#imgabs0#获取虚拟内窥镜采集的第t‑n帧目标虚拟图像的深度图像dt‑n,或基于深度提取网络获取真实内窥镜采集的第t‑n帧图像的深度图像#imgabs1#将深度图像#imgabs2#和深度图像dt‑n或将深度图像#imgabs3#和深度图像#imgabs4#输入深度配准网络,得到真实内窥镜的相对位姿估计信息#imgabs5#将相对位姿估计信息#imgabs6#与真实内窥镜采集第t‑n帧图像时的位姿估计信息#imgabs7#叠加,获得真实内窥镜采集第t帧图像的位姿估计信息#imgabs8#该方法可快速、准确且连续的获得真实内窥镜当前的位姿信息。
-
公开(公告)号:CN117710278A
公开(公告)日:2024-03-15
申请号:CN202211086082.7
申请日:2022-09-06
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种基于视觉里程计网络的内窥镜定位方法和电子设备,该方法包括:获取真实内窥镜在采集第一帧图像时的位姿信息;将真实内窥镜采集的当前帧图像和采集的前一帧图像输入预训练的视觉里程计网络,得到真实内窥镜采集当前帧图像与前一帧图像时的相对位姿估计信息;其中,输入所述视觉里程计网络的当前帧图像和前一帧图像的风格与对所述视觉里程计网络进行预训练的图像的风格一致;将真实内窥镜采集第一帧图像时的位姿信息与采集第一帧图像至采集当前帧图像累计的所有相对位姿估计信息相叠加,获得真实内窥镜采集当前帧图像的位姿信息并根据所述位姿信息对所述真实内窥镜进行定位。该方法能够快速且连续的对内窥镜进行定位。
-
公开(公告)号:CN117357043A
公开(公告)日:2024-01-09
申请号:CN202210773103.6
申请日:2022-06-30
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种柔性末端可控医疗器械运动控制系统及医疗设备,属于医疗器械技术领域,其中柔性末端可控医疗器械运动控制系统包括安装主体、鞘控制装置和插入部摆动装置,鞘控制装置与安装主体连接,插入部摆动装置包括插入部驱动机构、插入部摆臂机构和插入部安装机构,插入部驱动机构与安装主体连接,插入部安装机构通过插入部摆臂机构与插入部驱动机构连接;插入部驱动机构用于通过驱动插入部摆臂机构带动插入部安装机构摆动;插入部摆臂机构用于驱动插入部安装机构转动。本发明通过插入部安装机构摆动实现插入部相对鞘的移动,并通过插入部摆臂机构调整插入部安装机构的姿态,从而调整插入部的姿态,避免插入部进入鞘控制装置时的弯折。
-
公开(公告)号:CN116306134A
公开(公告)日:2023-06-23
申请号:CN202310249926.3
申请日:2023-03-15
Applicant: 中国科学院自动化研究所
IPC: G06F30/23 , G06F30/27 , G06F119/14
Abstract: 本发明涉及力学分析技术领域,提供一种柔性器械的力学分析方法、装置、电子设备及存储介质,该方法通过模型训练的方式将有限元分析方法进行建模得到力学分析模型,使力学分析模型可以学习到有限元分析方法,进而通过力学分析模型,不仅可以满足力学分析在计算效率上的要求,还可以满足其在精确度上的要求,可以快速高效且准确地得到待分析柔性器械在驱动力作用下得到的新构型信息,达到对准确性和计算效率的兼顾。而且,将待分析柔性器械的当前构型信息作为力学分析的依据,将待分析柔性器械在驱动力作用下得到的新构型信息作为力学分析结果,相比于直接采用有限元分析过程中得到的节点位移可以简化对待分析柔性器械的表征形式,大大降低计算量。
-
公开(公告)号:CN115316913B
公开(公告)日:2023-03-28
申请号:CN202210773097.4
申请日:2022-06-30
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种柔性可控器械拉线的张紧装置,属于医疗器械领域,该装置包括:拉线安装座组件,拉线安装座组件设有滑轮组;弹性座,弹性座安装于拉线安装座组件,且设有第一滑轮;拉线固定件,拉线固定件活动安装于拉线安装座组件,用于固定柔性可控器械拉线;其中,柔性可控器械拉线适于绕设于滑轮组及第一滑轮,且弹性座用于向第一滑轮施加朝向第一滑轮上的柔性可控器械拉线的推力。本发明通过将柔性可控器械拉线分别绕设于滑轮组和第一滑轮并在拉线固定件处固定,使得柔性可控器械拉线经由上述滑轮向前或向后运动时,弹性座均能保持柔性可控器械拉线处于张紧状态,从而实现对柔性可控器械弯曲姿态的精准控制。
-
公开(公告)号:CN115281746A
公开(公告)日:2022-11-04
申请号:CN202210786893.1
申请日:2022-07-04
Applicant: 中国科学院自动化研究所
IPC: A61B17/00
Abstract: 本发明提供一种柔性末端可控医疗器械进给系统和进给方法,系统包括:驱动机构、驱动机械机构、进给机构和进给机械机构,驱动机构至少设有一组固定柔性器械前端并控制柔性器械末端的驱动组件;驱动机械机构带动驱动组件和柔性器械前端沿第一方向运动;进给机构设有至少一组主动轮和从动轮,配合夹持柔性器械,并带动柔性器械沿第二方向进给;进给机械机构与进给机构连接,用以支撑和驱动进给机构。本发明对柔性器械的硬度要求不高,无需加长驱动机构零件长度,解决了驱动机构占用空间大且重量较重的缺陷。
-
公开(公告)号:CN115281586A
公开(公告)日:2022-11-04
申请号:CN202210772891.7
申请日:2022-06-30
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种柔性内窥镜及柔性内窥镜机器人,属于医疗器械技术领域,所述柔性内窥镜包括:插入部内镜和外鞘组件;外鞘组件具有轴向贯通的腔道;外鞘组件的内径大于插入部内镜的外径,插入部内镜在外鞘组件的腔道内穿过;外鞘组件的整体刚度大于插入部内镜的整体刚度;插入部内镜和外鞘组件分别独立受控于驱动机构,独立完成进镜、退镜和弯曲。本发明提供的柔性内窥镜及柔性内窥镜机器人,设计了一种分级插入的柔性内窥镜结构,可以深入更细枝的自然腔道,实现更细枝的自然腔道内的微创伤活检采样,提高了手术操作的效率与准确度。
-
公开(公告)号:CN119564344A
公开(公告)日:2025-03-07
申请号:CN202411403748.6
申请日:2024-10-09
Applicant: 中国科学院香港创新研究院人工智能与机器人创新中心 , 中国科学院自动化研究所
Abstract: 本发明提供一种基于多模态大语言模型的手术导航方法以及装置,其中,上述方法包括:获取用户语音输入;对用户语音输入进行重采样,得到重采样音频;对重采样音频进行梅尔频谱转换与归一化,得到语音特征;基于语音特征,确定与用户语音输入对应的语音意图;通过检索器基于语音意图在预设的资料文档中进行相似度检索,得到目标应用程序接口文本;基于目标应用程序接口文本与语音意图进行拼接,得到文本输入;将文本输入与视觉输入共同输入至预训练的大语言模型,得到预训练的大语言模型输出的文本回答,其中,文本回答用于操控预设机器进行手术导航。通过本发明能够在神经外科手术中提供更准确的实时导航。
-
-
-
-
-
-
-
-
-