公开(公告)号：CN119356524A

公开(公告)日：2025-01-24

申请号：CN202411458686.9

申请日：2024-10-18

Applicant: 济南大学

Inventor： 徐涛 ,  孙佳慧 ,  李兆玉 ,  杨晓晖 ,  朱光泽 ,  郭至玉

IPC: G06F3/01 ,  A61B34/30 ,  A61B34/00 ,  G16H40/63 ,  G06V40/10 ,  G06V40/20 ,  G06V20/20 ,  G06V20/40 ,  G06V20/56 ,  G06V10/25 ,  G06V10/44 ,  G06V10/50 ,  G06V10/56 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464

Abstract: 本申请公开了一种改进的适应手术环境下的手势识别方法及手术用具传递系统。其实现步骤为：利用AR眼镜第一视角捕获图像，同时将当前手术所需要的材料投影到AR眼镜中虚拟呈像辅助手术，将图像通过TCP/IP以及RosConnected传递给ROS系统，对图像进行预处理，利用RegNetCA网络进行手势识别，得到手势识别结果后进入判断门，指导机械臂进行相应物品抓取传递，利用kinova机械臂上的d435i进行物体识别，利用Yolov8识别物体返回物体三维坐标，利用坐标转换将相机坐标系下的物体坐标转换成整体坐标，机械臂得到坐标后达到目标点位进行抓取并将物品传递到指定位置。本发明形成了一个完整的无接触物体传递系统，通过融合颜色的手势识别算法提高了手势识别的准确率。

公开(公告)号：CN118675202A

公开(公告)日：2024-09-20

申请号：CN202410883599.1

申请日：2024-07-03

Applicant: 济南大学

Inventor： 徐涛 ,  朱光泽 ,  李兆玉 ,  李凯硕 ,  孙佳慧

IPC: G06V40/10 ,  G06V10/25 ,  G06V10/75 ,  G06V10/74 ,  G06V10/762 ,  G06V10/80 ,  G06V10/82 ,  G01S13/86 ,  G01S13/06 ,  G01S7/41

Abstract: 本申请公开了一种基于毫米波雷达与单目相机融合的行人检测方法。该方法的实现步骤为：单目相机与4D毫米波雷达同步采集图像和点云数据；对点云进行数据预处理、聚类分析以及行人估计，获取行人目标；基于无锚框的目标检测算法对图像进行行人检测，获取行人目标；将点云中行人目标映射到图像中，实现两传感器检测目标的空间对齐；利用基于位置估计的目标关联算法实现两传感器中行人目标的匹配；根据匹配结果获得融合目标及非融合目标，实现多维度的行人检测。该方法使用了毫米波雷达和单目相机采集数据，环境感知能力较强，可以实现多维度的数据采集。相较于基于单一传感器的行人检测方法，该行人检测方法的环境适应能力更强，漏检率更低。

公开(公告)号：CN119068554A

公开(公告)日：2024-12-03

申请号：CN202411269806.0

申请日：2024-09-11

Applicant: 济南大学

Inventor： 徐涛 ,  李兆玉 ,  杨晓晖 ,  朱光泽 ,  孙佳慧

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06V10/80

Abstract: 本申请公开了一种多模态融合的人机交互意图理解方法及系统。其实现步骤为：麦克风捕获语音，再转换为文字；摄像头捕获帧序列；文字与帧序列通过判断门判断输入是否为空；如果内容为文字，则文字通过特征提取模块，得到文本特征；如果为文字与帧序列，则帧序列通过门控模块判断手势类型；如果为动态手势，则帧序列通过网络提取特征，与文本特征通过特征融合模块进行融合；如果为静态手势，则静态手势通过特征提取模块提取特征，与文本特征通过融合网络进行融合；如果输入内容为动态手势，则帧序列通过时间空间特征网络；最终进行意图分类。本发明形成一个完整的多模态融合网络，作为机器人进行意图理解的重要过程，可以更好提高意图理解准确率。