-
公开(公告)号:CN119356524A
公开(公告)日:2025-01-24
申请号:CN202411458686.9
申请日:2024-10-18
Applicant: 济南大学
IPC: G06F3/01 , A61B34/30 , A61B34/00 , G16H40/63 , G06V40/10 , G06V40/20 , G06V20/20 , G06V20/40 , G06V20/56 , G06V10/25 , G06V10/44 , G06V10/50 , G06V10/56 , G06V10/82 , G06N3/045 , G06N3/0464
Abstract: 本申请公开了一种改进的适应手术环境下的手势识别方法及手术用具传递系统。其实现步骤为:利用AR眼镜第一视角捕获图像,同时将当前手术所需要的材料投影到AR眼镜中虚拟呈像辅助手术,将图像通过TCP/IP以及RosConnected传递给ROS系统,对图像进行预处理,利用RegNetCA网络进行手势识别,得到手势识别结果后进入判断门,指导机械臂进行相应物品抓取传递,利用kinova机械臂上的d435i进行物体识别,利用Yolov8识别物体返回物体三维坐标,利用坐标转换将相机坐标系下的物体坐标转换成整体坐标,机械臂得到坐标后达到目标点位进行抓取并将物品传递到指定位置。本发明形成了一个完整的无接触物体传递系统,通过融合颜色的手势识别算法提高了手势识别的准确率。
-
公开(公告)号:CN118736536A
公开(公告)日:2024-10-01
申请号:CN202410730294.7
申请日:2024-06-06
Applicant: 济南大学
Abstract: 本发明公开了基于外观姿态融合网络的分心驾驶行为识别方法及系统,其中方法,包括:训练后的外观姿态融合网络,用于基于人体姿态估计算法对驾驶行为视频数据进行处理,得到驾驶员上半身的关节坐标,根据所述关节坐标得到骨骼数据;将关节坐标输入到第一图卷积网络中,得到关节特征;将骨骼数据,输入到第二图卷积网络中,得到骨骼特征;将驾驶行为视频数据,输入到混合卷积网络中,得到外观特征;将关节特征和骨骼特征进行融合得到一级融合特征;将一级融合特征与外观特征进行融合得到二级融合特征;对二级融合特征进行分类,得到驾驶行为识别结果。
-
公开(公告)号:CN118608971A
公开(公告)日:2024-09-06
申请号:CN202410793800.7
申请日:2024-06-19
Applicant: 济南大学
IPC: G06V20/10 , G06V10/25 , G06V10/44 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/084
Abstract: 本发明提供了一种基于特征交互和时空关联的变化检测方法和系统,涉及遥感图像变化检测技术领域。具体步骤如下:首先,获取双时相变化检测数据集并进行预处理。其次,构建基于双编码双解码结构的变化检测模型,该模型包括混合有效通道模块,其主要使得双时特征在交互时保持空间信息相似性并保留更多有效的通道信息;空间去噪注意模块,其主要将浅层特征上的细节和边缘等位置信息强化;特征融合上采样模块,其主要用于上采样阶段进行模型的训练与数据传递。最后,验证训练完成的模型效果并保存结果使用。本发明能有效解决遥感应用任务中面临的因遥感图像自身的局限性而带来的挑战,例如雾、阴影、复杂目标等,提高了变化检测任务的精度。
-
公开(公告)号:CN117257308A
公开(公告)日:2023-12-22
申请号:CN202311422803.1
申请日:2023-10-30
Applicant: 济南大学
IPC: A61B5/18 , G06V20/59 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/048 , G06N3/094 , G06N3/0464 , G06F18/213 , G06F18/25 , G06F18/24
Abstract: 本发明属于计算机视觉领域,尤其涉及一种基于驾驶员眼动信息的驾驶员认知分心检测方法及系统,方法包括:获取驾驶员驾驶过程中的驾驶环境图像和驾驶员的眼动信息;对驾驶员的眼动信息进行预处理得到眼动注意力热图;基于多尺度融合对抗网络对当前帧的眼动注意力热图和驾驶环境图像进行多尺度特征提取以及多尺度特征融合后,得到当前帧的第一分类标签;将当前帧的多视图多尺度特征输入至时空融合网络中得到当前帧的第二分类标签;将当前帧的第一分类标签和第二分类标签进行加权融合后得到最终的驾驶员认知分心检测结果。本发明基于深度学习的激活与反向激活融合对抗网络对驾驶环境图像和眼动注意力热图进行特征融合,提高识别精度。
-
公开(公告)号:CN115965640A
公开(公告)日:2023-04-14
申请号:CN202310006762.1
申请日:2023-01-04
Applicant: 济南大学
IPC: G06T7/11 , G06T7/13 , G06V10/26 , G06V10/44 , G06V10/774 , G06V10/764 , G06V10/82 , G06V10/80 , G06V20/13 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了基于拉普拉斯滤波器的遥感图像分割方法及系统;其中所述方法,包括:基于拉普拉斯滤波器构建边缘特征提取模块;基于通道注意力模块和空间注意力模块,构建卷积注意力模块;基于边缘特征提取模块和卷积注意力模块,构建遥感图像分割模型;构建训练集,采用训练集对遥感图像分割模型进行训练,得到训练后的遥感图像分割模型;对训练后的遥感图像分割模型,移除边缘特征提取模块和卷积注意力模块,得到语义分割模型;获取待分割的遥感图像,采用语义分割模型,对待分割的遥感图像进行处理,得到分割后的图像。本发明解决了由于遥感图像场景复杂性较高等一系列原因导致的特征提取不完整,分割精度低的问题。
-
公开(公告)号:CN115797776A
公开(公告)日:2023-03-14
申请号:CN202211640734.7
申请日:2022-12-20
Applicant: 济南大学
Abstract: 本发明公开了遥感建筑物检测的方法及系统;其中所述方法,包括:构建训练集,所述训练集为已知遥感建筑物检测标签的遥感图像;采用训练集对建筑物检测模型进行训练,得到训练后的建筑物检测模型,其中,所述训练后的建筑物检测模型中设有边缘掩码网络;将边缘掩码网络,从训练后的建筑物检测模型中移除,得到修正的建筑物检测模型;获取待检测的遥感图像,将待检测的遥感图像输入到修正的建筑物检测模型中,输出图像中建筑物的检测结果。本发明利用边缘检测算子生成的边缘掩码标签和边缘掩码网络生成的特征图像进行训练,用来增强位置信息,在不增加计算代价的同时提高了物体检测精度。
-
公开(公告)号:CN115546503A
公开(公告)日:2022-12-30
申请号:CN202211285533.X
申请日:2022-10-20
Applicant: 济南大学
IPC: G06V10/42 , G06V10/26 , G06V10/764 , G06V10/82 , G06V10/774 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于深度注意力的自适应多尺度视觉特征表达方法及系统,包括:获取原始神经网络模型作为SDA网络模块的主干分支,用于分层特征的提取;设计SDA网络模块的轻量化深度注意力分支,用于动态加权分层特征;堆叠多个SDA网络模块构成神经网络,即为基于深度注意力的自适应多尺度视觉特征表达的神经网络方法;对自适应多尺度特征表达神经网络SDA‑Net进行参数优化,所得到的神经网络模型可用于图像分类、目标检测和语义分割等视觉任务的主干。
-
公开(公告)号:CN110286765B
公开(公告)日:2022-11-04
申请号:CN201910544619.1
申请日:2019-06-21
Applicant: 济南大学
Abstract: 本发明公开了一种智能实验容器及其使用方法,所述智能实验容器包括容器本体和控制模块,所述容器本体包括杯体,所述杯体外壁设置触摸传感器,所述杯体内侧设置摄像头、光源和流体物,所述摄像头和光源设置在杯体顶部,流体物设置在杯体底部;所述控制模块包括视觉模块、听觉模块、触觉模块和信息融合模块。通过信息融合模块处理获取的视觉、听觉或触觉信息,构建并执行完整的用户行为。本发明通过信息互补和信息独立两种融合策略,更加准确理解用户意图,实现自然的人机交互,可以及时纠正用户的错误操作,并通过语音合成模块引导其进行正确的实验操作。
-
公开(公告)号:CN110348417B
公开(公告)日:2022-09-30
申请号:CN201910646658.2
申请日:2019-07-17
Applicant: 济南大学
IPC: G06V40/20 , G06V40/10 , G06V10/764
Abstract: 本申请公开了一种深度手势识别算法的优化方法,涉及人机交互技术领域,所述方法包括:建立统一的数据集存放结构和统一的数据集文件;根据配置文件将数据集样本以载入到内存中;将载入的数据集样本交给完整统一的训练模块;优化神经网络结构;根据配置信息来配置训练过程中各种可调参数和训练模块的行为并开始训练;训练结束后依据配置文件进行模型的保存和实验中数据的保存;将训练过程产生的数据加载到画图模块进行训练过程相关曲线的绘制。建立统一的数据集存放结构和统一的数据集文件,能在不同的项目间迁移,对多种传统网络的网络参数设置与优化,将传统网络结合实际使用情况加以优化和改进,增加训练速度,优化训练结果,减小模型体积。
-
公开(公告)号:CN112651326B
公开(公告)日:2022-09-27
申请号:CN202011530576.0
申请日:2020-12-22
Applicant: 济南大学
IPC: G06V20/59 , G06V40/10 , G06V10/774
Abstract: 本发明公开一种基于深度学习的驾驶员手部检测方法及系统,包括:获取手部标注图像;在深度学习网络模型的主干网络中每个特征层上添加注意力机制,在注意力机制后连接由空间金字塔池化层和金字塔注意力网络组成的残差单元;对手部标注图像依次经主干网络和残差单元进行自下而上和自上而下的特征提取,根据得到的特征图对深度学习网络模型进行训练;对待测手部图像根据训练后的深度学习网络模型得到驾驶员手部的位置。通过将注意力机制模块添加到YOLOv4中主干网络CSPDarknet53中,优化深度学习网络,降低复杂驾驶环境中光照、遮挡与自遮挡等对驾驶员手部检测的影响,提高驾驶员手部检测的准确性。
-
-
-
-
-
-
-
-
-