-
公开(公告)号：CN118097555B
公开(公告)日：2025-01-17
申请号：CN202410235447.0
申请日：2024-03-01
Applicant: 山东大学
Abstract: 本发明提供了一种多视角多模态融合的厂区监控检测方法及系统，获取同一时刻的点云信息和不同采集位置的图片信息；对获取的点云信息进行特征提取，得到点云特征；对图片信息分别进行特征提取，得到多组图片特征；将点云特征和各个图片特征进行内外参矩阵旋转，引入注意力机制增强旋转后的各个特征的空间关联性，并将对应于同一特征点的体素特征旋转对齐，并进行级联；利用目标检测网络模型对级联后的特征进行目标检测，得到检测结果。本发明采用不同视角摄像头、激光雷达两种传感器协同工作，并基于多模态融合的点云目标检测网络进行目标检测，优化了场端监控系统的视野稳定性，提升了针对大面积遮挡以及环境多变问题的鲁棒性。
-
公开(公告)号：CN118898751A
公开(公告)日：2024-11-05
申请号：CN202411375189.2
申请日：2024-09-30
Applicant: 山东大学
IPC: G06V10/764 , G06V10/40 , G06V10/80 , G06V10/25 , G06N3/045
Abstract: 本发明属于计算机技术及图像处理领域，提供了一种基于弱投影映射和双模态顺序增强融合的检测方法及系统，对图像信息和点云信息分别进行特征提取，将图像特征和点云特征初步对齐，并捕捉点云与图像之间的局部相关性；将点云特征进行映射，并计算注意力权重，并利用注意力权重对值向量进行加权求和；对融合后的特征聚合K个邻居的特征信息，得到点‑图聚合特征；将点‑图聚合特征、点特征与点坐标信息映射到相同的通道维度中，确定点‑图聚合特征与点特征的融合注意门权重；根据融合注意门权重，分别得到融合后的图像特征和融合后的点特征；本发明不仅实现了两种模态的多尺度充分交互，还有效减少了噪音和无效信息的传播。
-
公开(公告)号：CN119360366A
公开(公告)日：2025-01-24
申请号：CN202411918158.7
申请日：2024-12-25
Applicant: 山东大学
Abstract: 本公开提供了基于多传感器融合的室外苹果识别定位方法及系统，涉及目标检测技术领域，包括获取室外苹果的图像数据以及激光雷达点云数据，将图像数据输入至目标检测模型，得到RGB图像；通过标定外参矩阵得到ROI深度信息区域；使用边缘检测算法对RGB图像提取图像边缘特征，获得ROI边缘信息图；对ROI深度信息区域进行去噪与不连续点检测，得到深度边缘数据；利用双边缘匹配算法对深度边缘数据与ROI边缘信息图进行边缘特征匹配，并使用RANSAC拟合算法来生成苹果的光滑边缘曲线；根据拟合结果构建球体模型，通过最小化残差平方和求解中心坐标和半径，得到苹果的定位三维信息。
-
公开(公告)号：CN117162113A
公开(公告)日：2023-12-05
申请号：CN202311183017.0
申请日：2023-09-13
Applicant: 山东大学
Abstract: 本发明提出了一种苹果采摘机器人无碰撞抓取方法及系统，涉及采摘机器人领域，基于远景摄像头采集的远景图像，进行远端苹果树的检测，并生成机器人的导航路径，引导机器人移动到采摘范围；基于手部摄像头采集的近景图像，通过无碰撞抓取识别网络，在采摘范围内精准识别和定位目标苹果，并生成机械臂的无碰撞抓取姿态，进行苹果的避障抓取；其中，所述无碰撞抓取姿态包括抓取方向和抓取路径，所述无碰撞抓取识别网络，在语义分割的基础上，生成一个避障树叶的抓取方向，并进行机械臂的路径规划，得到抓取路径；本发明采用双深度摄像头协同工作，基于点云避障及远近景切换方法，进行无碰撞抓取，提高了抓取与识别效率，降低了果木损伤风险。
-
Patent Agency Ranking
公开(公告)号：CN118898751B
公开(公告)日：2025-01-24
申请号：CN202411375189.2
申请日：2024-09-30
Applicant: 山东大学
IPC: G06V10/764 , G06V10/40 , G06V10/80 , G06V10/25 , G06N3/045
Abstract: 本发明属于计算机技术及图像处理领域，提供了一种基于弱投影映射和双模态顺序增强融合的检测方法及系统，对图像信息和点云信息分别进行特征提取，将图像特征和点云特征初步对齐，并捕捉点云与图像之间的局部相关性；将点云特征进行映射，并计算注意力权重，并利用注意力权重对值向量进行加权求和；对融合后的特征聚合K个邻居的特征信息，得到点‑图聚合特征；将点‑图聚合特征、点特征与点坐标信息映射到相同的通道维度中，确定点‑图聚合特征与点特征的融合注意门权重；根据融合注意门权重，分别得到融合后的图像特征和融合后的点特征；本发明不仅实现了两种模态的多尺度充分交互，还有效减少了噪音和无效信息的传播。
-
公开(公告)号：CN119183797A
公开(公告)日：2024-12-27
申请号：CN202411627588.3
申请日：2024-11-14
Applicant: 山东大学
IPC: A01D46/30
Abstract: 本发明公开了一种类球形果蔬采摘机械手、采摘机构、采摘设备及方法，解决了现有技术中采摘机械手在旋转果蔬的过程中容易出现打滑的问题，具有避免在果蔬旋转拧下过程中出现打滑、提高采摘效率的有益效果，具体方案如下：一种类球形果蔬采摘机械手，包括包括底座，底座支撑至少4个夹爪手指，相邻两夹爪手指之间间隔角度设置，多个夹爪手指之间形成用于容纳果蔬的空间，多个夹爪手指对果蔬抓取后，夹爪手指可朝向果蔬移动对果蔬进行夹持，多个夹爪手指中至少两个夹爪手指的长度长于另外的夹爪手指的长度，长度较长夹爪手指的长度大于果蔬的高度以在夹爪手指夹持果蔬时向果蔬提供朝向果蔬中心的作用力，以对果蔬进行限位。
-
-
公开(公告)号：CN118097555A
公开(公告)日：2024-05-28
申请号：CN202410235447.0
申请日：2024-03-01
Applicant: 山东大学
Abstract: 本发明提供了一种多视角多模态融合的厂区监控检测方法及系统，获取同一时刻的点云信息和不同采集位置的图片信息；对获取的点云信息进行特征提取，得到点云特征；对图片信息分别进行特征提取，得到多组图片特征；将点云特征和各个图片特征进行内外参矩阵旋转，引入注意力机制增强旋转后的各个特征的空间关联性，并将对应于同一特征点的体素特征旋转对齐，并进行级联；利用目标检测网络模型对级联后的特征进行目标检测，得到检测结果。本发明采用不同视角摄像头、激光雷达两种传感器协同工作，并基于多模态融合的点云目标检测网络进行目标检测，优化了场端监控系统的视野稳定性，提升了针对大面积遮挡以及环境多变问题的鲁棒性。
-
-
-
-
-
-
-
Search Results
9
records
(took 0.024 seconds)
