-
公开(公告)号:CN119660569A
公开(公告)日:2025-03-21
申请号:CN202411718289.0
申请日:2024-11-28
Applicant: 燕山大学
IPC: B66C13/16 , B66C13/48 , G06T7/207 , G06V10/26 , G06V10/80 , G06V10/44 , G06V10/82 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/0455 , G06N3/084
Abstract: 本发明公开了基于RGBD图像的起重机端到端运动轨迹预测方法,属于智能控制领域,包括训练和预测两个阶段:训练时输入起重机作业时采集的驾驶室视角的RGB图像序列和深度图像序列以及操作端的运动控制指令,基于语义分割网络对RGB图像进行分割得到语义分割图,同时融合类别索引图和深度图,得到语义深度图;RLSTM‑Transformer双分支网络提取语义分割图和语义深度图的特征并预测运动控制命令。最小化预测值与真实值之间的偏差,训练上述神经网络模型,得到预测模型;预测时将RGB图像和深度图像输入训练好的语义RLSTM‑Transformer起重机端到端运动轨迹预测模型中,模型预测输出起重机的运动控制命令。
-
公开(公告)号:CN119445659A
公开(公告)日:2025-02-14
申请号:CN202411487694.6
申请日:2024-10-24
Applicant: 燕山大学
IPC: G06V40/20 , G06V20/40 , G06V10/26 , G06V10/28 , G06V10/34 , G06V10/46 , G06V10/75 , G06T7/194 , G06T7/62
Abstract: 本发明提供了一种基于机器视觉的小鼠抓挠行为检测方法,属于图像处理及生物行为识别技术领域,包括:建立所需的拍摄环境,以相机俯拍的角度记录有光照、光线较暗、两只小鼠同时存在等不同情况下的小鼠行为。系统首先对图像进行灰度处理操作,后通过Otsu算法获取分割阈值分别进行两次二值化分割,利用图像减法运算将小鼠爪子和耳朵轮廓提取出来后,进行小对象去除、形态学膨胀,腐蚀等操作以最大程度的减少所需目标外的其他影响。计算小鼠对应前景的面积大小,中心点坐标以及爪子和耳朵之间的距离,通过设定相应的距离阈值和计算出的距离相比较,来判断小鼠是否有抓挠的动作。本发明方法可以有效提高小鼠抓挠行为检测的准确性,节省大量人力成本。
-
公开(公告)号:CN115514885B
公开(公告)日:2024-03-01
申请号:CN202211037134.1
申请日:2022-08-26
Applicant: 燕山大学
IPC: H04N23/66 , G06F3/01 , H04N13/332 , H04N13/366 , H04N23/695
Abstract: 本发明公开基于单双目融合的远程增强现实随动感知系统及方法,属于智能工程机械领域,所述系统包括用于采集施工场景的RGB信息和深度数据并通过无线传输技术发送到服务器端边缘端单双目融合随动智能感知模块、服务器端智能处理模块以及用户端增强现实模块;所述服务器端智能处理模块用于执行铲斗姿态估计、铲斗斗尖定位、精准环境感知以及增强现实所需的计算;所述用户端增强现实模块包括三维显示设备和操纵台,三维显示设备用于显示服务器端算法处理模块处理的三维信息融合图像,操纵台用于控制施工现场的工程机械作业。本发明以远程随动智能感知技术为基础,能够解决操作者的临场感和距离感缺失等问题。
-
公开(公告)号:CN114460904B
公开(公告)日:2024-02-02
申请号:CN202210087683.3
申请日:2022-01-25
Applicant: 燕山大学
IPC: G05B19/4103
Abstract: 本发明涉及数字孪生技术领域,一种面向龙门机器人的数字孪生系统,该系统由物理世界的真实龙门机器人、数字世界的虚拟龙门机器人和互连两者云服务器组成;物理世界的真实龙门机器人由龙门机器人、驱动模块、视觉测量模块和控制模块组成,数字世界的虚拟龙门机器人由运动分析及路径规划模块、控制决策模块、位姿计算模块和三维在线监视模块组成;数字世界的虚拟龙门机器人和物理世界的真实龙门机器人通过云端服务器和Ethercat通讯进行数据传输;本发明在虚拟场景中对1:1的虚拟龙门机器人模型进行运动学模拟,实现真实龙门机器人的三维可视化在线监控和视觉反馈远程闭环操控,使龙门机器人虚拟和实际运行位置误差在正负0.2mm以
-
公开(公告)号:CN116423515B
公开(公告)日:2023-10-03
申请号:CN202310475566.9
申请日:2023-04-28
Applicant: 燕山大学
IPC: B25J9/16
Abstract: 本发明公开了一种多机器人的数字孪生控制系统及其定位与建图的方法,涉及机器人技术领域。该系统可以包括多个机器人和数字孪生控制系统,多个机器人中每个机器人均包括传感器模组、边缘端处理设备以及运动控制设备,数字孪生控制系统包括多个机器人的数字孪生体和虚拟作业场景,数字孪生体和机器人是一一对应的,虚拟作业场景和实际作业场景是对应的,传感器模组与边缘端处理设备连接,边缘端处理设备、数字孪生控制系统与运动设备通过无线通信技术连接。该系统可以高效实时的仿真多个机器人的工作场景并模拟机器人的工作状态,同时也能够方便灵活的通过数字孪生技术实现对多机器人的遥操作控制,安全高效的助力施工作业。
-
公开(公告)号:CN116311506A
公开(公告)日:2023-06-23
申请号:CN202310145556.9
申请日:2023-02-21
Applicant: 燕山大学
IPC: G06V40/20 , G06V10/44 , G06V20/40 , G06V10/77 , G06V10/80 , G06V10/764 , G06V10/82 , G06N3/045 , G06N3/08
Abstract: 本发明涉及一种多特征融合的人‑物交互动作识别方法,通过提取视频序列帧进行数据处理。首先,采用基于深度学习的目标检测算法进行物体识别,提取物体的边界框及位置信息。然后,将骨骼数据和物体识别结果进行交叉融合,根据骨骼信息提取骨骼段之间的角度特征和关节之间的相对距离特征、物体到关节间的相对距离和角度特征并进行多特征融合。最后,本发明的方法将人与物体间的特征向量和人体关节间的特征向量整合后通过多层学习的分类方法对视频进行动作分类,从而可以更准确的完成视频的动作分类。
-
公开(公告)号:CN114290016B
公开(公告)日:2023-01-03
申请号:CN202111571505.X
申请日:2021-12-21
Applicant: 燕山大学
Abstract: 本发明公开了一种基于双目视差计算的木工家具高精度装配系统及方法,属于智能制造技术领域,该系统包括工作台、标志物、机械臂、抓取双目采集模块、微调双目采集模块、处理模块,所述处理模块包括视觉控制模块和机械臂控制模块;该方法包括采集装配物整体位置图像;根据装配物位置图像和工作台中心位置,得到装配物粗定位位置,将装配物放置在工作台中心;采集标志物附近的装配物一角和标志物位置图像,得到装配物精定位位置,其中,所述装配物一角图像包括微调双目采集模块采集的左、右图像;根据装配物精定位位置,对装配物进行调整;完成装配物定位;本发明降低了木工家具装配中人力成本大的问题,提高了木工家具中板材的高精度定位精度。
-
公开(公告)号:CN115144879A
公开(公告)日:2022-10-04
申请号:CN202210774218.7
申请日:2022-07-01
Applicant: 燕山大学
IPC: G01S19/41 , G01S19/43 , G01S19/46 , G06N3/04 , G06N3/08 , G06T7/73 , G06V10/75 , G06V10/82 , G06V20/17
Abstract: 本发明公开了一种多机多目标动态定位系统及使用定位系统的多机多目标动态定位方法,属于目标定位技术领域,系统包括无人机群、地面站、通信网络、飞行控制器、机载计算机和机载摄像头,使用定位系统利用坐标转换关系计算出每个目标中心与无人机之间的视线向量,结合无人机自身位置及姿态信息实现多目标动态定位,本发明不受地形因素影响且定位精准度高,可实现多动态目标同时定位。
-
公开(公告)号:CN114998444A
公开(公告)日:2022-09-02
申请号:CN202210554626.1
申请日:2022-05-20
Applicant: 燕山大学
Abstract: 本发明涉及一种基于两通道网络的机器人高精度位姿测量系统,属于计算机视觉技术领域,包括单目相机、高精度位姿测量模块、高精度位姿标定机构、静态标志物和边缘端处理器;单目相机采集训练数据集时固定在高精度位姿标定机构末端,在线测试时与边缘端处理器封装为模块固定在低精度机械臂的末端;静态标志物放置于单目相机前方视野范围内;高精度位姿测量模块内植入位姿测量的两通道网络模型,所述模型通过输入拍摄的静态标志物图像以及位姿训练和位姿测量两个步骤实现机器人的高精度位姿测量。本发明只采集一张图像与参考图像组成图像对输入到模型中就能完成高精度位姿测量,省去了设计复杂标志物来获取物体三维距离信息,大幅度减少了工业成本。
-
公开(公告)号:CN114708326A
公开(公告)日:2022-07-05
申请号:CN202111527480.3
申请日:2021-12-14
Applicant: 燕山大学
Abstract: 本发明涉及计算机视觉技术领域,尤其是自适应调整亮度和模糊度的全自动相机标定系统及其方法,该系统包括单目相机、旋转移动平台、平台运动控制器、圆心标定板、无线传输设备、处理器和显示设备,以及自动高精度标定软件;该方法根据补偿系数将图像特定区域中颜色为黑白灰度值的像素数量比例转化为1:2,根据区域的平均灰度值自适应调整曝光值;通过提取图像特定特征圆四个方向的边缘点,将边缘点的灰度值拟合曲线并计算出边缘点的平均斜率,平均斜率的数值表征图像当前的模糊情况,反馈至平台控制器实现自适应调整模糊度,根据预设定指令控制旋转移动平台调整至预设的最佳位姿自动拍摄图像,通过高精度相机标定策略实现相机的自动高精度标定。
-
-
-
-
-
-
-
-
-