一种面向散货的多工程机械数字孪生在线监控系统及方法

    公开(公告)号:CN114545877B

    公开(公告)日:2024-04-05

    申请号:CN202210118468.5

    申请日:2022-02-08

    Abstract: 本发明公开了一种面向散货的多工程机械数字孪生在线监控系统及方法,属于人工智能技术领域,所述系统包括多工程机械及作业场景物理实体、边缘处理服务器、数据处理服务器和相应的数字孪生体;所述方法包括面向散货的多工程机械数字孪生在线监控系统的监控方法、位置映射方法和工程机械实体碰撞检测及智能预测方法;所述监控方法中多工程机械及作业场景物理实体和数字孪生体通过位置映射方法实现离线的虚实场景标定。本发明通过虚实空间对齐、基于海量激光点云数据动态可视化技术和智能碰撞预警与智能预测实现了多工程机械物理实体和数字实体之间的实时数据映射和运动交互。

    一种面向散货的多工程机械数字孪生在线监控系统及方法

    公开(公告)号:CN114545877A

    公开(公告)日:2022-05-27

    申请号:CN202210118468.5

    申请日:2022-02-08

    Abstract: 本发明公开了一种面向散货的多工程机械数字孪生在线监控系统及方法,属于人工智能技术领域,所述系统包括多工程机械及作业场景物理实体、边缘处理服务器、数据处理服务器和相应的数字孪生体;所述方法包括面向散货的多工程机械数字孪生在线监控系统的监控方法、位置映射方法和工程机械实体碰撞检测及智能预测方法;所述监控方法中多工程机械及作业场景物理实体和数字孪生体通过位置映射方法实现离线的虚实场景标定。本发明通过虚实空间对齐、基于海量激光点云数据动态可视化技术和智能碰撞预警与智能预测实现了多工程机械物理实体和数字实体之间的实时数据映射和运动交互。

    基于RGBD图像的起重机端到端运动轨迹预测方法

    公开(公告)号:CN119660569A

    公开(公告)日:2025-03-21

    申请号:CN202411718289.0

    申请日:2024-11-28

    Applicant: 燕山大学

    Abstract: 本发明公开了基于RGBD图像的起重机端到端运动轨迹预测方法,属于智能控制领域,包括训练和预测两个阶段:训练时输入起重机作业时采集的驾驶室视角的RGB图像序列和深度图像序列以及操作端的运动控制指令,基于语义分割网络对RGB图像进行分割得到语义分割图,同时融合类别索引图和深度图,得到语义深度图;RLSTM‑Transformer双分支网络提取语义分割图和语义深度图的特征并预测运动控制命令。最小化预测值与真实值之间的偏差,训练上述神经网络模型,得到预测模型;预测时将RGB图像和深度图像输入训练好的语义RLSTM‑Transformer起重机端到端运动轨迹预测模型中,模型预测输出起重机的运动控制命令。

    一种基于机器视觉的小鼠抓挠行为检测方法

    公开(公告)号:CN119445659A

    公开(公告)日:2025-02-14

    申请号:CN202411487694.6

    申请日:2024-10-24

    Applicant: 燕山大学

    Abstract: 本发明提供了一种基于机器视觉的小鼠抓挠行为检测方法,属于图像处理及生物行为识别技术领域,包括:建立所需的拍摄环境,以相机俯拍的角度记录有光照、光线较暗、两只小鼠同时存在等不同情况下的小鼠行为。系统首先对图像进行灰度处理操作,后通过Otsu算法获取分割阈值分别进行两次二值化分割,利用图像减法运算将小鼠爪子和耳朵轮廓提取出来后,进行小对象去除、形态学膨胀,腐蚀等操作以最大程度的减少所需目标外的其他影响。计算小鼠对应前景的面积大小,中心点坐标以及爪子和耳朵之间的距离,通过设定相应的距离阈值和计算出的距离相比较,来判断小鼠是否有抓挠的动作。本发明方法可以有效提高小鼠抓挠行为检测的准确性,节省大量人力成本。

    基于单双目融合的远程增强现实随动感知系统及方法

    公开(公告)号:CN115514885B

    公开(公告)日:2024-03-01

    申请号:CN202211037134.1

    申请日:2022-08-26

    Applicant: 燕山大学

    Abstract: 本发明公开基于单双目融合的远程增强现实随动感知系统及方法,属于智能工程机械领域,所述系统包括用于采集施工场景的RGB信息和深度数据并通过无线传输技术发送到服务器端边缘端单双目融合随动智能感知模块、服务器端智能处理模块以及用户端增强现实模块;所述服务器端智能处理模块用于执行铲斗姿态估计、铲斗斗尖定位、精准环境感知以及增强现实所需的计算;所述用户端增强现实模块包括三维显示设备和操纵台,三维显示设备用于显示服务器端算法处理模块处理的三维信息融合图像,操纵台用于控制施工现场的工程机械作业。本发明以远程随动智能感知技术为基础,能够解决操作者的临场感和距离感缺失等问题。

    一种面向龙门机器人的数字孪生系统

    公开(公告)号:CN114460904B

    公开(公告)日:2024-02-02

    申请号:CN202210087683.3

    申请日:2022-01-25

    Applicant: 燕山大学

    Abstract: 本发明涉及数字孪生技术领域,一种面向龙门机器人的数字孪生系统,该系统由物理世界的真实龙门机器人、数字世界的虚拟龙门机器人和互连两者云服务器组成;物理世界的真实龙门机器人由龙门机器人、驱动模块、视觉测量模块和控制模块组成,数字世界的虚拟龙门机器人由运动分析及路径规划模块、控制决策模块、位姿计算模块和三维在线监视模块组成;数字世界的虚拟龙门机器人和物理世界的真实龙门机器人通过云端服务器和Ethercat通讯进行数据传输;本发明在虚拟场景中对1:1的虚拟龙门机器人模型进行运动学模拟,实现真实龙门机器人的三维可视化在线监控和视觉反馈远程闭环操控,使龙门机器人虚拟和实际运行位置误差在正负0.2mm以

    一种多机器人的数字孪生控制系统及其定位与建图的方法

    公开(公告)号:CN116423515B

    公开(公告)日:2023-10-03

    申请号:CN202310475566.9

    申请日:2023-04-28

    Applicant: 燕山大学

    Inventor: 丁伟利 杨韬

    Abstract: 本发明公开了一种多机器人的数字孪生控制系统及其定位与建图的方法,涉及机器人技术领域。该系统可以包括多个机器人和数字孪生控制系统,多个机器人中每个机器人均包括传感器模组、边缘端处理设备以及运动控制设备,数字孪生控制系统包括多个机器人的数字孪生体和虚拟作业场景,数字孪生体和机器人是一一对应的,虚拟作业场景和实际作业场景是对应的,传感器模组与边缘端处理设备连接,边缘端处理设备、数字孪生控制系统与运动设备通过无线通信技术连接。该系统可以高效实时的仿真多个机器人的工作场景并模拟机器人的工作状态,同时也能够方便灵活的通过数字孪生技术实现对多机器人的遥操作控制,安全高效的助力施工作业。

    多特征融合的人-物交互动作识别方法

    公开(公告)号:CN116311506A

    公开(公告)日:2023-06-23

    申请号:CN202310145556.9

    申请日:2023-02-21

    Applicant: 燕山大学

    Abstract: 本发明涉及一种多特征融合的人‑物交互动作识别方法,通过提取视频序列帧进行数据处理。首先,采用基于深度学习的目标检测算法进行物体识别,提取物体的边界框及位置信息。然后,将骨骼数据和物体识别结果进行交叉融合,根据骨骼信息提取骨骼段之间的角度特征和关节之间的相对距离特征、物体到关节间的相对距离和角度特征并进行多特征融合。最后,本发明的方法将人与物体间的特征向量和人体关节间的特征向量整合后通过多层学习的分类方法对视频进行动作分类,从而可以更准确的完成视频的动作分类。

    一种基于双目视差计算的木工家具高精度装配系统及方法

    公开(公告)号:CN114290016B

    公开(公告)日:2023-01-03

    申请号:CN202111571505.X

    申请日:2021-12-21

    Applicant: 燕山大学

    Abstract: 本发明公开了一种基于双目视差计算的木工家具高精度装配系统及方法,属于智能制造技术领域,该系统包括工作台、标志物、机械臂、抓取双目采集模块、微调双目采集模块、处理模块,所述处理模块包括视觉控制模块和机械臂控制模块;该方法包括采集装配物整体位置图像;根据装配物位置图像和工作台中心位置,得到装配物粗定位位置,将装配物放置在工作台中心;采集标志物附近的装配物一角和标志物位置图像,得到装配物精定位位置,其中,所述装配物一角图像包括微调双目采集模块采集的左、右图像;根据装配物精定位位置,对装配物进行调整;完成装配物定位;本发明降低了木工家具装配中人力成本大的问题,提高了木工家具中板材的高精度定位精度。

Patent Agency Ranking