-
公开(公告)号:CN116309817A
公开(公告)日:2023-06-23
申请号:CN202211638336.1
申请日:2022-12-19
Applicant: 东北大学
Abstract: 本发明提供一种基于RGB‑D相机的托盘检测与定位方法,涉及工厂仓储运输技术领域。本发明采用基于深度学习的视觉目标检测方法训练数据集得到托盘检测模型,再对相机传输来的图像数据进行推理,得出托盘感兴趣区域,然后根据RGB‑D相机内参和深度图像获得托盘三维点云,对其进行三维平面分割,根据平面法向量的朝向确定托盘叉取平面;最后根据托盘叉取平面几何形状获得托盘的几何中心和朝向角。本发明通过构建托盘数据集并进行模型训练,利用深度神经网络强大的学习能力对托盘进行检测识别,不仅对一定程度光线变化和遮挡情况等复杂环境下的托盘检测具有较高的准确性和鲁棒性,还能快速去除背景,减少计算成本,与之前的方法相比具有较高的精度和鲁棒性。
-
公开(公告)号:CN115880333A
公开(公告)日:2023-03-31
申请号:CN202211545845.X
申请日:2022-12-05
Applicant: 东北大学
IPC: G06T7/246 , G06V10/74 , G06V10/80 , G06V10/54 , G06V10/762 , G06T7/70 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种基于多模态信息融合的三维单目标跟踪方法,首先实现原始图像和激光点云的空间对齐;其次基于深度学习方法构建双流特征提取网络,并行提取图像与点云的高维语义特征;随后通过自注意力机制加权模态内的重要信息,并利用交叉注意力机制构建不同模态间的语义联系;然后基于语义增强特征计算纹理和几何相似度,并利用注意力机制生成多模态相似度特征;最后采用多层卷积结构预测目标空间位置与朝向。本发明旨在于充分利用多源传感器异构数据的互补优势,并借助深度学习中的注意力机制自适应融合图像纹理信息和点云几何特征,生成更为鲁棒的多模态特征,以精准回归跟踪目标的三维坐标及朝向,提升三维目标跟踪器的鲁棒性、准确性。
-
公开(公告)号:CN113703462A
公开(公告)日:2021-11-26
申请号:CN202111025527.6
申请日:2021-09-02
IPC: G05D1/02
Abstract: 本发明提供一种基于四足机器人的未知空间自主探索系统,系统包括数据采集模块、定位与建图模块、自主探索模块和目标检测模块;数据采集模块采集地下空间的环境信息,利用定位与建图模块实现实时三维场景重建和自主定位;自主探索模块自主决策下一个未探测的目标点作为下一个目标位置;目标检测模块感知周围障碍物的分布,并根据到最新建立的环境地图进行路径规划,实现在未知空间的自主避障和导航,运动到下一个目标位置进行探测;最后,在探测全部完成或者机器人电量快消耗完时,系统控制机器人自主根据所建立的地图返回到出发点,并建立出所探测空间的全局一致性三维环境地图。本发明的系统赋予了移动机器人驾驭未知空间的能力。
-
公开(公告)号:CN110109466B
公开(公告)日:2021-07-16
申请号:CN201910466887.6
申请日:2019-05-31
Applicant: 东北大学
Abstract: 本发明属于机器人领域,具体涉及一种基于多传感器的自主地面打磨机器人控制系统,包括:工控机、触控屏、激光传感器、超声波传感器、编码器和路由器;所述工控机内装载有基于ROS操作系统的地面打磨控制程序,包括:地面打磨单元、屏幕触控单元、坐标变换管理单元和速度管理单元;所述地面打磨单元包括:建图模块、定位模块、路径规划模块和控制模块。本发明针对不同的施工环境,可以选择最佳的地图创建方法;作业区域地图可以随时更改,对打磨不平整的区域,进行多次打磨;应用多传感器融合的方法,安全防护能力增强。
-
公开(公告)号:CN107067470B
公开(公告)日:2019-09-06
申请号:CN201710218682.7
申请日:2017-04-05
Applicant: 东北大学
IPC: G06T17/20
Abstract: 本发明涉及一种基于红外热像仪与深度相机的便携式三维温度场重建系统,包括:主处理单元、温度信息采集单元以及三维点云信息采集单元;其中主处理单元利用所包含的GPU器件实现对数据的处理与软件的运行;温度信息采集模块实现对物体表面温度信息的采集;三维点云信息采集模块实现对物体表面三维空间信息的采集,物体表面温度信息和物体表面三维空间信息传输至主处理单元进行处理,将处理后的信息通过可视化上位机进行显示。本发明能够实时在线的对场景进行三维建模,能够将红外温度场信息与三维模型融合,重建效果相比单方面使用RGB‑D深度摄像机或者红外热像仪有了明显的提高。
-
公开(公告)号:CN107067470A
公开(公告)日:2017-08-18
申请号:CN201710218682.7
申请日:2017-04-05
Applicant: 东北大学
IPC: G06T17/20
Abstract: 本发明涉及一种基于红外热像仪与深度相机的便携式三维温度场重建系统,包括:主处理单元、温度信息采集单元以及三维点云信息采集单元;其中主处理单元利用所包含的GPU器件实现对数据的处理与软件的运行;温度信息采集模块实现对物体表面温度信息的采集;三维点云信息采集模块实现对物体表面三维空间信息的采集,物体表面温度信息和物体表面三维空间信息传输至主处理单元进行处理,将处理后的信息通过可视化上位机进行显示。本发明能够实时在线的对场景进行三维建模,能够将红外温度场信息与三维模型融合,重建效果相比单方面使用RGB‑D深度摄像机或者红外热像仪有了明显的提高。
-
公开(公告)号:CN106534338A
公开(公告)日:2017-03-22
申请号:CN201611102770.2
申请日:2016-12-05
Applicant: 东北大学
CPC classification number: H04L67/2809 , G06F9/45533 , G06F9/45558 , G06F9/546 , H04L67/10
Abstract: 本发明提供一种云机器人系统及实现方法,涉及云机器人技术领域。包括基于RabbitMQ的消息中间件、基于JSON的消息解析器和基于OpenStack SDK虚拟资源自动配置模块,首先利用基于RabbitMQ的消息中间件接收、存储、转发机器人请求信息,再利用基于JSON的消息解析器解析该请求消息,得到创建配置云中虚拟资源的参数,最后基于OpenStack SDK的虚拟资源自动配置模块根据解析出的参数信息自动创建配置网络、虚拟机等云中资源,使虚拟机与机器人能相互连接、相互通信,进而根据云中虚拟资源对机器人进行控制。本发明能接收机器人发出的请求消息,自动创建配置云中虚拟资源,使机器人按需使用云中资源。
-
-
公开(公告)号:CN105866793A
公开(公告)日:2016-08-17
申请号:CN201610480172.2
申请日:2016-06-27
Applicant: 东北大学
IPC: G01S17/89
CPC classification number: G01S17/89
Abstract: 本发明提供基于2D激光雷达的便携式三维扫描装置,包括2D激光雷达、微控制器、步进电机、电机驱动器、编码器、串口通信板、供电电源、导电滑环和PC机;编码器的输出端和2D激光雷达的同步信号端连接微控制器的数据输入端,微控制器的数据输出端连接串口通信板的输入端,微控制器的控制端连接电机驱动器的输入端,电机驱动器的输出端连接步进电机的输入端,串口通讯板的数据输出端通过USB集线器连接PC机,2D激光雷达的数据输出端通过导电滑环和USB集线器连接PC机,电机驱动器的电源端和2D激光雷达的电源端连接供电电源;本发明装置构成合理、简洁,使用便捷,可以快速地进行三维扫描,成本低、操作简单、使用方便。
-
公开(公告)号:CN102393662B
公开(公告)日:2013-07-10
申请号:CN201110309560.1
申请日:2011-10-13
Applicant: 东北大学
IPC: G05B19/042
Abstract: 一种电熔镁炉嵌入式自动控制装置,包括监控计算机、电流传感器、电熔镁炉三相电极、电机、接触器及交流220V继电器,还包括:嵌入式控制器和接口电路板,电流传感器采集流经电容镁炉三相电极的三相电流;电流传感器将采集到的三相电流传递给隔离器,经接线端子传递给扩展板,后输出给CPU主板;处理后的数据与电流设定值之间的差值来判断是否有电流超限,若电流超限,则控制电机调节电极运动,若电流不超限,则保持电极不动;本发明方法嵌入式控制器内部,在稳定性和实时性方面具有较高风险的工业控制计算机不再承担运行控制和优化算法的任务,大幅提升运行速度、效率、及控制精度,同时降低了控制装置的故障率。
-
-
-
-
-
-
-
-
-