-
公开(公告)号:CN116533247B
公开(公告)日:2024-07-23
申请号:CN202310629052.4
申请日:2023-05-31
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法,包括以下步骤:采集目标物体图像,构建卷积神经网络,输出目标物体的位置;选取部分目标物体的位置对机械臂进行抓取示教任务,收集机械臂末端轨迹以及人手部肌电信号;将肌电信号转化为刚度信息,并利用DMP建模,确定阻抗DMP模型参数;构建全连接神经网络并进行DMP参数训练;针对特定任务,利用全连接神经网络输出的阻抗DMP模型参数对轨迹与刚度进行建模,基于阻抗控制的方法控制机械臂依照轨迹和刚度进行任务的执行。与现有技术相比,本发明能够很好地将少量示教泛化到机械臂自主执行的特定抓取任务中。
-
公开(公告)号:CN117901114A
公开(公告)日:2024-04-19
申请号:CN202410184129.6
申请日:2024-02-19
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种基于关键点检测的柔性布料操纵方法,包括以下步骤:步骤1、构建双臂机器人工作空间,所述工作空间包括顶部深度相机,通过所述深度相机对操纵区域内的布料状态及周围环境进行视觉数据的实时捕捉;步骤2、定义多种动作原语;步骤3、利用VIT‑Transformer解码多种动作原语,生成操作策略,输出得到需要执行的动作;步骤4、通过Swin‑Transformer对布料进行关键点检测和识别,选择操作策略,生成动作指令;步骤5、将动作指令发送至双臂机器人,通过双臂机器人执行动作指令。与现有技术相比,本发明能够提高操作效率、提升适应性、提升准确性、降低实施成本以及广泛应用等优点。
-
公开(公告)号:CN113763548B
公开(公告)日:2024-02-27
申请号:CN202110939893.6
申请日:2021-08-17
Applicant: 同济大学
Abstract: 本发明涉及一种基于视觉‑激光雷达耦合的贫纹理隧洞建模方法及系统,包括以下步骤:获取深度相机采集的点云信息、激光雷达采集的激光信息以及无人机的运动信息;基于激光信息生成栅格地图,基于运动信息得到无人机的位姿信息;采用贝叶斯融合方法将点云信息、栅格地图和位姿信息进行融合,得到地图模型;基于上一时刻的地图模型,通过特征匹配对最新的地图模型进行修正。与现有技术相比,本发明融合深度相机和激光雷达进行SLAM建图,充分利用激光雷达较大的范围信息和深度相机较为丰富的局部信息,互补提高了信息的精确度,使地图模型的建立更加接近于真实隧洞环境。
-
公开(公告)号:CN116533247A
公开(公告)日:2023-08-04
申请号:CN202310629052.4
申请日:2023-05-31
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法,包括以下步骤:采集目标物体图像,构建卷积神经网络,输出目标物体的位置;选取部分目标物体的位置对机械臂进行抓取示教任务,收集机械臂末端轨迹以及人手部肌电信号;将肌电信号转化为刚度信息,并利用DMP建模,确定阻抗DMP模型参数;构建全连接神经网络并进行DMP参数训练;针对特定任务,利用全连接神经网络输出的阻抗DMP模型参数对轨迹与刚度进行建模,基于阻抗控制的方法控制机械臂依照轨迹和刚度进行任务的执行。与现有技术相比,本发明能够很好地将少量示教泛化到机械臂自主执行的特定抓取任务中。
-
公开(公告)号:CN116359910A
公开(公告)日:2023-06-30
申请号:CN202310056537.9
申请日:2023-01-20
Applicant: 同济大学
Abstract: 本发明公开了一种低照度条件下快速移动目标多视角协同跟踪方法及装置,所述方法包括低照度条件下快速移动目标多视角跟踪算法和无人机集群协同跟踪算法;利用无人机搭载的毫米波雷达传感器、RGB视觉传感器与红外视觉传感器进行多源环境感知;通过三时空异构对齐算法将多源感知数据在时间和空间维度上归一化;将时空归一化后的多源融合感知数据输入多源融合感知特征计算网络进行当前帧下被追踪目标的世界坐标计算;将计算结果与上一帧的计算结果进行对比,判断被追踪目标在世界坐标系下的位置和移动方向的变化;通过集群通信共享被追踪目标的世界坐标信息,使用多智能体强化学习进行无人机集群的轨迹制定与更新,实现无人机集群协同跟踪。
-
公开(公告)号:CN116339517A
公开(公告)日:2023-06-27
申请号:CN202310460656.0
申请日:2023-04-25
Applicant: 同济大学
IPC: G06F3/01 , G06F3/0488 , G06F30/20
Abstract: 本申请实施例涉及数字孪生技术领域,特别涉及一种基于机器人的闭环双向交互数字孪生系统及其构建方法,该系统包括:触觉反馈系统、机器人以及位于数字孪生系统中的虚拟端;触觉反馈系统、机器人均与数字孪生系统通信连接;触觉反馈系统穿戴于用户的手部,用于捕捉用户手势信息;用户与虚拟场景中的虚拟物体产生触觉交互;在真实场景中,机器人根据用户手势信息通过数字孪生系统映射执行与用户手势信息一致的动作,对真实场景中的真实物体的抓取,实现双向交互。本申请以数字孪生系统为媒介,机器人为载体,通过触觉反馈系统将用户手部的动作映射至数字孪生系统,在数字孪生系统中与虚拟物体进行交互,实现闭环双向交互的数字孪生系统。
-
公开(公告)号:CN115930947A
公开(公告)日:2023-04-07
申请号:CN202211607004.7
申请日:2022-12-14
Applicant: 同济大学
Abstract: 本申请实施例涉及机器人多模态感知技术领域,特别涉及一种热源定位成像方法、系统、设备及存储介质,该方法包括:基于电子皮肤,构建温度传感器阵列;并基于电子皮肤的惯性测量单元,对温度传感器阵列的实时相对位姿进行定位、校准,得到视觉信息;基于机械臂的位移,获取网格化的空间温度矩阵,并计算空间温度梯度向量;将空间温度梯度向量输入神经网络,重建空间温度场;对空间温度场进行辨识,进行热源定位,得到温度场信息;将温度场信息和视觉信息进行融合,获取多模态一体成像。本申请实施例提供的热源定位成像方法,利用电子皮肤上的温度传感器阵列与其他传感器融合,获取以热成像为主的多源融合成像,并实现破坏重组功能。
-
公开(公告)号:CN115857539A
公开(公告)日:2023-03-28
申请号:CN202211446866.6
申请日:2022-11-18
Applicant: 同济大学
IPC: G05D1/10
Abstract: 本发明涉及一种基于事件驱动策略的无人机分布式编队控制方法,包括以下步骤:步骤1、获取无人机的数据,建立无人机系统;所述无人机系统包括领航无人机和跟随无人机;步骤2、获取无人机系统的编队数据,代入无人机编队控制系统,判断事件驱动条件是否触发;若未触发,无人机系统维持初始状态,执行步骤2;若触发执行步骤3;步骤3、无人机编队控制器进行更新,无人机系统进行局部信息交互,改变无人机的分布状态。与现有技术相比,本发明有效避免控制器和触发条件对于全局信息的依赖,实现了无人机编队的无标度化,适用于无人机个体数量变化和机间连接关系切换等情况。
-
公开(公告)号:CN115790600A
公开(公告)日:2023-03-14
申请号:CN202211511543.0
申请日:2022-11-29
Applicant: 同济大学
IPC: G01C21/20
Abstract: 本发明公开了一种基于数字孪生的机器人大范围长期巡检任务覆盖策略的算法,包括:S1、通过数字孪生技术构建与真实场景一一对应的虚拟场景;S2、在虚拟场景中通过机器人的传感器获取周围环境信息,建立局部地图;S3、定期根据局部地图选取一个未探索区域全局目标点,在全局目标点路径上选取局部目标点;S4、利用深度强化学习算法来完成机器人从当前位置到达选定的局部目标点的导航任务;S5、重复步骤S3,直到所有的区域都已经被覆盖,此时机器人在虚拟场景中完成巡检覆盖任务。根据本发明可以在不需要先验地图的情况下,完成对某区域的高效探索;同时,基于深度强化学习算法的局部导航可以规避动态行人和车辆,基于数字孪生的虚实融合的工作模式使得探索更加高效。
-
公开(公告)号:CN115731469A
公开(公告)日:2023-03-03
申请号:CN202211522618.5
申请日:2022-11-30
Applicant: 同济大学
IPC: G06V20/10 , G06V10/774 , G06V10/82 , G06N3/08 , G06N3/0464
Abstract: 本发明公开了一种基于多体协同感知的林区灾害孪生映射方法,包括:S1、选取典型森林火灾,并利用彩色相机采集真实场景下的森林火灾场景,并从网上找寻数据集,建立林区火灾数据集;S2、通过对图像预处理操作,进而对森林火灾数据集进行扩充;S3、建立基于卷积神经网络的森林火灾检测模型;S4、将数据集划分为训练集、验证集和测试集,利用训练集和验证集进行模型训练,达到期望的精度后,保存模型的训练权重;S5、使用已训练好的模型对测试集中的森林火灾图像进行识别。根据本发明,大大降低了人力物力,而且提高模型识别图像的速度和精度。
-
-
-
-
-
-
-
-
-