一种基于单视角RGBD融合网络的手物交互重建方法

    公开(公告)号:CN118071934B

    公开(公告)日:2025-02-28

    申请号:CN202410368408.8

    申请日:2024-03-28

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于单视角RGBD融合网络的手物交互重建方法,步骤包括:将手物交互的对齐RGBD图像的深度图转化为点云,并应用特征编码器从中提取RGB特征和点特征;融合所提取的RGB特征和点特征,生成密集RGBD特征;采用SDF特征编码器将密集RGBD特征生成手物形状编码,通过手物几何特征估计模块预测手物的姿态参数和物体位置;通过几何傅里叶特征编码模块处理基于每个三维查询点相对于手腕的旋转和平移以及物体的平移,获得手物几何编码;采用手和物体SDF解码器利用手物形状编码和手物几何编码估计每个三维查询点的SDF重建手和物体形状。与现有技术相比,本发明更充分融合了RGB和深度信息,实现了几何精细的手物交互重建。

    一种基于电子皮肤的太极推手机械臂

    公开(公告)号:CN115723175B

    公开(公告)日:2024-12-03

    申请号:CN202211428193.1

    申请日:2022-11-15

    Applicant: 同济大学

    Abstract: 本发明公开了一种基于电子皮肤的太极推手机械臂,其至少包含感受单元、执行单元、控制单元以及决策单元,感受单元为一种可以覆盖于机械臂表面的模块化电子皮肤,可以感知接触力、接近度、温度、加速度等多种物理量;执行单元为机械臂内的电机,可以根据上层的控制信号驱动机械臂完成对应的太极推手动作;控制单元根据决策单元的推理和分析,产生相应的控制信号,发送给执行单元;决策单元内置触觉感知融合算法,其利用多传感器融合算法融合电子皮肤所接收到的数据,推断出人类手臂进行太极推拿时的动作轨迹和意图,本发明可以实现机械臂与人类紧密配合完成太极推拿的一系列动作,在实现安全交互的前提下,满足特定人群太极推手的需求。

    动静态节点耦合的虫害重点区域感知的覆盖方法及系统

    公开(公告)号:CN115017704B

    公开(公告)日:2024-09-06

    申请号:CN202210635206.6

    申请日:2022-06-07

    Applicant: 同济大学

    Abstract: 本发明涉及无线传感器网络技术领域,特别是指一种动静态节点耦合的虫害重点区域感知的覆盖方法及系统,该方法包括:获取移动感知节点位置、障碍物位置、静态感知节点位置以及虫害重点区域位置;确定障碍物产生的第一斥力势场以及移动感知节点受障碍物的总斥力;确定静态感知节点产生的第二斥力势场以及移动感知节点受静态感知节点的总斥力;确定虫害重点区域产生的第三引力势场以及移动感知节点受虫害重点区域的引力;确定移动感知节点运动时受到的合力;基于合力的引导,完成面向森林虫害重点区域感知的动静态节点耦合覆盖。采用本发明,可以有效避免感知节点重复覆盖导致的资源浪费,从而完成动静态节点耦合的协同覆盖任务。

    一种基于关键点检测的柔性物体操纵方法及装置

    公开(公告)号:CN117901114A

    公开(公告)日:2024-04-19

    申请号:CN202410184129.6

    申请日:2024-02-19

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于关键点检测的柔性布料操纵方法,包括以下步骤:步骤1、构建双臂机器人工作空间,所述工作空间包括顶部深度相机,通过所述深度相机对操纵区域内的布料状态及周围环境进行视觉数据的实时捕捉;步骤2、定义多种动作原语;步骤3、利用VIT‑Transformer解码多种动作原语,生成操作策略,输出得到需要执行的动作;步骤4、通过Swin‑Transformer对布料进行关键点检测和识别,选择操作策略,生成动作指令;步骤5、将动作指令发送至双臂机器人,通过双臂机器人执行动作指令。与现有技术相比,本发明能够提高操作效率、提升适应性、提升准确性、降低实施成本以及广泛应用等优点。

    低照度条件下快速移动目标多视角协同跟踪方法及装置

    公开(公告)号:CN116359910A

    公开(公告)日:2023-06-30

    申请号:CN202310056537.9

    申请日:2023-01-20

    Applicant: 同济大学

    Abstract: 本发明公开了一种低照度条件下快速移动目标多视角协同跟踪方法及装置,所述方法包括低照度条件下快速移动目标多视角跟踪算法和无人机集群协同跟踪算法;利用无人机搭载的毫米波雷达传感器、RGB视觉传感器与红外视觉传感器进行多源环境感知;通过三时空异构对齐算法将多源感知数据在时间和空间维度上归一化;将时空归一化后的多源融合感知数据输入多源融合感知特征计算网络进行当前帧下被追踪目标的世界坐标计算;将计算结果与上一帧的计算结果进行对比,判断被追踪目标在世界坐标系下的位置和移动方向的变化;通过集群通信共享被追踪目标的世界坐标信息,使用多智能体强化学习进行无人机集群的轨迹制定与更新,实现无人机集群协同跟踪。

    一种基于事件驱动策略的无人机分布式编队控制方法

    公开(公告)号:CN115857539A

    公开(公告)日:2023-03-28

    申请号:CN202211446866.6

    申请日:2022-11-18

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于事件驱动策略的无人机分布式编队控制方法,包括以下步骤:步骤1、获取无人机的数据,建立无人机系统;所述无人机系统包括领航无人机和跟随无人机;步骤2、获取无人机系统的编队数据,代入无人机编队控制系统,判断事件驱动条件是否触发;若未触发,无人机系统维持初始状态,执行步骤2;若触发执行步骤3;步骤3、无人机编队控制器进行更新,无人机系统进行局部信息交互,改变无人机的分布状态。与现有技术相比,本发明有效避免控制器和触发条件对于全局信息的依赖,实现了无人机编队的无标度化,适用于无人机个体数量变化和机间连接关系切换等情况。

    一种基于引导式跨模态机器人的物体点云重建方法

    公开(公告)号:CN119478220A

    公开(公告)日:2025-02-18

    申请号:CN202411534590.6

    申请日:2024-10-31

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于引导式跨模态机器人的物体点云重建方法,包括:获取机器人单视角下物体的深度图像和对应的RGB图像,进行预处理,获得物体点云残缺数据;采用点云分类编码器对点云分类任务进行编码,并采用点云分类解码器进行解码,得到物体的分类结果;基于物体点云残缺数据,采用点云数据编码器进行位置嵌入编码,得到含有位置编码的点云特征;获取机器人单视角盲区位置的物体的触觉数据,触觉空间编码器进行编码,获得触觉特征;采用视触跨模态融合模块对点云特征和触觉特征进行融合,并在融合过程中利用分类结果进行引导;采用金字塔解码器对融合特征进行解码,得到物体的完整点云。与现有技术相比,本发明具有精度高等优点。

    一种基于子母无人机的复杂场景目标自主搜寻方法

    公开(公告)号:CN114924596B

    公开(公告)日:2025-02-18

    申请号:CN202210583505.X

    申请日:2022-05-25

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于子母无人机的复杂场景目标自主搜寻方法,包括:母机接受搜索任务后判断是否能够独自完成搜索,若否时,分析目标搜寻所需子机数量并且指定子机脱离规则;被选定的子机收到对应搜索任务后脱离母机,子机单独或者和母机协同进行目标搜索;在目标搜索过程中,子机通过制定的多机移动自组网机制与母机保持通信;在子机单独或者和母机协同进行目标搜索时,采用Voronoi图将待搜索区域划分为与无人机数量一致的区域,然后利用粒子群算法更新每架无人机的运动速度和位置。与现有技术相比,本发明实现子母无人机在复杂场景下的目标搜索,还可以用于多目标跟踪等任务,提高搜索效率。

Patent Agency Ranking