一种基于视触-语言-动作多模态模型的可变形物体交互操作控制方法

    公开(公告)号:CN119526422A

    公开(公告)日:2025-02-28

    申请号:CN202411975168.4

    申请日:2024-12-31

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于视触‑语言‑动作多模态模型的可变形物体交互操作控制方法,包括:针对可变形物体进行图像、触觉和语言数据编码,得到视觉、触觉和语言特征;将视觉特征、触觉特征和语言特征进行跨模态特征对齐处理,得到多模态融合特征;将多模态融合特征输入大模型中进行环境理解;采用“思考‑决策”的规划方式迭代进行动作规划与执行;重复执行上述步骤,直至完成当前可变形物体交互操作任务。与现有技术相比,本发明提升了多模态特征对齐能力、动作规划精度和任务适配性,能够实现机器人对可变形物体的高效识别与交互,尤其在复杂环境中能有效应对物体的变形与状态变化,能够动态调整操作策略,实现更加智能、精确的可变形物体操作。

    一种基于事件驱动的环境感知电子皮肤系统

    公开(公告)号:CN115582835B

    公开(公告)日:2025-02-28

    申请号:CN202211251825.1

    申请日:2022-10-13

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于事件驱动的环境感知电子皮肤系统,包括可扩展的模块化多模态感知单元组成的电子皮肤硬件、数据处理单元和多层次的数据融合环境感知算法。该电子皮肤系统能够包裹于机器人全身,可以实时、全方位地对机器人周围环境进行多模态信息测量。可测量信息包括温度、接近、加速度和压力信息等。多层次的数据融合环境感知算法可以实现物体运动估计,定位和身份识别功能。与现有技术相比,该电子皮肤系统使得机器人具备类人的触觉,并弥补其视觉盲区;该系统一方面能够使得机器人在环境中更加安全地作业,另一方面有效地提高了机器人的环境感知能力,并提高了信息的利用率。

    一种基于引导式跨模态机器人的物体点云重建方法

    公开(公告)号:CN119478220A

    公开(公告)日:2025-02-18

    申请号:CN202411534590.6

    申请日:2024-10-31

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于引导式跨模态机器人的物体点云重建方法,包括:获取机器人单视角下物体的深度图像和对应的RGB图像,进行预处理,获得物体点云残缺数据;采用点云分类编码器对点云分类任务进行编码,并采用点云分类解码器进行解码,得到物体的分类结果;基于物体点云残缺数据,采用点云数据编码器进行位置嵌入编码,得到含有位置编码的点云特征;获取机器人单视角盲区位置的物体的触觉数据,触觉空间编码器进行编码,获得触觉特征;采用视触跨模态融合模块对点云特征和触觉特征进行融合,并在融合过程中利用分类结果进行引导;采用金字塔解码器对融合特征进行解码,得到物体的完整点云。与现有技术相比,本发明具有精度高等优点。

    一种基于子母无人机的复杂场景目标自主搜寻方法

    公开(公告)号:CN114924596B

    公开(公告)日:2025-02-18

    申请号:CN202210583505.X

    申请日:2022-05-25

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于子母无人机的复杂场景目标自主搜寻方法,包括:母机接受搜索任务后判断是否能够独自完成搜索,若否时,分析目标搜寻所需子机数量并且指定子机脱离规则;被选定的子机收到对应搜索任务后脱离母机,子机单独或者和母机协同进行目标搜索;在目标搜索过程中,子机通过制定的多机移动自组网机制与母机保持通信;在子机单独或者和母机协同进行目标搜索时,采用Voronoi图将待搜索区域划分为与无人机数量一致的区域,然后利用粒子群算法更新每架无人机的运动速度和位置。与现有技术相比,本发明实现子母无人机在复杂场景下的目标搜索,还可以用于多目标跟踪等任务,提高搜索效率。

    一种基于多模态融合的柔性物体操控策略生成方法

    公开(公告)号:CN119359801A

    公开(公告)日:2025-01-24

    申请号:CN202411343796.0

    申请日:2024-09-25

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于多模态融合的柔性物体操控策略生成方法,包括:基于人类演示视频,获取目标柔性物体的抓取点二维高斯分布图、三维点云数据和RGB图;基于三维点云数据,获取目标柔性物体的可见性连接图;融合抓取点二维高斯分布图和RGB图,获取融合图;在可见性连接图和融合图中分别提取第一特征和第二特征;融合第一特征和第二特征,获取融合特征;基于融合特征,获取目标柔性物体的最佳抓取点和最佳放置点;基于最佳抓取点和最佳放置点,生成目标柔性物体的操控策略。与现有技术相比,本发明具有改善柔性物体操作的精度、对柔性物体不同状态的适应性强以及减少模拟到现实差距等优点。

    基于图神经网络的机器人感知数据分词表征与学习方法

    公开(公告)号:CN119358552A

    公开(公告)日:2025-01-24

    申请号:CN202411363004.6

    申请日:2024-09-27

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于图神经网络的机器人感知数据分词表征与学习方法,包括以下步骤:获取机器人的多种感知数据;根据感知数据的类别进行分词表征;分词表征学习:基于分词表征后的感知数据构建初始特征图;基于自编码器学习特征图的紧凑表示,重建图结构,图结构表示不同节点之间的边的关系;自编码器完成图结构的学习后,固定图结构;将感知数据转化为节点特征向量,并基于学习到的图结构构建特征图,利用图神经网络对各节点特征向量进行数值编码,得到感知数据的高维特征向量表征。与现有技术相比,本发明具有能更好地表达感知数据的复杂性和多维度信息等优点。

    一种基于强化学习的拒止环境协同自主感知与导航方法

    公开(公告)号:CN119289972A

    公开(公告)日:2025-01-10

    申请号:CN202411254596.8

    申请日:2024-09-09

    Applicant: 同济大学

    Abstract: 本发明涉及一种拒止环境下协同自主感知与导航方法,通过构建自组织鲁棒通信系统实现拒止环境中多无人机之间的动态组网和数据共享,采用自适应网络协议在网络拓扑变化或通信干扰下实现通信网络的自动配置;基于多传感器融合感知系统,通过数据融合算法处理环境信息和无人机自身的运动信息;单无人机基于无人机能量消耗、探索面积、路径重叠度以及路径危险程度构建奖励函数,在未知环境中执行自主感知和探索并完成建图;分布式多无人机在无人机集群中依据地图信息、各自的位置和工作状态进行个体间交流和博弈,实现任务分配,完成路径规划与动作决策。本发明提高了无人机在拒止环境中的自主性和协同性,为复杂环境下的导航提供有了效的解决方案。

    一种双速比的水空两用动力装置
    198.
    发明公开

    公开(公告)号:CN119099847A

    公开(公告)日:2024-12-10

    申请号:CN202411365916.7

    申请日:2024-09-29

    Applicant: 同济大学

    Abstract: 本发明公开了一种双速比的水空两用动力装置,主要包括:动力输入装置、转速切换装置以及桨叶。动力输入装置在不同介质下总以高转速低扭矩的状态提供动力,转速切换装置在不同介质下,通过单向轴承和行星减速机构将动力输入转换为满足所处介质要求的扭矩。当动力单元处于空中时,行星减速机构失去作用,转速切换装置的输出等于动力输入装置的转速和扭矩,当动力单元处于水中时,行星减速机构运行,转速切换装置的输出转速小于动力输入装置的转速,转速切换装置输出的扭矩大于动力输入装置的扭矩。转速切换装置的输出轴驱动被动折叠螺旋桨提供动力,且被动折叠螺旋桨根据转速与介质的不同,会被动进行伸张和折叠收缩,保证了不同介质下的高效性。

    一种面向大模型的云边算力协同数据处理方法

    公开(公告)号:CN119065836A

    公开(公告)日:2024-12-03

    申请号:CN202411084349.8

    申请日:2024-08-08

    Applicant: 同济大学

    Abstract: 本发明涉及一种面向大模型的云边算力协同数据处理方法,包括以下步骤:构建八爪鱼仿生结构神经网络模型,并分别部署于云端和边缘端的多个处理器中;云端的主处理器初始化模型全局参数并将全局参数下发至云端和边缘端的其他处理器;采用自适应学习算法根据实时的计算资源情况进行云端和边缘端的数据处理任务分配决策;根据输入数据,云端和边缘端根据任务分配决策结果进行模型并行训练,实现参数共享与更新,训练过程中,边缘端根据重塑因子进行边缘端模型重构;进行模型融合,更新模型全局参数,并将更新后的全局参数下发至边缘端的处理器,重复上述过程直至数据处理完成。与现有技术相比,本发明具有能够高效处理大规模数据处理任务等优点。

    一种基于物理智能主动感知的具身智能体及其控制方法

    公开(公告)号:CN119045379A

    公开(公告)日:2024-11-29

    申请号:CN202411190886.0

    申请日:2024-08-28

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于物理智能主动感知的具身智能体及其控制方法,该方法基于多模态具身大模型控制具身智能体,所述多模态具身大模型包括数据处理模块、感知规划模块、物理智能模块、信息输送模块、环境交互模块和运动控制执行模块;该方法包括:所述感知规划模块接收数据处理模块处理后的数据,依据该数据输出感知信息和任务规划指令;物理智能模块接收所述感知信息和任务规划指令并输出运动动作规划指令,环境交互模块实时采集环境信息并与感知信息进行比对,运动控制模块接收运动动作规划指令,结合比对结果进行动作校正,实现具身智能体控制。与现有技术相比,本发明具有泛化性能高以及执行任务准确性更高等优点。

Patent Agency Ranking