一种基于视触-语言-动作多模态模型的可变形物体交互操作控制方法

    公开(公告)号:CN119526422A

    公开(公告)日:2025-02-28

    申请号:CN202411975168.4

    申请日:2024-12-31

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于视触‑语言‑动作多模态模型的可变形物体交互操作控制方法,包括:针对可变形物体进行图像、触觉和语言数据编码,得到视觉、触觉和语言特征;将视觉特征、触觉特征和语言特征进行跨模态特征对齐处理,得到多模态融合特征;将多模态融合特征输入大模型中进行环境理解;采用“思考‑决策”的规划方式迭代进行动作规划与执行;重复执行上述步骤,直至完成当前可变形物体交互操作任务。与现有技术相比,本发明提升了多模态特征对齐能力、动作规划精度和任务适配性,能够实现机器人对可变形物体的高效识别与交互,尤其在复杂环境中能有效应对物体的变形与状态变化,能够动态调整操作策略,实现更加智能、精确的可变形物体操作。

    一种基于子母无人机的复杂场景目标自主搜寻方法

    公开(公告)号:CN114924596B

    公开(公告)日:2025-02-18

    申请号:CN202210583505.X

    申请日:2022-05-25

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于子母无人机的复杂场景目标自主搜寻方法,包括:母机接受搜索任务后判断是否能够独自完成搜索,若否时,分析目标搜寻所需子机数量并且指定子机脱离规则;被选定的子机收到对应搜索任务后脱离母机,子机单独或者和母机协同进行目标搜索;在目标搜索过程中,子机通过制定的多机移动自组网机制与母机保持通信;在子机单独或者和母机协同进行目标搜索时,采用Voronoi图将待搜索区域划分为与无人机数量一致的区域,然后利用粒子群算法更新每架无人机的运动速度和位置。与现有技术相比,本发明实现子母无人机在复杂场景下的目标搜索,还可以用于多目标跟踪等任务,提高搜索效率。

    一种面向大模型的云边算力协同数据处理方法

    公开(公告)号:CN119065836A

    公开(公告)日:2024-12-03

    申请号:CN202411084349.8

    申请日:2024-08-08

    Applicant: 同济大学

    Abstract: 本发明涉及一种面向大模型的云边算力协同数据处理方法,包括以下步骤:构建八爪鱼仿生结构神经网络模型,并分别部署于云端和边缘端的多个处理器中;云端的主处理器初始化模型全局参数并将全局参数下发至云端和边缘端的其他处理器;采用自适应学习算法根据实时的计算资源情况进行云端和边缘端的数据处理任务分配决策;根据输入数据,云端和边缘端根据任务分配决策结果进行模型并行训练,实现参数共享与更新,训练过程中,边缘端根据重塑因子进行边缘端模型重构;进行模型融合,更新模型全局参数,并将更新后的全局参数下发至边缘端的处理器,重复上述过程直至数据处理完成。与现有技术相比,本发明具有能够高效处理大规模数据处理任务等优点。

    一种人机交互闭环反馈的具身大模型训练方法及系统

    公开(公告)号:CN118916698A

    公开(公告)日:2024-11-08

    申请号:CN202411112403.5

    申请日:2024-08-14

    Applicant: 同济大学

    Abstract: 本发明涉及一种人机交互闭环反馈的具身大模型训练方法及系统,该训练方法涉及到3个跨时空的运动作业空间,包括第一物理空间、第二物理空间、虚拟空间。第一物理空间用于机器人具身智能模型训练,包括具身传感反馈系统、全域动作捕捉系统以及机器人本体;第二物理空间用于人类行为数据采集及认知分析,包括可穿戴多模传感器、全域动作捕捉系统以及自然人实验对象。虚拟空间用于将第一物理空间与第二物理空间进行虚实时空对齐融合,实现作业场景构建渲染,实现人机交互反馈具身模型训练。与现有技术相比,本发明具有通过人与机器人跨时空交互学习训练,避免人机交互训练过程中的安全问题等优点。

    一种基于虚实融合的边端仿真方法及系统

    公开(公告)号:CN118092215A

    公开(公告)日:2024-05-28

    申请号:CN202410034361.1

    申请日:2024-01-10

    Applicant: 同济大学

    Abstract: 本发明公开了一种基于虚实融合的边端仿真方法及系统,涉及虚实融合技术领域,包括搭建仿真设备,建立仿真模型;根据仿真模型需要通过虚拟串口进行数据采集,进行虚拟仿真,形成虚拟智能体;进行虚拟智能体和实际智能体的虚实融合。减小基于数学建模与物理规律构建数字孪生平台的误差,保证虚拟空间与物理空间的模型一致性;边端分离,主服务器用于渲染环境和虚拟智能体,计算模块用于任务相关算法的运行和计算,能够保证整个系统最大程度的流畅运行,减弱系统硬件耦合性;采用了虚拟串口的方式,仿真的程序可以在不需要做很大改动的情况下便可以放入真实智能体中,有利于降低时间成本,同时对虚实融合程度进行考察,使虚实融合程度更高。

    面向地下恶劣环境的多模融合鲁棒感知定位方法及系统

    公开(公告)号:CN118031931A

    公开(公告)日:2024-05-14

    申请号:CN202410025792.1

    申请日:2024-01-08

    Applicant: 同济大学

    Abstract: 本发明公开了面向地下恶劣环境的多模融合鲁棒感知定位方法及系统,涉及感知定位技术领域,包括:布置传感器,实时获取传感器采集的数据;基于水雾条件感知模块对传感器采集的数据进行硬件置信度检测;基于传感器采集的数据完成视觉惯性里程计、红外惯性里程计估计;基于传感器集成模块评估非激光雷达源的初始变换里程计的健康状况;针对激光雷达采集的点云数据进行预处理;通过扫描匹配模块输出弹性里程计。本发明可以在不同水雾条件的地下环境中保证感知定位的准确性、效率以及对传感器故障的卓越鲁棒性。

    堆栈式稀疏自编码器和GAN的混沌序列图像加密方法及装置

    公开(公告)号:CN115633129B

    公开(公告)日:2024-03-05

    申请号:CN202211252929.4

    申请日:2022-10-13

    Applicant: 同济大学

    Abstract: 本发明公开了一种堆栈式稀疏自编码器和GAN的混沌序列图像加密方法及装置,涉及图像加密技术领域。包括:获取待加密的原始图像;获取原始图像的混沌序列;将混沌序列输入到训练好的基于堆栈稀疏自编码器和生成对抗网络GAN的深度学习网络加密模型;根据混沌序列以及深度学习网络加密模型,得到待加密的原始图像的密文图像。本发明通过堆栈式稀疏自编码器学习图像中复杂的内在特征,堆栈式稀疏自编码不仅具有多层网络结构,而且具有稀疏编码器的约束能力,使得模型能够在复杂环境下学习更加有效的图像特征。堆栈稀疏自编码器和GAN生成对抗网络相结合的加密模型,能够消除混沌序列的周期性,进一步提高加密模型的安全性。

    一种陆空协同感知的数字孪生精细建模方法

    公开(公告)号:CN116756944A

    公开(公告)日:2023-09-15

    申请号:CN202310642530.5

    申请日:2023-06-01

    Applicant: 同济大学

    Abstract: 本发明提供一种陆空协同感知的数字孪生精细建模方法,所述方法基于陆空协同无人系统以及数字孪生构建系统,包括:陆空协同无人系统在服务器的指引下实现协同引导功能和区域探索功能,协同完成对目标区域的感知任务,并将获取的感知信息传递至基于陆空协同无人系统的数字孪生构建系统;数字孪生构建系统与陆空协同无人系统双向交互,对获取的感知信息进行感知融合,并且通过盲区检测的方式寻找缺失信息,引导陆空协同无人系统对盲区的感知信息进行补充,实现对目标区域的精细数字孪生建模。本发明将陆空协同无人系统与数字孪生构建系统相结合,能够实现陆空协同感知并完成对应的数字孪生系统的精细建模。

    传感器网络的节点故障控制方法及装置

    公开(公告)号:CN116634368A

    公开(公告)日:2023-08-22

    申请号:CN202310694346.5

    申请日:2023-06-12

    Applicant: 同济大学

    Abstract: 本发明提供一种传感器网络的节点故障控制方法及装置,在该方法中,包括:根据预设的子网划分条件,将传感器网络中处于运行状态的各个传感器节点分组至多个传感器子网络;获取对应各个传感器子网络的子网节点表;根据子网节点表,确定各个传感器子网络中对应相邻的传感器子网络的节点插补位置;在确定传感器网络存在节点故障的情况下,控制携带有应急传感器节点的移动机器人移动至节点插补位置,使得传感器网络基于应急传感器节点重新组网。由此,充分发挥移动机器人自主导航的优势,在移动机器人上安装传感器节点,实现传感器网络的自动故障应急插补。

    一种基于时空车辆重识别的智慧园区无人泊车方法

    公开(公告)号:CN116343522A

    公开(公告)日:2023-06-27

    申请号:CN202310130800.4

    申请日:2023-02-17

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于时空车辆重识别的智慧园区无人泊车方法,包括:获取目标车辆的图像关键帧信息,并进行车牌特征信息提取;基于路径规划算法为目标车辆推荐最优车位,并基于灯杆唯一点位构建路径,引导车辆停靠;基于图像关键帧信息和车牌特征信息,利用车辆重识别网络进行重识别关联处理,结合车辆外观特征、各灯杆地理标签和时间戳生成目标车辆行驶轨迹;基于轻量化关键点停车位检测算法对车位进行检测,结合灯杆与地锁对车辆与车位进行匹配判断,若匹配成功则进行车辆自主停靠以及停车是否规范的判断;当目标车辆驶出停车位时,统计车辆停靠时长并计算停车费用,实现无感支付。与现有技术相比,本发明具有车辆定位精度高、实用性强等优点。

Patent Agency Ranking