-
公开(公告)号：CN119089978B
公开(公告)日：2025-05-16
申请号：CN202411204561.3
申请日：2024-08-30
Applicant: 同济大学
IPC: G06N3/096 , B23P21/00 , G06N3/0455 , G06F18/214
Abstract: 本发明涉及一种面向电子设备装配场景多模态大模型训练方法及系统，所述方法包括以下步骤：采集电子设备装配过程所需数据，构建流程指导数据集；获取实际装配过程中的实物图像，构建关联信息数据集；将流程指导数据集和关联信息数据集输入基于Transformer的预训练模型进行训练，初步得到多模态大模型；获取同任务中人工执行装配任务的动作信息，构建人工指导多模态数据集；传入多模态大模型中，对大模型进行微调，更新装配细节提升模型性能，得到面向电子设备装配场景多模态大模型；针对未学习到的零件或装配细节，通过物理示教的交互式学习，提升模型的泛化性。与现有技术相比，本发明提高了多模态大模型的泛化性能，节约装配时间，提升了装配任务的效率。
-
公开(公告)号：CN119202673A
公开(公告)日：2024-12-27
申请号：CN202411380056.4
申请日：2024-09-30
Applicant: 同济大学
IPC: G06F18/213 , G06N5/04 , G06F17/16 , G06N3/084 , G06F18/10 , G06F18/23213
Abstract: 本发明涉及一种多模态特征信息统一表征及提取方法，方法包括以下步骤：S1、监测机器人的当前智能体是否跟外界物体发生物理接触，若接触且所执行任务为具身交互任务时，生成隐式特征推断指令；S2、将交互力数据特征以及交互位移‑交互速度特征进行时序配对得到交互界面处交互力‑相对速度‑交互位移时序数据；S3、构建隐式信息表征模型，采用梯度下降方法对模型的表征参数进行拟合，当误差结果小于置信度度量矩阵时基于模型得到物体空间网格特征预测值。与现有技术相比，本发明具有提高机器人的智能体控制的鲁棒性和泛化能力等优点。
-
公开(公告)号：CN119077739A
公开(公告)日：2024-12-06
申请号：CN202411378786.0
申请日：2024-09-30
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种基于环境信息主动感知的智能体具身交互规划方法，方法包括以下步骤：S1、获取对齐的环境信息以及智能体与物体交互界面处的信息；S2、将语义特征信息、智能体作业环境和交互特性参数进行多模态信息融合表征，得到环境多维信息；S3、获取具身交互感知信号，基于所述具身交互感知信号进行机器人动作的可预期性判断，若结果为在预期内，则基于环境多维信息和规划的具体任务步骤，基于能量梯度的方法生成一系列的具身交互动作，机器人执行具身交互动作；反之基于交互特性参数能量梯度的方法生成一系列的具有交互力特性的交互动作，机器人执行交互动作。与现有技术相比，本发明具有提高机器动作安全性等优点。
-
公开(公告)号：CN119077734A
公开(公告)日：2024-12-06
申请号：CN202411316401.8
申请日：2024-09-20
Applicant: 同济大学
Abstract: 本发明涉及一种面向紧密物理交互的机器人仿人行为规划与控制方法，包括如下步骤：步骤S1，通过动作捕捉获取机器人与人类紧密交互的演示数据；步骤S2，基于演示数据，利用先验知识和聚类分析，得到多个人类行为模式类别；步骤S3，基于人类行为模式类别，通过对演示数据进行分段和标定，得到多组包括类行为模式标签的运动原语序列并构建层次性有向图，通过训练得到机器人行为规划器；步骤S4，构建目标轨迹和动作空间之间的动态一致的映射模型，基于映射模型和规划器，实现机器人仿人行为规划与控制。与现有技术相比，本发明包含了机器人仿人行为实现的全流程，可以有效提升机器人执行紧密物理交互任务的效率，同时具有可解释性等优点。
-
公开(公告)号：CN116500901B
公开(公告)日：2024-08-27
申请号：CN202310613961.9
申请日：2023-05-29
Applicant: 同济大学
IPC: G05B13/04
Abstract: 本发明涉及一种数字孪生驱动的用户意图不明下人机协作任务规划方法，包括以下步骤：根据物理空间的人机协作工作平台建立孪生场景，传感器周期性地采样数据，实现孪生空间与物理空间的实时映射；在孪生空间中基于场景数据集生成器识别产品装配图，构建人机协作产品装配场景，生成虚拟数据集；在孪生空间中构建基于图神经网络的用户意图不明下的任务规划器，由孪生空间中产生的虚拟数据集进行训练，根据当前产品装配场景和产品装配图，输出任务规划序列矩阵；根据任务规划序列矩阵控制执行物理空间中的人机协作任务。与现有技术相比，本发明具有能够实现人类意图不明下的人机协作任务规划等优点。
-
Patent Agency Ranking
公开(公告)号：CN117752475A
公开(公告)日：2024-03-26
申请号：CN202410127991.3
申请日：2024-01-30
Applicant: 同济大学
Abstract: 本发明涉及一种可快速拆卸刚柔耦合假肢手及其控制方法。假肢手包括支撑架、手指结构、手掌结构、舵机、柔性线缆和表面肌电传感器。手指结构与手掌结构通过榫卯连接件固定连接。柔性线缆的一端固定在手指结构上，另一端固定于支撑架上。通过表面肌电信号传感器收集信号，并进行时域特征值提取；随后输入训练好的模型中，获取分类结果；再通过驱动舵机使假肢手做出相应动作。与现有技术相比，本发明中的假肢手具有较高的结构强度和良好的适应性，同时手指结构的布局可以减少柔性结构造成的手指姿势偏差，且便于拆卸、维护和升级。
-
公开(公告)号：CN110490415B
公开(公告)日：2023-07-14
申请号：CN201910637196.8
申请日：2019-07-15
Applicant: 同济大学
IPC: G06Q10/0631 , G06Q50/08 , G06V20/10 , G06F30/13
Abstract: 一种多无人机视觉协同的建筑进度评估方法，执行以下操作：根据建筑项目施工图建立整个建筑项目的BIM计划模型；使用多架无人机协同作业，在真实建筑场景中获取多方位多角度的施工场景图片组成图像集I；将无人机获得的施工场景图片图像集I通过Mask R‑CNN方法进行实例分割获得图像集I’，用图像集I’进行三维重建，获得当前建筑场景中建筑任务的当前3D模型，当前3D模型信息包含实际的建筑高度，实际的建筑表面材料信息和实际工时；将当前3D模型信息输入实际BIM模型中，基于模糊算法，用实际BIM模型估算BIM计划模型的总工程量完成时间；以实际BIM模型的实际工时与BIM计划模型的总工程量完成时间获得实时建筑进度指数。使用多无人机采集建筑施工现场的图像，提高了建筑进度评估的自动化程度。根据模糊算法对当前建筑进度进行评估，提高了建筑进度评估的可靠性和准确性。
-
公开(公告)号：CN110706198B
公开(公告)日：2023-04-28
申请号：CN201910761588.5
申请日：2019-08-19
Applicant: 同济大学
Abstract: 基于无人机对大型建筑机器人的振动检测系统，其特征在于：该检测系统包括搭载有摄像头的无人机，图像处理模块，和使无人机获取的视频图像与图像处理模块进行交互的通讯模块；进行振动检测时，无人机对待检测机器人拍摄视频，图像处理模块执行以下操作：获取无人机拍摄的视频，将视频中的每一帧图像获得以靶点为中心的感兴趣区域；对所有感兴趣区域分别做复数线性滤波，获得每个感兴趣区域的相位谱图；对每个感兴趣区域以第一帧为基准、利用相位谱图获得从第二帧开始的每帧图像与第一帧的相位差，该相位差表征振动位移。对每帧图像中有靶点的地方分割出来形成感兴趣区域。
-
公开(公告)号：CN110544293B
公开(公告)日：2023-04-28
申请号：CN201910637691.9
申请日：2019-07-15
Applicant: 同济大学
Abstract: 多无人机视觉协同的建筑施工场景识别方法，执行以下操作：建立场景信息与施工进度的对应关系集，对应关系集包括建筑物的外观材料种类及数量与施工进度的对应关系、建筑机械种类及数量与施工进度的对应关系、室外工程种类及数量与施工进度的对应关系；通过无人机实时拍摄施工场景，通过深度学习识别建筑本体、建筑物的外观材料、建筑机械和室外工程的数量和种类，以建筑本体和建筑物的外观材料为主、建筑机械和室外工程为辅，预测当前场景可能处于的施工进度，并按进度可能性的高低排序，给出可能性从高到低的预测结果列表；实现自动化和精细化的施工进度监督。
-
公开(公告)号：CN115994576A
公开(公告)日：2023-04-21
申请号：CN202310033512.7
申请日：2023-01-10
Applicant: 同济大学
Abstract: 本发明公开了一种社交场景中人类注意力机制模仿学习方法，属于服务型机器人领域，具体包括：1)获取环境状态信息，再对服务型机器人进行预训练得到目标策略，将深度强化学习任务执行成功的示例作为原始教师数据；2)将环境状态信息输入到行动者网络模块中，生成动作序列，再将教师数据、动作序列和环境状态信息输入至判别器；3)将判别器的输出值作为奖励值指导模仿策略的学习；4)修改服务型机器人的目标策略函数；5)引入人类注意力机制模块，提取模仿学习网络中的浅层特征生成对抗样本；6)利用对抗样本对目标模型进行对抗训练，本发明相较于原始的深度强化学习，模拟学习的方法具有更高的鲁棒性、准确性及高效性。
-
-
-
-
-
-
-
-
-
Search Results
235
records
(took 0.036 seconds)
