公开(公告)号：CN119202673A

公开(公告)日：2024-12-27

申请号：CN202411380056.4

申请日：2024-09-30

Applicant: 同济大学

Inventor： 沈润杰 ,  王成金 ,  周艳敏 ,  胡嘉睿 ,  朱忠攀 ,  何斌

IPC: G06F18/213 ,  G06N5/04 ,  G06F17/16 ,  G06N3/084 ,  G06F18/10 ,  G06F18/23213

Abstract: 本发明涉及一种多模态特征信息统一表征及提取方法，方法包括以下步骤：S1、监测机器人的当前智能体是否跟外界物体发生物理接触，若接触且所执行任务为具身交互任务时，生成隐式特征推断指令；S2、将交互力数据特征以及交互位移‑交互速度特征进行时序配对得到交互界面处交互力‑相对速度‑交互位移时序数据；S3、构建隐式信息表征模型，采用梯度下降方法对模型的表征参数进行拟合，当误差结果小于置信度度量矩阵时基于模型得到物体空间网格特征预测值。与现有技术相比，本发明具有提高机器人的智能体控制的鲁棒性和泛化能力等优点。

公开(公告)号：CN119338981A

公开(公告)日：2025-01-21

申请号：CN202411294059.6

申请日：2024-09-14

Applicant: 同济大学

Inventor： 岳继光 ,  栾锋 ,  周艳敏 ,  胡嘉睿 ,  程斌 ,  何斌

IPC: G06T17/00 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明涉及一种基于仿人机器人具身感知的物体三维信息重构方法，包括：步骤1、获取仿人机器人具身采集的单视角深度图像，进行预处理，得到物体的单视角三维点云，作为初始物体表面点云；步骤2、将初始物体表面点云输入视触融合物体重建网络中，得到初始物体形状估计结果；步骤3、采用双臂主动触觉探索策略对物体进行主动探索，得到触觉数据和进一步细化的物体表面点云，并将进一步细化的物体表面点云加入初始物体形状估计结果中，与触觉数据共同输入视触融合物体重建网络中进行进一步的物体重建，得到进一步细化的物体形状估计结果，重复执行步骤3，直至重建结束。与现有技术相比，本发明具有在复杂场景中机器人单视角情况下实现物体的精细化形状重建等优点。

公开(公告)号：CN119188748A

公开(公告)日：2024-12-27

申请号：CN202411381410.5

申请日：2024-09-30

Applicant: 同济大学

Inventor： 周艳敏 ,  胡嘉睿 ,  栾锋 ,  蒋永康 ,  何斌

IPC: B25J9/16 ,  B25J13/08

Abstract: 本发明涉及一种基于脉冲生成的机器人灵巧手仿生感知方法，包括：获取机器人灵巧手的传感单元采集的脉冲触觉数据；将脉冲触觉数据输入具有双通道的编码器中，提取时空特征并交互融合，完成对物体的感知识别，其中具有双通道的编码器包括时序子编码器、空间子编码器和多模态交互模块；完成对物体的感知识别的步骤包括：将脉冲触觉数据输入时序子编码器中提取时序特征；将脉冲触觉数据输入空间子编码器中提取空间特征；将时序特征和空间特征输入多模态交互模块中进行特征交互，得到时空特征，并采用concate操作进行处理，最终输出对物体的感知识别结果。与现有技术相比，本发明具有高效处理触觉认知任务等优点。

公开(公告)号：CN119478220A

公开(公告)日：2025-02-18

申请号：CN202411534590.6

申请日：2024-10-31

Applicant: 同济大学

Inventor： 周艳敏 ,  胡嘉睿 ,  周昌世 ,  蒋烁 ,  何斌

IPC: G06T17/00 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06V10/80

Abstract: 本发明涉及一种基于引导式跨模态机器人的物体点云重建方法，包括：获取机器人单视角下物体的深度图像和对应的RGB图像，进行预处理，获得物体点云残缺数据；采用点云分类编码器对点云分类任务进行编码，并采用点云分类解码器进行解码，得到物体的分类结果；基于物体点云残缺数据，采用点云数据编码器进行位置嵌入编码，得到含有位置编码的点云特征；获取机器人单视角盲区位置的物体的触觉数据，触觉空间编码器进行编码，获得触觉特征；采用视触跨模态融合模块对点云特征和触觉特征进行融合，并在融合过程中利用分类结果进行引导；采用金字塔解码器对融合特征进行解码，得到物体的完整点云。与现有技术相比，本发明具有精度高等优点。