公开(公告)号：CN115533914A

公开(公告)日：2022-12-30

申请号：CN202211290845.X

申请日：2022-10-21

Applicant: 同济大学

Inventor： 岳继光 ,  栾锋 ,  周艳敏 ,  何斌 ,  陆萍 ,  徐彩月

IPC: B25J9/16 ,  B25J11/00

Abstract: 本发明涉及一种面向社交机器人的多模态融合情绪识别方法和系统，所述方法包括如下步骤：获得目标人员的实时感知信息，所述实时感知信息包括图像信息、触觉信息和声音信息；对所述实时感知信息进行预处理，获得预处理后的感知信息；根据所述预处理后的感知信息，获得情绪识别结果。与现有技术相比，本发明融合了视觉、语音、触觉感知数据进行情绪识别，且使用麦克风及肌电传感器获取语音感知数据，视觉感知数据采用多个关键点以捕捉人体参数，提高了识别准确度的同时适用于更多环境。

公开(公告)号：CN119077739A

公开(公告)日：2024-12-06

申请号：CN202411378786.0

申请日：2024-09-30

Applicant: 同济大学

Inventor： 沈润杰 ,  王成金 ,  周艳敏 ,  栾锋 ,  王志鹏 ,  何斌

IPC: B25J9/16

Abstract: 本发明涉及一种基于环境信息主动感知的智能体具身交互规划方法，方法包括以下步骤：S1、获取对齐的环境信息以及智能体与物体交互界面处的信息；S2、将语义特征信息、智能体作业环境和交互特性参数进行多模态信息融合表征，得到环境多维信息；S3、获取具身交互感知信号，基于所述具身交互感知信号进行机器人动作的可预期性判断，若结果为在预期内，则基于环境多维信息和规划的具体任务步骤，基于能量梯度的方法生成一系列的具身交互动作，机器人执行具身交互动作；反之基于交互特性参数能量梯度的方法生成一系列的具有交互力特性的交互动作，机器人执行交互动作。与现有技术相比，本发明具有提高机器动作安全性等优点。

公开(公告)号：CN119295657A

公开(公告)日：2025-01-10

申请号：CN202411350420.2

申请日：2024-09-26

Applicant: 同济大学

Inventor： 岳继光 ,  栾锋 ,  周艳敏 ,  闫铮 ,  陆萍 ,  何斌

IPC: G06T17/00 ,  G06V20/64 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种仿人类思维过程的点云重建方法，方法具体包括：S1、获取物体单视角三维点云P；S2、对三维点云P进行体素化处理，得到体素网格V；S3、使用编码器对点云P和体素网格V进行编码，得到点云特征Fp和体素特征Fv；S4、使用点‑体素融合模块对点云特征Fp和体素特征Fv进行融合，得到点‑体素融合特征Ff；S5、利用类别解码器对点‑体素融合特征Ff进行类别解码，得到分类结果L；S6、使用类别引导模块对分类结果L和点‑体素融合特征Ff进行融合，得到类别融合特征Fc；S7、使用金字塔解码器对类别融合特征Fc进行解码，得到多尺度完整点云Pc。与现有技术相比，本发明具有提高点云重建精度等优点。

公开(公告)号：CN119338981A

公开(公告)日：2025-01-21

申请号：CN202411294059.6

申请日：2024-09-14

Applicant: 同济大学

Inventor： 岳继光 ,  栾锋 ,  周艳敏 ,  胡嘉睿 ,  程斌 ,  何斌

IPC: G06T17/00 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明涉及一种基于仿人机器人具身感知的物体三维信息重构方法，包括：步骤1、获取仿人机器人具身采集的单视角深度图像，进行预处理，得到物体的单视角三维点云，作为初始物体表面点云；步骤2、将初始物体表面点云输入视触融合物体重建网络中，得到初始物体形状估计结果；步骤3、采用双臂主动触觉探索策略对物体进行主动探索，得到触觉数据和进一步细化的物体表面点云，并将进一步细化的物体表面点云加入初始物体形状估计结果中，与触觉数据共同输入视触融合物体重建网络中进行进一步的物体重建，得到进一步细化的物体形状估计结果，重复执行步骤3，直至重建结束。与现有技术相比，本发明具有在复杂场景中机器人单视角情况下实现物体的精细化形状重建等优点。

公开(公告)号：CN119188748A

公开(公告)日：2024-12-27

申请号：CN202411381410.5

申请日：2024-09-30

Applicant: 同济大学

Inventor： 周艳敏 ,  胡嘉睿 ,  栾锋 ,  蒋永康 ,  何斌

IPC: B25J9/16 ,  B25J13/08

Abstract: 本发明涉及一种基于脉冲生成的机器人灵巧手仿生感知方法，包括：获取机器人灵巧手的传感单元采集的脉冲触觉数据；将脉冲触觉数据输入具有双通道的编码器中，提取时空特征并交互融合，完成对物体的感知识别，其中具有双通道的编码器包括时序子编码器、空间子编码器和多模态交互模块；完成对物体的感知识别的步骤包括：将脉冲触觉数据输入时序子编码器中提取时序特征；将脉冲触觉数据输入空间子编码器中提取空间特征；将时序特征和空间特征输入多模态交互模块中进行特征交互，得到时空特征，并采用concate操作进行处理，最终输出对物体的感知识别结果。与现有技术相比，本发明具有高效处理触觉认知任务等优点。

公开(公告)号：CN117934724A

公开(公告)日：2024-04-26

申请号：CN202410135400.7

申请日：2024-01-31

Applicant: 同济大学

Inventor： 岳继光 ,  栾锋 ,  周艳敏 ,  何斌 ,  王志鹏 ,  蒋烁 ,  金屹阳

IPC: G06T17/00 ,  G06V10/42 ,  G06V10/77 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明涉及一种基于机器人触觉感知的物体形状重建方法，包括以下步骤：步骤1、利用触觉传感器接触未知物体，记录接触点的空间位置，将空间位置作为感知的点云数据；步骤2、将所述感知的点云数据输入到编码器网络中，进行特征提取处理操作，得到点云的全局特征；步骤3、利用解码器网络对所述点云的全局特征进行补齐操作，得到预测的点云数据；步骤4、将感知的点云数据和预测的点云数据输入物体重建网络进行物体形状重建。与现有技术相比，本发明具有利用已知的部分数据，先进行一步预测，补齐部分缺失数据，能够减少主动探索次数，提高物体形状重建的效率等优点。