公开(公告)号：CN117532609A

公开(公告)日：2024-02-09

申请号：CN202311660770.4

申请日：2023-12-06

Applicant: 东北大学

Inventor： 丁其川 ,  窦一龙 ,  艾金朔 ,  张新慧

IPC: B25J9/16

Abstract: 本发明提供一种融合脑肌电与单目视觉的仿人机器人实时控制系统及方法，涉及多模态多模式的人形机器人控制技术领域。该系统包括姿态数据采集系统、肌电数据采集系统、脑电数据采集系统、计算机系统、数据传输模块和人形机器人；姿态数据采集系统用于采集用户全身的二维运动视频；肌电数据采集系统用于采集用户的手臂动作肌电信号；脑电数据采集系统采集用户的运动想象脑电信号；计算机系统将接收的二维运动视频、手臂动作肌电信号以及运动想象脑电信号转化为相应的控制指令来控制人形机器人做出相应的动作。该系统及方法融合多种信息，实现利用单目视觉信息对人形机器人大关节主体动作控制，利用肌电信息对人形机器人手部腕部动作的精细控制。

公开(公告)号：CN119027559A

公开(公告)日：2024-11-26

申请号：CN202411150466.X

申请日：2024-08-21

Applicant: 东北大学

Inventor： 丁其川 ,  窦一龙 ,  郑天璐 ,  刘东旭 ,  童晨宇 ,  杨博

IPC: G06T13/40 ,  G06T15/02 ,  G06T17/00

Abstract: 本发明公开一种基于Mip‑NeRF和蒙皮模型的人体三维重建系统及方法，涉及人体模型重建技术领域。一种基于Mip‑NeRF和蒙皮模型的人体三维重建系统及方法只需要单个相机或者手机收集人体的四周的图像信息，利用收集的人体的四周的图像信息和上述方法可以重建人体三维模型，不仅可以减弱人体非刚性变化带来的影响，而且重建后的人体三维模型具有衣服、头发等纹理细节；对重建后的人体三维模型可以进行编辑操作，利用3D运动数据驱动重建后的人体三维模型生成具有高度真实感的人体动画，完成目标人体本身无法完成的特定动作，用于虚拟试衣、特效电影等领域。

公开(公告)号：CN119184676A

公开(公告)日：2024-12-27

申请号：CN202411315970.0

申请日：2024-09-20

Applicant: 东北大学

Inventor： 丁其川 ,  杨博 ,  窦一龙 ,  郑天璐

IPC: A61B5/11 ,  A61B5/0205 ,  A61B5/145 ,  A61B5/00 ,  G06V20/52 ,  G06V20/40 ,  G06V40/20 ,  G06V10/764 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464

Abstract: 本发明公开一种融合多目视觉检测与生理反馈的健康监测方法及系统，涉及视觉行为检测领域与智慧医疗领域。结合视频信息和生理信息，一方面利用视觉检测直接检测用户异常行为，另一方面用以区分人体静息状态，辅助生理信息判断用户状态，提升监测的准确性；使用生理反馈解决用户在监控范围外、夜晚等视觉检测失效的情况，以提供持续健康监测，结合多个深度学习模型，减轻优化难度和计算压力；使用时序信息，以区分跌倒、躺下、坐卧等相似动作，有效降低算法的误检率；提出一种视频信息调度方法，解决了同时处理多路视频的问题，有效增加视觉方法的检测范围，并降低资源开销。