公开(公告)号：CN113805694A

公开(公告)日：2021-12-17

申请号：CN202110985555.6

申请日：2021-08-26

Applicant: 上海大学

Inventor： 杨帮华 ,  陈文华 ,  谷雪林 ,  徐梦蝶

IPC: G06F3/01 ,  G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于脑机接口与计算机视觉的辅助抓取系统及方法，由SSVEP范式脑机接口模块和计算机视觉模块连接机械臂抓取模块构成，SSVEP范式脑机接口模块中，患者通过注视人机交互界面中不同闪烁频率的区块以诱发SSVEP脑电信号，由脑电帽实时采集后输入到脑电信号处理与解码单元，对信号分类识别得到患者意图。利用数据集训练与测试后得到目标检测模型，利用模型对视频流实时识别目标的种类与位姿。机械臂抓取模块会接收来自SSVEP范式脑机接口模块中解码出的待抓取目标种类和计算机视觉模块中的种类与位姿信息，经中央处理器处理后发送抓取位姿信息给机械臂，机械臂在设定的路径规划策略下抓取指定的目标，能帮助肢体残障人士辅助抓取日常生活物品。

公开(公告)号：CN114706472A

公开(公告)日：2022-07-05

申请号：CN202210069237.X

申请日：2022-01-21

Applicant: 上海大学 ,  上海韶脑传感技术有限公司

Inventor： 杨帮华 ,  徐梦蝶 ,  黄逸灵 ,  陈文华

IPC: G06F3/01 ,  G06F3/0484 ,  G06T19/00 ,  G16H20/30

Abstract: 本发明公开了一种基于沉浸式虚拟现实的个性化康复训练系统与方法。本发明系统包括个性化康复训练系统、相机、3D头部模型库、脑电帽、HTC Vive Pro头显、EEG解码单元。运行个性化康复训练系统，构建个性化模型，使用相机拍摄使用者照片，获取人脸图片，将图片载入3D头部模型库，检验模型制作情况，打开对应的VR训练场景，将使用者的头部模型构建在VR训练场景引导人物的头部模型上，最终构成了一个自己，就形成了个性化训练模型；使用者根据系统提示注视头显中的“自己”开始运动想象，脑电帽采集脑电信号，EEG解码单元解码脑电信号，将结果转换为对应的控制指令发送给训练界面，训练界面根据指令进行实时视觉反馈，本发明给与患者更高的沉浸式治疗体验。

公开(公告)号：CN115145387A

公开(公告)日：2022-10-04

申请号：CN202210222302.8

申请日：2022-03-09

Applicant: 上海大学

Inventor： 杨帮华 ,  陈文华 ,  谷雪林 ,  夏新星 ,  汪小帆

IPC: G06F3/01 ,  G06K9/00 ,  B25J9/16 ,  G06N3/04 ,  G06N3/08 ,  G06T7/73 ,  G06V10/764 ,  G06V10/82 ,  A61F4/00

Abstract: 本发明公开了一种基于机器视觉的脑控移动抓取机器人系统及控制方法。本系统由信息采集模块经中央处理模块连接移动与抓取模块构成。在信息采集模块中，通过脑电帽采集由患者注视人机交互界面诱发的稳态视觉诱发电位脑电信号，同时，通过深度相机实时采集图像的RGB‑D信息。采集的脑电信息在脑电信号处理单元中经过预处理、特征提取与分类识别解码出患者的意图，并将意图转化为控制指令；采集的图像信息经过图像识别与定位单元得到目标的种类与位姿。移动与抓取模块中机器人移动单元接收到启动指令后移动到目标区域；机械臂抓取单元会订阅带有抓取位姿信息的话题，在接收到抓取指令后自主抓取患者指定物品，最终帮助肢体功能障碍人士获取日常生活物品。