-
公开(公告)号:CN111399634A
公开(公告)日:2020-07-10
申请号:CN201911163274.1
申请日:2019-11-25
Applicant: 南京邮电大学
Abstract: 本发明公开一种手势引导物体识别的方法及装置,其方法具体包含如下步骤:(1)对Kinect和Leap motion进行联合标定,计算两传感器镜头坐标系间的变换矩阵;(2)通过Leap motion捕捉手部运动数据,进行运动轨迹跟踪;通过Kinect采集物体特征信息;(3)利用镜头坐标系间的变换矩阵将手部运动轨迹转换到Kinect坐标系下(4)利用手部运动轨迹对物体进行框选,将框选的物体映射到二维平面,基于SSD的物体识别方法,对框选物体进行识别。所述装置包含用于手势动作捕捉的Leap motion和用于物体识别的Kinect,Leap motion坐标系y轴与Kinect坐标系z轴相互垂直,通过刚性材料固定,可实现手势动作引导下的物体识别。利用该方法与装置可提高对目标物体识别的准确率和高效性,增强人机交互体验。
-
-
公开(公告)号:CN109887570A
公开(公告)日:2019-06-14
申请号:CN201910130904.9
申请日:2019-02-22
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法,方法通过包括RGB-D相机和IMU传感器的康复机器人实现,包括:利用RGB-D相机采集肢体的三维空间方位轨迹数据,利用IMU传感器采集肢体的姿态角信息数据;分别基于三维空间方位轨迹数据和姿态角信息数据采用算法分别得到两组肩关节外展内收角、肩关节屈伸角、肩关节内外旋角和肘关节屈伸角数据;通过融合滤波器将上述求得的两组角度数据融合得到目标患者稳定可靠的运动轨迹数据;搭建辅助康复训练虚拟环境,并将运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据,基于实时控制数据控制控制康复机器人辅助目标患者进行康复训练运动;本发明可提高康复训练的工作效率,优化训练效果。
-
公开(公告)号:CN105787471B
公开(公告)日:2019-05-03
申请号:CN201610180343.X
申请日:2016-03-25
Applicant: 南京邮电大学
Abstract: 本发明提供一种应用于助老助残移动服务机器人控制的手势识别方法,将静态手势识别与动态手势识别相结合,能排除手势分割时由于复杂背景、大面积肤色或遮挡造成的干扰,具有自然友好的人机交互方式,运用到基于手势识别的移动服务机器人交互系统中可以快速准确识别出手势指令并安全地控制轮椅,增大用户的活动范围,有效地改善其生活质量。
-
公开(公告)号:CN105487665B
公开(公告)日:2018-09-07
申请号:CN201510872912.2
申请日:2015-12-02
Applicant: 南京邮电大学
Abstract: 本发明提供一种基于头部姿势识别的智能移动服务机器人控制方法,该方法利用约束局部模型算法检测脸部特征点,再利用脸部特征点的几何关系估计当前头部姿态,从而使患者能够用头部来控制智能移动服务机器人的运动。其具体实现包括如下步骤:训练头部姿态样本得到脸部特征点形状模板和特征点的局部模板;利用Ki nect采集头部图像并找到脸部位置;通过约束局部模型算法检测脸部特征点;利用检测到的特征点估计当前头部姿态;再根据不同的头部姿态参数给移动服务机器人发出不同的控制命令。利用本发明的方法,使得残障人士也可以利用头部稳定地控制智能移动服务机器人,方便了他们的出行。
-
公开(公告)号:CN108214494A
公开(公告)日:2018-06-29
申请号:CN201810105505.2
申请日:2018-02-02
Applicant: 南京邮电大学
CPC classification number: B25J9/161 , B25J9/1661 , B25J13/08 , G06K17/0022 , G06Q50/26
Abstract: 本发明涉及一种基于乱架图书管理机器人手持式辅助终端的图书管理方法,该方法的装置包括自主机器人乱架图书管理系统和手持式辅助终端,所述自助机器人乱架图书管理系统与手持式辅助终端通信连接,所述手持式辅助终端包括扫描枪、触摸屏、无线通信模块和查询模块。本发明的优点是利用图书馆内现有的硬件设备和软件系统,辅助机器人解决图书馆内图书归位的难题,并针对图书馆机器人无法在狭小空间内运行的缺陷,采用手持式辅助终端扩大了乱架图书管理机器人的应用范围,是对图书馆机器人图书管理功能的有效补充,辅助机器人管理图书馆书籍,降低了图书馆人工管理成本,提高图书馆服务质量和自动化水平,解决馆藏图书错架、乱架问题。
-
-
公开(公告)号:CN104778224B
公开(公告)日:2017-11-14
申请号:CN201510137760.1
申请日:2015-03-26
Applicant: 南京邮电大学
Abstract: 一种基于视频语义的目标对象社交关系识别方法,首先对用户输入的视频数据预处理,得到镜头图像帧序列,从中取出关键帧,通过SVM学习模型提取该关键帧的特征向量,将分析特征向量得到的镜头语义存储到XML文件中镜头结点,然后根据每一个镜头的结点下时间和人物所对应的语义结点,把拥有相同的人物语义结点的镜头结点归为一组镜头结点,将已分类好的每组镜头结点的数据按照名称为时间结点的结点值的递增顺序保存到XML文件的场景结点下,依次构造出镜头语义序列,代表一个个场景;最后用一个个场景语义矩阵来存储场景中人物的语义信息和社交关系,再通过取并集的方式,将所有的场景语义矩阵中的人物语义信息和社交关系合并成一个大的代表视频语义的矩阵。
-
公开(公告)号:CN107038419A
公开(公告)日:2017-08-11
申请号:CN201710191810.3
申请日:2017-03-28
Applicant: 南京邮电大学
IPC: G06K9/00
CPC classification number: G06K9/00335 , G06K9/00724
Abstract: 本发明公开了一种基于视频序列深度学习的人物行为语义识别方法,该方法提出了一种运动分析模型提取视频关键帧,并通过人体的外轮廓作为特征值,结合RBF神经网络对人物行为语义进行识别。本发明方法可以解决对一个视频流中人物动作的识别,能够有效弱化光照变化和颜色的影响。
-
公开(公告)号:CN106650628A
公开(公告)日:2017-05-10
申请号:CN201611027090.9
申请日:2016-11-21
Applicant: 南京邮电大学
CPC classification number: G06K9/00382 , G06K9/2054 , G06K9/40 , G06K9/4652 , G06K9/6215 , G06K9/6218
Abstract: 本发明公开了一种基于三维K曲率的指尖检测方法,该方法分为两步,第一步:基于点云颜色区域增长提取手部区域。首先对RGB‑D传感器获取的点云数据进行滤波,然后对其做颜色的区域增长分割,最后采取肤色检测算法获取手部区域的点云数据。第二步:基于三维K曲率算法提取指尖点。在获取手部区域后,对手部点云进行滤波以剔除一些空间离散点,然后利用K曲率算法的思想去处理点云数据,确定指尖候选点,对其指尖候选点聚类,得到指尖点。利用本发明的方法,可以在数字1、2、3、4、5等几种常见手势情况下,在不同位置,不同背景,不同光照环境下,很好地检测出指尖点。本发明的方法与实际指尖点的距离误差仅为5mm左右,具有较好的精确性、鲁棒性。
-
-
-
-
-
-
-
-
-