公开(公告)号：CN108363978A

公开(公告)日：2018-08-03

申请号：CN201810144385.7

申请日：2018-02-12

Applicant: 华南理工大学

Inventor： 杜广龙 ,  张爱玲 ,  张博 ,  刘彩冰 ,  张平

IPC: G06K9/00 ,  G06K9/62

Abstract: 本发明公开了一种采用深度学习和UKF的基于肢体语言的情感感知方法，包括以下步骤：采用Kinect监视进入Kinect工作区的人，然后实时计算人的骨骼点；使用无迹卡尔曼滤波估计骨架点的位置，计算由于跟踪误差和设备的噪声产生的测量误差；对静态的身体动作采用卷积神经网络的方法，对动态的身体动作采用双向长短期记忆条件随机域分析；将动作处理后得到的特性的输出项直接放入softmax分类器中进行识别，识别八种情绪。基于肢体语言的情感感知具有以下优点：首先，肢体语言可以更容易地被传感器捕获；其次，基于情绪感知的身体语言噪音相对较小；第三，肢体语言较少欺骗性；第四，肢体动作的捕捉不会影响或干扰参与者的动作。

公开(公告)号：CN108363978B

公开(公告)日：2022-04-22

申请号：CN201810144385.7

申请日：2018-02-12

Applicant: 华南理工大学

Inventor： 杜广龙 ,  张爱玲 ,  张博 ,  刘彩冰 ,  张平

IPC: G06V40/10 ,  G06V40/20 ,  G06V10/764 ,  G06K9/62

Abstract: 本发明公开了一种采用深度学习和UKF的基于肢体语言的情感感知方法，包括以下步骤：采用Kinect监视进入Kinect工作区的人，然后实时计算人的骨骼点；使用无迹卡尔曼滤波估计骨架点的位置，计算由于跟踪误差和设备的噪声产生的测量误差；对静态的身体动作采用卷积神经网络的方法，对动态的身体动作采用双向长短期记忆条件随机域分析；将动作处理后得到的特性的输出项直接放入softmax分类器中进行识别，识别八种情绪。基于肢体语言的情感感知具有以下优点：首先，肢体语言可以更容易地被传感器捕获；其次，基于情绪感知的身体语言噪音相对较小；第三，肢体语言较少欺骗性；第四，肢体动作的捕捉不会影响或干扰参与者的动作。

公开(公告)号：CN108333941A

公开(公告)日：2018-07-27

申请号：CN201810150908.9

申请日：2018-02-13

Applicant: 华南理工大学

Inventor： 杜广龙 ,  张爱玲 ,  张博 ,  刘彩冰 ,  张平

IPC: G05B13/04

Abstract: 本发明提出了一种基于混合增强智能的云机器人协作学习方法。该方法包括以下步骤：S1、采用NTP（Neural Task Programming，神经任务编程）的元学习方法，将一个大的任务递归的分解成简单的子任务，用于机器人示教；S2、基于人机交互技术实现机器人动作模仿学习，教会机器人技能；S3、利用增量的自我组织的神经网络(Self-organizing incremental neural network,SOINN)，将分散的机器人技能汇总一起共享使用。本发明让多个机器人分别学习人类的技能，然后把学到的信息上传到服务器中，再共用服务器中的信息进行训练和调整。不仅能将学习时间大大缩短，还能对任务的多样性进行扩展。机器人进行合作式学习，通过网络（或称为云机器人）将经验传输给彼此，也就是让机器人可以相互学习。

公开(公告)号：CN108399427A

公开(公告)日：2018-08-14

申请号：CN201810130868.1

申请日：2018-02-09

Applicant: 华南理工大学

Inventor： 杜广龙 ,  张博 ,  刘彩冰 ,  张爱玲 ,  张平

IPC: G06K9/62 ,  G06K9/00 ,  G10L15/26 ,  G06F17/27

Abstract: 本发明提供了基于多模态信息融合的自然交互方法，它允许操作者多通道输入信息，并能对各行为通过统一化转换模型得到统一的文本描述，从而得到完整的、无歧义的交互任务。本发明的方法包括步骤：(1)行为统一化；(2)多模态信息融合。本发明采用非接触式人机交互接口，获取操作者的多通道输入信息，通过统一转换为文本后采用自然语言理解技术得到机器人指令，实时控制机器人。本发明充分体现多模态感知在人类和机器人交互中理解过程的自相似结构，使得人类多模态行为信息被映射到同一层面上，可以达到更高层次的融合度。

公开(公告)号：CN108406767A

公开(公告)日：2018-08-17

申请号：CN201810149541.9

申请日：2018-02-13

Applicant: 华南理工大学

Inventor： 杜广龙 ,  张博 ,  刘彩冰 ,  张爱玲 ,  张平

IPC: B25J9/16

Abstract: 本发明提供面向人机协作的机器人自主学习方法，包括面向人机协作的目标理解方法和任务学习算法，它允许机器人能快速地在人类辅助下认知目标和通过模仿人类动作达到快速掌握新技能的目的。包括步骤：(1)在目标理解层面设计面向人机协作的深度学习方法引入人的经验知识；(2)在任务学习层面引入人类的评价和反馈优化强化学习算法。本发明结合人类的实时反馈和教导，使得机器人能有效地进行自学习和在线学习。