公开(公告)号：CN115494939B

公开(公告)日：2025-05-23

申请号：CN202210930685.4

申请日：2022-08-04

Applicant: 华南理工大学

Inventor： 张鑫 ,  牟冲 ,  林宏辉 ,  石东子

IPC: G06F3/01 ,  G06V10/25 ,  G06V10/82 ,  G06V40/10 ,  G06V40/20 ,  B66B1/00 ,  B66B3/00

Abstract: 本发明公开了一种虚拟电梯按键方法，该方法包括：图像获取步骤，通过摄像头获取用户图像；指尖检测步骤，实时获取用户图像中手部选框及指尖坐标，进而实现用户指尖定位及追踪；手势识别步骤，对用户指尖依次识别鼠标、按键和结束三种交互手势，进而形成电梯控制指令；电梯操控步骤，根据电梯控制指令实现非接触性的按键操控指令。本发明通过图像获取步骤、指尖检测步骤、手势识别步骤与电梯操控步骤，实现电梯的非接触性的按键操作，精炼电梯操控模型，提升电梯运作速度及利用率，进而优化电梯按键可操控性及灵活性，可以有效节省用户时间，提高用户体验感和舒适度。

公开(公告)号：CN115494939A

公开(公告)日：2022-12-20

申请号：CN202210930685.4

申请日：2022-08-04

Applicant: 华南理工大学

Inventor： 张鑫 ,  牟冲 ,  林宏辉 ,  石东子

IPC: G06F3/01 ,  G06V10/25 ,  G06V10/82 ,  G06V40/10 ,  G06V40/20 ,  B66B1/00 ,  B66B3/00

Abstract: 本发明公开了一种虚拟电梯按键方法，该方法包括：图像获取步骤，通过摄像头获取用户图像；指尖检测步骤，实时获取用户图像中手部选框及指尖坐标，进而实现用户指尖定位及追踪；手势识别步骤，对用户指尖依次识别鼠标、按键和结束三种交互手势，进而形成电梯控制指令；电梯操控步骤，根据电梯控制指令实现非接触性的按键操控指令。本发明通过图像获取步骤、指尖检测步骤、手势识别步骤与电梯操控步骤，实现电梯的非接触性的按键操作，精炼电梯操控模型，提升电梯运作速度及利用率，进而优化电梯按键可操控性及灵活性，可以有效节省用户时间，提高用户体验感和舒适度。

公开(公告)号：CN115240220A

公开(公告)日：2022-10-25

申请号：CN202210733568.9

申请日：2022-06-27

Applicant: 华南理工大学

Inventor： 张鑫 ,  林宏辉 ,  石东子

IPC: G06V40/10 ,  G06V40/20 ,  G06V10/34 ,  G06V10/44 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多尺度可变形卷积的人体骨架序列手势分类方法，提出一种多尺度可变形卷积，通过提取多尺度时空特征进行手势分类，在交错时空卷积时可以更好地实现自适应的骨架点序列中关键点和关键帧的识别。该多尺度可变形卷积由一组不同空洞率的并行分组卷积组成，实现基于多尺度特征的偏移量预测。在此基础上根据预测偏移量进行特征重采样，从而实现自适应的骨架点序列中关键点和关键帧的识别。相较于标准卷积和图神经网络分别受到规则网格采样和只能从预定义邻接矩阵进行特征提取的限制，本发明交错卷积时间和空间的信息，提取多尺度时空融合特征，在手势分类应用上具有更高的准确度和鲁棒性。

公开(公告)号：CN218485132U

公开(公告)日：2023-02-17

申请号：CN202222320695.4

申请日：2022-09-01

Applicant: 华南理工大学

Inventor： 张鑫 ,  陈生贤 ,  钱济宇 ,  石东子

IPC: A63B71/06 ,  G09B5/06

Abstract: 本实用新型公开了一种基于视觉与心率采集的智能运动辅助装置，包括RGB摄像头、心率带、人体检测器、姿态识别器、CPU、显卡、存储器、显示器、扬声器；其中，RGB摄像头采集用户运动图像，并通过USB接口有线传输至人体检测器；人体检测器实现人体的定位及追踪；姿态识别器判断用户运动姿态是否标准，并将分析结果输入显示器和扬声器；心率带戴在人体胸口处，通过无线蓝牙将心率传至显示器；显示器用来实时展示运动结果和心率数据；扬声器根据结果与用户进行实时交互；CPU、显卡提供计算资源。本实用新型在用户选择一种运动后通过视觉和心率智能辅助用户完成该运动，从而达到更好的运动效果，提高用户体验感和舒适感。

公开(公告)号：CN218037975U

公开(公告)日：2022-12-13

申请号：CN202222039619.6

申请日：2022-08-04

Applicant: 华南理工大学

Inventor： 张鑫 ,  石东子 ,  牟冲

IPC: G06F3/042 ,  G06V40/20

Abstract: 本实用新型公开了一种用于电梯的虚拟按键装置，包括RGB摄像头、手部检测器、手势判别器、CPU、显卡、存储器、至少一个用于外接外部设备的扩展接口和虚拟按键显示器；其中，RGB摄像头采集用户手势图像，并传输至手部检测器；手部检测器实现指尖的定位及追踪；手势判别器将手部检测器输出的结果与预存储的手势进行对比，将手势对应的操作结果输入电梯运行控制器；虚拟按键显示器显示各楼层按键以及用户按键操作结果；CPU、显卡提供计算资源，其中CPU控制程序运行从完成图像采集到按键的全部操作；内存储器提供运行环境。本实用新型可根据用户的手势实现无接触电梯控制，提高用户体验感和舒适感。