公开(公告)号：CN119785413A

公开(公告)日：2025-04-08

申请号：CN202411264571.6

申请日：2024-09-10

Applicant: 杭州电子科技大学

Inventor： 王立昊 ,  颜成钢 ,  郑锦凯 ,  盛熙淳 ,  丁贵广 ,  赵强

IPC: G06V40/20 ,  G06V40/10 ,  G06V10/44 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明公开了一种基于多模态数据输入的步态识别方法。本发明步骤：1：将人体解析序列数据集以及人体骨架序列数据集转化为pkl文件；2：构造特征融合模块，该模块将人体解析模块的特征和人体骨架模块的特征进行深度融合；3：构造时空特征提取模块，时空特征提取模块的第一个分支，先使用内核大小为3的一维卷积沿时间维度提取特征，后进入ReLu激活函数，再经过卷积核后进入ReLu激活函数，通过时间维池化经过卷积核得到时间维特征向量；第二个分支再使用一维卷积沿空间维度提取特征，后续部分和时间维度分支保持一致。本发明融合了人体关键点和细粒度解析序列，同时兼顾信息的丰富性和定位的准确性，从而提升步态识别的性能。

公开(公告)号：CN119672808A

公开(公告)日：2025-03-21

申请号：CN202411763240.7

申请日：2024-12-03

Applicant: 杭州电子科技大学

Inventor： 王立昊 ,  颜成钢 ,  郑锦凯 ,  孙垚棋 ,  盛熙淳 ,  赵强

IPC: G06V40/20 ,  G06V10/26 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明公开了一种基于视觉大模型的步态识别方法。通过设计的基于Transformer的步态识别框架PSGaitFormer，有效地融合和聚合了骨骼和人体解析数列的时空信息。PSGaitFormer包括展平滑动模块、Transformer Encoder、位置融合模块、MLP‑Mix模块以及骨骼模块。本发明首次将大模型常用结构引入步态识别领域，结合图像大模型常见网络，提出大模型和步态解析数据的结合以及与人体骨架数据融合进行步态识别。本发明提供了端到端的步态识别方法，可以从摄像头采集的数据中直接得到步态识别结果，不需要人工标注数据，实现自动化识别步态，减少了人力消耗。