一种基于视频片段预测与微调的金丝猴动作识别方法

    公开(公告)号:CN118230353A

    公开(公告)日:2024-06-21

    申请号:CN202410254647.0

    申请日:2024-03-06

    Applicant: 西北大学

    Abstract: 本发明公开了一种基于视频片段预测与微调后的金丝猴动作识别方法,在动作识别前先进行视频片段顺序预测工作,通过对多个片段的特征进行全排列,考虑了所有可能的顺序组合,能够更全面地探索不同片段之间的关系,并且能够捕捉到一些可能被忽略的重要信息,通过全排列和MLP,能够有效避免信息丢失。本方法还提出了一种新的损失函数组合策略,将A‑Softmax和ArcFace两个损失函数进行加权融合,作为本方法最终的损失函数,能够更好地捕捉到类别之间的边界信息,从而提高分类的准确性。A‑Softmax和ArcFace损失函数通过引入额外的参数约束,能够提高模型对于异常样本和数据不平衡情况的鲁棒性和稳定性,适于工业上大规模使用与推广。

    一种基于无线信号和视频信息的多模态手势识别方法

    公开(公告)号:CN118230410A

    公开(公告)日:2024-06-21

    申请号:CN202410248078.9

    申请日:2024-03-05

    Applicant: 西北大学

    Abstract: 本发明公开了一种基于无线信号和视频信息的多模态手势识别方法:步骤S1:采集无线信号和手势视频数据;步骤S2:获取CSI信息;步骤S3:得到幅值序列;步骤S4:对幅值序列预处理;步骤S5:将预处理的CSI数据分为有标签和无标签两部分;步骤S6:循环训练完成CSI特征提取;步骤S7:得到手势动作图;步骤S8:得到骨架手势动作数据集;步骤S9:提取手势视频骨架特征;步骤S10:得到视频流手势动作特征;步骤S11:融合;步骤S12:对融合特征进行手势预测得到识别结果。本发明解决了基于单模态的手势识别方法中因多变的环境等固有限制因素导致识别精度下降的问题,提升了手势识别模型的识别准确率和鲁棒性,可广泛应用于手势识别乃至动作识别领域。

Patent Agency Ranking