-
公开(公告)号:CN118865441A
公开(公告)日:2024-10-29
申请号:CN202410899115.2
申请日:2024-07-05
Applicant: 西北大学
IPC: G06V40/10 , G06V10/764 , G06V10/82 , G06V20/70 , G06N3/047 , G06N3/0499 , G06N3/084 , G06N3/098
Abstract: 本申请涉及一种基于视觉语言模型的金丝猴面部识别方法,不需要对金丝猴面部图像进行精细的标注,而是引入了额外的文本信息,这些文本信息以一种弱监督的形式存在,更易于收集和获取;并且通过描述文本可以与图像内容关联起来,提高模型对图像语义的理解能力,从而提高对细粒度特征的抽取能力。
-
公开(公告)号:CN118230353A
公开(公告)日:2024-06-21
申请号:CN202410254647.0
申请日:2024-03-06
Applicant: 西北大学
IPC: G06V40/10 , G06V10/774 , G06V10/80 , G06V10/82 , G06V10/764 , G06V20/40
Abstract: 本发明公开了一种基于视频片段预测与微调后的金丝猴动作识别方法,在动作识别前先进行视频片段顺序预测工作,通过对多个片段的特征进行全排列,考虑了所有可能的顺序组合,能够更全面地探索不同片段之间的关系,并且能够捕捉到一些可能被忽略的重要信息,通过全排列和MLP,能够有效避免信息丢失。本方法还提出了一种新的损失函数组合策略,将A‑Softmax和ArcFace两个损失函数进行加权融合,作为本方法最终的损失函数,能够更好地捕捉到类别之间的边界信息,从而提高分类的准确性。A‑Softmax和ArcFace损失函数通过引入额外的参数约束,能够提高模型对于异常样本和数据不平衡情况的鲁棒性和稳定性,适于工业上大规模使用与推广。
-
公开(公告)号:CN116229511A
公开(公告)日:2023-06-06
申请号:CN202310158824.0
申请日:2023-02-23
Applicant: 西北大学
IPC: G06V40/10 , G06V40/20 , G06V20/40 , G06V10/74 , G06V10/42 , G06V10/44 , G06V10/62 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种基于金丝猴躯干局部特征提取的身份重识别方法,使用卷积神经网络进行全局特征提取,然后使用MMpose工具进行关键点检测,再利用得到的关键点坐标信息对全局特征进行定位切分,得到局部特征;相比较使用平均硬切分方式,利用骨架结构更能够表达金丝猴的身体结构信息,能够解决部位不对齐和姿势多样化的问题;利用得到的全局特征信息和局部特征信息构建时间和空间关系的超图结构,有效提高了视频金丝猴重识别的准确率。
-
公开(公告)号:CN118230410A
公开(公告)日:2024-06-21
申请号:CN202410248078.9
申请日:2024-03-05
Applicant: 西北大学
IPC: G06V40/20 , G06V40/70 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/042 , G06N3/0464 , G06N3/049
Abstract: 本发明公开了一种基于无线信号和视频信息的多模态手势识别方法:步骤S1:采集无线信号和手势视频数据;步骤S2:获取CSI信息;步骤S3:得到幅值序列;步骤S4:对幅值序列预处理;步骤S5:将预处理的CSI数据分为有标签和无标签两部分;步骤S6:循环训练完成CSI特征提取;步骤S7:得到手势动作图;步骤S8:得到骨架手势动作数据集;步骤S9:提取手势视频骨架特征;步骤S10:得到视频流手势动作特征;步骤S11:融合;步骤S12:对融合特征进行手势预测得到识别结果。本发明解决了基于单模态的手势识别方法中因多变的环境等固有限制因素导致识别精度下降的问题,提升了手势识别模型的识别准确率和鲁棒性,可广泛应用于手势识别乃至动作识别领域。
-
-
-