一种基于多模态多层次注意力机制的半监督手部骨架动作识别方法

    公开(公告)号:CN117877104A

    公开(公告)日:2024-04-12

    申请号:CN202311508338.3

    申请日:2023-11-13

    Abstract: 本发明涉及智能生产线人机协作技术领域,特别涉及一种基于多模态多层次注意力机制的半监督手部骨架动作识别方法。本发明的方法包括获取多模态数据,构建基于多层次注意力机制的半监督手部骨架动作识别模型,对聚合后的特征进行半监督训练,将测试集中的手部骨架序列输入到训练好的半监督手部骨架动作识别模型中,最终得到手部骨架动作的分类结果。本发明的方法通过构建多层次自注意力模块来处理无标记数据的多模态特征,并设计了多模态多层次对比损失函数来进行半监督训练,实现了对无标记数据的有效利用,提升了在大量无标记数据情况下模型对手部骨架动作的识别性能。

    一种基于最近发展区指导的自动驾驶对抗学习方法

    公开(公告)号:CN119568178A

    公开(公告)日:2025-03-07

    申请号:CN202411409698.2

    申请日:2024-10-10

    Abstract: 本发明提供的一种基于最近发展区指导的自动驾驶对抗学习方法,通过综合考虑对抗车辆的个人因素、对抗性因素和自车的理想回报上限,保证生成的对抗性任务在具有挑战性的同时是可解的,而且符合交通规则,有效促进了自车代理的学习和适应;其次,引入了“车辆潜在威胁性”概念,基于ZPD理论实现了损失函数各约束项之间比重系数的动态调整,以在训练过程中自适应地改变任务难度,促进自车更快地学习;最后,提出了碰撞分析方法,通过车身碰撞点、碰撞角度和碰撞速度因素评估碰撞的严重程度,计算碰撞损失值,并将其纳入自车和对抗代理的损失函数中,确保模型根据详细的碰撞风险更新其参数。

Patent Agency Ranking