公开(公告)号：CN116894977A

公开(公告)日：2023-10-17

申请号：CN202310865372.X

申请日：2023-07-14

Applicant: 重庆邮电大学

Inventor： 宋铁成 ,  毛磊 ,  徐光明 ,  酒英豪 ,  彭逸

IPC: G06V10/764 ,  G06V10/42 ,  G06V10/25 ,  G06V10/82 ,  G06N3/0499 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明属于遥感目标检测领域，具体涉及一种基于轻量型Transformer的遥感目标检测方法，包括：将一个阈值可学习的token剪枝策略应用于视觉Transformer，以自适应地在不同编码器层级上减少冗余的token；通过一种注意力传播策略来重用前一层多头自注意力模块中的自注意力矩阵，进而绕过大量的自注意力计算；通过建立分类损失、回归损失以及剪枝损失，对整个网络进行优化，利用优化后的网络进行目标检测。本发明采用全自动的token剪枝策略与高效的注意力传播策略，能够有效地降低固定数量的token和各层自注意力矩阵之间的高相似性所带来的冗余，提升了模型的计算效率和推理速度。