-
公开(公告)号:CN119625500A
公开(公告)日:2025-03-14
申请号:CN202411844156.8
申请日:2024-12-15
Applicant: 北京工业大学
IPC: G06V10/82 , G06V10/764 , G06N3/045 , G06V20/70 , G06V10/26
Abstract: 本发明公开了一种基于参数共享的Vision Transformer简化方法,步骤一:精简视觉骨干模型;步骤二:预训练图像分类模型;步骤三:训练目标检测和语义分割模型;本发明设计了一种新的参数共享MLP结构来减少ViT模型的参数,通过对线性层的镜像结构进行参数共享来减少MLP块的一半参数,将其与提出的轻量级注意力块相结合,构建一个高效的PSM‑Former模型。