层自适应位置编码设计方法、装置、设备及存储介质

    公开(公告)号:CN117422107A

    公开(公告)日:2024-01-19

    申请号:CN202311281543.0

    申请日:2023-09-28

    Abstract: 本申请提供一种层自适应位置编码设计方法、装置、设备及存储介质,涉及机器学习技术领域,层自适应位置编码设计方法包括:将token表征作为视觉模型的第零层编码器的输入,并基于第零层的自适应仿射变换系数对初始位置编码进行层归一化处理,得到中间位置编码,将中间位置编码添加至第零层编码器中得到输出;将第零层编码器的输出作为第零层的下一层编码器的输入,以执行下一层编码器基于自适应位置编码的编码操作,得到下一层编码器的输出;再将下一层编码器的输出作为新的输入以循环执行各层级编码器基于自适应位置编码的编码操作,直至循环至最后一层时,将最后一层级编码器的输出作为视觉模型的输出,以构建包含层自适应位置编码的视觉模型。

Patent Agency Ranking