一种适用于工业大模型预训练的自监督方法

    公开(公告)号:CN117422953A

    公开(公告)日:2024-01-19

    申请号:CN202311482234.X

    申请日:2023-11-09

    Applicant: 福州大学

    Abstract: 本发明公开了一种适用于工业大模型预训练的自监督方法,包括:对样本原图进行颜色的数据增强处理,获得各个样本原图对应的第一子图和第二子图;将各个第一子图进行旋转生成第三子图;生成第一子图对应的特定标记;提取第一子图训练集和第二子图训练集的表征输入第一训练模型网络以使第一训练模型网络拉近表征;将第一子图的表征和特定标记进行融合获得特定表征;将特定表征进行重建,获得第一子图对应的第一旋转图;对第三子图训练集和第一旋转图提取表征输入第二训练模型网络以使第二训练模型网络拉近表征;对两个模型进行量纲同统一并分配预设的权重系数,获得工业大模型。本发明可以减少训练复杂度,使训练获得的工业大模型识别更加精准。

Patent Agency Ranking