网络模型的预训练方法、图像处理方法及系统

    公开(公告)号:CN119026637A

    公开(公告)日:2024-11-26

    申请号:CN202411034590.X

    申请日:2024-07-30

    Abstract: 本说明书提供一种网络模型的预训练方法、图像处理方法及系统。其中,预训练方法应用于预设网络,预设网络包括教师模型、完整学生模型、弹性学生模型。在不同次迭代训练中,弹性学生模型基于不同的超参数使之成为完整学生模型的子网络。在第n次迭代训练中:将第一视角图像输入至教师模型,获得第一预测结果,将第二视角图像输入至完整学生模型和弹性学生模型,获得完整学生模型输出的第二预测结果和弹性学生模型输出的第三预测结果,以最小化第一预测结果和第二预测结果的差异、第一预测结果和第三预测结果的差异、第二预测结果和第三预测结果的差异为训练目标更新预设网络参数。经本方法得到的教师模型用于提供与不同的超参数各自对应的模型。

    动画生成方法、模型训练方法及装置

    公开(公告)号:CN116843798B

    公开(公告)日:2024-07-05

    申请号:CN202310810626.8

    申请日:2023-07-03

    Abstract: 本说明书实施例提供了动画生成方法、模型训练方法及装置,动画生成方法的一具体实施方式包括:获取用户针对目标音频自定义的情感序列,情感序列包括按时序排列的若干情感类别,各情感类别用于指示待生成的动画中呈现的面部情感或表情;将目标音频和情感序列输入到参数预测模型进行模型处理,得到参数序列,参数序列包括按时序排列的多个参数组;根据各个参数组,生成对应的包括面部的动画片段,从而生成目标动画。生成的动画可以指示按照时序排列的一系列的情感或表情,生成的动画的生动性较强。

    一种视觉提示生成方法及装置
    14.
    发明公开

    公开(公告)号:CN118229835A

    公开(公告)日:2024-06-21

    申请号:CN202410263259.9

    申请日:2024-03-07

    Abstract: 本说明书实施例披露一种视觉提示的生成方法及装置。该方法包括:首先,利用不同尺度的m个第一窗口分别对第一全局特征图进行分割处理,得到m个第一分区图集;所述第一全局特征图是利用视觉编码器处理目标图像而得到。接着,将任意第i个第一分区图集中各个第一分区图分别作为目标特征图输入感知重采样器,得到对应的第一视觉提示。然后,基于各个第一分区图对应的目标视觉提示,确定所述目标图像对应的多尺度视觉提示;任意第一分区图对应的目标视觉提示根据其对应的第一视觉提示确定;所述多尺度视觉提示用于作为大语言模型的输入。

    遥感图像的预处理方法、表征确定方法及装置

    公开(公告)号:CN117975070A

    公开(公告)日:2024-05-03

    申请号:CN202410303395.6

    申请日:2024-03-15

    Abstract: 本说明书实施例提供了一种遥感图像的预处理方法、表征确定方法及装置。在遥感模型的预训练阶段,可以将全局遥感图像划分成多个子图区域,通过特征提取模型确定子图区域中多个图点特征。然后,基于图点特征对图点进行聚类,进而得到子图区域中图点对应的聚类中心,该聚类中心可以作为该子图区域的表征。在遥感模型的微调阶段,在得到一个遥感图像时,可以将该遥感图像与全局遥感图像中在子图区域进行匹配,并从匹配的子图区域中找到对应的目标图点,将目标图点对应的聚类中心与遥感图像进行特征融合,从而得到遥感图像的表征,进而可以用于对遥感图像进行解译。遥感图像中包含隐私数据,在数据处理过程中需要进行隐私保护。

    一种训练文字识别模型的方法及装置

    公开(公告)号:CN117456538A

    公开(公告)日:2024-01-26

    申请号:CN202311414531.0

    申请日:2023-10-27

    Abstract: 本说明书实施例涉及一种训练文字识别模型的方法及装置,方法包括:首先,将第一训练集中的任一目标图像输入到第一文字识别模型中,得到对于目标图像中各个字符属于特定字符类别的预测结果。然后,对于目标字符类别,根据预测结果中属于目标字符类别的第一字符数量,以及属于目标字符类别并且置信度大于第一阈值的第二字符数量,确定目标字符类别对应的目标学习状态值。接下来,根据目标学习状态值与第一阈值,确定目标字符类别对应的目标类别阈值。然后,确定属于目标字符类别并且置信度大于目标类别阈值的目标字符,并将目标字符类别作为目标字符的标签,形成第二训练集。最后,基于第二训练集,对第二文字识别模型进行训练。

Patent Agency Ranking