多模态模型的预训练方法、装置、设备和存储介质

    公开(公告)号:CN118154891A

    公开(公告)日:2024-06-07

    申请号:CN202410419779.4

    申请日:2024-04-08

    Abstract: 本申请一个或多个实施例提供一种多模态模型的预训练方法、装置、设备和存储介质,该方法包括:获取用于对多模态模型进行预训练的包括图像样本以及与图像样本对应的描述文本样本的多模态数据样本;将多模态数据样本输入多模态模型,以对图像样本进行特征提取,得到与图像样本对应的图像特征向量,并对描述文本样本进行特征提取,得到与描述文本样本对应的文本特征向量,以及,基于文本特征向量,生成与描述文本样本对应的图像,并基于图像特征向量,生成与图像样本对应的描述文本;基于生成的图像和图像样本确定第一损失,并基于生成的描述文本和描述文本样本确定第二损失,以及,基于第一损失和第二损失对多模态模型的模型参数进行调整。

    大模型的训练方法和装置
    13.
    发明授权

    公开(公告)号:CN117521759B

    公开(公告)日:2024-04-05

    申请号:CN202410010377.9

    申请日:2024-01-04

    Abstract: 本说明书实施例提供一种大模型的训练方法和装置,所述大模型包括具有相同第一结构的第一数目个第一网络层;方法包括:在第一约束条件下对所述大模型进行初步训练;所述第一约束条件限定,在所述初步训练过程中,不同的第一网络层采用相同的参数;在取消所述第一约束条件限制的情况下,对初步训练后的所述大模型进行继续训练。能够保证模型快速收敛。

    图像特征提取模型的训练方法和图像检索方法

    公开(公告)号:CN111242184A

    公开(公告)日:2020-06-05

    申请号:CN202010005761.1

    申请日:2020-01-03

    Inventor: 徐富荣

    Abstract: 本说明书实施例公开了一种图像特征提取模型的训练方法和图像检索方法,图像特征提取模型的训练方法包括:获取样本图像,以及样本图像对应的类型。将样本图像输入图像特征提取模型,以生成样本图像对应的图像特征。其中,图像特征提取模型包括卷积神经网络。根据样本图像对应的图像特征在特征空间中的距离,对卷积神经网络进行训练。当相同类型的样本图像对应的图像特征,在特征空间中的位置重合,并且不同类型的样本图像对应的图像特征,在特征空间中均匀分布时,完成对图像特征提取模型的训练。由此,使得不同类型的图像对应的图像特征,存在较大区别,在进行图像检索时,使用该模型进行图像特征的提取,提升了图像检索的准确度。

    利用车辆视频中的多个图像帧进行损伤识别的方法及装置

    公开(公告)号:CN110751646A

    公开(公告)日:2020-02-04

    申请号:CN201911031572.5

    申请日:2019-10-28

    Inventor: 徐富荣 张伟 程远

    Abstract: 本说明书实施例提供一种利用车辆视频中的多个图像帧进行损伤识别的方法和装置,在损伤识别过程中,对于相邻的图像帧,一方面,通过光流变换进行帧与帧之间的损伤特征融合,另一方面,分别通过预先训练的神经网络处理各图像帧,得到标注边框,并将相邻帧间相对应的标注边框进行框与框之间的损伤特征融合。通过帧与帧之间,以及框与框之间,两个级别的特征融合,可以解决单张图片受限于角度、自然光照等因素导致的不利于损伤检测的影响,每一个图像帧都可以从邻近帧得到特征的补充,从而,可以提高损伤识别的准确度。

    一种通过多图形处理器计算对比损失的方法和装置

    公开(公告)号:CN117556273A

    公开(公告)日:2024-02-13

    申请号:CN202410016072.9

    申请日:2024-01-05

    Abstract: 本说明书实施例提供了一种通过多图形处理器计算对比损失的方法和装置,该方法包括:通过划分为M个处理器组的N个图形处理器处理目标批次样本的特征,其中,每个处理器组包括一至多个图形处理器,每个图形处理器分别处理目标批次样本包含的至少一个样本的特征;各个处理器组分别确定处理器组包含的图形处理器处理的特征之间的局部特征相似度,并将局部特征相似度保存到处理器组包括的图形处理器的对应显存中;分别根据各个处理器组包括的图形处理器的对应显存中保存的局部特征相似度,确定各个处理器组对应的分组对比损失;根据各个处理器组对应的分组对比损失,确定整体对比损失。

    网络模型的训练、图像特征的确定方法及装置

    公开(公告)号:CN115035314A

    公开(公告)日:2022-09-09

    申请号:CN202210685058.9

    申请日:2022-06-15

    Abstract: 本说明书实施例提供了一种网络模型的训练、图像特征的确定方法及装置。网络模型包括特征提取网络和分类器。在训练网络模型时,获取待训练的第一图像和对应的标注标签,利用特征提取网络提取第一图像的第一特征,对第一特征包含的特征元素进行映射,得到第一图像的伪哈希特征,该伪哈希特征中的特征元素的取值在两个预设数值之间;接着,利用伪哈希特征和分类器确定第一图像的预测概率,基于预测概率与标注标签之间的差异,确定预测损失,利用该预测损失,对网络模型进行更新。

    一种针对宠物的辅助拍摄方法和装置

    公开(公告)号:CN113132632A

    公开(公告)日:2021-07-16

    申请号:CN202110369023.X

    申请日:2021-04-06

    Inventor: 朱敏 徐富荣

    Abstract: 说明书披露一种针对宠物的辅助拍摄方法和装置。一种针对宠物的辅助拍摄方法,预先设置有若干拍摄距离区间与宠物特征类型之间的映射关系,应用于客户端,包括:接收到宠物拍摄指令后,调用摄像模块采集宠物图像;判断能否从所述宠物图像中提取出所述宠物图像所属拍摄距离区间对应类型的宠物特征;在提取出所述类型的宠物特征的情况下,输出拍摄距离区间调整引导,以引导用户调整拍摄距离区间,并继续采集宠物图像。

    热力图转换模型训练方法以及装置

    公开(公告)号:CN113011505A

    公开(公告)日:2021-06-22

    申请号:CN202110307949.6

    申请日:2020-11-20

    Inventor: 徐富荣 王萌 程远

    Abstract: 本说明书实施例提供热力图转换模型训练方法以及装置,其中所述热力图转换模型训练方法包括:对目标对象的特征图像进行特征点标注,并生成所述特征图像对应的至少一个特征点坐标,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。

Patent Agency Ranking