图像语义分割方法和装置
    1.
    发明公开

    公开(公告)号:CN117635925A

    公开(公告)日:2024-03-01

    申请号:CN202210957936.8

    申请日:2022-08-10

    Abstract: 本申请公开了一种图像语义分割方法和装置,该方法包括:利用特征金字塔网络FPN对第一图像进行特征提取,得到多个特征图;该多个特征图是分别由FPN中的不同网络层输出得到的;对多个特征图进行融合,得到第一特征图,并利用解码器Decoder对第一特征图进行处理,得到第一图像的语义分割结果。FPN包括第一网络层,第一网络层包括变换器模块,变换器模块包括第一自注意力模块和第一卷积模块;第一网络层输出的特征图是基于第一自注意力模块输出的第三特征图和第一卷积模块输出的第四特征图生成的。通过本申请,可兼顾全局和局部语义的提取,从而提升图像语义分割的精度和效果;同时还可大幅降低计算复杂度。

    图像分类模型的训练方法、图像分类方法及计算设备集群

    公开(公告)号:CN117333690A

    公开(公告)日:2024-01-02

    申请号:CN202210712315.3

    申请日:2022-06-22

    Abstract: 本申请实现方式公开了一种图像分类模型的训练方法,该方法包括:确定训练数据集,以及确定初始图像分类模型,训练数据集包括多个训练样本图像,初始图像分类模型包括第一初始图像分类模块,第一初始图像分类模块为基于全局注意力机制、且具备对长度可变的多图序列进行分类的能力的图像分类模块,多图序列为包括多个图像的图像序列;根据训练数据集,以及预设的用于图像分类的分类向量,对初始图像分类模型进行模型训练,得到初始图像分类模型对应的目标图像分类模型。如此,得到的目标图像分类模型可以实现对长度可变的多图序列的图像分类,并且提高了图像识别效果和图像分类精确度。本申请实现方式还公开了一种图像分类方法和计算设备集群。

    语义分割方法、装置和存储介质
    4.
    发明公开

    公开(公告)号:CN117523560A

    公开(公告)日:2024-02-06

    申请号:CN202210940422.1

    申请日:2022-07-29

    Abstract: 本申请涉及一种语义分割方法、装置和存储介质。该方法可用于第一神经网络模型,该方法包括:获取待处理图像数据的第一图像特征数据;对第一图像特征数据进行特征增强,得到第一增强图像特征数据,第一增强图像特征数据包括图像内的上下文信息;利用第二图像特征数据对第一图像特征数据进行特征增强,得到第二增强图像特征数据,第二增强图像特征数据包括跨图像的上下文信息;根据第一增强图像特征数据和第二增强图像特征数据,确定待处理图像的预测掩码,预测掩码指示待处理图像的语义分割结果。根据本申请实施例,能够获得层次更丰富的特征信息,提高语义分割结果的准确性,可以得到更高效、迁移能力和性能更好的第一神经网络模型。

    图像分割方法、设备、集群、介质、程序产品和装置

    公开(公告)号:CN118587427A

    公开(公告)日:2024-09-03

    申请号:CN202310171706.3

    申请日:2023-02-27

    Abstract: 本申请的实施例提供了图像分割方法、电子设备、计算机集群、计算机可读存储介质、程序产品和装置。该方法包括使用图像分割模型的编码器生成图像集的训练图像的第一特征图,并且使用视觉语言模型的图像编码器来生成训练图像的第二特征图。该方法还包括基于第一特征图与第二特征图,来调整图像分割模型。该方案能够提供附加的域无偏知识来给图像分割模型的域自适应训练过程降噪,从而降低图像分割模型对训练数据风格的偏向性,提高所得模型的鲁棒性。

    视频生成方法、装置及集群
    6.
    发明公开

    公开(公告)号:CN118945442A

    公开(公告)日:2024-11-12

    申请号:CN202310912526.6

    申请日:2023-07-24

    Abstract: 一种视频生成方法、装置及集群。该方法包括:获取目标视频的文本描述信息和多个结构信息,多个结构信息和多个噪声样本一一对应;在第一时间步中,获取多个噪声样本中的第一噪声样本,第一噪声样本用于生成目标视频中的第一视频帧;利用预训练的扩散模型,基于文本描述信息和第一噪声样本对应的结构信息,去除第一噪声样本的噪声,得到第一噪声样本对应的第一中间样本;以及,更新第一噪声样本对应的第一中间样本的特征,得到第一噪声样本对应的第一输出样本;其中,第一噪声样本的第一输出样本用作第一时间步的下一个时间步的噪声样本,或者第一视频帧。该方法可以在无需训练模型的情况下,生成帧间一致性高的视频。

    模型训练方法及装置
    7.
    发明公开

    公开(公告)号:CN118608885A

    公开(公告)日:2024-09-06

    申请号:CN202310179445.X

    申请日:2023-02-28

    Abstract: 本公开的实施例提供了一种模型训练方法及装置,该方法包括:获取与图像处理任务相关联的训练数据集;获取初始模型,初始模型包括经预训练的编码器,经预训练的编码器是基于图像块冗余丢弃过程而被预训练得到的;以及利用训练数据集在初始模型的基础上进行训练,以得到用于图像处理任务的经训练的神经网络模型。以此方式,经预训练的编码器能够被用于与图像处理任务相关联的神经网络模型的初始模型,由于经训练的编码器基于图像块冗余丢弃过程得到,因此所消耗的计算资源少,效率高。

    语义分割中的图像异常检测方法、装置及存储介质

    公开(公告)号:CN117496513A

    公开(公告)日:2024-02-02

    申请号:CN202210861228.4

    申请日:2022-07-20

    Abstract: 本申请涉及计算机视觉领域,尤其涉及一种语义分割中的图像异常检测方法、装置及存储介质。所述方法包括:将目标图像输入至语义分割模型中输出得到第一中间层特征,并将目标图像输入至辅助共识模型中输出得到第二中间层特征;根据第一中间层特征和第二中间层特征确定第一异常参数,第一异常参数指示第一中间层特征和第二中间层特征之间的差异程度;根据第一异常参数确定异常检测结果。本申请实施例通过提供一种共识机制,在训练样本集上训练一个模拟语义分割模型的辅助共识模型,使得辅助共识模型可以在分布内的难样本上与语义分割模型达成共识,极大地排除了难样本的影响,大大降低了假阳性,保证了语义分割中的图像异常检测的准确性。

Patent Agency Ranking