-
公开(公告)号:CN113065635B
公开(公告)日:2025-02-14
申请号:CN202110221444.8
申请日:2021-02-27
Applicant: 华为技术有限公司
IPC: G06N3/045 , G06N3/0475 , G06N3/096 , G06T3/4053 , G06T5/60
Abstract: 本申请实施例公开了一种模型的训练方法、图像增强方法及设备,可应用于人工智能领域中的图像处理领域,具体可用于超分辨率重建任务,该方法针对由生成网络、教师网络、学生网络构成的模型重新构建了一套损失函数,用于提升生成网络和学生网络的训练效果。在提升生成网络训练效果方面,基于超分辨重建任务的特性(即超分辨图像具有低分辨图像的所有信息,并包含更多细节信息),针对超分辨重建任务构建了一种训练生成网络的损失函数,提升了模型在超分辨重建任务上的训练效果;在提升学生网络训练效果方面,由于无数据的知识蒸馏十分困难,为了降低蒸馏难度,采用渐进蒸馏方式训练学生网络,直至训练完整个学生网络,降低了蒸馏难度。
-
公开(公告)号:CN112445823B
公开(公告)日:2024-11-26
申请号:CN201910834158.1
申请日:2019-09-04
Applicant: 华为技术有限公司
IPC: G06F16/2455 , G06N3/0442 , G06N3/0464 , G06N3/084
Abstract: 本申请提供了人工智能领域中计算机视觉领域的一种神经网络结构的搜索方法、图像处理方法及装置。其中,该神经网络结构的搜索方法包括:根据目标任务确定搜索网络,搜索网络包括结构空间和参数空间;根据目标任务的训练数据,对参数空间进行更新,以获取更新参数空间;从搜索网络中确定子网络集合;对子网络集合进行更新,以获取更新子网络集合;根据更新参数空间和更新子网络集合,确定与目标任务对应的多个目标神经网络。上述技术方案能够通过一次搜索获得多个目标神经网络模型,使得用户可以根据应用场景中的资源约束选择合适的模型进行应用。
-
公开(公告)号:CN117689970A
公开(公告)日:2024-03-12
申请号:CN202211072038.0
申请日:2022-09-02
Applicant: 华为技术有限公司
IPC: G06V10/774 , G06V10/764 , G06V10/82 , G06V10/25 , G06N3/084
Abstract: 本申请提供一种目标检测模型的训练方法,包括获取训练样本集,训练样本集包括目标类别的样本图像和基础类别的样本图像,目标类别为目标检测模型检测的类别,基础类别为与目标类别相关的类别,基础类别的样本图像的数量多于目标类别的样本图像的数量;基于训练样本集和分类损失函数,训练目标检测模型;其中,分类损失函数与边距相关,边距为不同类别之间的边距,目标类别相对于基础类别形成的边距,与目标类别相对于背景类别形成的边距不同;和/或,目标类别相对于背景类别形成的边距,与背景类别相对于目标类别形成的边距不同,背景类别为样本图像中的背景。通过不一致或不对称的边距设计,显著提升目标检测模型对目标类的识别精度。
-
公开(公告)号:CN116805384A
公开(公告)日:2023-09-26
申请号:CN202210249999.8
申请日:2022-03-14
Applicant: 华为技术有限公司
IPC: G06V10/774 , G06N3/048 , G06N3/047 , G06N3/0464 , G06N3/0985 , G06V10/776 , G06V10/82 , G06V10/766
Abstract: 本申请提供了,一种自动搜索方法、自动搜索的性能预测模型训练方法及装置。涉及人工智能领域,具体涉及计算机视觉领域。该方法包括基于性能预测模型的潜力数据选择模块,在自动搜索数据的过程中训练更新性能预测模型并使用训练后的性能预测模型进行推理,来辅助潜力数据的选择,其中,性能预测模型的损失函数包括可微分的排序损失函数LK和回归损失函数。本申请能够提高性能预测模型的预测准确性,进而将训练好的性能预测模型加入自动搜索中可以提高自动搜索的效率、准确性和探索的数据量。
-
公开(公告)号:CN113065635A
公开(公告)日:2021-07-02
申请号:CN202110221444.8
申请日:2021-02-27
Applicant: 华为技术有限公司
Abstract: 本申请实施例公开了一种模型的训练方法、图像增强方法及设备,可应用于人工智能领域中的图像处理领域,具体可用于超分辨率重建任务,该方法针对由生成网络、教师网络、学生网络构成的模型重新构建了一套损失函数,用于提升生成网络和学生网络的训练效果。在提升生成网络训练效果方面,基于超分辨重建任务的特性(即超分辨图像具有低分辨图像的所有信息,并包含更多细节信息),针对超分辨重建任务构建了一种训练生成网络的损失函数,提升了模型在超分辨重建任务上的训练效果;在提升学生网络训练效果方面,由于无数据的知识蒸馏十分困难,为了降低蒸馏难度,采用渐进蒸馏方式训练学生网络,直至训练完整个学生网络,降低了蒸馏难度。
-
公开(公告)号:CN112445823A
公开(公告)日:2021-03-05
申请号:CN201910834158.1
申请日:2019-09-04
Applicant: 华为技术有限公司
IPC: G06F16/2455 , G06N3/04
Abstract: 本申请提供了人工智能领域中计算机视觉领域的一种神经网络结构的搜索方法、图像处理方法及装置。其中,该神经网络结构的搜索方法包括:根据目标任务确定搜索网络,搜索网络包括结构空间和参数空间;根据目标任务的训练数据,对参数空间进行更新,以获取更新参数空间;从搜索网络中确定子网络集合;对子网络集合进行更新,以获取更新子网络集合;根据更新参数空间和更新子网络集合,确定与目标任务对应的多个目标神经网络。上述技术方案能够通过一次搜索获得多个目标神经网络模型,使得用户可以根据应用场景中的资源约束选择合适的模型进行应用。
-
公开(公告)号:CN111882031A
公开(公告)日:2020-11-03
申请号:CN202010615537.4
申请日:2020-06-30
Applicant: 华为技术有限公司
Abstract: 本申请公开了一种神经网络蒸馏方法,应用于人工智能领域,包括:通过第一神经网络和第二神经网络对待处理数据进行处理,以获取第一目标输出和第二目标输出,第一目标输出为对第一神经网络层的输出进行基于核函数的变换得到的,第二目标输出为对第二神经网络层的输出进行基于核函数的变换得到的;根据第一目标输出和第二目标输出构建的目标损失对第一神经网络进行知识蒸馏。本申请对第一神经网络层的输出和第二神经网络层的输出进行了基于核函数的变换,进而可以将第一神经网络层和第二神经网络层输入和权重映射到高维特征空间,消除了知识蒸馏时由于神经网络层的权重分布不同而造成的网络性能降低。
-
公开(公告)号:CN111382868B
公开(公告)日:2024-06-18
申请号:CN202010109054.7
申请日:2020-02-21
Applicant: 华为技术有限公司
Abstract: 本申请提供利用人工智能技术进行神经网络结构搜索的方法和装置。本申请的技术方案中,根据给定搜索空间和目标设备的资源约束条件来训练采样模型,以使得该采样模型从该给定搜索空间中采样得到满足该资源约束条件的神经网络结构,然后使用该采样模型从该采样模型从该给定搜索空间中采样得到的候选搜索空间,并搜索目标神经网络结构,该技术方案可以保证搜索得到满足目标设备的资源约束条件的神经网络,从而可以提高神经网络结构的搜索效率。此外,本申请还提出了先搜索神经网络结构的关键层,再搜索神经网络结构的非关键层的技术方案,不仅可以搜索得到更优的神经网络结构,还可以进一步提高神经网络结构的搜索效率。
-
公开(公告)号:CN111382839B
公开(公告)日:2024-05-07
申请号:CN202010109980.4
申请日:2020-02-23
Applicant: 华为技术有限公司
IPC: G06N3/082 , G06N3/0464 , G06N3/0455 , G06V10/82 , G06V10/26 , G06V20/70 , G06V10/764
Abstract: 本申请提供了人工智能领域中一种剪枝神经网络的方法,包括:根据目标神经网络的参数去除比例确定第一剪枝阈值,所述第一剪枝阈值用于剪枝目标神经网络中的第一子网络;根据所述目标神经网络的参数去除比例确定第二剪枝阈值,所述第二剪枝阈值用于剪枝所述目标神经网络中的第二子网络,所述第二子网络的功能与所述第一子网络的功能不同,其中,所述目标神经网络的参数去除比例与目标设备的资源大小负相关,所述目标设备为剪枝后的所述目标神经网络部署的设备;根据所述第一剪枝阈值和所述第二剪枝阈值对所述目标神经网络进行剪枝。基于不同的剪枝阈值进行剪枝能够减小剪枝处理对多任务神经网络的性能的负面影响。
-
公开(公告)号:CN117917702A
公开(公告)日:2024-04-23
申请号:CN202211289351.X
申请日:2022-10-20
Applicant: 华为技术有限公司
Abstract: 本申请实施例公开了一种数据处理方法,该方法应用于文本识别/字符识别场景,该方法包括:获取输入数据,该输入图像为图像数据或音频数据,并根据输入数据的第一模态特征获取第二模态特征,第一模态特征为图像数据的视觉特征或者音频数据的音频特征,第二模态特征为字符特征;再融合第一模态特征与第二模态特征以得到目标特征,可以高效融合不同模态数据的信息,使得获取的目标特征具有多模态数据的特性,提高目标特征的表达能力。从而根据该目标特征获取的第一识别结果的精度更高。且相较于只根据纠正后的第二模态特征确定识别结果的方法,通过再次引入纠正前的第一模态特征,可以减少第二模态特征的过度纠正问题。
-
-
-
-
-
-
-
-
-