-
公开(公告)号:CN117764190A
公开(公告)日:2024-03-26
申请号:CN202211131266.0
申请日:2022-09-16
Applicant: 华为技术有限公司
IPC: G06N20/00 , G06N3/0464 , G06N3/08
Abstract: 一种数据处理方法,应用于神经网络的二值化,方法包括:分别通过MLP包括块block中的多个第一处理分支中的每个第一处理分支,处理输入数据,得到多个第一处理结果;其中,每个第一处理分支包括一个或多个全连接层;多个第一处理分支中包括对输入数据在空间维度上进行交互以及对输入数据在通道维度上进行交互的处理分支;输入数据以及多个第一处理分支中的参数为二值化数据。本申请中二值化MLP中block设置多个并行的处理分支,该多个并行的处理分支可以同时对输入数据在空间维度和通道维度上进行信息交互,增加了网络的信息交互复杂度,从而提升了二值化MLP的网络性能。
-
公开(公告)号:CN117474051A
公开(公告)日:2024-01-30
申请号:CN202210836913.1
申请日:2022-07-15
Applicant: 华为技术有限公司
IPC: G06N3/0495 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本申请用于提供一种二值量化方法、神经网络的训练方法、设备以及存储介质。二值量化方法包括:确定神经网络中的待量化数据;确定所述待量化数据对应的量化参数,所述量化参数包括缩放系数和偏移量;基于所述缩放系数和所述偏移量确定所述待量化数据对应的二值化上限值和二值化下限值;基于所述缩放系数和所述偏移量对所述待量化数据进行二值量化,以将所述待量化数据量化为所述二值化上限值或所述二值化下限值。该方法通过使用一个自适应的缩放系数和偏移量来控制生成二值量化最终的二值集合,将全精度的待量化数据量化到任意二值以灵活地适应不同的数据分布,能够提升二值量化特征的表达能力,进而提升二值神经网络的性能。
-
公开(公告)号:CN116702837A
公开(公告)日:2023-09-05
申请号:CN202310537759.2
申请日:2023-05-12
IPC: G06N3/0464 , G06N3/048 , G06N3/096 , G06N3/091 , G06N3/065 , G06F8/60 , G06V10/774 , G06V10/778 , G06V10/82 , G06V10/94
Abstract: 本申请提供一种模型的部署方法,包括获取待部署的神经网络模型,该神经网络模型包括多个融合层,该融合层依次包括批正则化层、激活层和卷积层;将神经网络模型部署到存在读和/或写错误的计算设备上;将训练样本作为神经网络模型的输入,利用上一层卷积层的输出,校准当前层批正则化层的参数。本申请通过将融合层的融合顺序修改为批正则化层、激活层和卷积层,将卷积层和批正则化层进行解耦,可实现利用上一层卷积层的输出校准当前层批正则化层的均值和方差,大幅度消除计算设备的读写错误对其上部署的神经网络模型的推理结果的影响。
-
公开(公告)号:CN111382839A
公开(公告)日:2020-07-07
申请号:CN202010109980.4
申请日:2020-02-23
Applicant: 华为技术有限公司
Abstract: 本申请提供了人工智能领域中一种剪枝神经网络的方法,包括:根据目标神经网络的参数去除比例确定第一剪枝阈值,所述第一剪枝阈值用于剪枝目标神经网络中的第一子网络;根据所述目标神经网络的参数去除比例确定第二剪枝阈值,所述第二剪枝阈值用于剪枝所述目标神经网络中的第二子网络,所述第二子网络的功能与所述第一子网络的功能不同,其中,所述目标神经网络的参数去除比例与目标设备的资源大小负相关,所述目标设备为剪枝后的所述目标神经网络部署的设备;根据所述第一剪枝阈值和所述第二剪枝阈值对所述目标神经网络进行剪枝。基于不同的剪枝阈值进行剪枝能够减小剪枝处理对多任务神经网络的性能的负面影响。
-
公开(公告)号:CN118261195A
公开(公告)日:2024-06-28
申请号:CN202211694260.4
申请日:2022-12-28
IPC: G06N3/042 , G06N3/0464 , G06N3/086 , G06N3/09
Abstract: 本申请提供一种网络架构搜索方法,基于主动学习选择NAS中用于训练预测器的子网络架构,包括:随机采样搜索空间中子网络架构;确定训练集;确定预测器,预测器用于对子网络架构的性能进行评分;基于软排序的损失函数和训练集迭代训练预测器,得到优化的预测器;获得第二子网络架构;第二子网络架构为子网络架构的后代;基于优化的预测器对第二子网络架构评分,将评分满足阈值要求的第二子网络架构加入训练集;评分满足阈值要求的第二子网络架构的数量为k;得到满足预测器的训练要求的训练集,训练集中子网络架构包括每次迭代后加入的第二子网络架构。能够提高预测器在搜索算法中的性能,识别出低性能的子网络架构,准确地预测高性能子网络架构。
-
公开(公告)号:CN114897039A
公开(公告)日:2022-08-12
申请号:CN202210203516.0
申请日:2022-03-02
Applicant: 华为技术有限公司
Abstract: 本申请实施例公开了一种数据处理方法,该方法应用于多模态融合场景,方法包括:获取第一数据与第二数据,第一数据与第二数据的模态不同;获取第一数据的第一特征集合与第二数据的第二特征集合;使用第二特征集合中的第二目标特征替换第一特征集合中的第一目标特征,得到第三特征集合,第二目标特征与第一目标特征对应;基于第三特征集合与第二特征集合获取数据特征,数据特征用于实现计算机视觉任务。通过使用不同模态数据之间的特征进行替换,可以高效融合不同模态数据的信息,使得获取的数据特征具有多模态数据的特性,提高数据特征的表达能力。
-
公开(公告)号:CN114169393A
公开(公告)日:2022-03-11
申请号:CN202111294416.5
申请日:2021-11-03
Applicant: 华为技术有限公司
IPC: G06K9/62 , G06N3/04 , G06N3/08 , G06V10/764 , G06V10/774
Abstract: 本申请提供一种图像分类方法及其相关设备,可准确判断目标图像的特征落于哪一个类别对应的目标概率分布,从而准确得到目标图像的分类结果。本申请的方法包括:获取目标图像;通过图像分类模型对目标图像进行处理,得到分类结果,分类结果用于在多个类别中确定目标图像所属的类别,该处理用于令目标图像的特征符合目标概率混合分布,目标概率混合分布包含与多个类别一一对应的多个目标概率分布,每个目标概率分布具有一个偏度,任意两个偏度之间存在夹角。
-
公开(公告)号:CN113065575A
公开(公告)日:2021-07-02
申请号:CN202110221928.2
申请日:2021-02-27
Applicant: 华为技术有限公司
Abstract: 本申请实施例公开了一种图像处理方法,应用于人工智能领域,包括:获取待处理图像的输入特征图,所述输入特征图包括第一输入子特征图和第二输入子特征图,所述第一输入子特征图的分辨率高于所述第二输入子特征图的分辨率;通过目标网络对所述输入特征图进行特征融合处理,得到输出特征图,在该目标网络中采用从低层往高层的方式将第一输入子特征图的特征往第二输入子特征图的特征中进行融合;根据所述输出特征图对所述待处理图像进行目标检测,得到目标检测结果。本方案中,采用从低层往高层的方式将低层特征往高层特征进行融合,弥补高层特征的稀疏问题,从而提高目标检测精度,解决加法神经网络无法应用于目标检测的问题。
-
公开(公告)号:CN111667399A
公开(公告)日:2020-09-15
申请号:CN202010409043.0
申请日:2020-05-14
Applicant: 华为技术有限公司
Abstract: 本申请公开了人工智能领域中的一种风格迁移模型的训练方法、视频风格迁移的方法以及装置,包括:获取训练数据;通过神经网络模型根据样本风格图像对N帧样本内容图像进行图像风格迁移处理,得到N帧预测合成图像;根据N帧样本内容图像与N帧预测合成图像之间的图像损失函数,确定神经网络模型的参数,图像损失函数包括低秩损失函数,低秩损失函数用于表示第一低秩矩阵与第二低秩矩阵之间的差异,第一低秩矩阵是基于N帧样本内容图像与光流信息得到的,第二低秩矩阵是基于N帧预测合成图像与光流信息得到的,光流信息用于表示N帧样本内容图像中相邻两帧图像之间对应像素点的位置差异。本申请的技术方案能够提高视频在风格迁移处理后的稳定性。
-
公开(公告)号:CN111401517A
公开(公告)日:2020-07-10
申请号:CN202010109254.2
申请日:2020-02-21
Applicant: 华为技术有限公司
Abstract: 本申请公开了一种感知网络结构搜索方法,涉及人工智能领域,包括:获取待搜索感知网络和目标搜索空间,所述待搜索感知网络包括主干网络和头端header,所述主干网络与所述header连接,所述主干网络包括第一卷积层,所述header包括第三卷积层,所述目标搜索空间包括多个操作类型;在所述目标搜索空间内对所述第一卷积层进行结构搜索,在所述目标搜索空间内对所述第二卷积层进行结构搜索,在所述目标搜索空间内对所述第三卷积层进行结构搜索,得到搜索后的感知网络。本申请中结构搜索后得到的感知网络的性能更优。
-
-
-
-
-
-
-
-
-