公开(公告)号：CN117764190A

公开(公告)日：2024-03-26

申请号：CN202211131266.0

申请日：2022-09-16

Applicant: 华为技术有限公司

Inventor： 许奕星 ,  陈醒濠 ,  王云鹤

IPC: G06N20/00 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种数据处理方法，应用于神经网络的二值化，方法包括：分别通过MLP包括块block中的多个第一处理分支中的每个第一处理分支，处理输入数据，得到多个第一处理结果；其中，每个第一处理分支包括一个或多个全连接层；多个第一处理分支中包括对输入数据在空间维度上进行交互以及对输入数据在通道维度上进行交互的处理分支；输入数据以及多个第一处理分支中的参数为二值化数据。本申请中二值化MLP中block设置多个并行的处理分支，该多个并行的处理分支可以同时对输入数据在空间维度和通道维度上进行信息交互，增加了网络的信息交互复杂度，从而提升了二值化MLP的网络性能。

公开(公告)号：CN117474051A

公开(公告)日：2024-01-30

申请号：CN202210836913.1

申请日：2022-07-15

Applicant: 华为技术有限公司

Inventor： 陈醒濠 ,  涂志俊 ,  王云鹤

IPC: G06N3/0495 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084

Abstract: 本申请用于提供一种二值量化方法、神经网络的训练方法、设备以及存储介质。二值量化方法包括：确定神经网络中的待量化数据；确定所述待量化数据对应的量化参数，所述量化参数包括缩放系数和偏移量；基于所述缩放系数和所述偏移量确定所述待量化数据对应的二值化上限值和二值化下限值；基于所述缩放系数和所述偏移量对所述待量化数据进行二值量化，以将所述待量化数据量化为所述二值化上限值或所述二值化下限值。该方法通过使用一个自适应的缩放系数和偏移量来控制生成二值量化最终的二值集合，将全精度的待量化数据量化到任意二值以灵活地适应不同的数据分布，能够提升二值量化特征的表达能力，进而提升二值神经网络的性能。

公开(公告)号：CN117437429A

公开(公告)日：2024-01-23

申请号：CN202210836705.1

申请日：2022-07-15

Applicant: 华为技术有限公司

Inventor： 朱铭健 ,  韩凯 ,  郭健元 ,  胡海林 ,  王云鹤

IPC: G06V10/40 ,  G06V10/82

Abstract: 本申请涉及一种图像数据处理方法、装置和存储介质。该方法包括：通过第一映射处理，将图像数据映射至第一特征图像数据，该第一特征图像数据的尺寸小于图像数据；对第一特征图像数据的通道特征和/或空间特征进行提取，确定第二特征图像数据；对所述第二特征图像数据的尺寸进行放大，确定第三特征图像数据，该第三特征图像数据的尺寸大于第一特征图像数据；对第三特征图像数据进行归一化处理，确定图像数据的预测结果。根据本申请实施例，可以在不引入新算子的情况下，大大减少了模型的计算量和参数量，使得模型能够部署于端侧，同时能够在图像数据处理中保证模型的准确率，加快模型的运算速度。

公开(公告)号：CN117173626A

公开(公告)日：2023-12-05

申请号：CN202310940169.4

申请日：2023-07-27

Applicant: 华为技术有限公司

Inventor： 王成诚 ,  何为 ,  聂迎 ,  刘传建 ,  王云鹤 ,  韩凯

IPC: G06V20/52 ,  G06V10/24 ,  G06V10/40 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0985

Abstract: 本申请实施例公开了一种目标检测方法及其相关设备，在进行目标检测的过程中，所考虑的因素较为全面，故可准确完成目标检测。本申请的方法包括：首先，可获取包含待检测的物体的目标图像，并将目标图像输入至目标模型。接着，目标模型可对目标图像进行特征提取，从而得到第一特征，并对第一特征作进一步的特征提取，从而得到第二特征。然后，目标模型可对第一特征以及第二特征进行第一融合，从而得到第一融合结果。随后，目标模型可基于第一融合结果，对第一特征以及第二特征进行增强，从而得到增强后的第一特征以及增强后的第二特征。最后，目标模型可利用增强后的第一特征以及增强后的第二特征进行检测，从而得到物体在目标图像中的位置信息。

公开(公告)号：CN117172285A

公开(公告)日：2023-12-05

申请号：CN202311029245.2

申请日：2021-02-27

Applicant: 华为技术有限公司

Inventor： 郭健元 ,  韩凯 ,  王云鹤 ,  许春景

IPC: G06N3/045 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/063 ,  G06V10/80 ,  G06V10/82

Abstract: 本申请公开了一种感知网络，可以应用于人工智能领域，包括：特征提取网络，其中特征提取网络中的第一block用于对输入数据进行卷积处理，以得到M个目标特征图，特征提取网络中的至少一个第二block用于对M个目标特征图中的M1个目标特征图进行卷积处理，以得到M1个第一特征图，特征提取网络中的目标操作用于对M个目标特征图中的M2个目标特征图进行处理，以得到M2个第二特征图，特征提取网络中的拼接操作用于将M1个第一特征图和M2个第二特征图进行拼接，以得到拼接后的特征图。本申请利用相同stage之间跨层的目标操作来让感知网络生成这些与关键特征相似性高的特征，降低了模型的参数量，以此提高在GPU设备、TPU设备以及NPU设备上的模型的运行速度。

公开(公告)号：CN117035019A

公开(公告)日：2023-11-10

申请号：CN202210912635.3

申请日：2022-07-30

Applicant: 华为技术有限公司

Inventor： 唐业辉 ,  韩凯 ,  郭健元 ,  王云鹤

IPC: G06N3/0464 ,  G06N3/08 ,  G06F17/16 ,  G06F40/20

Abstract: 一种数据处理方法，涉及人工智能领域，通过对输入到head中的特征块进行多次线性变换，分别得到第一幅值、第二相位值、第二幅值以及第二相位值；第一幅值用于作为Q矩阵中元素的幅值，第一相位值用于作为Q矩阵中元素的相位；第二幅值用于作为K矩阵中元素的幅值，第二相位值用于作为K矩阵中元素的相位。本申请中为输入到head中的特征块分别生成Q矩阵中元素的幅度和相位、以及K矩阵中元素的幅度和相位，将Q矩阵和K矩阵参数化为更复杂的形式，进而增加特征的表达能力，可以更好地建模不同特征块之间的关系。

公开(公告)号：CN111368972B

公开(公告)日：2023-11-10

申请号：CN202010109185.5

申请日：2020-02-21

Applicant: 华为技术有限公司

Inventor： 韩凯 ,  杨朝晖 ,  王云鹤 ,  许春景

IPC: G06N3/0495 ,  G06N3/047 ,  G06N3/0464 ,  G06N3/045 ,  G06V10/82

Abstract: 本申请公开了一种卷积层量化方法，应用于人工智能领域，包括：获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，第一卷积神经网络包括目标卷积层，目标卷积层包括权重值，权重值对应于N个概率值，N个概率值中的每个概率值对应一个候选量化值，权重值为根据N个概率值和N个候选量化值确定的量化期望值；通过第一卷积神经网络对图像数据进行处理，得到第二卷积神经网络，第二卷积神经网络包括更新后的权重值；对更新后的权重值进行权重量化，得到第三卷积神经网络。本申请可以提高网络参数的更新精度。

公开(公告)号：CN110222718B

公开(公告)日：2023-11-03

申请号：CN201910386393.7

申请日：2019-05-09

Applicant: 华为技术有限公司

Inventor： 韩凯 ,  王云鹤 ,  舒晗 ,  刘传建 ,  许春景

IPC: G06V10/764 ,  G06V10/82 ,  G06V40/10

Abstract: 本申请属于人工智能领域的计算机视觉领域。本申请提供了一种图像处理的方法，包括：获取待处理图像；对待处理图像进行处理，得到N个第一初始置信度，N个第一初始置信度与待处理图像所对应的N个种类一一对应；获取先验信息；根据先验信息，得到与N个第一初始置信度一一对应的N个第一修正置信度；根据N个第一修正置信度，对N个第一初始置信度中的n个第一初始置信度进行修正，得到待处理图像属于N个种类的N个置信度，n≤N且n为正整数；根据N个置信度，确定待处理图像对应的标签。本申请提供一种图像处理的方法及装置，目的在于显著提高图像识别的准确率。

公开(公告)号：CN116883715A

公开(公告)日：2023-10-13

申请号：CN202310627422.0

申请日：2023-05-30

Applicant: 华为技术有限公司

Inventor： 李卫 ,  张国阳 ,  陈立宇 ,  胡杰 ,  刘君超 ,  陈汉亭 ,  王云鹤

IPC: G06V10/764 ,  G06V10/74 ,  G06V10/77 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0895

Abstract: 一种数据处理方法，应用于图像处理，方法包括：获取第一图像和第二图像；第一图像和第二图像包含文本；通过第一神经网络，得到第一图像和第二图像的图像特征；通过第二神经网络，得到第一图像和第二图像中包含的文本的文本特征，将第一特征表示和第三特征表示融合得到第一目标特征表示；将第二特征表示和第四特征表示融合得到第二目标特征表示；根据第一目标特征表示和第二目标特征表示之间的关系，确定损失，并根据损失更新第一神经网络。本申请通过提取包含文本的图像的图像特征以及文本特征，并将图像特征和文本特征进行融合，利用融合后的特征表示进行模型的更新，可以提高训练后的模型对包含文本的图像的识别精度。

公开(公告)号：CN116702837A

公开(公告)日：2023-09-05

申请号：CN202310537759.2

申请日：2023-05-12

Applicant: 华为技术有限公司 ,  清华大学

Inventor： 陆璞 ,  李文硕 ,  宁雪妃 ,  孙寒泊 ,  陈醒濠 ,  汪玉 ,  王云鹤

IPC: G06N3/0464 ,  G06N3/048 ,  G06N3/096 ,  G06N3/091 ,  G06N3/065 ,  G06F8/60 ,  G06V10/774 ,  G06V10/778 ,  G06V10/82 ,  G06V10/94

Abstract: 本申请提供一种模型的部署方法，包括获取待部署的神经网络模型，该神经网络模型包括多个融合层，该融合层依次包括批正则化层、激活层和卷积层；将神经网络模型部署到存在读和/或写错误的计算设备上；将训练样本作为神经网络模型的输入，利用上一层卷积层的输出，校准当前层批正则化层的参数。本申请通过将融合层的融合顺序修改为批正则化层、激活层和卷积层，将卷积层和批正则化层进行解耦，可实现利用上一层卷积层的输出校准当前层批正则化层的均值和方差，大幅度消除计算设备的读写错误对其上部署的神经网络模型的推理结果的影响。