公开(公告)号：CN111382867B

公开(公告)日：2024-04-16

申请号：CN202010105175.4

申请日：2020-02-20

Applicant: 华为技术有限公司

Inventor： 舒晗 ,  陈汉亭 ,  王云鹤 ,  许春景

IPC: G06N3/082 ,  G06N3/0464 ,  G06F17/14

Abstract: 本申请提供一种神经网络压缩的方法、数据处理的方法及相关装置。涉及人工智能领域，具体涉及计算机视觉领域。该方法包括：对待压缩的三维卷积神经网络包括的第一三维卷积核执行以下操作：在该第一三维卷积核的时间维度上对该第一三维卷积核进行正交变换；根据正交变换后的该第一三维卷积核在时间维度上的稀疏性，对该第一三维卷积核的时间维度进行剪枝，得到压缩后的三维卷积神经网络。本申请通过在待压缩的三维卷积神经网络的三维卷积核的时间维度上对该三维卷积核进行正交变换，并对正交变换后的三维卷积核的稀疏的时间维度进行剪枝，相对于现有技术，可以进一步减少三维卷积神经网络的参数量与计算量。

公开(公告)号：CN115712828A

公开(公告)日：2023-02-24

申请号：CN202110950638.1

申请日：2021-08-18

Applicant: 华为技术有限公司

Inventor： 舒晗 ,  王家豪 ,  陈汉亭 ,  李文硕 ,  王云鹤

IPC: G06F18/214 ,  G06F18/213 ,  G06F18/241

Abstract: 本申请提供一种图像分类方法及其相关设备，该方法包括：在获取目标图像后，transformer网络可基于目标图像进行线性变换处理，得到Q特征、K特征和V特征。接着，transformer网络计算Q特征和K特征之间的距离，从而得到注意力特征。然后，transformer网络将注意力特征和V特征进行融合处理，并基于融合后的特征获取目标图像的分类结果。前述过程中，由于Q特征和K特征之间的距离的计算主要涉及加法运算，故transformer网络获取注意力特征的操作，不再包含大量的乘法运算，而是被计算开销较小的加法运算所代替，可使得transformer网络广泛应用在算力有限的终端设备上。

公开(公告)号：CN111382867A

公开(公告)日：2020-07-07

申请号：CN202010105175.4

申请日：2020-02-20

Applicant: 华为技术有限公司

Inventor： 舒晗 ,  陈汉亭 ,  王云鹤 ,  许春景

IPC: G06N3/08 ,  G06N3/04 ,  G06F17/14

Abstract: 本申请提供一种神经网络压缩的方法、数据处理的方法及相关装置。涉及人工智能领域，具体涉及计算机视觉领域。该方法包括：对待压缩的三维卷积神经网络包括的第一三维卷积核执行以下操作：在该第一三维卷积核的时间维度上对该第一三维卷积核进行正交变换；根据正交变换后的该第一三维卷积核在时间维度上的稀疏性，对该第一三维卷积核的时间维度进行剪枝，得到压缩后的三维卷积神经网络。本申请通过在待压缩的三维卷积神经网络的三维卷积核的时间维度上对该三维卷积核进行正交变换，并对正交变换后的三维卷积核的稀疏的时间维度进行剪枝，相对于现有技术，可以进一步减少三维卷积神经网络的参数量与计算量。

公开(公告)号：CN112446888B

公开(公告)日：2024-09-13

申请号：CN201910845625.0

申请日：2019-09-02

Applicant: 华为技术有限公司

Inventor： 韩凯 ,  闻长远 ,  舒晗 ,  陈翼翼 ,  苏霞 ,  王云鹤 ,  许春景

IPC: G06T7/11 ,  G06V10/26 ,  G06V10/82 ,  G06N3/045 ,  G06N3/096

Abstract: 本申请涉及人工智能领域中的图像分割技术，提供了图像分割模型的处理方法和处理装置。所述图像分割模型包括特征提取子模型和图像分割子模型，特征提取子模型用于提取图像的特征，图像分割子模型用于根据所述提取的特征对所述图像进行分割。所述处理方法包括：对所述特征提取子模型进行层宽调整，以得到第一特征提取子模型；根据第一特征提取子模型和图像分割子模型得到目标图像分割模型。本申请提供图像分割模型的处理方法和处理装置，有助于提高图像分割模型的分割精度，从而有助于在边缘设备上实现图像分割技术。

公开(公告)号：CN117933312A

公开(公告)日：2024-04-26

申请号：CN202211249989.0

申请日：2022-10-12

Applicant: 华为技术有限公司

Inventor： 于献智 ,  谭懿峻 ,  赵亢 ,  胡婷 ,  姚骏 ,  韩凯 ,  王云鹤 ,  舒晗

IPC: G06N3/0464 ,  G06N3/082

Abstract: 一种模型剪枝方法，应用于人工智能技术领域。在该方法中，通过采用聚类方法将由模型中的权重所构成的权重矩阵进行行重新排序，使得权重矩阵中具有相似分布特征的行(例如权重的值较小的行)被重新排序在一起，然后沿着列的方向对重新排序后的权重矩阵中的元素进行剪枝，能够使得权重矩阵中值较小的元素(即对模型影响较小的权重)被有规律地去除，进而使得在保证模型准确率的同时，有效地降低剪枝得到的模型的推理时延。

公开(公告)号：CN110222718B

公开(公告)日：2023-11-03

申请号：CN201910386393.7

申请日：2019-05-09

Applicant: 华为技术有限公司

Inventor： 韩凯 ,  王云鹤 ,  舒晗 ,  刘传建 ,  许春景

IPC: G06V10/764 ,  G06V10/82 ,  G06V40/10

Abstract: 本申请属于人工智能领域的计算机视觉领域。本申请提供了一种图像处理的方法，包括：获取待处理图像；对待处理图像进行处理，得到N个第一初始置信度，N个第一初始置信度与待处理图像所对应的N个种类一一对应；获取先验信息；根据先验信息，得到与N个第一初始置信度一一对应的N个第一修正置信度；根据N个第一修正置信度，对N个第一初始置信度中的n个第一初始置信度进行修正，得到待处理图像属于N个种类的N个置信度，n≤N且n为正整数；根据N个置信度，确定待处理图像对应的标签。本申请提供一种图像处理的方法及装置，目的在于显著提高图像识别的准确率。

公开(公告)号：CN118261195A

公开(公告)日：2024-06-28

申请号：CN202211694260.4

申请日：2022-12-28

Applicant: 华为技术有限公司 ,  清华大学

Inventor： 黄子峰 ,  舒晗 ,  陈醒濠 ,  王云鹤 ,  李建民 ,  朱军

IPC: G06N3/042 ,  G06N3/0464 ,  G06N3/086 ,  G06N3/09

Abstract: 本申请提供一种网络架构搜索方法，基于主动学习选择NAS中用于训练预测器的子网络架构，包括：随机采样搜索空间中子网络架构；确定训练集；确定预测器，预测器用于对子网络架构的性能进行评分；基于软排序的损失函数和训练集迭代训练预测器，得到优化的预测器；获得第二子网络架构；第二子网络架构为子网络架构的后代；基于优化的预测器对第二子网络架构评分，将评分满足阈值要求的第二子网络架构加入训练集；评分满足阈值要求的第二子网络架构的数量为k；得到满足预测器的训练要求的训练集，训练集中子网络架构包括每次迭代后加入的第二子网络架构。能够提高预测器在搜索算法中的性能，识别出低性能的子网络架构，准确地预测高性能子网络架构。

公开(公告)号：CN111985597B

公开(公告)日：2023-10-24

申请号：CN201910430876.2

申请日：2019-05-22

Applicant: 华为技术有限公司

Inventor： 舒晗 ,  王云鹤 ,  韩凯 ,  许春景

IPC: G06N3/006 ,  G06N3/0464 ,  G06N3/126

Abstract: 本申请实施例提供模型压缩方法及装置，用于解决现有的压缩算法直接应用在生成器模型上不能取得令人满意的结果的问题，包括：对压缩前的生成器模型的网络结构进行二值编码，得到包括M个第一代生成器子模型的网络结构的第一代子群；获取每个第一代生成器子模型的网络结构的适应值；根据适应值和遗传算法，确定第N代子群中适应值最优的第N代生成器子模型的网络结构，第N代子群中M个第N代生成器子模型的网络结构的适应值的平均值与第(N‑1)代子群中M个第(N‑1)代生成器子模型的网络结构的适应值的平均值的差值小于设定值；根据压缩前的生成器模型中的网络参数和适应值最优的第N代生成器子模型的网络结构，确定压缩后的生成器模型。

公开(公告)号：CN111797882B

公开(公告)日：2024-07-26

申请号：CN201910697287.0

申请日：2019-07-30

Applicant: 华为技术有限公司

Inventor： 韩凯 ,  王云鹤 ,  舒晗 ,  许春景

IPC: G06V10/764 ,  G06V10/778 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/063

Abstract: 本申请涉及人工智能领域中计算机视觉领域的图像识别技术，提供了一种图像分类方法及装置。涉及人工智能领域，具体涉及计算机视觉领域。该方法包括：获取待处理图像的输入特征图；根据神经网络的M个卷积核对所述输入特征图进行卷积处理，得到M个通道的候选输出特征图，M为正整数；根据N个矩阵对所述候选输出特征图的M个通道进行矩阵变换，得到N个通道的输出特征图，其中，所述N个矩阵中的每个矩阵的通道数小于M，N大于M，N为正整数；根据所述输出特征图对所述待处理图像进行分类，得到所述待处理图像的分类结果。该方法有助于降低图像分类处理的计算量和参数量。

公开(公告)号：CN117917672A

公开(公告)日：2024-04-23

申请号：CN202211277119.4

申请日：2022-10-18

Applicant: 华为技术有限公司

Inventor： 舒晗 ,  陈醒濠 ,  王云鹤 ,  尹博文 ,  侯淇彬 ,  程明明

IPC: G06N3/045 ,  G06N3/0464 ,  G06N3/084 ,  G06N5/04 ,  G06V10/82 ,  G06V10/80 ,  G06V10/764 ,  G06V10/26 ,  G06V20/70 ,  G06N3/048

Abstract: 本申请公开了一种基于神经网络的数据处理方法及设备，该神经网络包括至少一个差分加法算子，差分加法算子包括第一加法算子和第二加法算子，可应用人工智能领域，包括：接收待处理数据并预处理，得到第一特征映射，使用差分加法算子对第一特征映射进行特征提取操作，即分别使用第一加法算子和第二加法算子对第一特征映射提取特征，各自得到第一分支输出和第二分支输出，并对第一分支输出和第二分支输出进行融合，并基于融合后的第二特征映射得到输出结果。本申请提出的差分加法算子通过两个加法算子的分支独立学习再进行融合以调整输出的特征映射，解决加法算子特征表征能力弱的问题；基于差分加法算子构建的ANN也解决了传统CNN计算能耗过高的问题。