公开(公告)号：CN112257858B

公开(公告)日：2024-06-14

申请号：CN202010997722.4

申请日：2020-09-21

Applicant: 华为技术有限公司

Inventor： 章伟 ,  侯璐 ,  尹伊淳 ,  尚利峰

IPC: G06N3/082 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06F18/214

Abstract: 本申请公开了一种模型压缩方法，可以应用于人工智能领域，所述方法包括：获取第一神经网络模型、第二神经网络模型以及第三神经网络模型；通过所述第一神经网络模型对第一待处理数据进行处理，以得到第一输出；通过所述第三神经网络模型对所述第一待处理数据进行处理，以得到第二输出；根据所述第一输出和所述第二输出，确定第一目标损失，并基于所述第一目标损失更新所述第二神经网络模型，得到更新后的第二神经网络模型；对所述更新后的第二神经网络模型进行压缩，得到目标神经网络模型。本实施例中生成的模型处理精度更高。

公开(公告)号：CN113850362A

公开(公告)日：2021-12-28

申请号：CN202110962700.9

申请日：2021-08-20

Applicant: 华为技术有限公司

Inventor： 侯璐 ,  柏昊立 ,  尚利峰 ,  蒋欣 ,  钱莉

IPC: G06N3/02 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请涉及人工智能领域，公开了一种模型蒸馏方法，包括：在计算节点集群的第一计算节点处，通过学生模型的部分模型以及老师模型的部分模型，对学生模型进行蒸馏，且在蒸馏的梯度回传过程在第一计算节点的内部进行，不依赖于其他计算节点完成所负责的网络层的蒸馏，以此实现更大的计算资源利用率，进而实现蒸馏过程的加速。

公开(公告)号：CN112257858A

公开(公告)日：2021-01-22

申请号：CN202010997722.4

申请日：2020-09-21

Applicant: 华为技术有限公司

Inventor： 章伟 ,  侯璐 ,  尹伊淳 ,  尚利峰

IPC: G06N3/063 ,  G06N3/04 ,  G06K9/62

Abstract: 本申请公开了一种模型压缩方法，可以应用于人工智能领域，所述方法包括：获取第一神经网络模型、第二神经网络模型以及第三神经网络模型；通过所述第一神经网络模型对第一待处理数据进行处理，以得到第一输出；通过所述第三神经网络模型对所述第一待处理数据进行处理，以得到第二输出；根据所述第一输出和所述第二输出，确定第一目标损失，并基于所述第一目标损失更新所述第二神经网络模型，得到更新后的第二神经网络模型；对所述更新后的第二神经网络模型进行压缩，得到目标神经网络模型。本实施例中生成的模型处理精度更高。

公开(公告)号：CN111368993A

公开(公告)日：2020-07-03

申请号：CN202010088948.2

申请日：2020-02-12

Applicant: 华为技术有限公司

Inventor： 侯璐 ,  尚利峰 ,  蒋欣

IPC: G06N3/08 ,  G06N3/04 ,  G06N3/10

Abstract: 本申请涉及人工智能领域，公开了一种数据处理方法，包括：获取第一神经网络模型和终端设备的可用资源状态；根据所述可用资源状态确定第二神经网络模型。本申请可以根据可用资源状态确定合适的模型尺寸，并根据确定的模型尺寸选择第一神经网络模型中的一部分作为要进行数据处理的第二神经网络模型，减小了模型的大小。

公开(公告)号：CN116758572A

公开(公告)日：2023-09-15

申请号：CN202310488188.8

申请日：2023-04-28

Applicant: 华为技术有限公司

Inventor： 柏昊立 ,  毛志铭 ,  侯璐 ,  魏建生 ,  刘群 ,  蒋欣

IPC: G06V30/414 ,  G06V30/413 ,  G06V30/148 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06N3/044

Abstract: 本申请公开了一种文本获取方法及其相关设备，可从目标图像中获取准确的目标文本。本申请的方法包括：当需要从目标图像中提取目标文本时，可先获取包含多个文本的目标图像，并将目标图像输入至目标模型。接着，目标模型可对目标图像进行编码，从而得到目标图像的特征。然后，目标模型可对目标图像的特征进行处理，从而得到多个文本中的目标文本在目标图像中的位置信息。最后，目标模型可对目标图像的特征以及目标文本在目标图像中的位置信息做进一步的处理，从而得到目标文本。至此，则成功从目标图像中提取出了目标文本。

公开(公告)号：CN116266836A

公开(公告)日：2023-06-20

申请号：CN202111551232.2

申请日：2021-12-17

Applicant: 华为技术有限公司

Inventor： 侯璐 ,  刘智铭 ,  李彦锴 ,  耿运鑫 ,  刘梦婷

IPC: H04L67/10 ,  H04L67/1097 ,  H04L67/51

Abstract: 本申请实施例公开了一种分层区块链系统和应用于所述分层区块链系统的数据处理方法，有益于避免云服务器过高的负荷，并提升数据安全性，属于计算机技术领域。所述分层区块链系统包括：第一区块链网络和多个第二区块链网络；第一区块链网络包括至少两个云服务器，多个第二区块链网络各自包括一个物理区域内的多个区域节点，多个区域节点中的任意一个区域节点包括网络设备或终端设备中任意一项；至少两个云服务器用于管理第一应用区块链和第一身份区块链，多个物理区域中任一物理区域内的多个区域节点用于管理所述物理区域的第二应用区块链和所述物理区域的第二身份区块链；其中，所述第一应用区块链用于存储所述多个物理区域的应用数据，所述第一身份区块链用于存储所述多个物理区域的身份数据，所述多个物理区域中任一物理区域的第二应用区块链用于存储所述物理区域的应用数据，所述多个物理区域中任一物理区域的第二身份区块链用于存储所述物理区域的身份数据。

公开(公告)号：CN115983362A

公开(公告)日：2023-04-18

申请号：CN202211490535.2

申请日：2022-11-25

Applicant: 华为技术有限公司

Inventor： 郭慧丰 ,  李世伟 ,  侯璐 ,  章伟 ,  唐睿明

IPC: G06N3/08 ,  G06N3/0464 ,  G06N3/042 ,  G06N3/084

Abstract: 本申请提供一种量化方法、推荐方法以及装置，用于基于自适应步长对全精度嵌入表征中每种特征进行量化，从而提高量化精度。该方法包括：首先，获取全精度嵌入表征，嵌入表征包括多种特征；确定多种特征中每种特征分别对应的自适应步长，该多种特征对应的步长可能相同也可能不相同；随后根据每种特征对应的自适应步长分别对多种特征进行量化，得到低精度嵌入表征，该低精度嵌入表征中的特征的精度低于全精度嵌入表征中特征的精度，从而降低保存或者传输该嵌入表征所需的存储空间。

公开(公告)号：CN119728985A

公开(公告)日：2025-03-28

申请号：CN202311292413.7

申请日：2023-09-28

Applicant: 华为技术有限公司 ,  北京大学

Inventor： 任抒怀 ,  侯璐 ,  孙栩

IPC: H04N19/172 ,  H04N19/587 ,  H04N19/503

Abstract: 一种视频编码方法，包括：获取多个视频帧；通过编码器处理所述多个视频帧，得到编码结果；其中，所述编码器包括第一网络层；所述第一网络层包括帧间压缩模块，所述多个视频帧包括M个第一视频帧和N个第二视频帧，所述帧间压缩模块用于将所述M个第一视频帧的特征表示融合至所述N个第二视频帧的特征表示，得到N个特征表示；根据所述编码结果，执行视频相关的任务，得到处理结果。其中，帧间压缩模块可以通过对相似的视频帧的特征表示进行聚合，从而减少了模型需要处理的特征表示的数量，进而降低了模型的算力开销。

公开(公告)号：CN112288075B

公开(公告)日：2024-02-02

申请号：CN202011052624.X

申请日：2020-09-29

Applicant: 华为技术有限公司

Inventor： 李梓超 ,  侯璐 ,  蒋欣

IPC: G06N3/045 ,  G06N3/084 ,  G06F7/523 ,  G06F7/501 ,  G06N3/086 ,  G06N3/092

Abstract: 本申请涉及人工智能领域，公开了一种数据处理方法，包括：获取待处理数据以及目标神经网络模型，目标神经网络模型包括第一transformer层，第一transformer层包括第一残差支路和第二残差支路，第一残差支路包括第一注意力头，第二残差支路包括目标前馈层FFN；根据目标神经网络模型对待处理数据进行目标任务相关的处理，以得到数据处理结果，其中目标神经网络模型用于将第一注意力头的输出与第一权重值进行目标运算，得到第一残差支路的输出，和/或目标神经网络模型用于将目标FFN的输出与第二权重值进行目标运算，得到第二残差支路的输出。本实施例针对于不同的任务，设置了用于控制残差支路的输出的权重值，降低了终端设备运行目标神经网络模型的计算资源需求。

公开(公告)号：CN116595252A

公开(公告)日：2023-08-15

申请号：CN202310528802.9

申请日：2023-05-10

Applicant: 华为技术有限公司

Inventor： 李向阳 ,  陈渤 ,  侯璐 ,  唐睿明 ,  姚骏

IPC: G06F16/9535 ,  G06F16/33 ,  G06F40/30 ,  G06Q30/0601 ,  G06N3/048 ,  G06N3/084

Abstract: 一种数据处理方法，可以应用于人工智能领域，包括：获取第一数据；所述第一数据包括用户或物品在多个维度上的属性信息；根据所述第一数据，生成第二数据，所述第二数据为用于描述所述属性信息的自然语言文本；根据所述第一数据，通过嵌入网络，得到第一特征表示，所述第一特征表示包括多个嵌入向量，每个嵌入向量对应于一个维度；根据所述第二数据，通过自然语言处理模型，得到第二特征表示，所述第二特征表示包含所述第二数据的语义特征；根据所述第二特征表示和所述第一特征表示之间的差异，更新所述嵌入网络，得到更新后的所述嵌入网络。本申请将协同信息和语义信息联合起来进行建模，能够充分的利用语言模型的知识，从而提升预测效果。