深度神经网络模型的链路剪枝方法、装置、设备和介质

    公开(公告)号:CN116992943A

    公开(公告)日:2023-11-03

    申请号:CN202311255746.2

    申请日:2023-09-27

    Abstract: 本发明涉及深度学习技术领域,公开了一种深度神经网络模型的链路剪枝方法、装置、设备和介质,根据待剪枝模型对应的模型图结构,构建第一链路图。在出现具有链接关系的目标相邻顶点时,向第一链路图中填充目标相邻顶点对应的链接关系;直至遍历完第一链路图中的所有相邻顶点,将最终的第一链路图作为第二链路图。基于剪枝需求,从第二链路图中确定出与剪枝需求相关联的所有待剪枝层和剪枝维度,按照各待剪枝层对应的剪枝维度对待剪枝层进行剪枝,从而快速完成待剪枝模型的链路剪枝。通过构建反映各顶点之间链接关系的第二链路图,可以快速自动化实现结构化剪枝策略,极大的提升了模型剪枝的效率。

    一种图像生成方法、装置、设备及介质

    公开(公告)号:CN116701692A

    公开(公告)日:2023-09-05

    申请号:CN202310974784.7

    申请日:2023-08-04

    Abstract: 本发明公开了一种图像生成方法、装置、设备及介质,应用于图像生成技术领域,包括:将第一输入数据输入至目标扩散模型进行推理,并在推理过程中获取每次迭代的输出结果;第一输入数据包括第一噪声和第一文本信息;基于相邻两次迭代的输出结果计算散度,得到散度序列;对所述散度序列进行分组以得到散度组,并依次对每个散度组对应的推理阶段中的目标扩散模型进行参数量化;推理阶段为散度组中各散度对应的迭代次数所对应的推理阶段;基于第二输入数据以及参数量化后的目标扩散模型生成图像;所述第二输入数据包括第二噪声和第二文本信息。能够解决模型推理速度慢的问题,提升模型推理速度,进而提升图像的生成效率。

    一种图像分割方法、设备、程序产品及介质

    公开(公告)号:CN118674731A

    公开(公告)日:2024-09-20

    申请号:CN202411132770.1

    申请日:2024-08-19

    Abstract: 本申请公开了一种图像分割方法、设备、程序产品及介质,涉及计算机视觉技术领域。该方法包括:构建基于预设卷积神经网络的基础图像分割模型;利用多尺度卷积操作对用于进行图像分割的数据集进行特征提取,以得到不同尺度的特征;基于预设深度学习模型架构构建线性注意力机制并利用高斯误差线性单元激活函数作为所述线性注意力机制的构造函数,将所述特征通过所述线性注意力机制进行特征融合,以得到多尺度融合特征图;对所述多尺度融合特征图进行上采样与拼接操作,并为所述基础图像分割模型配置相应的损失函数与优化器以得到目标图像分割模型,以便利用所述目标图像分割模型进行图像分割。通过本申请的技术方案,可以显著提升整体图像分割性能。

    一种数据传输方法、装置、设备及存储介质

    公开(公告)号:CN116708301A

    公开(公告)日:2023-09-05

    申请号:CN202310868402.2

    申请日:2023-07-14

    Abstract: 本申请公开了一种数据传输方法、装置、设备及存储介质,涉及计算机技术领域。应用于智能网卡的数据发送端,该方法包括:确定当前网络状态;获取原始数据精度的待传输数据,并根据当前网络状态确定与原始数据精度的待传输数据对应的数据传输策略;基于数据传输策略确定进行数据传输时对应的目标数据精度,并基于原始数据精度的待传输数据确定目标数据精度的待传输数据;将目标数据精度的待传输数据发送至数据接收端,以便数据接收端根据目标数据精度,确定与目标数据精度的待传输数据对应的数据处理逻辑。通过本申请的技术方案,可以根据网络状态决定数据传输精度,将网络状态检测与判断、数据精度检测与转换等操作在智能网卡中实现。

    一种图像数据的分类方法、装置以及介质

    公开(公告)号:CN115620074A

    公开(公告)日:2023-01-17

    申请号:CN202211411839.5

    申请日:2022-11-11

    Abstract: 本申请公开了一种图像数据的分类方法、装置以及介质,应用于模型蒸馏技术领域。本申请预先构建扩散模型,并使用原始数据集训练得到用于生成图像数据图像生成器,然后构建模型蒸馏框架以获得待蒸馏的图像分类模型;最后将图像生成器生成的图像数据作为参数训练图像分类模型,以得到蒸馏后的目标模型。本方案在模型蒸馏的训练过程中,使用这些生成的数据来代替原始数据集,保留高精度的前提下有效压缩了模型的大小,保证了模型蒸馏过程正常进行。将扩散模型应用在模型蒸馏的机制中,替换传统模型蒸馏中必需的原始数据集,大幅提升了生成图像的品质,在保持模型蒸馏准确度的前提下,进一步减少了参与模型蒸馏所需要的生成图像的规模。

    一种应答信息生成方法、设备、介质及计算机程序产品

    公开(公告)号:CN119884332A

    公开(公告)日:2025-04-25

    申请号:CN202510387245.2

    申请日:2025-03-31

    Abstract: 本发明公开了一种应答信息生成方法、设备、介质及计算机程序产品,涉及人工智能技术领域,针对预训练语言模型的并行推理计算的一个批次中,根据所在设备执行预填充任务的算力利用率确定预填充任务的词元预算数量和解码任务的词元预算数量,使解码任务的词元预算数量占比与预填充任务的算力利用率成负相关,根据该根据词元预算数量将对应的待处理序列输入预训练语言模型进行并行推理计算,使得并行推理计算获得吞吐量和延迟的均衡,从而可以解决相关技术中并行推理调度中存在的设备压力与生成性能矛盾的问题,达到提升预训练语言模型的并行推理性能的技术效果,提升了人工智能问答任务的执行性能。

    一种算力路由方法、设备、系统、产品及可读存储介质

    公开(公告)号:CN118550710B

    公开(公告)日:2024-10-11

    申请号:CN202411010565.8

    申请日:2024-07-26

    Abstract: 本发明公开了一种算力路由方法、设备、系统、产品及可读存储介质,涉及算力调度领域,为解决静态规则路由无法适应动态的环境变化的问题,该算力路由方法包括获取第一算力资源信息和待处理计算任务的任务特性信息;根据所述任务特性信息和所述第一算力资源信息获取将所述待处理计算任务转发到各个邻域节点的概率分布;在所述概率分布中进行采样得到目标转发节点,将所述任务特性信息转发到所述目标转发节点。本发明能够适应算力调度系统中的动态环境变化,提高算力调度系统的资源利用率和安全性,优化算力调度系统的性能。

    一种数据处理方法、系统、装置、设备、介质及产品

    公开(公告)号:CN118227343B

    公开(公告)日:2024-07-26

    申请号:CN202410658894.7

    申请日:2024-05-27

    Abstract: 本发明公开了一种数据处理方法、系统、装置、设备、介质及产品,涉及通信技术领域。负载的计算资源(硬件加速器)由开放性互联协议单独传输至DPU,无需仅通过CPU和网卡这样的传输途径,这样计算资源和存储资源各自占用一条传输途径,使得CPU的带宽利用率提高,同时为其他存储资源的负载提供更多的带宽利用,也节省CPU的计算资源。另外,基于开放式互联协议进行数据传输,在DPU内获取信息的带宽和时延显著提升。同时,硬件加速器和CPU各自的传输途径,使得不支持开放式互联协议的部件依旧可以采用原有的CPU进行通信传输,进而保证足够的设备兼容性。

    一种图像生成方法、装置、设备及介质

    公开(公告)号:CN116701692B

    公开(公告)日:2023-11-03

    申请号:CN202310974784.7

    申请日:2023-08-04

    Abstract: 本发明公开了一种图像生成方法、装置、设备及介质,应用于图像生成技术领域,包括:将第一输入数据输入至目标扩散模型进行推理,并在推理过程中获取每次迭代的输出结果;第一输入数据包括第一噪声和第一文本信息;基于相邻两次迭代的输出结果计算散度,得到散度序列;对所述散度序列进行分组以得到散度组,并依次对每个散度组对应的推理阶段中的目标扩散模型进行参数量化;推理阶段为散度组中各散度对应的迭代次数所对应的推理阶段;基于第二输入数据以及参数量化后的目标扩散模型生成图像;所述第二输入数据包括第二噪声和第二文本信息。能够解决模型推理速度慢的问题,提升模型推理速度,进而提升图像的生成效率。

Patent Agency Ranking