公开(公告)号：CN118860657A

公开(公告)日：2024-10-29

申请号：CN202411039357.0

申请日：2024-07-31

Applicant: 中国移动通信集团浙江有限公司 ,  中国移动通信集团有限公司 ,  中国移动(浙江)创新研究院有限公司 ,  浙江移动信息系统集成有限公司

Inventor： 余立 ,  严昱超 ,  丛鹏宇 ,  张程 ,  鲍捷 ,  钱怡辰 ,  余敏君 ,  李佳宸 ,  王鉴

IPC: G06F9/50 ,  G06F9/48 ,  G06F18/2321

Abstract: 本申请涉及计算机领域，提供一种任务分解方法、装置、设备、介质及产品。其中方法包括：获取待分解任务的各个任务元；基于各个任务元的自身属性和各个任务元之间的相关性确定各个任务元之间的初始截断距离；基于最小化基尼指数的自适应截断距离选择机制对初始截断距离进行优化，得到优化结果；基于优化结果将待分解任务拆解为各个子任务。本申请通过将各个任务元的自身属性和各个任务元之间的相关性转变成任务元间的距离关系，通过最小化基尼指数将密度峰值聚类算法进行改进，可以将待分解任务拆分为合适粒度的子任务，提高了任务分解效率和分解准确度，提高了任务处理效率。

公开(公告)号：CN118798294A

公开(公告)日：2024-10-18

申请号：CN202311443708.X

申请日：2023-11-01

Applicant: 中国移动通信集团有限公司 ,  中国移动通信集团浙江有限公司 ,  中国移动(浙江)创新研究院有限公司

Inventor： 张理泽 ,  金炜众 ,  丛鹏宇 ,  李佳宸 ,  张程

IPC: G06N3/082 ,  G06N3/04 ,  G06F18/23

Abstract: 本发明涉及人工智能技术领域，尤其涉及一种模型压缩方法、系统、电子设备及存储介质，方法包括：获取原始模型的原始权重，引入L2正则化项，以对原始权重进行约束，得到第一权重；对权值小于动态阈值的第一权重进行舍弃，得到第二权重，其中，动态阈值的获取步骤包括：对权值小于预设的权重阈值的第一权重进行初始剪枝，得到初始剪枝参数；基于初始剪枝参数，进行模型重训练，得到本次剪枝前后的模型精度损失；在模型精度损失小于精度损失阈值的情况下，将权重阈值或调整后的权重阈值确定为动态阈值；基于第二权重，完成模型压缩。本方法能够在模型压缩的同时，尽可能地保证压缩后的模型的精确度，可行性较高，成本较低。

公开(公告)号：CN118799695A

公开(公告)日：2024-10-18

申请号：CN202311553212.8

申请日：2023-11-20

Applicant: 中国移动通信集团浙江有限公司 ,  中国移动通信集团有限公司 ,  中国移动(浙江)创新研究院有限公司

Inventor： 张程 ,  丛鹏宇 ,  陈逸雪 ,  宋佳颖 ,  金炜众 ,  张理泽 ,  李佳宸

IPC: G06V10/82 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0495 ,  G06V10/80

Abstract: 本申请实施例提供了一种用于边缘设备的图像处理方法、轻量级架构及装置，该用于边缘设备的图像处理方法包括：获取待处理的目标图像；将所述目标图像输入到轻量化骨干视觉模型，通过所述轻量化骨干视觉模型中瓶颈结构的局部聚合模块聚合所述目标图像的目标像素点的邻域范围内的局部上下文信息，所述局部聚合模块的参数量小于阈值；通过所述瓶颈结构的稀疏注意力模块对所述目标图像进行池化，并建立所述目标图像池化后的像素点之间的远距离空间关系；通过所述稀疏注意力模块根据所述远距离空间关系聚合所述目标图像的像素点的全局上下文信息。

公开(公告)号：CN118798283A

公开(公告)日：2024-10-18

申请号：CN202311782784.3

申请日：2023-12-22

Applicant: 中国移动通信集团浙江有限公司 ,  中国移动(浙江)创新研究院有限公司 ,  中国移动通信集团有限公司

Inventor： 张理泽 ,  余立 ,  彭庆 ,  严昱超 ,  张程 ,  李佳宸

IPC: G06N3/063 ,  G06N3/084

Abstract: 本申请公开了一种模型训练加速方法和装置，该模型训练加速方法包括：在模型训练过程中，对梯度变化率低于冻结阈值的网络层进行冻结，所述冻结用于使得所述网络层停止反向传播；根据衰减系数对所述冻结阈值进行衰减处理，得到衰减冻结阈值；利用未冻结的网络层进行模型训练，对梯度变化率低于所述衰减冻结阈值的网络层进行冻结，直至所述模型训练达到预设精度或预设次数为止。本申请实施例在模型训练过程中逐渐冻结部分网络层，以停止反向传播，有效减少了显存占用提升运算效率，提升训练速度，同时对冻结阈值进行衰减处理，避免提前将未训练收敛的网络层冻结的情况发生。

公开(公告)号：CN118798282A

公开(公告)日：2024-10-18

申请号：CN202311231206.0

申请日：2023-09-22

Applicant: 中国移动(浙江)创新研究院有限公司 ,  中国移动通信集团浙江有限公司 ,  中国移动通信集团有限公司

Inventor： 张理泽 ,  余立 ,  严昱超 ,  丛鹏宇 ,  彭庆 ,  张程 ,  李佳宸

IPC: G06N3/063 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请涉及数据处理技术领域，提供一种单个GPU的模型训练方法、装置、电子设备及存储介质。方法包括：对待训练模型的多个网络层进行划分，得到块结构Block，并将Block依次输入GPU中进行训练；基于网络层的梯度相对变化率，确定Block中已收敛的网络层和未收敛的网络层；冻结已收敛的网络层，并对未收敛的网络层进行迭代训练，直至所有未收敛的网络层收敛。本申请通过划分Block进行大模型训练，降低了大模型训练对GPU显存的占用，同时，通过未冻结网络层的梯度相对变化率进行自适应冻结，实现动态冻结，从而减少了模型训练的计算量和训练时间，有效的提高了对大模型训练的效率。