-
公开(公告)号：CN118798294A
公开(公告)日：2024-10-18
申请号：CN202311443708.X
申请日：2023-11-01
Applicant: 中国移动通信集团有限公司 , 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司
Abstract: 本发明涉及人工智能技术领域，尤其涉及一种模型压缩方法、系统、电子设备及存储介质，方法包括：获取原始模型的原始权重，引入L2正则化项，以对原始权重进行约束，得到第一权重；对权值小于动态阈值的第一权重进行舍弃，得到第二权重，其中，动态阈值的获取步骤包括：对权值小于预设的权重阈值的第一权重进行初始剪枝，得到初始剪枝参数；基于初始剪枝参数，进行模型重训练，得到本次剪枝前后的模型精度损失；在模型精度损失小于精度损失阈值的情况下，将权重阈值或调整后的权重阈值确定为动态阈值；基于第二权重，完成模型压缩。本方法能够在模型压缩的同时，尽可能地保证压缩后的模型的精确度，可行性较高，成本较低。
-
公开(公告)号：CN118799695A
公开(公告)日：2024-10-18
申请号：CN202311553212.8
申请日：2023-11-20
Applicant: 中国移动通信集团浙江有限公司 , 中国移动通信集团有限公司 , 中国移动(浙江)创新研究院有限公司
IPC: G06V10/82 , G06V10/764 , G06N3/0464 , G06N3/0455 , G06N3/0495 , G06V10/80
Abstract: 本申请实施例提供了一种用于边缘设备的图像处理方法、轻量级架构及装置，该用于边缘设备的图像处理方法包括：获取待处理的目标图像；将所述目标图像输入到轻量化骨干视觉模型，通过所述轻量化骨干视觉模型中瓶颈结构的局部聚合模块聚合所述目标图像的目标像素点的邻域范围内的局部上下文信息，所述局部聚合模块的参数量小于阈值；通过所述瓶颈结构的稀疏注意力模块对所述目标图像进行池化，并建立所述目标图像池化后的像素点之间的远距离空间关系；通过所述稀疏注意力模块根据所述远距离空间关系聚合所述目标图像的像素点的全局上下文信息。
-
公开(公告)号：CN118798282A
公开(公告)日：2024-10-18
申请号：CN202311231206.0
申请日：2023-09-22
Applicant: 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团浙江有限公司 , 中国移动通信集团有限公司
IPC: G06N3/063 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及数据处理技术领域，提供一种单个GPU的模型训练方法、装置、电子设备及存储介质。方法包括：对待训练模型的多个网络层进行划分，得到块结构Block，并将Block依次输入GPU中进行训练；基于网络层的梯度相对变化率，确定Block中已收敛的网络层和未收敛的网络层；冻结已收敛的网络层，并对未收敛的网络层进行迭代训练，直至所有未收敛的网络层收敛。本申请通过划分Block进行大模型训练，降低了大模型训练对GPU显存的占用，同时，通过未冻结网络层的梯度相对变化率进行自适应冻结，实现动态冻结，从而减少了模型训练的计算量和训练时间，有效的提高了对大模型训练的效率。
-
公开(公告)号：CN118796451A
公开(公告)日：2024-10-18
申请号：CN202410669317.8
申请日：2024-05-28
Applicant: 中国移动通信集团浙江有限公司 , 中国移动通信集团有限公司 , 中国移动(浙江)创新研究院有限公司
IPC: G06F9/50
Abstract: 本发明提供一种算力重构配置方法及装置，其中方法包括：对本地系统集群中的所有待启动业务进行算力分析，确定整体并行算力值；在第一算力冗余小于整体并行算力值的情况下，已启动业务的业务属性，对已启动业务进行本地算力重构，确定第二算力冗余；在第二算力冗余小于整体并行算力值的情况下，调用边缘计算资源进行二次算力重构，使得二次算力重构后的算力冗余大于等于所述整体并行算力值。本发明提供的算力重构配置方法及装置，通过基于本地系统集群中已启动业务进行算力重构，提升本地算力利用率。并进一步引入边缘计算资源对待启动业务进行二次算力重构，达到满足本地系统集群的驱动需求，提升本地算力利用率。
-
公开(公告)号：CN118796165A
公开(公告)日：2024-10-18
申请号：CN202311697982.X
申请日：2023-12-11
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司
IPC: G06F8/30 , G06F8/71 , G06F18/214
Abstract: 本发明提供模型分布式迁移代码生成方法、装置、设备及介质，其中方法包括：获取配置文件，基于配置文件确定目标操作模式；当目标操作模式为模型训练模式时，对配置文件进行解析，得到第一模型迁移配置参数；读取待迁移模型的训练源代码，基于第一模型迁移配置参数和训练源代码，生成待迁移模型的分布式训练程序代码。本发明可以自动生成大模型迁移至分布式框架下训练的代码，提高模型迁移到分布式框架的效率。
-
Patent Agency Ranking
公开(公告)号：CN118798293A
公开(公告)日：2024-10-18
申请号：CN202311394640.0
申请日：2023-10-25
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司
IPC: G06N3/082 , G06N3/0455
Abstract: 本发明提供一种基于多任务辅助的神经网络通道剪枝方法及装置，方法包括：确定骨干网络的任务内容，所述任务内容包括主任务和辅助任务；构造和初始化所述骨干网络的编码向量，所述编码向量至少包括：当前层网络的第一编码向量和上一层网络的第二编码向量；对所述编码向量增加L1系数正则化约束，得到约束结果，将所述编码向量作为所述当前层网络的句柄，将所述句柄结合所述约束结果对所述当前层网络进行所述编码向量对应通道的剪枝；将所述第一编码向量和第二编码向量输入至已构建的权重生成网络中进行训练和网络结构修剪，得到训练完成的剪枝网络。本发明能够提升主任务精度和进一步增强网络的泛化能力。
-
公开(公告)号：CN118798283A
公开(公告)日：2024-10-18
申请号：CN202311782784.3
申请日：2023-12-22
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司
Abstract: 本申请公开了一种模型训练加速方法和装置，该模型训练加速方法包括：在模型训练过程中，对梯度变化率低于冻结阈值的网络层进行冻结，所述冻结用于使得所述网络层停止反向传播；根据衰减系数对所述冻结阈值进行衰减处理，得到衰减冻结阈值；利用未冻结的网络层进行模型训练，对梯度变化率低于所述衰减冻结阈值的网络层进行冻结，直至所述模型训练达到预设精度或预设次数为止。本申请实施例在模型训练过程中逐渐冻结部分网络层，以停止反向传播，有效减少了显存占用提升运算效率，提升训练速度，同时对冻结阈值进行衰减处理，避免提前将未训练收敛的网络层冻结的情况发生。
-
公开(公告)号：CN119420423A
公开(公告)日：2025-02-11
申请号：CN202411700620.6
申请日：2024-11-26
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司 , 中国移动通信有限公司
Abstract: 本发明提供一种基于参数服务器架构的光互连系统及其数据交互方法，该系统包括至少一个服务节点和多个工作节点；其中，任一服务节点的光发射端通过光纤连接至任一工作节点的光接收端；任一工作节点的光发射端，通过光纤连接至任一服务节点的光接收端；任一工作节点，用于从与其连接的任一服务节点拉取模型参数；任一工作节点，还用于获取训练数据，利用训练数据执行训练任务，得到任务执行结果；将任务执行结果通过任一工作节点的光发射端发送至任一服务节点；任一服务节点，用于基于任务执行结果更新模型参数。本申请将server节点与worker节点采用光纤直连，不需要经过交换机转发，省去了一次光电‑电光转换，大大节省了经济、功耗成本，降低了网络延迟。
-
公开(公告)号：CN118860657A
公开(公告)日：2024-10-29
申请号：CN202411039357.0
申请日：2024-07-31
Applicant: 中国移动通信集团浙江有限公司 , 中国移动通信集团有限公司 , 中国移动(浙江)创新研究院有限公司 , 浙江移动信息系统集成有限公司
IPC: G06F9/50 , G06F9/48 , G06F18/2321
Abstract: 本申请涉及计算机领域，提供一种任务分解方法、装置、设备、介质及产品。其中方法包括：获取待分解任务的各个任务元；基于各个任务元的自身属性和各个任务元之间的相关性确定各个任务元之间的初始截断距离；基于最小化基尼指数的自适应截断距离选择机制对初始截断距离进行优化，得到优化结果；基于优化结果将待分解任务拆解为各个子任务。本申请通过将各个任务元的自身属性和各个任务元之间的相关性转变成任务元间的距离关系，通过最小化基尼指数将密度峰值聚类算法进行改进，可以将待分解任务拆分为合适粒度的子任务，提高了任务分解效率和分解准确度，提高了任务处理效率。
-
公开(公告)号：CN116994333A
公开(公告)日：2023-11-03
申请号：CN202310921009.5
申请日：2023-07-25
Applicant: 中移(成都)信息通信科技有限公司 , 中国移动通信集团有限公司
Abstract: 本发明实施例公开了一种行为识别方法、装置、设备和存储介质。所述方法包括：根据待识别行为对应的视频流数据获取第一视频帧和第二视频帧对应的初始运动矢量差；所述第一视频帧是所述第二视频帧的前一视频帧；在所述待识别行为满足预设条件的情况下，获取满足所述预设条件的所述待识别行为对应的第一图像数据；将所述初始运动矢量差和所述第一图像数据进行融合处理，得到目标信息；对所述目标信息进行行为识别，得到所述待识别行为对应的识别结果。
-
-
-
-
-
-
-
-
-
Search Results
24
records
(took 0.13 seconds)
