-
公开(公告)号：CN118798283A
公开(公告)日：2024-10-18
申请号：CN202311782784.3
申请日：2023-12-22
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司
Abstract: 本申请公开了一种模型训练加速方法和装置，该模型训练加速方法包括：在模型训练过程中，对梯度变化率低于冻结阈值的网络层进行冻结，所述冻结用于使得所述网络层停止反向传播；根据衰减系数对所述冻结阈值进行衰减处理，得到衰减冻结阈值；利用未冻结的网络层进行模型训练，对梯度变化率低于所述衰减冻结阈值的网络层进行冻结，直至所述模型训练达到预设精度或预设次数为止。本申请实施例在模型训练过程中逐渐冻结部分网络层，以停止反向传播，有效减少了显存占用提升运算效率，提升训练速度，同时对冻结阈值进行衰减处理，避免提前将未训练收敛的网络层冻结的情况发生。
-
公开(公告)号：CN118796505A
公开(公告)日：2024-10-18
申请号：CN202410695325.X
申请日：2024-05-31
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司
Abstract: 本发明提供一种基于大语言模型的业务处理方法及装置，其中方法包括：基于算力网络接收目标业务请求；算力网络基于预先存储的业务请求与适配器之间映射关系，从多个适配器中确定目标业务请求对应的目标适配器；算力网络基于基座大语言模型以及目标适配器，构建目标业务请求的目标推理服务，并基于目标推理服务，处理目标业务请求。本发明提供的基于大语言模型的业务处理方法及装置，通过算力网络仅需要部署一个完整基座大语言模型，基于多个适配器之间的切换即可完成推理能力的切换，显著节省算力资源，使得不同类型的适配器可以在同一推理任务中协同工作，大幅度提高处理效率。
-
公开(公告)号：CN118568785A
公开(公告)日：2024-08-30
申请号：CN202410623729.8
申请日：2024-05-20
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司
IPC: G06F21/64 , G06F18/241 , G06F18/213 , G06F18/214
Abstract: 本发明提供一种文档检测方法、系统、设备及介质，涉及数据处理技术领域，该方法包括：将待检测文档输入至文档检测模型的输入层，得到所述输入层输出的所述待检测文档的多层次的嵌入特征；将多层次的所述嵌入特征输入至所述文档检测模型的检测层，得到所述检测层输出的所述待检测文档的文本特征；将所述文本特征输入至所述文档检测模型的输出层，得到所述输出层对所述文本特征进行多层次的降维变换操作和分类操作输出的所述待检测文档的完整性检测结果；其中，所述文档检测模型是在预训练的BERT‑Large模型的基础上，基于样本文档和所述样本文档的完整性标签进行训练得到的。本发明实现自动、高效、精准地进行文档检测。
-
公开(公告)号：CN119420423A
公开(公告)日：2025-02-11
申请号：CN202411700620.6
申请日：2024-11-26
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司 , 中国移动通信有限公司
Abstract: 本发明提供一种基于参数服务器架构的光互连系统及其数据交互方法，该系统包括至少一个服务节点和多个工作节点；其中，任一服务节点的光发射端通过光纤连接至任一工作节点的光接收端；任一工作节点的光发射端，通过光纤连接至任一服务节点的光接收端；任一工作节点，用于从与其连接的任一服务节点拉取模型参数；任一工作节点，还用于获取训练数据，利用训练数据执行训练任务，得到任务执行结果；将任务执行结果通过任一工作节点的光发射端发送至任一服务节点；任一服务节点，用于基于任务执行结果更新模型参数。本申请将server节点与worker节点采用光纤直连，不需要经过交换机转发，省去了一次光电‑电光转换，大大节省了经济、功耗成本，降低了网络延迟。
-
公开(公告)号：CN119180941A
公开(公告)日：2024-12-24
申请号：CN202411227943.8
申请日：2024-09-03
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司 , 中国移动通信有限公司
IPC: G06V10/25 , G06V10/764 , G06V10/40 , G06N5/04 , G06F18/213 , G06F18/22 , G06F18/25
Abstract: 本发明提供一种基于多标签分类的开集目标检测方法、装置、设备和介质，其中方法包括：在开集目标检测模型的融合层的任意一层中嵌入多标签分类层；将多标签分类层和开集目标检测模型的前K层转换为第一推理层，将开集目标检测模型的后N‑K层转换为第二推理层；将目标图像和预设的M个目标类别文本输入至第一推理层，得到图像特征和M个文本特征，以及M个目标类别文本的置信度；基于M个目标类别文本的置信度，对M个文本特征进行过滤，得到过滤后的m个文本特征；在m值不为零的情况下，将过滤后的m个文本特征和图像特征输入至第二推理层，得到目标图像的分类结果。本发明推理加速效果好，无需额外训练成本，不影响定位准确率，通用性强。
-
Patent Agency Ranking
公开(公告)号：CN118797332A
公开(公告)日：2024-10-18
申请号：CN202311697447.4
申请日：2023-12-11
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司
IPC: G06F18/214 , G06F9/48 , G06F9/50
Abstract: 本发明提供模型分布式并行加速训练策略生成方法、装置及电子设备，其中方法包括：获取并行环境信息和用户配置文件，基于所述用户配置文件确定超参搜索空间，基于并行环境信息和超参搜索空间确定至少一个加速训练超参集，每个加速训练超参集中包括张量并行维度、流水线并行维度、梯度累积次数、微批数据大小以及处理数据并行维度中的至少一种；基于加速训练超参集确定候选加速训练策略；基于候选加速训练策略进行分布式并行加速训练测试，得到各个候选加速训练策略的训练效率评估结果；基于各个候选加速训练策略的训练效率评估结果确定目标加速训练策略。本发明可以实现提高并行加速训练效率的效果。
-
公开(公告)号：CN118735182A
公开(公告)日：2024-10-01
申请号：CN202410790878.3
申请日：2024-06-19
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司
IPC: G06Q10/0631 , G06Q10/0637 , G06F40/151 , G06F40/30
Abstract: 本申请涉及人工智能技术领域，提供一种机器人调用方法、装置、电子设备、存储介质及程序产品，方法包括响应于用户指令，基于语义向量、关键词和预测指令中的至少一个对用户指令和预先定义的机器人的应用描述进行匹配，确定机器人候选列表；根据用户指令和机器人候选列表，确定至少一提示词；输入提示词至预先确定的大模型，大模型用于确定与用户指令对应的参数信息，基于提示词从机器人候选列表中选取至少一目标机器人；根据参数信息，调用目标机器人。本申请采用先基于用户指令进行检索，再利用大模型识别的方式来获取目标机器人，无需用户准确记忆格式化指令，降低用户指令中噪声，有效增加了目标机器人的识别准确率。
-
公开(公告)号：CN119204138A
公开(公告)日：2024-12-27
申请号：CN202411275944.X
申请日：2024-09-12
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信有限公司 , 中国移动通信集团有限公司
Abstract: 本发明提供一种模型自动剪枝方法、装置、设备、存储介质及程序产品，涉及数据处理技术领域，包括：将模型中任一组待剪枝组的状态信息输入智能体中的actor网络，得到所述待剪枝组的预测压缩比例；基于所述待剪枝组的预测压缩比例对所述待剪枝组进行剪枝，得到第一剪枝组，并基于预设压缩比对所述待剪枝组进行剪枝，得到第二剪枝组；遍历全部待剪枝组，基于所述第一剪枝组与所述第二剪枝组之间的损失扰动，以及长期奖励，对所述智能体进行优化，得到剪枝模型。
-
公开(公告)号：CN118798282A
公开(公告)日：2024-10-18
申请号：CN202311231206.0
申请日：2023-09-22
Applicant: 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团浙江有限公司 , 中国移动通信集团有限公司
IPC: G06N3/063 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及数据处理技术领域，提供一种单个GPU的模型训练方法、装置、电子设备及存储介质。方法包括：对待训练模型的多个网络层进行划分，得到块结构Block，并将Block依次输入GPU中进行训练；基于网络层的梯度相对变化率，确定Block中已收敛的网络层和未收敛的网络层；冻结已收敛的网络层，并对未收敛的网络层进行迭代训练，直至所有未收敛的网络层收敛。本申请通过划分Block进行大模型训练，降低了大模型训练对GPU显存的占用，同时，通过未冻结网络层的梯度相对变化率进行自适应冻结，实现动态冻结，从而减少了模型训练的计算量和训练时间，有效的提高了对大模型训练的效率。
-
公开(公告)号：CN118797098A
公开(公告)日：2024-10-18
申请号：CN202410688238.1
申请日：2024-05-30
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司
IPC: G06F16/735 , G06F16/738 , G06F18/213 , G06F18/214 , G06F18/22 , G06F18/25 , G06N3/045 , G06N3/08
Abstract: 本发明提供一种视频排序推荐方法、装置、电子设备、存储介质及产品，包括：获取目标用户的各交互行为对应的行为序列和目标用户对应的多个候选视频的播放特征；将各交互行为对应的行为序列输入训练好的双塔模型中的用户塔模型进行特征提取，得到目标用户的交互行为特征；用户塔模型包括融合掩码机制与阈值门控机制的多头自注意力模块，多头自注意力模块用于排除行为序列中不相关元素的注意力权重计算；根据各个候选视频的播放特征与交互行为特征之间的相关性，确定针对目标用户的推荐视频。本发明通过融合了掩码机制与阈值门控机制的多头自注意力模块，可以避免引入不相关的干扰信息，提高视频粗排推荐的准确性，提高视频推荐效果。
-
-
-
-
-
-
-
-
-
Search Results
60
records
(took 0.091 seconds)
