-
公开(公告)号:CN119808939A
公开(公告)日:2025-04-11
申请号:CN202411822919.9
申请日:2024-12-11
Applicant: 深圳华为云计算技术有限公司
IPC: G06N5/04 , G06F18/214 , G06N3/0475
Abstract: 一种模型训练数据生成方法,包括:获取用户输入的第一数据,第一数据为与用户所需推理场景相关的词元分布或文本;基于基础模型的语料库中的词元在第一数据中的分布,构建词元池,词元池含语料库中的词元,词元池中的每个词元的数量均大于或等于预设数量,基础模型与推理场景相关;基于词元池和基础模型,得到训练数据,训练数据包含样本和标签,样本为n+1个词元和n+1个词元中前n个词元的隐藏状态,标签为n+1个词元中第n+1个词元的隐藏状态,n+1个词元是从词元池中选取的,n+1个词元的隐藏状态是通过基础模型对n+1个词元做推理得到。该方法可有效避免使用真实语料所可能导致的隐私泄露问题,同时可避免真实语料库过小而造成的训练数据量过少的问题。
-
公开(公告)号:CN115269167A
公开(公告)日:2022-11-01
申请号:CN202110480305.7
申请日:2021-04-30
Applicant: 华为云计算技术有限公司
IPC: G06F9/50
Abstract: 本申请提供一种资源调度方法和电子设备,在方法中,获取待调度节点的优先级;所述待调度节点是预设节点中未被调度的节点;所述待调度节点的优先级与所述待调度节点在预设路径中的执行次序正相关;所述预设路径用于记录所述预设节点的执行顺序;计算预设资源池的空闲资源量;根据所述空闲资源量和所述待调度节点的优先级为所述待调度节点调度资源。本申请能够提高电子设备的数据吞吐率。
-
公开(公告)号:CN115269131A
公开(公告)日:2022-11-01
申请号:CN202110485859.6
申请日:2021-04-30
Applicant: 华为云计算技术有限公司
Abstract: 本申请提供一种任务调度方法及装置,其方法包括:获取目标主队列对应的一个或多个从队列的长度,并根据一个或多个从队列的长度将目标主队列中的任务的数据包调度至一个或多个从队列中的一个或多个从队列。计算设备可以根据从队列的长度来派发任务,避免任务分配不均匀,导致任务在一个计算单元处堆积,阻塞,本申请提供的方法不需要预编排多个工作流程,便可以实现让多个计算单元同步进行运算,提高计算单元的利用率,并且不需要测试计算单元的算力,可以简化业务流程,减少时延。
-
-