-
公开(公告)号：CN114218918A
公开(公告)日：2022-03-22
申请号：CN202111447284.5
申请日：2021-11-30
Applicant: 鹏城实验室
IPC: G06F40/194 , G06F40/289 , G06F40/111
Abstract: 本发明公开了语料相似检测方法、装置、智能终端及存储介质，其中，上述语料相似检测方法包括：获取输入文档集合；分别对上述输入文档集合中的各个输入文档进行分布式预处理，获取待检测编码文档集合，其中，上述分布式预处理包括字符剔除、分词和单词格式转换，上述待检测编码文档集合中包括多个待检测编码文档，上述待检测编码文档中的各个单词为整数类型的编码；基于上述待检测编码文档集合进行语料相似检测。与现有技术相比，本发明中在进行文档比较时，只需要分别对文档中的单词进行比较，且只需要进行整数类型的数据比较，有利于减少计算量、降低比较时间，提高语料相似检测的效率。
-
公开(公告)号：CN115297008B
公开(公告)日：2023-08-22
申请号：CN202210793410.0
申请日：2022-07-07
Applicant: 鹏城实验室
IPC: H04L41/14 , G06F18/214 , G06F18/25 , G06N5/04
Abstract: 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质，方法包括：获取若干个待训练算法及对应的数据集，并根据获取的若干个算法及数据集生成多个任务组；根据选择的任务组确定分布式智能协同计算平台中的待训练终端，并确定各待训练终端对应的待训练算法及数据集；通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理，得到协同训练及推理结果；根据所述协同训练及推理结果获取多模型融合策略，并通过所述多模型融合策略对训练后终端中的算法进行融合，得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。
-
公开(公告)号：CN116578412A
公开(公告)日：2023-08-11
申请号：CN202310427645.2
申请日：2023-04-12
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种机器学习集群算力资源运维方法、系统、设备及存储介质，属于机器学习技术领域。该方法包括：获取工作节点执行机器学习任务时的算力资源数据；根据算力资源数据进行运维分析，得到运维需求；获取运维需求对应的任务模版，任务模版包含算力资源调度策略，算力资源调度策略用于表征任务模版对应的算力资源调度计划；根据运维需求和任务模版，确定算力资源调度指令；输出算力资源调度指令到工作节点，以使工作节点按照算力资源调度指令，确定执行机器学习任务的目标算力资源。本申请能够在提高机器学习集群日常算力资源运维管理准确度的同时，提高算力资源运维管理的效率。
-
公开(公告)号：CN116541053A
公开(公告)日：2023-08-04
申请号：CN202310489126.9
申请日：2023-04-28
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种开发环境的保存方法、调用方法及相关装置，属于人工智能技术领域，包括：获取来自客户端的Docker操作请求；对Docker操作请求进行解析，从Docker操作请求中确定目标开发环境的特征信息；根据特征信息确定目标开发环境的目标镜像文件，并对目标镜像文件进行存储操作，以保存目标开发环境。本申请基于用户在客户端前端的操作生成Docker操作请求，根据Docker操作请求通过集群节点的相关服务对目标开发环境执行对应的操作，进而实现对开发环境的保存，与现有技术相比，该过程无需用户在集群节点一侧进行操作就能实现对开发环境的保存，简化了开发环境保存的过程，进而提高了开发环境的保存效率。
-
公开(公告)号：CN116501491A
公开(公告)日：2023-07-28
申请号：CN202310411262.6
申请日：2023-04-10
Applicant: 鹏城实验室
IPC: G06F9/50
Abstract: 本申请实施例提供了一种机器学习任务的资源管理方法、系统、设备及介质，属于机器学习技术领域。方法包括：获取机器学习中的目标任务；获取目标任务对应的资源弹性伸缩计划策略；根据资源弹性伸缩计划策略确定目标任务执行过程中不同时间段下的资源配置需求，并根据多个资源配置需求生成目标任务执行过程中不同时间段下的资源约束信息；根据资源约束信息生成分时段的弹性伸缩任务，并根据弹性伸缩任务对目标任务执行过程中不同时间段下的资源进行资源申请或资源选定，确定完成资源申请或资源选定后的资源为目标资源。本申请能够提高机器学习任务中资源的利用率，降低机器学习的任务成本。
-
Patent Agency Ranking
公开(公告)号：CN116467598A
公开(公告)日：2023-07-21
申请号：CN202310401758.5
申请日：2023-04-11
Applicant: 鹏城实验室
IPC: G06F18/214 , G06F18/40 , G06F3/0481 , G06F3/0482 , G06F3/0484 , G06F9/455
Abstract: 本发明实施例提供自动数据标注方法、系统、设备和存储介质，涉及人工智能技术领域。该方法包括：通过在标注主系统的显示界面上显示输入选择标识，然后响应于针对输入选择标识的第一触发操作接收目标数据集并获取目标标注任务，再响应于针对标注启动标识的第二触发操作，利用标注代理模块调用标注模型算法模块，将目标数据集的预设输入地址发送至标注脚本；以使得标注脚本利用自动标注模型对目标数据集进行标注生成目标标注数据存储在预设输出地址；接着利用标注代理模块获取预设输出地址存储的目标标注数据，并将目标标注数据基于预设显示方式在标注主系统的显示界面上进行显示。在降低自动标注学习成本的同时提高自动标注的标注效率。
-
公开(公告)号：CN116341652A
公开(公告)日：2023-06-27
申请号：CN202310133976.5
申请日：2023-02-08
Applicant: 鹏城实验室
Abstract: 本发明针对使用跨地域算力中心算力进行深度模型训练的场景需求，设计了一种面向云际环境的深度模型训练方法，采用按照网络层次拆分模型参数到不同算力中心、跨域算力节点间采用压缩通信、算力中心内和算力中心间采用混合并行等策略，实现利用跨域算力协同完成深度模型训练。本发明可以使大模型训练不再受单算力中心算力资源的限制，能够高效利用跨域算力中心的算力，在低带宽环境下利用跨域算力协同完成大规模模型的训练任务。
-
公开(公告)号：CN115423088A
公开(公告)日：2022-12-02
申请号：CN202210986537.4
申请日：2022-08-17
Applicant: 鹏城实验室
Abstract: 本发明公开了一种跨域数据异构的大模型在线剪枝方法及相关设备，方法包括：获取目标预训练模型和目标数据集；根据目标数据集对目标预训练模型进行预剪枝，得到预剪枝模型；将预剪枝模型的参数发送至云服务器进行处理，得到目标融合参数，将目标融合参数加载至预剪枝模型，得到目标融合模型，将目标预训练模型更新为目标融合模型；重新执行根据目标数据集对目标预训练模型进行预剪枝的步骤，直至完成预设数量的轮数后，将目标融合模型作为目标预剪枝模型；对目标预剪枝模型进行结构剪枝处理，得到目标剪枝模型；根据目标剪枝模型得到目标发布模型。本发明能够在跨域网络环境下，对模型进行在线剪枝，减少模型参数，降低大模型部署对硬件的要求。
-
公开(公告)号：CN115391156A
公开(公告)日：2022-11-25
申请号：CN202210983212.0
申请日：2022-08-16
Applicant: 鹏城实验室
Abstract: 本发明公开了一种跨域协同训练任务计算效率仿真方法及相关设备，所述计算效率仿真方法包括：输入跨域协同训练模型及相关参数；根据所述跨域协同训练模型及所述相关参数初始化跨域协同训练中五种类型计算阶段的仿真模型；根据所述相关参数中的跨域协同训练轮数，计算每个协同训练周期内不同阶段计算任务的时间点；根据所有协同训练周期内的时间点统计出跨域协同训练任务的计算效率指标。通过建立跨域协同训练中五种类型计算阶段的仿真模型后，计算所有协同训练周期内所有协同训练周期内的时间点，再统计出跨域协同训练任务的计算效率指标，从而实现了快捷计算跨域协同训练任务的仿真效率，提高了计算效率仿真的准确性。
-
公开(公告)号：CN110489093A
公开(公告)日：2019-11-22
申请号：CN201910980675.X
申请日：2019-10-16
Applicant: 鹏城实验室
IPC: G06F8/20
Abstract: 本发明公开了一种面向AI应用的持续构造方法、装置、终端及存储介质，所述方法包括：将待持续构造的AI应用建模为若干组件，对所述若干组件进行独立封装，对封装后的组件进行分别托管；监听托管后的所述若干组件的变更事件，根据监听结果对所述变更事件进行调度；当监听到与托管后的所述若干组件相应的变更事件时，加载并读取预定义的构造配置文件，获取构造参数，根据所述构造参数对与所监听到变更事件相应的所述若干组件进行构造，并对构造结果进行判断，根据所述判断结果，对所述待持续构造的AI应用进行构造。本发明通过基于微服务的组件化AI应用建模方法，利用多事件监听机制能够分别处理多个组件，更好地应对了AI应用的持续构造问题。
-
-
-
-
-
-
-
-
-
Search Results
33
records
(took 0.03 seconds)
