-
公开(公告)号:CN116541053A
公开(公告)日:2023-08-04
申请号:CN202310489126.9
申请日:2023-04-28
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种开发环境的保存方法、调用方法及相关装置,属于人工智能技术领域,包括:获取来自客户端的Docker操作请求;对Docker操作请求进行解析,从Docker操作请求中确定目标开发环境的特征信息;根据特征信息确定目标开发环境的目标镜像文件,并对目标镜像文件进行存储操作,以保存目标开发环境。本申请基于用户在客户端前端的操作生成Docker操作请求,根据Docker操作请求通过集群节点的相关服务对目标开发环境执行对应的操作,进而实现对开发环境的保存,与现有技术相比,该过程无需用户在集群节点一侧进行操作就能实现对开发环境的保存,简化了开发环境保存的过程,进而提高了开发环境的保存效率。
-
公开(公告)号:CN116501491A
公开(公告)日:2023-07-28
申请号:CN202310411262.6
申请日:2023-04-10
Applicant: 鹏城实验室
IPC: G06F9/50
Abstract: 本申请实施例提供了一种机器学习任务的资源管理方法、系统、设备及介质,属于机器学习技术领域。方法包括:获取机器学习中的目标任务;获取目标任务对应的资源弹性伸缩计划策略;根据资源弹性伸缩计划策略确定目标任务执行过程中不同时间段下的资源配置需求,并根据多个资源配置需求生成目标任务执行过程中不同时间段下的资源约束信息;根据资源约束信息生成分时段的弹性伸缩任务,并根据弹性伸缩任务对目标任务执行过程中不同时间段下的资源进行资源申请或资源选定,确定完成资源申请或资源选定后的资源为目标资源。本申请能够提高机器学习任务中资源的利用率,降低机器学习的任务成本。
-
公开(公告)号:CN115423088A
公开(公告)日:2022-12-02
申请号:CN202210986537.4
申请日:2022-08-17
Applicant: 鹏城实验室
Abstract: 本发明公开了一种跨域数据异构的大模型在线剪枝方法及相关设备,方法包括:获取目标预训练模型和目标数据集;根据目标数据集对目标预训练模型进行预剪枝,得到预剪枝模型;将预剪枝模型的参数发送至云服务器进行处理,得到目标融合参数,将目标融合参数加载至预剪枝模型,得到目标融合模型,将目标预训练模型更新为目标融合模型;重新执行根据目标数据集对目标预训练模型进行预剪枝的步骤,直至完成预设数量的轮数后,将目标融合模型作为目标预剪枝模型;对目标预剪枝模型进行结构剪枝处理,得到目标剪枝模型;根据目标剪枝模型得到目标发布模型。本发明能够在跨域网络环境下,对模型进行在线剪枝,减少模型参数,降低大模型部署对硬件的要求。
-
公开(公告)号:CN115391156A
公开(公告)日:2022-11-25
申请号:CN202210983212.0
申请日:2022-08-16
Applicant: 鹏城实验室
Abstract: 本发明公开了一种跨域协同训练任务计算效率仿真方法及相关设备,所述计算效率仿真方法包括:输入跨域协同训练模型及相关参数;根据所述跨域协同训练模型及所述相关参数初始化跨域协同训练中五种类型计算阶段的仿真模型;根据所述相关参数中的跨域协同训练轮数,计算每个协同训练周期内不同阶段计算任务的时间点;根据所有协同训练周期内的时间点统计出跨域协同训练任务的计算效率指标。通过建立跨域协同训练中五种类型计算阶段的仿真模型后,计算所有协同训练周期内所有协同训练周期内的时间点,再统计出跨域协同训练任务的计算效率指标,从而实现了快捷计算跨域协同训练任务的仿真效率,提高了计算效率仿真的准确性。
-
公开(公告)号:CN114925591A
公开(公告)日:2022-08-19
申请号:CN202111646797.9
申请日:2021-12-29
Applicant: 鹏城实验室 , 北京大学深圳研究生院
IPC: G06F30/27 , G06K9/62 , G06F111/08
Abstract: 本发明公开了基于多面体模型建模的自动并行策略搜索方法及相关设备,所述方法包括:根据用户输入的模型对象得到深度学习算法的模型计算图;对模型计算图进行转换,得到转换后的模型计算图;将转换后的模型计算图进行均衡处理,得到均衡计算图;根据所述均衡计算图,创建多面体模型实例,并根据多面体模型实例输出并行策略;调用底层框架执行并行策略。本发明中通过将模型计算图进行转换及均衡处理,并在多面体模型的框架下创建多面体模型实例后,自动输出并行策略,实现了在多面体模型下将不同的算法逻辑进行建模,并自动输出并行策略过程,提升了并行策略搜索的效率,降低了深度学习算法的分布式训练开发和效率调优难度。
-
公开(公告)号:CN114676795A
公开(公告)日:2022-06-28
申请号:CN202210582633.2
申请日:2022-05-26
Applicant: 鹏城实验室
Abstract: 本发明涉及模型训练技术领域,具体是涉及一种深度学习模型的训练方法、装置、设备及存储介质。本发明首先根据待训练的深度学习模型所需要的训练数据集的容量选择将训练数据集存储至本地节点的存储方式,之后完成训练数据集在本地节点的存储操作,最后本地节点采用训练数据集训练深度学习模型。本发明根据训练数据集的容量将训练数据集存储至本地节点,能够节省存储数据所需要的时间,进而节省了训练所需要的整体时间,从而提高了训练效率。
-
公开(公告)号:CN113326147A
公开(公告)日:2021-08-31
申请号:CN202110544547.8
申请日:2021-05-19
Applicant: 鹏城实验室
IPC: G06F9/54
Abstract: 本发明公开了一种大规模分布式作业状态控制方法、装置、终端及存储介质,方法包括:接收目标消息体,其中,所述目标消息体是当目标作业的子任务状态发生变更时生成的;根据接收到所述目标消息体的接收时间戳和所述目标消息体的生成时间戳确定消息传输延迟时刻;若在所述消息传输延迟时刻前没有接收到新的所述目标消息体,则根据在所述消息传输延迟时刻前存储的所述目标消息体对所述目标作业的状态值进行更新处理。本发明可以避免作业管理系统中显示的作业状态值与实际状态不符。
-
公开(公告)号:CN112328385B
公开(公告)日:2021-04-06
申请号:CN202110000926.0
申请日:2021-01-04
Applicant: 鹏城实验室
IPC: G06F9/48
Abstract: 本发明公开了基于插件化的多场景Kubernetes任务提交方法,方法包括:将用户任务模块转译成标准任务模板;为标准任何模板设置对应的影响因子;对具有影响因子的标准任务模板进行检查,筛选出符合预设条件的标准任务模板;对符合预设条件的标准任务模板进行修饰;将修饰后的标准任务模板与唯一的调度器进行绑定,得到绑定后的标准任务模板;将绑定后的标准任务模板设置操作策略,并在设置完成后提交至Kubernetes资源管理服务。本发明将提交任务中所涉及的处理逻辑插件化,当提交任务时,可调用所有的插件运行,既能保证多场景任务成功运行,又能保持任务提交系统自身的可维护性和处理逻辑的松耦合。
-
公开(公告)号:CN112506666A
公开(公告)日:2021-03-16
申请号:CN202011525125.8
申请日:2020-12-22
Abstract: 本发明公开了一种基于驱动封装的GPU分时共享方法及系统,所述方法包括:获取任务切换指令,并根据所述任务切换指令确定切换前的任务;根据所述切换前的任务,确定所述切换前的任务所占用的GPU显存资源;将所述GPU显存资源备份,并在备份完成后释放所述GPU显存资源,以使得切换后的任务使用GPU并运行。本发明可通过截获用户应用对GPU资源的使用,并且在任务切换时,将所述GPU显存资源备份,并在备份完成后释放所述GPU显存资源,以使得切换后的任务使用GPU并运行,从而实现了GPU资源在不同任务之间的分时共享,推高了集群资源的利用率,降低了用户的等待时间。
-
公开(公告)号:CN112215063A
公开(公告)日:2021-01-12
申请号:CN202010909591.X
申请日:2020-09-02
Applicant: 鹏城实验室
Abstract: 本发明公开了一种车牌脱敏方法、终端及存储介质。所述方法包括:获取目标视频,获取目标视频的每一帧中各个车辆对应的车辆空间信息,其中,车辆空间信息包括帧序号、车辆ID以及车辆位置信息;根据目标视频中每一帧中的各个车辆的车辆空间信息获取目标视频中每一帧中的各个车辆的第一车牌空间信息;根据第一车牌空间信息获取目标车牌空间信息;根据目标车牌空间信息对目标视频中的各个车牌进行脱敏处理。本发明通过对目标视频中的车辆进行跟踪,获取每一帧中各个车辆的车辆空间信息,再根据车辆的车辆空间信息获取每一帧中的车牌的车牌空间信息,进而根据车牌空间信息进行车牌脱敏处理,实现了对视频中的车牌信息进行脱敏。
-
-
-
-
-
-
-
-
-