-
公开(公告)号:CN115437647A
公开(公告)日:2022-12-06
申请号:CN202211011412.6
申请日:2022-08-23
Applicant: 鹏城实验室
Abstract: 本发明公开了一种适配多框架的微服务部署方法、装置、终端及存储介质,方法包括:获取算法管理界面中的算法框架信息,通过Mysql数据库存储对应字段的算法框架信息;获取已提交的算法名称信息,并根据已提交的算法名称信息将训练管理层中已训练的深度学习模型发送至模型管理层;通过模型管理层调用与已训练的深度学习模型适配的推理应用服务,并根据推理应用服务部署已训练的深度学习模型对应的微服务。本发明通过模型管理层调用适配的推理应用服务,并规范不同框架所训练的模型存储方式差异性,统一模型的训练、推理资源规格及存储要求,可以兼容多个框架和不同类型的硬件设备,方便用户高效、快速地部署深度学习模型应用服务。
-
公开(公告)号:CN113326147B
公开(公告)日:2024-04-05
申请号:CN202110544547.8
申请日:2021-05-19
Applicant: 鹏城实验室
IPC: G06F9/54
Abstract: 本发明公开了一种大规模分布式作业状态控制方法、装置、终端及存储介质,方法包括:接收目标消息体,其中,所述目标消息体是当目标作业的子任务状态发生变更时生成的;根据接收到所述目标消息体的接收时间戳和所述目标消息体的生成时间戳确定消息传输延迟时刻;若在所述消息传输延迟时刻前没有接收到新的所述目标消息体,则根据在所述消息传输延迟时刻前存储的所述目标消息体对所述目标作业的状态值进行更新处理。本发明可以避免作业管理系统中显示的作业状态值与实际状态不符。
-
公开(公告)号:CN115499308A
公开(公告)日:2022-12-20
申请号:CN202210972995.2
申请日:2022-08-15
Applicant: 鹏城实验室
IPC: H04L41/0803 , H04L41/0894 , H04L41/08 , H04L67/06 , H04L9/40 , H04L67/10
Abstract: 本发明公开了一种分布式FTP容器部署方法、装置、终端及存储介质,方法包括:调用服务插件程序,通过服务插件程序读取共享存储服务器中的用户存储根目录信息,并将集群中用户信息同步初始化存储至FTP服务的数据库中;通过数据库中的用户信息对用户登入权限进行校验,并根据校验结果在共享存储服务器中配置对应的用户存储根目录信息及FTP服务访问权限文件;将配置后的FTP服务以helm容器化的方式部署至所述集群中。本发明通过Mysql数据库、FTP服务以及服务插件的多容器微服务分布式组网模式,提高了服务器整体的扩展性和高可用性,从而提高了用户文件的上传和下载的效率。
-
公开(公告)号:CN115499308B
公开(公告)日:2025-04-08
申请号:CN202210972995.2
申请日:2022-08-15
Applicant: 鹏城实验室
IPC: H04L41/0803 , H04L41/0894 , H04L41/08 , H04L67/06 , H04L9/40 , H04L67/10
Abstract: 本发明公开了一种分布式FTP容器部署方法、装置、终端及存储介质,方法包括:调用服务插件程序,通过服务插件程序读取共享存储服务器中的用户存储根目录信息,并将集群中用户信息同步初始化存储至FTP服务的数据库中;通过数据库中的用户信息对用户登入权限进行校验,并根据校验结果在共享存储服务器中配置对应的用户存储根目录信息及FTP服务访问权限文件;将配置后的FTP服务以helm容器化的方式部署至所述集群中。本发明通过Mysql数据库、FTP服务以及服务插件的多容器微服务分布式组网模式,提高了服务器整体的扩展性和高可用性,从而提高了用户文件的上传和下载的效率。
-
公开(公告)号:CN112328385A
公开(公告)日:2021-02-05
申请号:CN202110000926.0
申请日:2021-01-04
Applicant: 鹏城实验室
IPC: G06F9/48
Abstract: 本发明公开了基于插件化的多场景Kubernetes任务提交方法,方法包括:将用户任务模块转译成标准任务模板;为标准任何模板设置对应的影响因子;对具有影响因子的标准任务模板进行检查,筛选出符合预设条件的标准任务模板;对符合预设条件的标准任务模板进行修饰;将修饰后的标准任务模板与唯一的调度器进行绑定,得到绑定后的标准任务模板;将绑定后的标准任务模板设置操作策略,并在设置完成后提交至Kubernetes资源管理服务。本发明将提交任务中所涉及的处理逻辑插件化,当提交任务时,可调用所有的插件运行,既能保证多场景任务成功运行,又能保持任务提交系统自身的可维护性和处理逻辑的松耦合。
-
公开(公告)号:CN115391006A
公开(公告)日:2022-11-25
申请号:CN202210972749.7
申请日:2022-08-15
Applicant: 鹏城实验室
Abstract: 本发明公开了一种异构多集群的数据处理方法、装置、介质及终端,方法包括:在Kubernetes数据处理系统中增加新的Kubernetes虚拟节点,将每个所述Kubernetes虚拟节点与异构多集群中的每个异构集群相对应;基于所述Kubernetes虚拟节点为每个所述异构集群单独创建一个适配器;在Kubernetes数据处理系统中部署一个与所述适配器相对应的节点代理程序,其中,所述适配器通过所述节点代理程序可与Kubernetes的应用编程接口服务器通信;基于所述节点代理程序,将所述应用编程接口服务器对kubelet的操作转换为对异构集群的作业操作;本发明采用上述方法后解决了异构多集群调度较为困难的问题,实现了能够通过使用Kubernetes集群软件像数据处理普通的单集群一样去数据处理异构的多集群。
-
公开(公告)号:CN113326147A
公开(公告)日:2021-08-31
申请号:CN202110544547.8
申请日:2021-05-19
Applicant: 鹏城实验室
IPC: G06F9/54
Abstract: 本发明公开了一种大规模分布式作业状态控制方法、装置、终端及存储介质,方法包括:接收目标消息体,其中,所述目标消息体是当目标作业的子任务状态发生变更时生成的;根据接收到所述目标消息体的接收时间戳和所述目标消息体的生成时间戳确定消息传输延迟时刻;若在所述消息传输延迟时刻前没有接收到新的所述目标消息体,则根据在所述消息传输延迟时刻前存储的所述目标消息体对所述目标作业的状态值进行更新处理。本发明可以避免作业管理系统中显示的作业状态值与实际状态不符。
-
公开(公告)号:CN112328385B
公开(公告)日:2021-04-06
申请号:CN202110000926.0
申请日:2021-01-04
Applicant: 鹏城实验室
IPC: G06F9/48
Abstract: 本发明公开了基于插件化的多场景Kubernetes任务提交方法,方法包括:将用户任务模块转译成标准任务模板;为标准任何模板设置对应的影响因子;对具有影响因子的标准任务模板进行检查,筛选出符合预设条件的标准任务模板;对符合预设条件的标准任务模板进行修饰;将修饰后的标准任务模板与唯一的调度器进行绑定,得到绑定后的标准任务模板;将绑定后的标准任务模板设置操作策略,并在设置完成后提交至Kubernetes资源管理服务。本发明将提交任务中所涉及的处理逻辑插件化,当提交任务时,可调用所有的插件运行,既能保证多场景任务成功运行,又能保持任务提交系统自身的可维护性和处理逻辑的松耦合。
-
-
-
-
-
-
-