-
公开(公告)号：CN116737363A
公开(公告)日：2023-09-12
申请号：CN202310519363.5
申请日：2023-05-09
Applicant: 鹏城实验室
IPC: G06F9/50 , G06F12/0802 , G06N3/08
Abstract: 本发明涉及人工智能，提供了一种深度学习平台的数据集缓存加速方法、系统、设备及介质，该方法包括：响应于任务指令，将远端存储的目标数据集映射至数据集抽象组件；基于数据集抽象组件对加速引擎组件进行绑定；根据目标数据集从所有处理节点中确定出用于执行训练任务的工作节点；根据缓存配置参数，对工作节点的缓存区域进行配置，并对缓存区域与加速引擎组件进行映射关系建立，形成逻辑存储，以使目标数据集通过加速引擎组件映射至缓存区域；将训练任务挂载至逻辑存储，以便于训练任务通过缓存区读取目标数据集。本发明实施例提供的数据集缓存加速方法能够解决计算应用程序与异构存储之间的兼容性问题，同时提升数据读取的速度。
-
公开(公告)号：CN115437647A
公开(公告)日：2022-12-06
申请号：CN202211011412.6
申请日：2022-08-23
Applicant: 鹏城实验室
Abstract: 本发明公开了一种适配多框架的微服务部署方法、装置、终端及存储介质，方法包括：获取算法管理界面中的算法框架信息，通过Mysql数据库存储对应字段的算法框架信息；获取已提交的算法名称信息，并根据已提交的算法名称信息将训练管理层中已训练的深度学习模型发送至模型管理层；通过模型管理层调用与已训练的深度学习模型适配的推理应用服务，并根据推理应用服务部署已训练的深度学习模型对应的微服务。本发明通过模型管理层调用适配的推理应用服务，并规范不同框架所训练的模型存储方式差异性，统一模型的训练、推理资源规格及存储要求，可以兼容多个框架和不同类型的硬件设备，方便用户高效、快速地部署深度学习模型应用服务。
-
公开(公告)号：CN115391006A
公开(公告)日：2022-11-25
申请号：CN202210972749.7
申请日：2022-08-15
Applicant: 鹏城实验室
Abstract: 本发明公开了一种异构多集群的数据处理方法、装置、介质及终端，方法包括：在Kubernetes数据处理系统中增加新的Kubernetes虚拟节点，将每个所述Kubernetes虚拟节点与异构多集群中的每个异构集群相对应；基于所述Kubernetes虚拟节点为每个所述异构集群单独创建一个适配器；在Kubernetes数据处理系统中部署一个与所述适配器相对应的节点代理程序，其中，所述适配器通过所述节点代理程序可与Kubernetes的应用编程接口服务器通信；基于所述节点代理程序，将所述应用编程接口服务器对kubelet的操作转换为对异构集群的作业操作；本发明采用上述方法后解决了异构多集群调度较为困难的问题，实现了能够通过使用Kubernetes集群软件像数据处理普通的单集群一样去数据处理异构的多集群。
-
公开(公告)号：CN115499308B
公开(公告)日：2025-04-08
申请号：CN202210972995.2
申请日：2022-08-15
Applicant: 鹏城实验室
IPC: H04L41/0803 , H04L41/0894 , H04L41/08 , H04L67/06 , H04L9/40 , H04L67/10
Abstract: 本发明公开了一种分布式FTP容器部署方法、装置、终端及存储介质，方法包括：调用服务插件程序，通过服务插件程序读取共享存储服务器中的用户存储根目录信息，并将集群中用户信息同步初始化存储至FTP服务的数据库中；通过数据库中的用户信息对用户登入权限进行校验，并根据校验结果在共享存储服务器中配置对应的用户存储根目录信息及FTP服务访问权限文件；将配置后的FTP服务以helm容器化的方式部署至所述集群中。本发明通过Mysql数据库、FTP服务以及服务插件的多容器微服务分布式组网模式，提高了服务器整体的扩展性和高可用性，从而提高了用户文件的上传和下载的效率。
-
公开(公告)号：CN112328385A
公开(公告)日：2021-02-05
申请号：CN202110000926.0
申请日：2021-01-04
Applicant: 鹏城实验室
IPC: G06F9/48
Abstract: 本发明公开了基于插件化的多场景Kubernetes任务提交方法，方法包括：将用户任务模块转译成标准任务模板；为标准任何模板设置对应的影响因子；对具有影响因子的标准任务模板进行检查，筛选出符合预设条件的标准任务模板；对符合预设条件的标准任务模板进行修饰；将修饰后的标准任务模板与唯一的调度器进行绑定，得到绑定后的标准任务模板；将绑定后的标准任务模板设置操作策略，并在设置完成后提交至Kubernetes资源管理服务。本发明将提交任务中所涉及的处理逻辑插件化，当提交任务时，可调用所有的插件运行，既能保证多场景任务成功运行，又能保持任务提交系统自身的可维护性和处理逻辑的松耦合。
-
Patent Agency Ranking
公开(公告)号：CN113326147B
公开(公告)日：2024-04-05
申请号：CN202110544547.8
申请日：2021-05-19
Applicant: 鹏城实验室
IPC: G06F9/54
Abstract: 本发明公开了一种大规模分布式作业状态控制方法、装置、终端及存储介质，方法包括：接收目标消息体，其中，所述目标消息体是当目标作业的子任务状态发生变更时生成的；根据接收到所述目标消息体的接收时间戳和所述目标消息体的生成时间戳确定消息传输延迟时刻；若在所述消息传输延迟时刻前没有接收到新的所述目标消息体，则根据在所述消息传输延迟时刻前存储的所述目标消息体对所述目标作业的状态值进行更新处理。本发明可以避免作业管理系统中显示的作业状态值与实际状态不符。
-
公开(公告)号：CN115499308A
公开(公告)日：2022-12-20
申请号：CN202210972995.2
申请日：2022-08-15
Applicant: 鹏城实验室
IPC: H04L41/0803 , H04L41/0894 , H04L41/08 , H04L67/06 , H04L9/40 , H04L67/10
Abstract: 本发明公开了一种分布式FTP容器部署方法、装置、终端及存储介质，方法包括：调用服务插件程序，通过服务插件程序读取共享存储服务器中的用户存储根目录信息，并将集群中用户信息同步初始化存储至FTP服务的数据库中；通过数据库中的用户信息对用户登入权限进行校验，并根据校验结果在共享存储服务器中配置对应的用户存储根目录信息及FTP服务访问权限文件；将配置后的FTP服务以helm容器化的方式部署至所述集群中。本发明通过Mysql数据库、FTP服务以及服务插件的多容器微服务分布式组网模式，提高了服务器整体的扩展性和高可用性，从而提高了用户文件的上传和下载的效率。
-
公开(公告)号：CN115407936A
公开(公告)日：2022-11-29
申请号：CN202210938171.3
申请日：2022-08-05
Applicant: 鹏城实验室
Abstract: 本发明公开了一种数据集处理方法、系统、终端及计算机可读存储介质，所述方法包括：根据指定的本地原始数据的路径和目标对象云的基本信息，调用框架层接口创建数据集，并对数据集进行压缩处理；当数据集压缩处理完成后得到多个不同的数据块，并将所有数据块异步上传到目标对象云进行存储；当进行机器学习时，加载目标对象云中的数据集到机器节点，完成模型训练。本发明基于数据集样本相似性特性对数据进行合理分块压缩存储，极大的增加传输效率同时也减少了存储介质，在数据落地存储前对块进行合理的打乱处理，在实际任务训练时时取得更好的训练效果，优化了数据集在统一对象存储的加载速度和训练效果。
-
公开(公告)号：CN116578412A
公开(公告)日：2023-08-11
申请号：CN202310427645.2
申请日：2023-04-12
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种机器学习集群算力资源运维方法、系统、设备及存储介质，属于机器学习技术领域。该方法包括：获取工作节点执行机器学习任务时的算力资源数据；根据算力资源数据进行运维分析，得到运维需求；获取运维需求对应的任务模版，任务模版包含算力资源调度策略，算力资源调度策略用于表征任务模版对应的算力资源调度计划；根据运维需求和任务模版，确定算力资源调度指令；输出算力资源调度指令到工作节点，以使工作节点按照算力资源调度指令，确定执行机器学习任务的目标算力资源。本申请能够在提高机器学习集群日常算力资源运维管理准确度的同时，提高算力资源运维管理的效率。
-
公开(公告)号：CN116541053A
公开(公告)日：2023-08-04
申请号：CN202310489126.9
申请日：2023-04-28
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种开发环境的保存方法、调用方法及相关装置，属于人工智能技术领域，包括：获取来自客户端的Docker操作请求；对Docker操作请求进行解析，从Docker操作请求中确定目标开发环境的特征信息；根据特征信息确定目标开发环境的目标镜像文件，并对目标镜像文件进行存储操作，以保存目标开发环境。本申请基于用户在客户端前端的操作生成Docker操作请求，根据Docker操作请求通过集群节点的相关服务对目标开发环境执行对应的操作，进而实现对开发环境的保存，与现有技术相比，该过程无需用户在集群节点一侧进行操作就能实现对开发环境的保存，简化了开发环境保存的过程，进而提高了开发环境的保存效率。
-
-
-
-
-
-
-
-
-
Search Results
13
records
(took 0.017 seconds)
