-
公开(公告)号：CN115499308B
公开(公告)日：2025-04-08
申请号：CN202210972995.2
申请日：2022-08-15
Applicant: 鹏城实验室
IPC: H04L41/0803 , H04L41/0894 , H04L41/08 , H04L67/06 , H04L9/40 , H04L67/10
Abstract: 本发明公开了一种分布式FTP容器部署方法、装置、终端及存储介质，方法包括：调用服务插件程序，通过服务插件程序读取共享存储服务器中的用户存储根目录信息，并将集群中用户信息同步初始化存储至FTP服务的数据库中；通过数据库中的用户信息对用户登入权限进行校验，并根据校验结果在共享存储服务器中配置对应的用户存储根目录信息及FTP服务访问权限文件；将配置后的FTP服务以helm容器化的方式部署至所述集群中。本发明通过Mysql数据库、FTP服务以及服务插件的多容器微服务分布式组网模式，提高了服务器整体的扩展性和高可用性，从而提高了用户文件的上传和下载的效率。
-
公开(公告)号：CN114548206B
公开(公告)日：2025-02-28
申请号：CN202111542809.3
申请日：2021-12-16
Applicant: 鹏城实验室
Abstract: 本发明涉及模型训练技术领域，具体是涉及一种基于集群的模型训练方法、装置、设备及存储介质。本发明将待训练模型放在各个集群上利用各个集群上的局部数据进行模型的训练，本发明将待训练模型放在各个集群上，因此本发明不需要将各个集群上的数据迁移至各个集群的外部就可以利用各个集群的数据对模型进行训练，从而保护了各个集群上的数据隐私以防止数据泄密。
-
公开(公告)号：CN115471394A
公开(公告)日：2022-12-13
申请号：CN202211156400.2
申请日：2022-09-22
Applicant: 鹏城实验室
Abstract: 本发明公开了一种支持异构集群下的模型并行训练方法及相关设备，所述方法包括：各个集群根据自己的框架编写好代码，然后在各自的框架上训练一部分数据，接着先在集群内部进行模型拼接，把模型并行切分到多张卡的模型参数合并成一个完整的模型，不同集群的拼接后得到的模型是一致的，然后将拼接完的模型参数进行分片传输到参数服务器，参数服务器对模型参数进行融合，接着参数服务器将融合后的模型下发到各个集群，最后各个分集群将收到的模型按照各自的模型并行训练策略进行模型并行切分后训练；本发明实现了用户隐私保护、数据安全、大模型并行训练和大模型传输，能整合不同计算中心资源，满足了异构框架，异构集群共同训练大模型的需求。
-
公开(公告)号：CN115297008A
公开(公告)日：2022-11-04
申请号：CN202210793410.0
申请日：2022-07-07
Applicant: 鹏城实验室
Abstract: 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质，方法包括：获取若干个待训练算法及对应的数据集，并根据获取的若干个算法及数据集生成多个任务组；根据选择的任务组确定分布式智能协同计算平台中的待训练终端，并确定各待训练终端对应的待训练算法及数据集；通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理，得到协同训练及推理结果；根据所述协同训练及推理结果获取多模型融合策略，并通过所述多模型融合策略对训练后终端中的算法进行融合，得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。
-
公开(公告)号：CN114548206A
公开(公告)日：2022-05-27
申请号：CN202111542809.3
申请日：2021-12-16
Applicant: 鹏城实验室
IPC: G06K9/62 , G06V10/80 , G06V10/774
Abstract: 本发明涉及模型训练技术领域，具体是涉及一种基于集群的模型训练方法、装置、设备及存储介质。本发明将待训练模型放在各个集群上利用各个集群上的局部数据进行模型的训练，本发明将待训练模型放在各个集群上，因此本发明不需要将各个集群上的数据迁移至各个集群的外部就可以利用各个集群的数据对模型进行训练，从而保护了各个集群上的数据隐私以防止数据泄密。
-
Patent Agency Ranking
公开(公告)号：CN112347853A
公开(公告)日：2021-02-09
申请号：CN202011077033.8
申请日：2020-10-10
Applicant: 鹏城实验室
Abstract: 本发明公开了一种基于视频的车牌数据脱敏方法及系统，方法包括步骤：对视频中的车辆进行跟踪检测，获取车辆位置信息；根据所述车辆位置信息从所述视频中截取出对应帧的车辆图片，获取对应车辆的车牌位置信息；通过构造决策树二分类器判断所述车牌是否为误检车牌，若是，则去掉所述误检车牌的位置信息，并将所述车辆记为车牌漏检车辆；若否，则将所述车辆位置信息和车牌位置信息融合并对应存储；采用kalman滤波估计出所述车牌漏检车辆的车牌坐标并保存；根据存储的车牌位置信息和车牌坐标对视频中车辆的车牌进行马赛克处理，实现车牌数据脱敏。本发明提高了车牌检测的准确率，从而提高了车牌数据脱敏准确率。
-
公开(公告)号：CN112328385A
公开(公告)日：2021-02-05
申请号：CN202110000926.0
申请日：2021-01-04
Applicant: 鹏城实验室
IPC: G06F9/48
Abstract: 本发明公开了基于插件化的多场景Kubernetes任务提交方法，方法包括：将用户任务模块转译成标准任务模板；为标准任何模板设置对应的影响因子；对具有影响因子的标准任务模板进行检查，筛选出符合预设条件的标准任务模板；对符合预设条件的标准任务模板进行修饰；将修饰后的标准任务模板与唯一的调度器进行绑定，得到绑定后的标准任务模板；将绑定后的标准任务模板设置操作策略，并在设置完成后提交至Kubernetes资源管理服务。本发明将提交任务中所涉及的处理逻辑插件化，当提交任务时，可调用所有的插件运行，既能保证多场景任务成功运行，又能保持任务提交系统自身的可维护性和处理逻辑的松耦合。
-
公开(公告)号：CN112347853B
公开(公告)日：2024-08-23
申请号：CN202011077033.8
申请日：2020-10-10
Applicant: 鹏城实验室
IPC: G06V20/62 , G06V20/40 , G06V20/52 , G06V10/25 , G06V10/764 , G06T7/277 , H04N7/18 , H04W4/029 , H04W4/40
Abstract: 本发明公开了一种基于视频的车牌数据脱敏方法及系统，方法包括步骤：对视频中的车辆进行跟踪检测，获取车辆位置信息；根据所述车辆位置信息从所述视频中截取出对应帧的车辆图片，获取对应车辆的车牌位置信息；通过构造决策树二分类器判断所述车牌是否为误检车牌，若是，则去掉所述误检车牌的位置信息，并将所述车辆记为车牌漏检车辆；若否，则将所述车辆位置信息和车牌位置信息融合并对应存储；采用kalman滤波估计出所述车牌漏检车辆的车牌坐标并保存；根据存储的车牌位置信息和车牌坐标对视频中车辆的车牌进行马赛克处理，实现车牌数据脱敏。本发明提高了车牌检测的准确率，从而提高了车牌数据脱敏准确率。
-
公开(公告)号：CN115297008B
公开(公告)日：2023-08-22
申请号：CN202210793410.0
申请日：2022-07-07
Applicant: 鹏城实验室
IPC: H04L41/14 , G06F18/214 , G06F18/25 , G06N5/04
Abstract: 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质，方法包括：获取若干个待训练算法及对应的数据集，并根据获取的若干个算法及数据集生成多个任务组；根据选择的任务组确定分布式智能协同计算平台中的待训练终端，并确定各待训练终端对应的待训练算法及数据集；通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理，得到协同训练及推理结果；根据所述协同训练及推理结果获取多模型融合策略，并通过所述多模型融合策略对训练后终端中的算法进行融合，得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。
-
公开(公告)号：CN116578412A
公开(公告)日：2023-08-11
申请号：CN202310427645.2
申请日：2023-04-12
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种机器学习集群算力资源运维方法、系统、设备及存储介质，属于机器学习技术领域。该方法包括：获取工作节点执行机器学习任务时的算力资源数据；根据算力资源数据进行运维分析，得到运维需求；获取运维需求对应的任务模版，任务模版包含算力资源调度策略，算力资源调度策略用于表征任务模版对应的算力资源调度计划；根据运维需求和任务模版，确定算力资源调度指令；输出算力资源调度指令到工作节点，以使工作节点按照算力资源调度指令，确定执行机器学习任务的目标算力资源。本申请能够在提高机器学习集群日常算力资源运维管理准确度的同时，提高算力资源运维管理的效率。
-
-
-
-
-
-
-
-
-
Search Results
41
records
(took 0.026 seconds)
