-
公开(公告)号:CN116450355A
公开(公告)日:2023-07-18
申请号:CN202310435025.3
申请日:2023-04-21
Applicant: 重庆长安汽车股份有限公司
Abstract: 本申请涉及集群管理和模型训练技术领域,提供了一种多集群模型训练方法、装置、设备及介质,方法包括:获取模型训练数据集、多个候选集群的资源信息;创建多个模型训练任务,将各模型训练任务的资源需求信息与多个候选集群的资源信息进行匹配,以将匹配的候选集群作为对应模型训练任务的目标集群;将各模型训练任务分配至对应的目标集群,调度各目标集群的内部资源以创建容器,并在容器中根据模型训练数据集执行各模型训练任务。本申请中通过任务分配和各集群独立调度资源,低耦合的将多个集群有机的组织在一起以执行模型训练任务,解决了单集群在业务繁多时的资源短缺问题,为模型训练提供足够的资源和存储空间。
-
公开(公告)号:CN115563065A
公开(公告)日:2023-01-03
申请号:CN202211203838.1
申请日:2022-09-29
Applicant: 重庆长安汽车股份有限公司
IPC: G06F16/172 , G06F16/14 , G06F16/182 , G06F16/16 , G06F9/455 , G06N20/00
Abstract: 本发明属于人工智能技术领域,具体涉及一种基于Kubernetes的加速文件读取的方法,包括:获取训练任务;将所述训练任务的数据集添加至所述高速缓存文件系统;增加所述高速缓存文件系统的所述数据集中的文件的引用次数,并更新最新的时间动态;将所述高速缓存文件系统挂载至POD容器中,通过在所述POD容器中建立脚本读取所述数据集,并对读取的数据集进行任务训练;对训练完成的所述数据集中的文件减少引用次数;判断训练完成的所述数据集中的文件的引用次数,并在所述引用次数低于预设次数阈值或者闲置时间大于预设时间阈值时清理对应的文件。本发明主要解决模型训练过程中因低速存储引起的数据读取慢的问题。
-
公开(公告)号:CN116795513A
公开(公告)日:2023-09-22
申请号:CN202310768629.X
申请日:2023-06-26
Applicant: 重庆长安汽车股份有限公司
Abstract: 本申请公开了一种资源调度方法及相关设备,所述方法包括:创建任务容器,在资源节点集群中筛选任务容器对应的资源节点集,根据团队编码标签在资源节点集中选取任务容器对应的保底资源节点集,并基于保底资源节点集确定任务容器的目标资源节点集;在目标资源节点集中选取任务容器的执行资源节点,将任务容器调度至执行资源节点。本申请实施例为具有团队编码标签的任务容器分配保底资源节点,这样可以保证优先级高的保底团队任务在资源节点紧张时也可以在保底资源节点执行。同时,共享资源群可以为优先级低的非保底团队任务提供资源,避免了优先级低的非保底团队任务无法获取资源节点的问题,提高了资源节点调度的合理性。
-
公开(公告)号:CN115422291A
公开(公告)日:2022-12-02
申请号:CN202211053411.8
申请日:2022-08-30
Applicant: 重庆长安汽车股份有限公司
Abstract: 本发明涉及多角度摄像头视频图片同步技术领域,公开了一种多角度摄像头视频图片同步方法及计算机可读储存介质,所述方法为:获取图片库,所述图片库中的图片具有时间戳;遍历图片库,根据最大时间戳和最小时间戳建立原始坐标列表;将图片库中的图片映射到原始坐标列表中,生成基准坐标列表和多个同步坐标列表;将原始坐标列表与同步坐标列表进行同步对比,根据同步对比结果,从图片库中提取所有同步成功的图片,存储在结果文件中;将结果文件上传、存储至同步库中。本发明用于解决现有技术中仅靠时间戳来同步多个角度的视频帧图片,由于图片数据量过大,同步时,每张基准图片均需要遍历一次所有图片,而多次遍历所有图片时间开销较大的问题。
-
公开(公告)号:CN117707731A
公开(公告)日:2024-03-15
申请号:CN202311702784.8
申请日:2023-12-12
Applicant: 重庆长安汽车股份有限公司
Abstract: 本发明提供一种模型部署的调度方法、装置、设备及存储介质,该方法包括:获取待部署模型和待部署模型的芯片类型,待部署模型缓存于云端平台的待部署模型池;基于待部署模型构建待部署任务,将相同芯片类型对应的待部署任务按优先级排序,生成任务队列,待部署任务包括团队任务和个人任务;根据任务队列将待部署任务调度至对应的芯片资源池中的芯片,使待部署模型从待部署模型池中部署至对应芯片,任务队列、芯片资源池和芯片类型相互一一对应,芯片包括共享芯片和团队独享芯片;其中,将团队任务调度至与团队任务归属同一团队的团队独享芯片,将个人任务调度至共享芯片,使模型部署的调度更加可靠,提高了芯片资源分配的合理性和模型部署的效率。
-
公开(公告)号:CN115460293A
公开(公告)日:2022-12-09
申请号:CN202211058106.8
申请日:2022-08-31
Applicant: 重庆长安汽车股份有限公司
Inventor: 戴峰
Abstract: 本申请提供一种数据处理方法、数据交互系统、电子设备及存储介质。方法包括:第一服务模块基于SOAP协议,向执行引擎发起第一请求;执行引擎加载与第一请求对应的目标配置信息,目标配置信息为字符串形式的数据;执行引擎基于目标配置信息和第一请求,向第二服务模块发起接口调用的第二请求;第二服务模块根据第二请求,向执行引擎返回与第一请求对应的请求结果;执行引擎将请求结果发送至第一服务模块。由于执行引擎加载的目标配置信息为字符串形式的数据,无需进行XML文件到Java文件的转换,加载配置的过程不涉及对文件的操作,从而有利于提高加载效率,减少流程环节,从而有利于提升执行效率。
-
公开(公告)号:CN116467065A
公开(公告)日:2023-07-21
申请号:CN202310140577.1
申请日:2023-02-20
Applicant: 重庆长安汽车股份有限公司
Inventor: 戴峰
Abstract: 本申请涉及人工智能技术领域,特别涉及一种算法模型训练方法、装置、电子设备及存储介质,其中,方法包括:获取一个或多个算法模型的训练任务和容器镜像;根据每个算法模型的训练任务匹配确定对应算法模型训练时的最佳资源配置比例,并根据容器镜像创建目标容器,将训练任务挂载在目标容器;根据最佳资源配置比例为每个目标容器分配算力资源,并根据每个目标容器执行训练任务时的资源占用率调整每个目标容器的资源配置比例,使得每个目标容器训练时的资源配置最佳。由此,解决了相关技术中在训练时算力资源的划分通常比较固定,资源配置的合理性和灵活性较差,降低了资源利用率和训练效率等问题。
-
公开(公告)号:CN115202729A
公开(公告)日:2022-10-18
申请号:CN202210912544.X
申请日:2022-07-30
Applicant: 重庆长安汽车股份有限公司
Abstract: 本发明公开了一种基于容器服务的镜像生成方法,包括根据ingress路由代理的地址访问预先构建的AI服务;从所述AI服务中获取目标算法文件;启动容器,并启动容器中的在线编辑工具;在所述容器中基于经所述在线编辑工具编辑后的目标算法文件训练算法模型;构建所述算法模型对应的算法镜像,并将所述算法镜像推送至镜像仓库进行存储。本发明利用在线编辑工具实现算法模型的在线开发、编译和执行。基于k8s的service和ingress实现服务在线开发的代理访问,通过模块发布和服务编排对外提供AI服务能力。
-
-
-
-
-
-
-