-
公开(公告)号:CN112383416A
公开(公告)日:2021-02-19
申请号:CN202011200641.3
申请日:2020-11-02
Applicant: 之江实验室
Abstract: 本发明公开了基于KubeEdge和EdgeX Foundry的智能边缘设备控制平台,包括KubeEdge系统和EdgeX Foundry平台,KubeEdge系统包括云端模块和边缘模块,通过KubeEdge系统将EdgeX Foundry平台部署到边缘节点,并通过边缘模块控制EdgeX Foundry平台;所述云端模块,通过边缘模块控制边缘节点和发布边缘应用;所述边缘模块,用于资源对象的控制,上报边缘信息到云端模块,执行边缘节点应用部署和数据同步到云端。
-
公开(公告)号:CN112348172A
公开(公告)日:2021-02-09
申请号:CN202011268445.X
申请日:2020-11-13
Applicant: 之江实验室
Abstract: 本发明公开了一种基于端边云架构的深度神经网络协同推理方法,该方法通过端、边、云协同的方式加速端侧推理速度,将人工智能中的深度模型,根据神经网络的分层进行分割,将模型推理过程中的计算任务根据网络环境、端边云三方的资源配额及使用情况,发送到对应的端侧,完成推理的整个过程。本发明公开了模型分割的整体框架及分割计算任务所使用的算法组件及原理,通过端边云的协同,可以加速端侧的推理速度,提高业务场景的中的实时性,同时减少资源端的能耗。
-
公开(公告)号:CN112069903A
公开(公告)日:2020-12-11
申请号:CN202010789192.4
申请日:2020-08-07
Applicant: 之江实验室
Abstract: 本发明公开了一种基于深度强化学习实现人脸识别端边卸载计算方法及装置,包括:获取真实的人脸图片,根据边端人脸识别模型训练得到分类数据,其中,分类数据包括图片名称、id、图片提取出的128维特征向量、终端预测置信度、终端预测值、边缘预测值;将深度学习与强化学习进行结合,定义马尔科夫决策过程的状态空间、动作集、奖励函数和智能体;根据定义好的马尔科夫决策过程,构建Actor神经网络和Critic神经网络,使用分类数据对构建好的Actor神经网络和Critic神经网络进行训练,获得智能卸载决策模型;对智能卸载决策模型的性能与基准查询策略进行对比评估;根据对比评估的结果,将智能卸载决策模型部署到智能终端设备中,进行人脸识别的任务卸载决策。
-
公开(公告)号:CN112783650A
公开(公告)日:2021-05-11
申请号:CN202110075174.4
申请日:2021-01-20
Applicant: 之江实验室
Abstract: 本发明公开一种基于AI芯片的多模型并行推理方法。采用的技术方案包括以下步骤:步骤一:模型转换,至少将Tensorflow/Caffe AI框架训练的模型通过转换工具转换为AI芯片可解析的OM模型;步骤二:加载转换的OM模型,并遵循AscendCL库接口,采用线程方式并行执行多个模型推理。优点如下:针对单一推理模型并不能高效利用AI芯片(如华为公司的Ascend 310芯片)的算力的不足问题,以充分挖掘Ascend 310芯片的算力,研究多模型并行推理,同时能够保持良好的性能。
-
公开(公告)号:CN112463293A
公开(公告)日:2021-03-09
申请号:CN202011295965.X
申请日:2020-11-18
Applicant: 之江实验室
IPC: G06F9/455 , G06F9/48 , G06F9/54 , H04N21/6437
Abstract: 本发明公开了边缘场景下基于容器的可扩展分布式双队列动态分配方法,包括如下步骤:S1,获取视频流数据;S2,网关服务从视频流数据中获取视频帧,并从空闲服务器队列中挑选集群内的空闲服务器处理视频帧;S3,空闲服务器上的推理服务对视频帧进行深度神经网络推理和结果处理,完成后上报网关服务当前服务器已空闲;S4,网关服务将上报空闲的服务器重新加入空闲服务器队列。组成集群进行统一深度神经网络推理的服务器协同计算模式,相比于传统的单路视频流对应单路服务器的计算模式而言,充分利用了服务器的剩余计算资源,可以将多个服务器的剩余计算资源进行整合,完成更多路视频流处理。
-
公开(公告)号:CN119623548A
公开(公告)日:2025-03-14
申请号:CN202411553118.7
申请日:2024-11-01
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型训练方法、一种任务执行时间预测方法及装置,具体包括:根据历史模型训练任务的历史资源占用数据,筛选出相似历史模型训练任务。将历史模型训练任务和相似历史模型训练任务的历史资源占用数据输入预测模型,使得其确定出历史模型训练任务对应的资源占用特征数据,从而确定历史模型训练任务对应的预测执行时长。根据预测执行时长和历史任务执行时长进行训练。训练后的预测模型根据目标模型训练任务的资源占用数据,确定目标模型训练任务的预测执行时长。本说明书中的方法预测效率更高且更加精准。进而使得后续资源分配时有效提升训练资源的利用率,避免资源浪费和搁置的同时,也极大程度上提高了整体训练过程的训练效率。
-
公开(公告)号:CN112783650B
公开(公告)日:2024-01-16
申请号:CN202110075174.4
申请日:2021-01-20
Applicant: 之江实验室
Abstract: 本发明公开一种基于AI芯片的多模型并行推理方法。采用的技术方案包括以下步骤:步骤一:模型转换,至少将Tensorflow/Caffe AI框架训练的模型通过转换工具转换为AI芯片可解析的OM模型;步骤二:加载转换的OM模型,并遵循AscendCL库接口,采用线程方式并行执行多个模型推理。优点如下:针对单一推理模型并不能高效利用AI芯片(如华为公司的Ascend 310芯片)的算力的不足问题,以充分挖掘Ascend 310芯片的算力,研究多模型并行推理,同时能够保持良好的性能。
-
公开(公告)号:CN114610474B
公开(公告)日:2022-09-02
申请号:CN202210511947.3
申请日:2022-05-12
Applicant: 之江实验室
Abstract: 本发明公开一种异构超算环境下多策略的作业调度方法及系统,该方法包括:步骤一,客户端响应于用户的作业请求,将用户作业请求发送给作业调度中心;步骤二,作业调度中心接收到客户端的请求后,解析请求并将所请求的作业添加到作业队列中,同时启用信息采集模块,收集各超算中心的超算资源状态信息;步骤三,作业调度中心根据各超算中心超算资源的状态信息筛选出可用的超算资源,然后将可用的超算资源状态信息和作业请求的信息一起交给强化学习调度器,强化学习调度器生成调度结果,即所述强化学习调度器从可用的超算资源中选择出最适合的超算资源,将作业调度到该超算资源上执行。本发明启用多线程同时调度作业,加速并提升了调度的效率。
-
公开(公告)号:CN114610474A
公开(公告)日:2022-06-10
申请号:CN202210511947.3
申请日:2022-05-12
Applicant: 之江实验室
Abstract: 本发明公开一种异构超算环境下多策略的作业调度方法及系统,该方法包括:步骤一,客户端响应于用户的作业请求,将用户作业请求发送给作业调度中心;步骤二,作业调度中心接收到客户端的请求后,解析请求并将所请求的作业添加到作业队列中,同时启用信息采集模块,收集各超算中心的超算资源状态信息;步骤三,作业调度中心根据各超算中心超算资源的状态信息筛选出可用的超算资源,然后将可用的超算资源状态信息和作业请求的信息一起交给强化学习调度器,强化学习调度器生成调度结果,即所述强化学习调度器从可用的超算资源中选择出最适合的超算资源,将作业调度到该超算资源上执行。本发明启用多线程同时调度作业,加速并提升了调度的效率。
-
公开(公告)号:CN113435590B
公开(公告)日:2021-12-21
申请号:CN202110991876.7
申请日:2021-08-27
Applicant: 之江实验室
Abstract: 本发明公开了面向边缘计算的重参数神经网络架构搜索方法,包括如下步骤:步骤一:设计线性算子与多支路块结构;步骤二:通过堆叠多支路块结构构建超级网络;步骤三:通过基于梯度的一阶段搜索算法训练超级网络;步骤四:删除超级网络中多余的支路构建最佳子网络;步骤五:多分支的最佳子网络转化成单支路网络;步骤六:使用单支路网络完成任务推理。本发明用于搜索可进行重参数的神经网络结构,在保证推理精度的同时,确保了推理的实时性以及模型运算的高效率。
-
-
-
-
-
-
-
-
-