一种基于端边云架构的深度神经网络协同推理方法

    公开(公告)号:CN112348172A

    公开(公告)日:2021-02-09

    申请号:CN202011268445.X

    申请日:2020-11-13

    Abstract: 本发明公开了一种基于端边云架构的深度神经网络协同推理方法,该方法通过端、边、云协同的方式加速端侧推理速度,将人工智能中的深度模型,根据神经网络的分层进行分割,将模型推理过程中的计算任务根据网络环境、端边云三方的资源配额及使用情况,发送到对应的端侧,完成推理的整个过程。本发明公开了模型分割的整体框架及分割计算任务所使用的算法组件及原理,通过端边云的协同,可以加速端侧的推理速度,提高业务场景的中的实时性,同时减少资源端的能耗。

    基于深度强化学习实现人脸识别端边卸载计算方法及装置

    公开(公告)号:CN112069903A

    公开(公告)日:2020-12-11

    申请号:CN202010789192.4

    申请日:2020-08-07

    Abstract: 本发明公开了一种基于深度强化学习实现人脸识别端边卸载计算方法及装置,包括:获取真实的人脸图片,根据边端人脸识别模型训练得到分类数据,其中,分类数据包括图片名称、id、图片提取出的128维特征向量、终端预测置信度、终端预测值、边缘预测值;将深度学习与强化学习进行结合,定义马尔科夫决策过程的状态空间、动作集、奖励函数和智能体;根据定义好的马尔科夫决策过程,构建Actor神经网络和Critic神经网络,使用分类数据对构建好的Actor神经网络和Critic神经网络进行训练,获得智能卸载决策模型;对智能卸载决策模型的性能与基准查询策略进行对比评估;根据对比评估的结果,将智能卸载决策模型部署到智能终端设备中,进行人脸识别的任务卸载决策。

    一种基于AI芯片的多模型并行推理方法

    公开(公告)号:CN112783650A

    公开(公告)日:2021-05-11

    申请号:CN202110075174.4

    申请日:2021-01-20

    Abstract: 本发明公开一种基于AI芯片的多模型并行推理方法。采用的技术方案包括以下步骤:步骤一:模型转换,至少将Tensorflow/Caffe AI框架训练的模型通过转换工具转换为AI芯片可解析的OM模型;步骤二:加载转换的OM模型,并遵循AscendCL库接口,采用线程方式并行执行多个模型推理。优点如下:针对单一推理模型并不能高效利用AI芯片(如华为公司的Ascend 310芯片)的算力的不足问题,以充分挖掘Ascend 310芯片的算力,研究多模型并行推理,同时能够保持良好的性能。

    边缘场景下基于容器的可扩展分布式双队列动态分配方法

    公开(公告)号:CN112463293A

    公开(公告)日:2021-03-09

    申请号:CN202011295965.X

    申请日:2020-11-18

    Abstract: 本发明公开了边缘场景下基于容器的可扩展分布式双队列动态分配方法,包括如下步骤:S1,获取视频流数据;S2,网关服务从视频流数据中获取视频帧,并从空闲服务器队列中挑选集群内的空闲服务器处理视频帧;S3,空闲服务器上的推理服务对视频帧进行深度神经网络推理和结果处理,完成后上报网关服务当前服务器已空闲;S4,网关服务将上报空闲的服务器重新加入空闲服务器队列。组成集群进行统一深度神经网络推理的服务器协同计算模式,相比于传统的单路视频流对应单路服务器的计算模式而言,充分利用了服务器的剩余计算资源,可以将多个服务器的剩余计算资源进行整合,完成更多路视频流处理。

    边缘场景下基于容器的可扩展分布式双队列动态分配方法

    公开(公告)号:CN112463293B

    公开(公告)日:2024-11-26

    申请号:CN202011295965.X

    申请日:2020-11-18

    Abstract: 本发明公开了边缘场景下基于容器的可扩展分布式双队列动态分配方法,包括如下步骤:S1,获取视频流数据;S2,网关服务从视频流数据中获取视频帧,并从空闲服务器队列中挑选集群内的空闲服务器处理视频帧;S3,空闲服务器上的推理服务对视频帧进行深度神经网络推理和结果处理,完成后上报网关服务当前服务器已空闲;S4,网关服务将上报空闲的服务器重新加入空闲服务器队列。组成集群进行统一深度神经网络推理的服务器协同计算模式,相比于传统的单路视频流对应单路服务器的计算模式而言,充分利用了服务器的剩余计算资源,可以将多个服务器的剩余计算资源进行整合,完成更多路视频流处理。

    激光外差偏移频率方案确定方法、装置以及存储介质

    公开(公告)号:CN117009736A

    公开(公告)日:2023-11-07

    申请号:CN202311285982.9

    申请日:2023-10-07

    Abstract: 本申请提供一种激光外差偏移频率方案确定方法、装置以及存储介质。激光外差偏移频率方案确定方法应用于天基引力波探测器。激光外差偏移频率方案包括多个激光器之间的多个偏移频率。激光外差偏移频率方案确定方法包括:根据多个锁相方案和多种卫星的排列方式的不同组合,形成多个模型;在设定的禁止频率域的范围内,利用遗传算法分别得到多个模型的满足对应的约束条件的多个个体;每个个体包括一种激光外差偏移频率方案;其中,禁止频率域为偏移频率能够落入的频率域;根据每个个体所包括的多个偏移频率与禁止频率域的中值的方差,确定激光外差偏移频率方案。本申请可以确定出靠近低频的偏移频率方案。

    面向边缘计算的重参数神经网络架构搜索方法

    公开(公告)号:CN113435590A

    公开(公告)日:2021-09-24

    申请号:CN202110991876.7

    申请日:2021-08-27

    Abstract: 本发明公开了面向边缘计算的重参数神经网络架构搜索方法,包括如下步骤:步骤一:设计线性算子与多支路块结构;步骤二:通过堆叠多支路块结构构建超级网络;步骤三:通过基于梯度的一阶段搜索算法训练超级网络;步骤四:删除超级网络中多余的支路构建最佳子网络;步骤五:多分支的最佳子网络转化成单支路网络;步骤六:使用单支路网络完成任务推理。本发明用于搜索可进行重参数的神经网络结构,在保证推理精度的同时,确保了推理的实时性以及模型运算的高效率。

    一种基于容器云的云边协同海量设备和业务批量控制方法

    公开(公告)号:CN113342458A

    公开(公告)日:2021-09-03

    申请号:CN202110476378.9

    申请日:2021-04-29

    Abstract: 本发明涉及边缘计算领域,尤其是涉及了一种基于容器云的云边协同海量设备和业务批量控制方法,采用打标签分类的方式,对不同的设备和业务进行控制分类,将边缘侧海量的具有计算能力的设备以节点的形式,纳管到容器云集群中,用户在容器云集群中,对设备进行控制和分类,当需要在海量设备中按需求部署业务时,可以通过标签的形式,在某一类设备上进行业务的快速部署,同时,对于海量业务,用户也可以在容器云集群中进行控制和分类,当需要对海量的业务按照需求进行升级时,也可以通过标签的形式,对某一类业务进行快速的升级。本发明方案满足了用户对海量设备海量业务进行控制和维护的需求,大大提升了控制和维护的效率。

Patent Agency Ranking