一种基于异步运行时的CPU-GPU协同调度方法及装置

    公开(公告)号:CN117032999B

    公开(公告)日:2024-01-30

    申请号:CN202311298504.1

    申请日:2023-10-09

    Abstract: 本说明书公开了一种基于异步运行时的CPU‑GPU协同调度方法及装置,确定待执行任务,将所述待执行任务分解成包含若干子任务的子任务队列,针对每个子任务,根据执行该子任务所需的计算资源类型,确定用于执行该子任务的处理器类型,当要执行该子任务时,将该子任务调度至与该子任务的处理器类型对应的处理器执行。该方法提供的协同调度方法,能够将待执行子任务分解成子任务队列,并将队列中获得的待执行子任务合理的调度到CPU和GPU处理器上执行,通过避免和减少CPU、GPU的空闲时间,做到高效地利用CPU和GPU协同计算资源,获得对整体计算资源的更高利用效能,以解决现有技术中存在的CPU、GPU计算资源空闲率高,但资源占用时间长的问题。

    边缘场景下的分布式模型训练系统及梯度规约方法

    公开(公告)号:CN117010485B

    公开(公告)日:2024-01-26

    申请号:CN202311293177.0

    申请日:2023-10-08

    Abstract: 本说明书公开了一种边缘场景下的分布式模型训练系统及梯度规约方法,在系统中设置有用于根据自身存储的训练样本确定第一梯度的边缘设备,以及接收各边缘设备的梯度并共享的边缘服务器,在模型迭代过程中,由边缘设备确定自身梯度,并将自身梯度发送给边缘服务器,边缘服务器根据接收到的第一梯度确定局部梯度,并基于局部梯度确定总梯度,以根据确定出的总梯度执行模型训练任务。该模型训练系统在各边缘设备的网络情况各不相同的情况下,可通过与各边缘设备连接的边缘服务器先确定局部梯度,再通过指定网络确定总梯度,并根据确定出的总梯度训练模型,保证了模型训练效率。(56)对比文件Wei Xu et al..Edge Learning for B5GNetworks With Distributed SignalProcessing:Semantic Communication,EdgeComputing,and Wireless Sensing《.IEEEJOURNAL OF SELECTED TOPICS IN SIGNALPROCESSING》.2023,第17卷(第1期),9-39.Shibiao Shao et al..A DistributedSub-Gradient Optimal Scheduling MethodBased on Primal Decomposition withApplication to Multi-Area InterconnectedPower Systems《.2021 IEEE 17thInternational Conference on AutomationScience and Engineering》.2021,860-865.

    一种模型任务的执行方法、装置、存储介质及电子设备

    公开(公告)号:CN116880995B

    公开(公告)日:2024-01-09

    申请号:CN202311158944.7

    申请日:2023-09-08

    Abstract: 本说明书公开了一种模型任务的执行方法、装置、存储介质及电子设备,确定运行神经网络模型的任务,对神经网络模型进行解析,得到模型算子以及模型算子信息。根据模型算子以及模型算子之间的张量传递关系,确定任务中的各子任务以及各子任务之间的连接关系,确定各子任务的调用函数。将各子任务以及各子任务的调用函数发送至分布式系统中的各边缘服务器,根据各子任务之间的连接关系,控制边缘服务器执行各子任务。该方法实现了对神经网络模型从模型算子层面的拆分,并使用分布式系统运行各子任务,在不影响神经网络模型的精度的前提下,提高了神经网络模型的推理速度,降低了对单个服务器的算力需求以及存储需求。

    志愿计算方法、装置、计算机设备和存储介质

    公开(公告)号:CN116560841A

    公开(公告)日:2023-08-08

    申请号:CN202310530735.4

    申请日:2023-05-09

    Inventor: 陈旭东 高丰

    Abstract: 本申请涉及一种志愿计算方法、装置、计算机设备和存储介质。所述方法包括:获取志愿计算集群的状态信息;所述志愿计算集群包括至少一个志愿计算终端;基于所述状态信息生成对应志愿计算集群的客户端容器和任务容器;将所述客户端容器和所述任务容器发送至所述志愿计算集群进行志愿计算。采用本方法能够提高志愿计算服务的算力。

    一种面向广域的端边云协同计算的视觉定位方法与系统

    公开(公告)号:CN115984377A

    公开(公告)日:2023-04-18

    申请号:CN202211650009.8

    申请日:2022-12-21

    Abstract: 本发明公开了一种面向广域的端边云协同计算的视觉定位方法与系统。针对搭载着双目相机的移动终端,利用端边云的计算框架,以及预先建立的在线地图,实现基于双目相机的实时定位与建图的工作。在端边云框架中,端侧承担着利用双目相机进行视觉里程计、全局图优化的工作。端侧把信息传输到边缘计算单元,而边缘计算单元则进行着图像检索,以及全局定位的工作。最后,端边协同计算出的定位结果,会发送给云端进行实时的可视化显示。本发明方法提高了实时定位的计算效率,并且还支持边云侧对接多个移动终端的部署模式,通过数据交换,估计、优化各自的定位信息,以此获取更高的管理效率。

    一种图像识别的方法、装置、存储介质及电子设备

    公开(公告)号:CN115661602A

    公开(公告)日:2023-01-31

    申请号:CN202211415579.9

    申请日:2022-11-11

    Abstract: 本说明书公开了一种图像识别的方法、装置、存储介质及电子设备。该图像识别的方法包括:构建初始识别模型,以识别出初始识别模型中包含的各模型算子、各模型算子对应的算子类型以及各模型算子之间的数据传递类型,针对每个候选算子,并根据该候选算子对应的数据传递类型,判断该候选算子与相邻算子是否满足预设的融合条件,若是,则将该候选算子与相邻算子融合,得到融合算子;根据融合算子以及未融合的各模型算子构建目标识别模型并部署;获取待识别图像,将待识别图像输入部署后的目标识别模型中,以通过目标识别模型输出待识别图像对应的图像识别结果。

    面向图像分类的深度学习的算子定位融合方法及装置

    公开(公告)号:CN115240048A

    公开(公告)日:2022-10-25

    申请号:CN202211148073.6

    申请日:2022-09-21

    Abstract: 本发明公开了面向图像分类的深度学习的算子定位融合方法及装置,将深度学习模型建模为一个有向无环图,有向无环图的节点表深度学习模型的算子,节点之间的边代表深度学习模型算子间的数据传输和算子的计算先后关系;使用算子类型作为节点类型对有向无环图中的节点赋值;定义算子之间的连接关系,并使用连接关系对有向无环图中的边赋值;获得一系列由算子类型按一定顺序排列组成的算子融合规则,采用深度优先搜索算法对有向无环图中的节点进行遍历,并根据节点类型、算子融合规则、算子连接关系识别有向无环图中需要聚合的节点;将被聚合的节点所对应的算子集合,获得粗化的深度学习计算图,并通过该计算图进行图像分类。

    面向边缘计算的重参数神经网络架构搜索方法

    公开(公告)号:CN113435590A

    公开(公告)日:2021-09-24

    申请号:CN202110991876.7

    申请日:2021-08-27

    Abstract: 本发明公开了面向边缘计算的重参数神经网络架构搜索方法,包括如下步骤:步骤一:设计线性算子与多支路块结构;步骤二:通过堆叠多支路块结构构建超级网络;步骤三:通过基于梯度的一阶段搜索算法训练超级网络;步骤四:删除超级网络中多余的支路构建最佳子网络;步骤五:多分支的最佳子网络转化成单支路网络;步骤六:使用单支路网络完成任务推理。本发明用于搜索可进行重参数的神经网络结构,在保证推理精度的同时,确保了推理的实时性以及模型运算的高效率。

    一种基于容器云的云边协同海量设备和业务批量控制方法

    公开(公告)号:CN113342458A

    公开(公告)日:2021-09-03

    申请号:CN202110476378.9

    申请日:2021-04-29

    Abstract: 本发明涉及边缘计算领域,尤其是涉及了一种基于容器云的云边协同海量设备和业务批量控制方法,采用打标签分类的方式,对不同的设备和业务进行控制分类,将边缘侧海量的具有计算能力的设备以节点的形式,纳管到容器云集群中,用户在容器云集群中,对设备进行控制和分类,当需要在海量设备中按需求部署业务时,可以通过标签的形式,在某一类设备上进行业务的快速部署,同时,对于海量业务,用户也可以在容器云集群中进行控制和分类,当需要对海量的业务按照需求进行升级时,也可以通过标签的形式,对某一类业务进行快速的升级。本发明方案满足了用户对海量设备海量业务进行控制和维护的需求,大大提升了控制和维护的效率。

Patent Agency Ranking