支持模型部署的分布式算力网络资源分配方法及相关设备

    公开(公告)号:CN117311958A

    公开(公告)日:2023-12-29

    申请号:CN202310981963.3

    申请日:2023-08-04

    Abstract: 本申请提供一种支持模型部署的分布式算力网络资源分配方法及相关设备,包括:确定目标AI模型的网络特征,根据所述网络特征对所述目标AI模型进行划分,确定若干模型块;对任一所述模型块进行计算资源占用量的评估,确定第一评估结果;确定所述分布式算力网络的若干算力节点,并对任一所述算力节点的算力能力进行评估,确定第二评估结果;根据所述第一评估结果和所述第二评估结果进行资源分配。本申请根据神经网络模型的具体结构对模型进行切分部署和动态路由规划,从而提高分布式算力网络的资源利用效率和基于AI模型的智能任务的服务质量,使得分布式算力网络对AI模型的处理性能发挥到极限。

    一种移动场景下的端边协同智能任务处理方法、装置、设备和存储介质

    公开(公告)号:CN119584199A

    公开(公告)日:2025-03-07

    申请号:CN202411583230.5

    申请日:2024-11-07

    Abstract: 一种移动场景下的端边协同智能任务处理方法、装置、设备和存储介质,该方法针对移动智能终端在多个边缘节点的覆盖范围间切换过程中基于模型切分的移动场景下的端边协同智能任务处理,提出选择切换前原服务节点协同、选择切换后所属节点协同以及在本地处理三种任务处理方案,结合终端设备与所选边缘节点的算力资源、二者之间的通信质量、终端设备的移动位置等环境信息,对智能任务处理方案和模型切分进行动态联合优化决策,解决移动场景下设备环境与资源动态变化带来的动态决策挑战,以及边缘节点间任务迁移产生的冷启动问题,降低在端侧设备处于节点切换期间基于模型切分的端边协同智能任务的处理时延。

Patent Agency Ranking