推理任务处理方法、系统、设备、介质及程序产品

    公开(公告)号:CN119127482A

    公开(公告)日:2024-12-13

    申请号:CN202411151944.9

    申请日:2024-08-21

    Abstract: 本发明提供一种推理任务处理方法、系统、设备、介质及程序产品,推理任务处理方法包括:获取推理任务链;基于推理算力链的算力性能,对推理任务链进行分段处理,得到多个推理任务链分段;将各推理任务链分段分别分发至一条推理算力链中,以使得推理算力链完成对所接收到的推理任务链分段的推理计算,得到推理结果;其中,推理算力链包括多个第三方空闲的算力节点;接收各推理算力链所返回的推理结果,并根据推理结果确定推理任务链的目标推理结果。通过本发明提供的技术方案,实现由第三方空闲的算力节点为推理任务的执行提供算力资源。

Patent Agency Ranking