公开(公告)号：CN117290557A

公开(公告)日：2023-12-26

申请号：CN202311234540.1

申请日：2023-09-22

Applicant: 度小满科技(北京)有限公司

Inventor： 王少添 ,  单黎平 ,  杨青

IPC: G06F16/903 ,  G06N3/08

Abstract: 本申请提供了一种数据加载方法、相关装置、设备以及可读存储介质，该方法包括：向数据查询服务发送第一查询消息，所述第一查询消息中的第一信息用于指示查询第一模型训练任务所需第一训练文件所在的目标存储节点的信息；接收来自数据查询服务发送的第一消息，所述第一消息包括所述目标存储节点的信息；向所述目标存储节点发送数据加载请求消息，所述数据加载请求消息用于请求第一训练文件；接收来自所述目标存储节点的第一训练文件；根据所述第一训练文件进行模型训练。

公开(公告)号：CN114021052A

公开(公告)日：2022-02-08

申请号：CN202111130073.9

申请日：2021-09-26

Applicant: 度小满科技(北京)有限公司

Inventor： 王少添

IPC: G06F16/958 ,  G06N5/04

Abstract: 本发明公开了一种推理服务方法，该方法中消息总线在接收到客户端发送的推理请求后，将其投入至与其服务类型对应的消息队列中，并向订阅该消息队列的服务实例发送新请求通知，服务实例在接收到新请求通知后可以根据自身的实际性能，包括负载情况以及可用性确定是否承接该请求，若可以承接，则从消息总线获取推理请求并处理。这一请求的处理过程中服务实例根据自身实际性能进行请求的承接，保证请求的均衡处理；而且当推理请求发送到消息总线后，请求可以在网络恢复后继续被处理，容错性高；同时各服务实例可以同时进行请求的承接以及处理，请求的处理效率高。本发明还公开了一种推理服务设备及系统，具有相应的技术效果。

公开(公告)号：CN119576440A

公开(公告)日：2025-03-07

申请号：CN202411403793.1

申请日：2024-10-09

Applicant: 度小满科技(北京)有限公司

Inventor： 王少添 ,  单黎平 ,  杨青

IPC: G06F9/448 ,  G06N5/04

Abstract: 本公开提供了一种模型服务调用方法、装置、电子设备以及存储介质，涉及人工智能技术领域，该方法包括：在网关服务实例接收到模型推理请求的情况下，网关服务实例从至少两个服务节点中确定第i服务节点，以及向第i服务节点对应的第i服务网格发送模型推理请求；在第i服务网格接收到模型推理请求的情况下，第i服务网格检测第一模型服务实例是否能在第一等待时长内处理模型推理请求，确定第i检测结果，第一模型服务实例是第i服务节点上用于处理模型推理请求的模型服务实例；第i服务网格基于第i检测结果，向网关服务实例发送第i模型服务调用结果，且不同第i检测结果对应不同第i模型服务调用结果。该方法能够降低模型推理请求的处理时延。