公开(公告)号：CN118819771A

公开(公告)日：2024-10-22

申请号：CN202410797672.3

申请日：2024-06-19

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 程珂 ,  胡文 ,  王智 ,  彭宏恩 ,  李建国

IPC: G06F9/48

Abstract: 本说明书实施例提供一种针对大模型的请求调度方法及装置，在调度方法中，从请求池获取针对大模型的请求序列，其中大模型配置为，单次处理的输出长度为预定长度S。根据预定长度S，确定请求序列中各子序列的预计处理时长。根据预计处理时长，将请求序列中的请求划分为多个批次。将多个批次的请求，分别批量调度至多个推理引擎，进行基于大模型的单次处理，并将处理未完成的请求更新后返回请求池。

公开(公告)号：CN114995996B

公开(公告)日：2024-09-03

申请号：CN202210450181.2

申请日：2022-04-26

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 彭宏恩 ,  李建国

IPC: G06F9/50

Abstract: 本说明书的实施例提供了一种用于生成线程池的配置信息的方法、任务处理方法和装置。在该用于生成线程池的配置信息的方法中，获取目标应用的接口集中各个接口的历史耗时数据；根据各个接口的历史耗时数据，确定各个接口的接口耗时阈值，各个接口的接口耗时阈值用于判定线程在被该接口调用时的超时风险；以及根据各个接口的接口耗时阈值，生成该目标应用所对应的线程池的配置信息，该线程池包括经由各个接口创建的线程，并且该配置信息包括各个接口的标识及对应的接口耗时阈值。

公开(公告)号：CN115658017A

公开(公告)日：2023-01-31

申请号：CN202211275808.1

申请日：2022-10-18

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 彭宏恩 ,  李婷 ,  李建国 ,  曲经纬 ,  闫朝崴

IPC: G06F8/20

Abstract: 本说明书公开了一种接口限流方法、装置、存储介质及电子设备，可以根据目标接口的接口流量数据和物理资源的资源占用数据，确定出目标接口的接口流量数据和物理资源的资源占用数据之间的关联程度，进而可以针对不同关联程度的目标接口，选取合适的限流值推荐模型，来确定该目标接口的限流值，从而可以提升确定出的用于对接口的访问流量进行限流的限流值的准确性。

公开(公告)号：CN114995996A

公开(公告)日：2022-09-02

申请号：CN202210450181.2

申请日：2022-04-26

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 彭宏恩 ,  李建国

IPC: G06F9/50

Abstract: 本说明书的实施例提供了一种用于生成线程池的配置信息的方法、任务处理方法和装置。在该用于生成线程池的配置信息的方法中，获取目标应用的接口集中各个接口的历史耗时数据；根据各个接口的历史耗时数据，确定各个接口的接口耗时阈值，各个接口的接口耗时阈值用于判定线程在被该接口调用时的超时风险；以及根据各个接口的接口耗时阈值，生成该目标应用所对应的线程池的配置信息，该线程池包括经由各个接口创建的线程，并且该配置信息包括各个接口的标识及对应的接口耗时阈值。