大语言模型的键值缓存管理、模型推理和数据处理方法及装置

    公开(公告)号:CN118860573A

    公开(公告)日:2024-10-29

    申请号:CN202410915392.8

    申请日:2024-07-09

    Inventor: 张锐 赵军平

    Abstract: 本说明书实施例大语言模型的键值缓存管理、模型推理和数据处理方法及装置。在处理时,为待处理模型推理请求的新增词元键值数据分配虚拟地址区间中的虚拟内存块,并且在确定调度执行模型推理请求后,维护所占用虚拟地址区间与为所述待处理模型推理请求分配的物理显存块之间的映射关系,同时将所占用虚拟地址区间的区间指示信息保存在有效虚拟地址区间表。然后,将模型推理请求的新增词元键值数据拷贝到所分配的物理显存块中。在执行模型推理时,根据有效虚拟地址区间表中的虚拟地址区间的区间指示信息确定模型推理请求所对应的物理显存块;从所确定的物理显存块中顺序取回所保存的全部序列词元键值数据;并使用序列词元键值数据执行模型推理。

    分布式事务补偿方法、处理方法及装置

    公开(公告)号:CN117389695A

    公开(公告)日:2024-01-12

    申请号:CN202311144255.0

    申请日:2023-09-05

    Inventor: 张锐

    Abstract: 本说明书一个或多个实施例公开了一种分布式事务处理方法,应用于分布式系统,包括:基于待处理的分布式事务确定切点列表;基于所述切点列表,将预先构建的切面程序注入所述分布式系统中参与处理所述分布式事务的目标节点中的目标方法;所述切面程序被配置为在所述目标方法被调用时,基于所述目标方法的执行结果执行预设的分布式事务补偿操作。相应地,本说明书还公开了分布式事务处理装置、分布式事务补偿方法及装置。

    数据持久化处理方法及装置
    13.
    发明公开

    公开(公告)号:CN117032574A

    公开(公告)日:2023-11-10

    申请号:CN202311008544.8

    申请日:2023-08-10

    Inventor: 张锐

    Abstract: 本说明书一个或多个实施例公开了一种数据持久化处理方法及装置。其中,所述方法包括:基于数据持久化需求,构建数据持久化增强代码块;基于当前的业务需求,确定目标应用程序的切点列表;针对所述切点列表中的每个切点,选取至少一个所述数据持久化增强代码块注入所述目标应用程序的目标对象中,以使所述数据持久化增强代码块被执行时,获取目标数据,并将所述目标数据存储至目标存储介质。该方法能够根据业务需求,通过切面程序的方式实现业务数据的持久化存储。

    一种流量录制方法、装置、存储介质及电子设备

    公开(公告)号:CN116302917A

    公开(公告)日:2023-06-23

    申请号:CN202211098089.0

    申请日:2022-09-08

    Inventor: 张锐

    Abstract: 本说明书公开了一种流量录制方法、装置、存储介质及电子设备,本说明书实施例确定业务应用程序中需要测试的函数和函数中需要注入切面程序的切点,然后,将切面程序注入到函数中,以通过切面程序采集业务应用程序调用函数过程中所述目标函数对应的参数,以进行流量录制。在此方法中,切面程序与业务应用程序解耦,切面程序录制流量时使用的系统资源与执行业务应用程序的系统资源不相关,因此,切面程序的运行不会占用运行业务应用程序的资源,从而在保证业务应用程序正常执行业务的基础上,切面程序能够进行流量录制,所以提高流量录制的效率。

    一种业务调用的方法、装置、存储介质及电子设备

    公开(公告)号:CN115617471A

    公开(公告)日:2023-01-17

    申请号:CN202211098320.6

    申请日:2022-09-08

    Inventor: 张锐

    Abstract: 在本说明书提供的业务调用方法中,在业务执行前,管控平台可确定需要调用第一应用的各第二应用,生成包含所述各第二应用的业务名单;确定业务名单中各第二应用在调用第一应用时所需的鉴权参数和第一应用所需的验证参数;通过预先部署的切面底座,将第二切面程序注入各第二应用对应的代码中,并为第二切面程序配置鉴权参数,使第二应用调用第一应用时,基于第二切面程序与鉴权参数生成鉴权信息,发送携带鉴权信息的调用请求至第一应用;同时,将第一切面程序注入第一应用对应的代码中,并为第一切面程序配置验证参数,使第一应用接收第二应用发送的调用请求时,基于第一切面程序与验证参数生成验证信息,根据验证信息对鉴权信息进行验证。

    异常告警方法和装置
    16.
    发明授权

    公开(公告)号:CN115080356B

    公开(公告)日:2022-12-13

    申请号:CN202210856146.0

    申请日:2022-07-21

    Inventor: 张锐

    Abstract: 本说明书实施例提供了一种异常告警的方法及装置。该方法中,在每一个采样周期均执行:对业务应用关联的监控指标的值进行采样;判断在当前采样周期采样到的当前监控指标值是否大于预先设置的指标阈值;如果大于,则得到N个数组;其中,该N个数组包括:由当前采样周期对应的时间点以及当前监控指标值组成的一个数组,以及在当前采样周期之前和/或之后的N‑1个采样周期对应的时间点以及对应的监控指标值组成的N‑1数组;对所述N个数组进行曲线拟合,得到拟合后的曲线的参数;根据拟合后的曲线的参数确定是否进行异常告警。本说明书实施例的方法及装置能够提高异常告警的准确性,避免误报。

    一种故障测试方法、装置、存储介质及电子设备

    公开(公告)号:CN115185847A

    公开(公告)日:2022-10-14

    申请号:CN202210845183.1

    申请日:2022-07-18

    Inventor: 张锐

    Abstract: 本说明书公开了一种故障测试方法、装置、存储介质及电子设备,先接收故障测试任务,然后根据该故障测试任务,通过预先部署在应用容器中的切面底座,确定待部署的切面程序以及该应用容器中的业务应用程序的切点,该切面程序用于引发所述应用容器中的业务应用程序产生故障,然后通过该切面底座,将该切面程序注入该应用容器中的业务应用程序的切点,当业务执行过程中触发该切面程序时,执行该切面程序,触发该应用容器产生异常,和/或触发该业务应用程序产生异常,最后根据该业务应用程序的业务执行结果,确定故障测试结果。通过采用切面程序实现故障测试,降低了业务应用程序和故障测试程序的耦合度,减少了工作量使得成本降低。

    业务应用的监控方法和监控系统

    公开(公告)号:CN114706734A

    公开(公告)日:2022-07-05

    申请号:CN202210619130.8

    申请日:2022-06-02

    Inventor: 张锐

    Abstract: 本说明书实施例提供了一种业务应用的监控方法及系统。在该方法中,首先针对业务应用的当前监控要求,确定至少一个第一切点;第一切点为:满足当前监控要求的、需要注入业务应用的程序代码中的切点;针对业务应用的当前监控要求,得到数据采集增强代码;该数据采集增强代码用于采集所述业务应用的监控指标;在所述业务应用的程序代码中的第一切点的位置上,注入数据采集增强代码;利用所述数据采集增强代码采集到的监控指标进行监控分析。本说明书实施例能够简化业务应用的监控过程,提高效率。

    密钥分发方法、密钥分发装置、通信方法及通信装置

    公开(公告)号:CN117081736A

    公开(公告)日:2023-11-17

    申请号:CN202311074314.1

    申请日:2023-08-23

    Inventor: 张锐

    Abstract: 本说明书一个或多个实施例公开了一种密钥分发方法,适用于密钥分发装置,包括:获取第三方可信机构分发的至少一个中间证书、中间证书对应的私钥及证书链;响应于用户端的密钥申请请求,生成用户公钥和用户私钥;利用中间证书对应的私钥对用户端的用户信息及用户公钥进行签名,得到用户端证书;通过第一白盒加密模型加密用户私钥得到私钥密文;将中间证书、证书链、用户端证书和私钥密文发送给用户端,以使用户端根据预先存储的根证书验证中间证书和证书链,并在验证通过后,采用第二白盒加密模型解密私钥密文得到用户私钥,以及基于用户端证书获取用户公钥。相应地,本说明书公开了密钥分发装置、通信方法及通信装置。

    一种程序维护的方法、装置、存储介质及电子设备

    公开(公告)号:CN116302033A

    公开(公告)日:2023-06-23

    申请号:CN202211100944.7

    申请日:2022-09-08

    Inventor: 张锐

    Abstract: 本说明书公开了一种程序维护的方法、装置、存储介质及电子设备,首先在监测到业务应用程序执行到预设的切点处时,运行预先配置于切点处的切面程序,并采集运行切面程序是业务应用程序的指标参数。判断指标参数是否满足预设条件,若判断指标参数不满足预设条件,则对切面程序执行降级处理,以使业务应用程序再次执行到切点时,禁用切面程序中的至少部分程序代码。

Patent Agency Ranking