公开(公告)号：CN116401258A

公开(公告)日：2023-07-07

申请号：CN202310664541.3

申请日：2023-06-06

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 郭宇弘

IPC: G06F16/22 ,  G06F16/23 ,  G06F16/2453

Abstract: 本说明书实施例提供一种构建数据索引的方法，数据查询方法及对应装置。构建索引的方法包括：针对N个key，分别利用第一哈希函数和第二哈希函数确定其第一哈希值和第二哈希值，并根据第一哈希值和第二哈希值确定对应的桶编号，从而将N个key划分到M个桶中。然后，针对M个桶，逐桶执行第一操作。第一操作包括，对于当前桶中各个key，根据第一哈希值，第二哈希值和当前哈希系数，确定当前槽位；在当前槽位与在先槽位重叠的情况下，通过随机生成的方式更新当前哈希系数；直到各个key的当前槽位均与在先槽位无重叠，将此时的当前哈希系数确定为当前桶对应的目标哈希系数。接着记录索引数据，其中包括各个桶的目标哈希系数。

公开(公告)号：CN120031025A

公开(公告)日：2025-05-23

申请号：CN202510125481.7

申请日：2025-01-26

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 郭宇弘 ,  邵长旭 ,  赵军平

IPC: G06F40/216 ,  G06F40/279 ,  G06F16/3329 ,  G06F16/334

Abstract: 本说明书提供了一种用于大语言模型的投机采样方法，在获取输入大语言模型的目标提示词后，从预设的多个话题中确定与目标提示词相关的目标话题。每个目标话题设置有对应的词表，在确定目标话题后，可以基于目标话题对应的目标词表，进行基于词表中记录的各个文本片段的频次的投机采样。从而可以利用投机采样结果进行大语言模型解码阶段的预测。基于词表进行投机采样可以减少显存资源的占用。对不同话题的词表进行区分，提高了投机采样的准确率。

公开(公告)号：CN116401258B

公开(公告)日：2023-09-22

申请号：CN202310664541.3

申请日：2023-06-06

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 郭宇弘

IPC: G06F16/22 ,  G06F16/23 ,  G06F16/2453

Abstract: 本说明书实施例提供一种构建数据索引的方法，数据查询方法及对应装置。构建索引的方法包括：针对N个key，分别利用第一哈希函数和第二哈希函数确定其第一哈希值和第二哈希值，并根据第一哈希值和第二哈希值确定对应的桶编号，从而将N个key划分到M个桶中。然后，针对M个桶，逐桶执行第一操作。第一操作包括，对于当前桶中各个key，根据第一哈希值，第二哈希值和当前哈希系数，确定当前槽位；在当前槽位与在先槽位重叠的情况下，通过随机生成的方式更新当前哈希系数；直到各个key的当前槽位均与在先槽位无重叠，将此时的当前哈希系数确定为当前桶对应的目标哈希系数。接着记录索引数据，其中包括各个桶的目标哈希系数。

公开(公告)号：CN119090015A

公开(公告)日：2024-12-06

申请号：CN202411191242.3

申请日：2024-08-27

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 邵长旭 ,  郭宇弘 ,  赵军平

IPC: G06N5/04 ,  G06F40/284 ,  G06F40/151

Abstract: 本说明书提供一种文本生成方法、装置、存储介质设备和程序产品，应用于LLM中，LLM的每轮循环中可以：通过投机采样的方法，得到当前文本序列之后的第一文本序列，并形成多个备选序列。在键值缓存中，为多个备选序列中的文本单元分配逻辑块，并将逻辑块映射为物理块。在映射物理块过程中，投机采样得到的多个备选序列中，针对相同文本单元分配的多个逻辑块被映射为同一物理块。再利用键值缓存存储的注意力信息，通过LLM确定本次循环新生成的文本单元。针对投机采样和分页管理相结合的情况下，多个备选序列存在相同文本单元这一特殊场景，提出了逻辑块映射为物理块的第一准则，使得多个备选序列可以占用尽量少的显存空间，增加了显存空间的利用率。

公开(公告)号：CN120012781A

公开(公告)日：2025-05-16

申请号：CN202510081518.0

申请日：2025-01-17

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 王紫晴 ,  邵长旭 ,  郭宇弘 ,  赵军平

IPC: G06F40/30 ,  G06F40/284 ,  G06F40/216 ,  G06N20/00 ,  G06N5/022

Abstract: 本说明书实施例披露一种大语言模型的请求处理方法及装置。其中方法的实现基于针对所述大语言模型的输出文本预先设定的多个生成区段，其中各个生成区段配置有对应的起始词元和终止词元，且配置有对应的查询采样语料。该方法包括步骤：首先，针对第一请求，在判断出其处于解码阶段的情况下，根据其包括的第一词元序列，确定对应的第一生成区段；然后，基于所述第一生成区段对应的第一查询采样语料和所述大语言模型，进行针对所述第一词元序列的投机采样处理，得到续接在所述第一词元序列之后的目标词元序列，作为所述第一请求的处理结果。