-
公开(公告)号:CN118964422A
公开(公告)日:2024-11-15
申请号:CN202411008291.9
申请日:2024-07-25
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/2455 , G06F18/2411
Abstract: 本申请一个或多个实施例提供一种向量检索方法、装置、设备和存储介质;与原始向量对应的压缩向量存储在第一级存储资源中;原始向量存储在第二级存储资源中;该方法包括:响应于查询向量,从第一级存储资源中,获取与查询向量的相似度最高的至少一个压缩向量;基于分类模型对各个压缩向量进行分类决策,以获取所对应的原始向量为与查询向量最相似的候选向量的至少一个目标压缩向量;从第二级存储资源中,获取与至少一个目标压缩向量对应的至少一个目标原始向量;分别计算查询向量与至少一个目标原始向量之间的相似度,并基于计算出的相似度对至少一个目标原始向量进行排序,以基于排序后的至少一个目标原始向量确定与查询向量对应的向量检索结果。
-
公开(公告)号:CN118796831A
公开(公告)日:2024-10-18
申请号:CN202410871730.2
申请日:2024-06-28
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/22 , G06F16/2457 , G06F16/27
Abstract: 本说明书实施例提供一种在向量数据库中写入、搜索向量数据的方法和装置。在向量数据库中写入向量数据的方法包括:接收针对目标向量数据的写入请求;在内存表中向量数据库的动态的第一索引中添加所述目标向量数据对应的索引更新信息;所述第一索引为基于内存的实时读写向量图索引;当所述内存表刷新到磁盘时,将所述内存表中动态的第一索引的索引更新信息存储到分布式文件系统,得到静态的第一索引;将所述分布式文件系统中静态的第一索引转化为第二索引;所述第二索引为基于磁盘的低成本向量图索引。能够兼顾实时性和存储成本。
-
公开(公告)号:CN111782660B
公开(公告)日:2024-10-18
申请号:CN202010693451.3
申请日:2020-07-17
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/22
Abstract: 本说明书提供的基于键值存储的数据压缩的方法和系统,能够基于服务器端的存储系统中存储的大量数据进行字典训练生成压缩字典,对存储系统中的键值数据进行压缩。因此,对数据的压缩效率更高。同时,本说明书提供的方法和系统可以监控服务器端的数据压缩的整体效率,当数据压缩的整体效率下降时,自动更新压缩字典,从而保证数据压缩的整体效率。
-
公开(公告)号:CN117251351B
公开(公告)日:2024-04-05
申请号:CN202311500846.7
申请日:2023-11-10
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书提供了一种数据库性能预测方法及相关设备。该方法包括:获取目标指令序列,所述目标指令序列中包括多条目标指令;将所述目标指令序列输入至预先训练得到的针对第一数据库的性能预测模型中,预测所述第一数据库在执行所述目标指令序列时的性能状况;其中,所述性能预测模型为以输入所述第一数据库的由软件生成的仿真指令序列为样本,以所述第一数据库在执行所述仿真指令序列时的性能状况为样本标签训练得到的,用于预测所述第一数据库在执行输入的指令序列时的性能状况的模型。
-
公开(公告)号:CN115964001A
公开(公告)日:2023-04-14
申请号:CN202310127261.9
申请日:2023-02-01
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F3/06
Abstract: 本说明书实施例公开了一种数据缓存方法、系统及装置,所述方法在计算设备上执行,其包括:在容器内启动数据缓存服务进程;通过数据缓存客户端确定所述容器中计算进程的数据请求,并将数据请求传输给所述数据缓存服务进程;通过所述数据缓存服务进程获取数据请求对应的数据的元信息,并返回给数据缓存客户端;通过数据缓存客户端基于所述元信息确定数据请求对应的数据,以提交给所述计算进程使用。
-
公开(公告)号:CN117251351A
公开(公告)日:2023-12-19
申请号:CN202311500846.7
申请日:2023-11-10
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书提供了一种数据库性能预测方法及相关设备。该方法包括:获取目标指令序列,所述目标指令序列中包括多条目标指令;将所述目标指令序列输入至预先训练得到的针对第一数据库的性能预测模型中,预测所述第一数据库在执行所述目标指令序列时的性能状况;其中,所述性能预测模型为以输入所述第一数据库的由软件生成的仿真指令序列为样本,以所述第一数据库在执行所述仿真指令序列时的性能状况为样本标签训练得到的,用于预测所述第一数据库在执行输入的指令序列时的性能状况的模型。
-
公开(公告)号:CN115982422A
公开(公告)日:2023-04-18
申请号:CN202310095847.1
申请日:2023-01-18
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/903 , G06F16/901 , G06F16/906 , G06F18/22 , G06F18/214 , G06F16/174
Abstract: 本说明书实施例提供用于字符串数据的数据存储方法及数据存储装置。在进行数据存储时,针对待存储的字符串数据集中的每条字符串数据,使用模式数据集来进行模式匹配,模式数据集中的每条模式数据是字符串数据集中的多条字符串数据的公共字符串数据,并且存储在数据存储系统的模式数据存储区。响应于字符串数据包含匹配的模式数据,从该字符串数据中提取出除了所匹配的模式数据之外的专有字符串数据,并将专有字符串数据存储在数据存储系统的专有数据存储区,所存储的专有字符串数据与存储在模式数据存储区中的对应模式数据之间形成有索引关系。响应于字符串数据不包含匹配的模式数据,将该字符串数据的原始数据整体存储在专有数据存储区。
-
公开(公告)号:CN118964686A
公开(公告)日:2024-11-15
申请号:CN202411013010.9
申请日:2024-07-25
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/903 , G06F16/907 , G06F16/9035 , G06F16/9038 , G06F9/50
Abstract: 本申请一个或多个实施例提供一种向量检索方法、装置、设备和存储介质;基于原始向量构建的图索引,以及与原始向量对应的压缩向量存储在第一级存储资源中;图索引中的节点关联压缩向量,边表示与边连接的节点存在近邻关系;原始向量存储在第二级存储资源中;第一级存储资源的数据访问性能优于第二级存储资源;该方法包括:响应于查询向量,从第一级存储资源中基于图索引获取与查询向量的相似度最高的至少一个压缩向量,并在获取完成后,从第二级存储资源中获取与至少一个压缩向量对应的至少一个原始向量;分别计算查询向量与至少一个原始向量之间的相似度,并据此对至少一个原始向量进行排序,以基于排序结果确定与查询向量对应的向量检索结果。
-
公开(公告)号:CN111782660A
公开(公告)日:2020-10-16
申请号:CN202010693451.3
申请日:2020-07-17
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/22
Abstract: 本说明书提供的基于键值存储的数据压缩的方法和系统,能够基于服务器端的存储系统中存储的大量数据进行字典训练生成压缩字典,对存储系统中的键值数据进行压缩。因此,对数据的压缩效率更高。同时,本说明书提供的方法和系统可以监控服务器端的数据压缩的整体效率,当数据压缩的整体效率下降时,自动更新压缩字典,从而保证数据压缩的整体效率。
-
-
-
-
-
-
-
-