-
公开(公告)号:CN114428776B
公开(公告)日:2024-10-29
申请号:CN202111477748.7
申请日:2021-12-06
Applicant: 中国科学院信息工程研究所
IPC: G06F16/22 , G06F16/245 , G06F16/2458
Abstract: 本发明涉及一种面向时序数据的索引分区管理方法和系统。该方法包括:将一条时序数据创建索引所需的必要信息封装到一个Document对象中;根据时序数据的时间值,基于Time Detector组件判断时序数据的索引所属的索引分区;根据时序数据所属的索引分区的起止时间,从Time Partition Metadata组件中得到该索引分区的元数据信息以及与该索引分区相关的IndexWriter对象;利用对应索引分区的IndexWriter对象对Document对象中封装的数据进行索引创建操作。本发明将时序数据索引数据在时间维度进行分区管理,能够大幅提升查询效率,适合查询类型复杂且数据量大的时序数据应用场景。
-
公开(公告)号:CN117336010A
公开(公告)日:2024-01-02
申请号:CN202311059769.6
申请日:2023-08-22
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种基于可信执行环境的轻量级布尔查询可搜索对称加密方法,所述方法包括:数据所有者为了节省计算、存储资源,并希望在保证数据安全的同时保留对数据的高效检索操作,在本地对明文文档进行对称加密生成密态文档EDoc,同时构造密态索引EIdx,然后将EDoc和EIdx上传至云服务器存储。云服务器承担数据存储与检索的职责,其接收数据所有者发送的查询令牌,先后在密态索引EIdx以及TEE内存中的未满一块索引上执行查询操作得到满足查询条件的文档标识符。本发明在大规模数据场景下提高了查询效率,也大大降低了索引的生成时间与占用空间大小。
-
公开(公告)号:CN116932682A
公开(公告)日:2023-10-24
申请号:CN202210343703.9
申请日:2022-03-31
Applicant: 中国科学院信息工程研究所
IPC: G06F16/31 , G06F16/33 , G06F40/242 , G06F40/279
Abstract: 本发明公开了一种基于非易失存储器的倒排索引存储装置,包括:至少一虚拟段,用以存储倒排索引的基本信息;一NVM词典,用以基于NVM词典中每一词项包含的虚拟段动态地址数组,维护各虚拟段中的所述基本信息;其中,所述词项与基本信息通过分离数据的索引段获取。本发明在创建倒排索引时用词典合并来替代传统的倒排索引段合并,加快倒排索引的创建,并大大减少创建倒排索引造成的写放大问题。
-
公开(公告)号:CN116257523A
公开(公告)日:2023-06-13
申请号:CN202310096644.4
申请日:2023-02-10
Applicant: 中国科学院信息工程研究所
IPC: G06F16/22 , G06F16/23 , G06F16/2458 , G06F3/06
Abstract: 本发明公开一种基于非易失存储器的列式存储索引方法及装置,涉及计算机领域,本发明针对指标列实时更新,通过在NVM中建立缓存池,利用NVM的特点,通过两阶段批量更新,构建Main和Delta结构,Main包括多个Segment,每个Segment包含元数据信息和数据信息;Delta包括两个Delta文件,更新时进行交替;在内存中为Delta文件构建Bloom Filter进行更新数据的查询和判断。针对指标列在传统段合并时造成严重写放大的问题,本发明在创建索引时用元数据信息合并来替代传统的列存索引合并,从而在保证读写性能不下降的情况下,减少内存空间的占用以及读写放大。针对低基数维度列,对其创建倒排索引,大幅减少内存空间占用并提升等值查询性能。
-
公开(公告)号:CN110245285A
公开(公告)日:2019-09-17
申请号:CN201910357967.8
申请日:2019-04-30
Applicant: 中国科学院信息工程研究所
IPC: G06F16/9535 , G06N3/04
Abstract: 本发明公开了一种基于异构信息网络的个性化推荐方法,本方法通过基于注意力的特征增强模块对不同元图上用户和物品潜在特征的重要性进行学习,降低了无用的潜在特征对评分预测所带来的干扰,增强了有用潜在特征对评分预测的贡献力;同时利用基于分层次特征交互的评分预测模块对特征间的不同相互关系进行学习,不但考虑用户和物品各自加权潜在特征之间的内在联系,而且考虑用户或物品与其加权潜在特征之间的相关性;然后通过用户和物品间特征的融合,使得各特征间的二阶线性交互关系得到了充分挖掘。本发明通过多层感知机和因子分解机的使用,使得各特征间的高阶非线性交互关系得到了全面利用和高效组合,大大提高了推荐系统的性能。
-
公开(公告)号:CN110175248A
公开(公告)日:2019-08-27
申请号:CN201910270855.9
申请日:2019-04-04
Applicant: 中国科学院信息工程研究所
IPC: G06F16/51 , G06F16/55 , G06F16/583 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于深度学习和哈希编码的人脸图像检索方法和装置。该方法针对现有的人脸图像检索中人脸特征表达不充分、特征区分力不够的问题,提出人脸空间网络和人脸空间损失来自动地挖掘人脸图像中有区分力的人脸区域,降低背景信息的影响;同时哈希网络学习人脸特征和哈希码之间的内在关系,将人脸图像映射成哈希码,显著地降低检索的计算和存储代价;哈希网络中多尺度的人脸特征通道增强模块增强了人脸特征中区分力强的维度。本发明提供的交替训练的策略使得两个网络有机的融合在一起,减少了人脸特征提取和哈希码生成之间的信息损失,在增强了人脸特征的区分力的同时,增强了生成的哈希码的区分力,提高人脸检索的准确度。
-
公开(公告)号:CN104572828B
公开(公告)日:2018-01-19
申请号:CN201410743826.7
申请日:2014-12-08
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种基于空间位图模型的辅助索引方法及系统,包括以下步骤:获取日志文件、文件编号及其中的关键字;选择任一关键字作为当前关键字;对当前关键字做检测;在重新申请的索引空间中插入当前的文件编号;判断当前关键字的索引空间中实际有效文件范围是否小于索引空间的预定临界值;保存有效文件范围内的所有索引信息;利用顺序后移指针记录插入位置及偏移量的信息;将临时有效文件范围指针与顺序后移指针整合成新的索引空间的信息;判断整合后的索引空间的信息里是否出现了三个关于偏移量的单增区间;结束处理。本发明能够节省内存空间,在置位率较低或者插入位置较靠近最大更新位置时效率较高,并且能够进行空间动态调整。
-
公开(公告)号:CN113626836B
公开(公告)日:2025-04-29
申请号:CN202110775401.4
申请日:2021-07-09
Applicant: 中国科学院信息工程研究所
IPC: G06F21/60 , G06F21/62 , G06F21/64 , G06F16/31 , G06F40/289
Abstract: 本发明公开了一种基于LSM的对称可搜索加密方法及系统。本方法为:1)客户端创建数据库表,将数据集中的数据信息填入相应的字段中;2)为设定加密索引字段构建加密索引,使用对称加密算法加密所述加密字段中的数据,生成验证集合Xset,该验证集合Xset中存储的信息为所述数据集中各文档对应的组合值,其中根据文档i的文档id及文档i的关键字生成文档i的组合值;将加密索引和加密数据上传至服务器端分配的服务器节点;3)客户端利用对称密钥和查询关键字生成对应的查询发送给服务器端;4)服务器端在加密数据库上执行查询操作并将查询结果返回给客户端;5)客户端接收服务器端返回的查询结果并对其进行解密。
-
公开(公告)号:CN110175248B
公开(公告)日:2021-08-31
申请号:CN201910270855.9
申请日:2019-04-04
Applicant: 中国科学院信息工程研究所
IPC: G06F16/51 , G06F16/55 , G06F16/583 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于深度学习和哈希编码的人脸图像检索方法和装置。该方法针对现有的人脸图像检索中人脸特征表达不充分、特征区分力不够的问题,提出人脸空间网络和人脸空间损失来自动地挖掘人脸图像中有区分力的人脸区域,降低背景信息的影响;同时哈希网络学习人脸特征和哈希码之间的内在关系,将人脸图像映射成哈希码,显著地降低检索的计算和存储代价;哈希网络中多尺度的人脸特征通道增强模块增强了人脸特征中区分力强的维度。本发明提供的交替训练的策略使得两个网络有机的融合在一起,减少了人脸特征提取和哈希码生成之间的信息损失,在增强了人脸特征的区分力的同时,增强了生成的哈希码的区分力,提高人脸检索的准确度。
-
公开(公告)号:CN118502644A
公开(公告)日:2024-08-16
申请号:CN202310110753.7
申请日:2023-02-14
Applicant: 中国科学院信息工程研究所
IPC: G06F3/06
Abstract: 本发明公开一种基于非易失存储器的LSM树的存储组织方法及键值存储系统,涉及计算机领域,通过在内存中建立非易失存储器的活跃区的索引;在非易失存储器中采用单层存储分区域的存储方式,将内存中的数据写入活跃区,写满后再转换为非活跃区,将内存中的索引持久化为非活跃区的索引文件;再将非活跃区的数据文件合并并存储在磁盘上。本发明利用非易失存储器的随机读写和可字节寻址等特性,对现有的LSM树存储引擎进行优化,改善原有结构的写放大和长时间写入后性能下降的问题,提高存储引擎的整体性能。
-
-
-
-
-
-
-
-
-