-
公开(公告)号：CN103544261B
公开(公告)日：2016-06-22
申请号：CN201310484663.0
申请日：2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种海量结构化日志数据全局索引管理方法，包括以下步骤：在数据存储子系统中在其内部的各个数据节点中建立关于结构化日志数据的局部数据块及索引信息，在全局索引服务器中建立全局索引表；客户端解析用户输入的查询请求，获取目标局部数据块的信息，客户端确认本地是否有全局索引服务器的地址信息，客户端根据包含有目标局部数据块的数据节点的地址信息向数据存储子系统中的相应数据节点发送远程调用请求；数据存储子系统汇总各数据节点的响应数据，将最终查询结果发送给客户端。本发明该方法有效地增加了系统的查询多样性和查询效率，并且提高了系统的可扩展性。
-
公开(公告)号：CN104657450A
公开(公告)日：2015-05-27
申请号：CN201510061345.2
申请日：2015-02-05
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/30536 , G06F17/30321 , G06F17/3033 , G06F17/30371 , G06F17/30539
Abstract: 本发明涉及一种面向大数据环境的概要信息动态构建与查询方法及装置。该方法以Count-Min Sketch方法为基础，采用数据流的第一范数描述数据规模，采用数据的基数值描述数据的分布情况；首先为流式大数据分配一较小空间的Count-min Sketch结构，随着数据不断加载，当Count-min Sketch结构记录的数据项个数达到阈值且数值空间基数达到阈值以后，建立新的Count-min Sketch结构，用以接收后续到来的新数据。本发明能够根据数据量和数值基数自动建立新的Sketch结构，以较高精度统计数据，有效支持流式大数据的高精度的实时统计和分析。
-
公开(公告)号：CN103226520A
公开(公告)日：2013-07-31
申请号：CN201310113105.3
申请日：2013-04-02
Applicant: 中国科学院信息工程研究所
IPC: G06F12/08
Abstract: 本发明涉及一种集群内存自适应管理方法、服务器集群。其中，集群内存自适应管理方法包括：对于数据服务器集群中的每个数据服务器，在使用前对该数据服务器按照变步长加性增长方式进行内存预分配，将内存分割为设定数目的片组，每个片组的总容量相等，每个片组包含容量相等的多个分片。本发明的集群内存自适应调管理方法，采用优化模式的内存预先分配的策略，保证了内存的合理分片，从而提高了内存的存取效率，也减少了内存碎片的产生。此外，本发明的集群内存自适应调管理方法能够进行内存自适应调整，大大提高了内存的自治能力和稳定性。
-
公开(公告)号：CN110264392A
公开(公告)日：2019-09-20
申请号：CN201910371236.9
申请日：2019-05-06
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提出一种基于多GPU的强连通图检测方法，包括以下步骤：加载图数据并统一存储格式；对图数据进行预处理，包括按照分区个数进行图分割并进行分区保存，对相互链接的处于不同分区的顶点进行复制顶点处理；将预处理好的数据存入多个GPU中，以复制顶点为中心进行广度优先遍历并记录复制边信息；将复制边传回CPU，检测强连通图并标记属于同一个强连通图的顶点；将标记的顶点传回上述多个GPU中，进行强连通图检测。
-
公开(公告)号：CN109993198A
公开(公告)日：2019-07-09
申请号：CN201811600061.6
申请日：2018-12-26
Applicant: 中国科学院信息工程研究所
IPC: G06K9/62
Abstract: 本发明提出了一种基于特征同构共享描述的多源异构离群点检测方法，通过在特征同构空间中统一地检测来自异构数据集的离群点，以避免浪费不同来源之间的互补信息，并提高多源离群点的识别率，能够解决在一个一致的特征同构空间中识别所有类型的多源异构离群点的问题。
-
Patent Agency Ranking
公开(公告)号：CN108388603A
公开(公告)日：2018-08-10
申请号：CN201810113980.4
申请日：2018-02-05
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明提供一种基于Spark框架的分布式概要数据结构的构建方法及查询方法，以Spark平台为基础，利用q-digest结构获得数据区间分布情况，BloomFilter获取组员存在信息，HyperLogLogPlus记录数据基数信息，实现高吞吐低延迟的处理能力，且能够快速响应查询要求，有效适应Spark分布式计算环境，返回误差可控的近似计算结果。本发明还提供一种基于Spark框架的分布式概要数据结构的构建及查询系统。
-
公开(公告)号：CN104657459B
公开(公告)日：2018-02-16
申请号：CN201510066822.4
申请日：2015-02-09
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明公开了一种基于文件粒度的海量数据存储方法。本方法为：1)将数据存储集群划分为多个分区，每一分区具有一分区值；2)对每一部门的记录创建一业务数据表，并设置每一业务数据表中记录的分区规则；3)对于待存储业务数据的每一记录，根据其编号和分区规则将其存储到对应分区的文件中并创建索引文件；然后将该记录的编号、所在文件的路径、所属存储节点编号、存储设备编号存储到元数据文件中。进一步的，本发明创建设定业务数据表之间的视图，根据所述元数据文件，将属于同一业务场景的业务数据表、视图、记录所在分区、索引信息划入到同一数据库中，得到一海量元数据管理模型。本发明既提高了数据管理精度，又提高数据划分、组织灵活性。
-
公开(公告)号：CN107391555A
公开(公告)日：2017-11-24
申请号：CN201710422553.X
申请日：2017-06-07
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F16/2379 , G06F16/24552 , G06F16/27
Abstract: 本发明涉及一种面向Spark-Sql检索的元数据实时更新方法。该方法在Spark Sql进行检索时，会将使用的元数据进行缓存，将被检索的数据块文件元数据以集合的形式缓存于内存中；当获得文件元数据的增量信息时，将首先检查该增量信息所属的表的检索元数据是否存在于缓存之中，若存在，则将增量的文件元数据增加至缓存的该表文件元数据的集合之中，由此完成Spark Sql检索元数据的增量更新。本发明还提出了对Spark Sql检索元数据增加情况的处理方法，可以实时的对检索元数据的增加情况进行处理，提高检索结果的实时性。本发明可以避免对检索元数据进行经常性的全量更新，以减少更新元数据时的时间和资源开销。
-
公开(公告)号：CN103544259B
公开(公告)日：2017-01-18
申请号：CN201310484629.3
申请日：2013-10-16
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种分组聚集排序TopK查询处理方法及系统。分组聚集排序TopK查询处理方法包括：接收分组聚集排序TopK查询请求；各分布式数据节点根据所述查询请求，进行本地数据分组聚集，并将自身的分组聚集数据异步传输到集中处理节点；所述集中处理节点采用哈希表结合二叉平衡树的数据结构对各分布式数据节点的分组聚集数据进行数据合并，并采用近似高频项统计算法进行统计，得到聚集排序后的高频项列表；输出所述高频项列表。本发明的分组聚集排序TopK查询处理方法及系统灵活性好，查询效率高，分布式适应性好。
-
公开(公告)号：CN105760896A
公开(公告)日：2016-07-13
申请号：CN201610165595.5
申请日：2016-03-22
Applicant: 中国科学院信息工程研究所
IPC: G06K9/62
CPC classification number: G06K9/6218 , G06K9/6259
Abstract: 本发明涉及一种多源异构大数据的腐蚀源联合去噪方法。该方法包括两个模型，一个为异构线性度量学习(HLML)模型，另一个为多源半监督联合去噪(MSCD)模型。其中，通过学习多个异构线性度量，HLML模型将多源异构数据线性投影到一个高维特征同构空间，并在这个空间中充分嵌入异源间的互补信息，从而可以有效地捕捉到不同来源间的语义互补性和分布相似性。为了消除源内和源间噪声，MSCD模型利用初等变换约束和梯度能量竞争策略，在HLML模型学习到的特征同构空间中修复异构有噪描述间的互补关系，进而净化多源异构数据的腐蚀源，有助于获得准确且鲁棒的多源数据评估分析结果。
-
-
-
-
-
-
-
-
-
Search Results
84
records
(took 0.033 seconds)
