公开(公告)号：CN104156400A

公开(公告)日：2014-11-19

申请号：CN201410350005.7

申请日：2014-07-22

Applicant: 中国科学院信息工程研究所

Inventor： 陈重韬 ,  王伟平 ,  孟丹 ,  胡斌 ,  崔甲

IPC: G06F17/30

CPC classification number: G06F17/30312 ,  G06F17/30203 ,  G06F17/30516

Abstract: 本发明涉及一种海量网络流数据的存储方法及装置，包括以下步骤：采集任一时段内用户提交的数据查询请求，根据数据查询请求得到查询条件；分析查询条件中的时间属性及特征属性，选择超出预设出现频率的阈值的特征属性作为聚簇属性；为待查询数据选定分段的数量和分段的端点，根据划分的分段中待查询数据的存储量选定缓存区的大小，根据聚簇属性、待查询数据中分段的数量、分段的端点和待写入的缓存区的大小生成配置文件；采集机接收网络流数据并转发给文件服务器，文件服务器按照配置文件存储接收到的网络流数据。本发明使查询条件直接映射到相应的空间划分中，直接进行数据的写入或查询，在最大程度上降低加载和存储的开销的同时，保证查询性能。

公开(公告)号：CN104156400B

公开(公告)日：2017-07-11

申请号：CN201410350005.7

申请日：2014-07-22

Applicant: 中国科学院信息工程研究所

Inventor： 陈重韬 ,  王伟平 ,  孟丹 ,  胡斌 ,  崔甲

IPC: G06F17/30

Abstract: 本发明涉及一种海量网络流数据的存储方法及装置，包括以下步骤：采集任一时段内用户提交的数据查询请求，根据数据查询请求得到查询条件；分析查询条件中的时间属性及特征属性，选择超出预设出现频率的阈值的特征属性作为聚簇属性；为待查询数据选定分段的数量和分段的端点，根据划分的分段中待查询数据的存储量选定缓存区的大小，根据聚簇属性、待查询数据中分段的数量、分段的端点和待写入的缓存区的大小生成配置文件；采集机接收网络流数据并转发给文件服务器，文件服务器按照配置文件存储接收到的网络流数据。本发明使查询条件直接映射到相应的空间划分中，直接进行数据的写入或查询，在最大程度上降低加载和存储的开销的同时，保证查询性能。