-
Patent Agency Ranking
公开(公告)号：CN104618361B
公开(公告)日：2017-12-08
申请号：CN201510033154.5
申请日：2015-01-22
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种网络流数据存储方法，包括：1)接收流数据，对于每个流数据，根据其源IP地址所属网段和目的IP地址所属网段计算索引值，并根据所计算的索引值找到Hash表中对应的Hash桶，其中Hash表是预先建立的用于缓存流数据的数据结构；2)在Hash桶内，根据流数据五元组之间的差量对桶内的流数据进行分组，同组的流数据被排列到一起。本发明能够大幅提升网络流数据存储系统的存储性能，减小数据熵，提高压缩比，减小流数据存储所需空间，加快流数据查询速度。
-
公开(公告)号：CN105094751B
公开(公告)日：2018-01-09
申请号：CN201510427494.6
申请日：2015-07-20
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种用于流式数据并行处理的内存管理方法，用于流式数据并行处理的流水线构架包括多组建立了一一对应的对等关系的生产者和消费者，具有对等关系的每个生产者和消费者都具有私有的局部缓存池，所述用于流式数据并行处理的内存管理方法包括：1)在进行流式数据并行处理过程中，每个生产者向其私有的局部缓存池申请内存，并且在该生产者的局部缓存池为空时，触发交换操作以获得内存块，所述交换操作是将该生产者的局部缓存池和与其对等的消费者的局部缓存池交换；2)在进行流式数据并行处理过程中，每个消费者向该消费者的局部缓存池释放内存。本发明能够有效地降低内存操作开销,提高内存的利用率。
-
公开(公告)号：CN105094751A
公开(公告)日：2015-11-25
申请号：CN201510427494.6
申请日：2015-07-20
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种用于流式数据并行处理的内存管理方法，用于流式数据并行处理的流水线构架包括多组建立了一一对应的对等关系的生产者和消费者，具有对等关系的每个生产者和消费者都具有私有的局部缓存池，所述用于流式数据并行处理的内存管理方法包括：1)在进行流式数据并行处理过程中，每个生产者向其私有的局部缓存池申请内存，并且在该生产者的局部缓存池为空时，触发交换操作以获得内存块，所述交换操作是将该生产者的局部缓存池和与其对等的消费者的局部缓存池交换；2)在进行流式数据并行处理过程中，每个消费者向该消费者的局部缓存池释放内存。本发明能够有效地降低内存操作开销,提高内存的利用率。
-
公开(公告)号：CN105022671A
公开(公告)日：2015-11-04
申请号：CN201510427072.9
申请日：2015-07-20
Applicant: 中国科学院计算技术研究所
IPC: G06F9/48
Abstract: 本发明提供一种用于流式数据并行处理的负载均衡方法，其中用于流式数据并行处理的并行流水线包括N级处理线程，每个处理线程与一个处理器核绑定，其中N为所述并行流水线的级别数目，所述负载均衡方法包括：1)对于任意一个第i级处理线程，该第i级处理线程首先完成本级的数据处理，得到第i级中间数据包；2)根据各个第i+1级处理线程的负载状态，基于负载均衡算法将所述的第i级中间数据包发送到一个第i+1级处理线程的缓冲队列；所述i为1至N-1中的任意一个整数。本发明能够实现流水线构架内部的负载均衡，能够显著降低流水线中各个线程的缓冲队列长度，能够降低流水线中各个线程的缓冲队列长度的波动幅度以及各个线程缓冲队列长度之间的差异。
-
公开(公告)号：CN104618361A
公开(公告)日：2015-05-13
申请号：CN201510033154.5
申请日：2015-01-22
Applicant: 中国科学院计算技术研究所
CPC classification number: H04L61/255 , G06F17/3033 , H04L67/2828 , H04L67/2833
Abstract: 本发明提供了一种网络流数据存储方法，包括：1)接收流数据，对于每个流数据，根据其源IP地址所属网段和目的IP地址所属网段计算索引值，并根据所计算的索引值找到Hash表中对应的Hash桶，其中Hash表是预先建立的用于缓存流数据的数据结构；2)在Hash桶内，根据流数据五元组之间的差量对桶内的流数据进行分组，同组的流数据被排列到一起。本发明能够大幅提升网络流数据存储系统的存储性能，减小数据熵，提高压缩比，减小流数据存储所需空间，加快流数据查询速度。
-
-
-
-
Search Results
5
records
(took 0.029 seconds)
