公开(公告)号：CN109726225A

公开(公告)日：2019-05-07

申请号：CN201910026601.2

申请日：2019-01-11

Applicant: 广东工业大学

Inventor： 蔡瑞初 ,  林峰极 ,  郝志峰 ,  王立 ,  黄泽林 ,  陈炳丰 ,  温雯 ,  王丽娟

IPC: G06F16/2455 ,  G06F16/22 ,  G06F16/182

Abstract: 本发明提供一种基于Storm的分布式流数据存储与查询方法，本发明基于Storm数据流式计算框架，CEPHFS作为数据底层存储系统下，通过对分布式流式数据的特征分析，对数据进行实时的分区与索引构建，将分区好的数据块压缩存入CEPHFS。查找操作时根据数据块的key与temporal两个维度的属性，将查询分解为对应的子查询，并通过bloomFilter方法只读取可能含有所需数据的文件，由predicate选择出符合条件的数据，提交子查询结果合并后进行aggregate操作，返回给用户。充分利用计算资源来提高数据存储与查询的效率。本发明具有应用场景广泛、低时延、负载均衡的特点，并且能够实现高速存储。

公开(公告)号：CN110457130A

公开(公告)日：2019-11-15

申请号：CN201910673163.9

申请日：2019-07-24

Applicant: 广东工业大学

Inventor： 黄泽林 ,  蔡瑞初 ,  傅正佳 ,  林峰极 ,  陈炳丰 ,  温雯 ,  王立娟

IPC: G06F9/50

Abstract: 本发明涉及数据处理应用领域，公开了一种分布式资源弹性调度模型、方法、电子设备及存储介质，实现任务层动态资源调度和系统层资源调度的协同工作，实时的响应流处理任务的资源需求，分配合理的物理资源，达到真正意义上的自动弹性资源调度，弹性增减分布式流处理系统占用的物理资源，满足流处理任务随时变化的资源需求，在保证分布式流处理系统稳定运行与流处理系统工作稳定高效工作的同时，提高资源利用率，降低成本。

公开(公告)号：CN109726225B

公开(公告)日：2023-08-01

申请号：CN201910026601.2

申请日：2019-01-11

Applicant: 广东工业大学

Inventor： 蔡瑞初 ,  林峰极 ,  郝志峰 ,  王立 ,  黄泽林 ,  陈炳丰 ,  温雯 ,  王丽娟

IPC: G06F16/2455 ,  G06F16/22 ,  G06F16/182

Abstract: 本发明提供一种基于Storm的分布式流数据存储与查询方法，本发明基于Storm数据流式计算框架，CEPHFS作为数据底层存储系统下，通过对分布式流式数据的特征分析，对数据进行实时的分区与索引构建，将分区好的数据块压缩存入CEPHFS。查找操作时根据数据块的key与temporal两个维度的属性，将查询分解为对应的子查询，并通过bloomFilter方法只读取可能含有所需数据的文件，由predicate选择出符合条件的数据，提交子查询结果合并后进行aggregate操作，返回给用户。充分利用计算资源来提高数据存储与查询的效率。本发明具有应用场景广泛、低时延、负载均衡的特点，并且能够实现高速存储。

公开(公告)号：CN110457130B

公开(公告)日：2023-09-01

申请号：CN201910673163.9

申请日：2019-07-24

Applicant: 广东工业大学

Inventor： 郝志峰 ,  黄泽林 ,  蔡瑞初 ,  傅正佳 ,  林峰极 ,  陈炳丰 ,  温雯 ,  王丽娟

IPC: G06F9/50

Abstract: 本发明涉及数据处理应用领域，公开了一种分布式资源弹性调度模型、方法、电子设备及存储介质，实现任务层动态资源调度和系统层资源调度的协同工作，实时的响应流处理任务的资源需求，分配合理的物理资源，达到真正意义上的自动弹性资源调度，弹性增减分布式流处理系统占用的物理资源，满足流处理任务随时变化的资源需求，在保证分布式流处理系统稳定运行与流处理系统工作稳定高效工作的同时，提高资源利用率，降低成本。