公开(公告)号：CN119128002A

公开(公告)日：2024-12-13

申请号：CN202411092546.4

申请日：2024-08-09

Applicant: 公安部第三研究所

Inventor： 杨源杰 ,  梁辰 ,  朱丽英 ,  吴松洋

IPC: G06F16/27 ,  G06F16/2455

Abstract: 本发明涉及一种基于分级索引实现分布式大数据集群设计和部署优化的系统，所述的系统包括：高速索引集群，用于单独保存所有索引数据，并完成查询条件到每一条数据记录的唯一内部序列号的映射处理；数据存储集群，用于将数据保存在多个数据存储节点上，并以唯一内部序列号的随机数前缀为片键，和多个数据存储节点进行一一对应；总控制器服务器(组)，用于接收系统内所有的读、写请求，并同步所述的高速索引集群和数据存储集群完成读、写请求后，将读写请求的结果返回至请求调用方。本发明还涉及一种相应的方法。采用了本发明的该基于分级索引实现分布式大数据集群设计和部署优化的系统及其方法，极大的提升了单个数据节点的数据存储容量。

公开(公告)号：CN119127789A

公开(公告)日：2024-12-13

申请号：CN202411114954.5

申请日：2024-08-14

Applicant: 公安部第三研究所

Inventor： 杨源杰 ,  梁辰 ,  朱丽英 ,  吴松洋

IPC: G06F16/11 ,  G06F16/13 ,  G06F3/06

Abstract: 本发明涉及一种基于多个分布式集群组实现数据归档处理的方法，包括以下步骤：配置热数据集群用于保存平台的热数据，配置归档/休眠集群用于保存归档数据；所述的热数据以及归档数据均进行全流程数据生命周期流动配置处理；配置总控制器接收系统所有读、写请求，待完成请求定位后将返回的数据返回至调用方；对所述的归档/休眠集群进行内部配置处理，以完成归档数据的保存、检索和调阅。本发明还涉及一种相应的系统。采用了本发明的该基于多个分布式集群组实现数据归档处理的方法及其系统，具有极强的鲁棒性、经济性和高效性，支持无上限的数据容量，在提供归档数据检索、调阅服务的同时，能够确保无关数据节点保持休眠状态。