公开(公告)号：CN116561093A

公开(公告)日：2023-08-08

申请号：CN202310445426.7

申请日：2023-04-24

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 严世伟 ,  刘超 ,  黄世峰 ,  王德良 ,  吴金汉 ,  温若辉 ,  陈云

IPC: G06F16/182 ,  G06F16/178 ,  G06F11/14 ,  H04L67/1095 ,  H04L67/1097

Abstract: 本发明提出一种分布式存储方法及系统，方法包括步骤：S1、获取数据包并且将数据包存储至备份存储；S2、任务调度节点判断数据包是否包含非结构化数据，响应于确认包含，则扫描包含非结构化数据的数据包，生成解压任务并发送至消息队列；S3、文件服务节点的消费者从所述消息队列中认领解压任务后，文件服务节点从备份存储中下载数据包，解压、拆分并分别存放结构化数据与非结构化数据。该方案基于分布式构架解压、记录非结构化数据，将非结构化数据分布存储于本地文件存储中，其索引信息被记录于数据库中，可实现快速、精准处理结构化数据需求。