一种适用大规模海洋数据的分布式存储和处理方法及系统

    公开(公告)号:CN116226139A

    公开(公告)日:2023-06-06

    申请号:CN202310513271.6

    申请日:2023-05-09

    Applicant: 南昌大学

    Abstract: 本申请涉及海洋数据存储技术领域,特别涉及一种适用大规模海洋数据的分布式存储和处理方法及系统。本申请首先通过分片数据的划分,将大规模图数据划分为多片数据,可以进行并行处理;然后再通过对键值存储引擎优化,使得分布式图数据库即能够高效的存储图数据,最后通过对Raft一致性算法优化,即当分片数据的读写压力大于设定值且跟踪节点过多或过少,引入秘书节点或观察节点辅助领导节点进行分片数据的读写,解决高IO操作下存在的问题,从而保证其在高读写状态下,分布式服务器集群架构中所有数据副本依旧保持强一致。

    一种弹性的分布式强一致性方法及系统

    公开(公告)号:CN114816774B

    公开(公告)日:2022-09-27

    申请号:CN202210761205.6

    申请日:2022-06-30

    Applicant: 南昌大学

    Abstract: 本发明提供了一种弹性的分布式强一致性方法及系统,该方法应用于一集群中,集群包括若干数据处理节点,数据处理节点包括状态节点和非状态节点,状态节点用于当接收到客服端发送的请求时,分配非状态节点运作,以缓解状态节点的工作负载,完成横向扩展,具体的,获取预设时间内的客服端发送的请求计数,并判断请求计数是否大于预设请求数量,若是,则根据请求计数,租用竞价实例,竞价实例作为非状态节点服务于集群,由于该方法中引入了两种不需要维持状态的节点,这两种状态的节点可以失败、可以不可靠,因为它们的失败不会影响整个系统的正确性,所以可以选择全球地理分布的廉价节点,从而在解决性能瓶颈的同时兼顾了成本。

Patent Agency Ranking