一种支持均衡资源的Elasticsearch集群扩展方法

    公开(公告)号:CN107566531A

    公开(公告)日:2018-01-09

    申请号:CN201710977782.8

    申请日:2017-10-17

    Abstract: 本发明涉及一种支持均衡资源的Elasticsearch集群扩展方法,可包括以下步骤:S1.根据服务器硬件资源安装Elasticsearch节点;S2.设置动态集群的基本参数和记录动态集群的一些状态值,并将这些参数和动态值以数据库或XML的形式持久化到磁盘中;S3.创建一个线程,定时检测文档数和占用空间,如果达到阈值,则根据系统参数动态创建分片和调整入库策略。本发明能对Elasticsearch集群中根据服务器的性能负载均衡存储相应比例的数据量,并支持按目标数据量和磁盘空间阈值自动创建库和分片,动态扩展集群;既避免了一个分片数据量太大,也避免了新数据插入时出现局部热点的问题,同时兼任新的服务器加入集群后,能自动识别并对Elasticsearch集群的库和分片做负载均衡。

    一种异常两卡识别方法及系统
    2.
    发明公开

    公开(公告)号:CN115775175A

    公开(公告)日:2023-03-10

    申请号:CN202211445915.4

    申请日:2022-11-18

    Abstract: 本发明提供了一种异常两卡识别方法及系统。方法包括:获取获取手机卡和银行卡的开卡或开户数据;对数据进行清洗处理,得到清洗后的数据;利用掌握的各类资源库关联补齐所述清洗后的数据,得到待处理数据;构建异常规则分析模型,对所述待处理数据进行分析,输出异常两卡信息。根据本发明的方法及系统,可以实现用于中银行卡和电话卡的快速分析,有效遏制了买卖两卡的行为,切断产业链的关键环节,提升作案实施成本,助力各级机关“断卡”行动取得突破。

    一种文件同步操作方法、终端设备及存储介质

    公开(公告)号:CN112527756A

    公开(公告)日:2021-03-19

    申请号:CN202011494997.2

    申请日:2020-12-17

    Inventor: 吴金汉 陈云 曾超

    Abstract: 本发明涉及一种文件同步操作方法、终端设备及存储介质,该方法中包括:通过构建的通用的任务执行引擎来实现文件同步操作;任务执行引擎包括一个连接地址配置和一个以上的任务组件;每个任务组件包括一个扫描组件和一个以上的责任链组件,扫描组件用于扫描文件目录下的所有文件,将扫描组件扫描到的文件依次分发至各个责任链组件,通过可配置变量配置一个任务组件下的所有责任链组件执行时的线程数;每个责任链组件由多个子任务组件组成,多个子任务组件按顺序由上往下执行;子任务组件用于执行文件的操作。本发明通过每个任务可以配置多线程执行的方式,使得每个任务、每个文件均可以并行处理,大大提高了执行效率。

    一种分布式文件存储方法及系统
    4.
    发明公开

    公开(公告)号:CN116561093A

    公开(公告)日:2023-08-08

    申请号:CN202310445426.7

    申请日:2023-04-24

    Abstract: 本发明提出一种分布式存储方法及系统,方法包括步骤:S1、获取数据包并且将数据包存储至备份存储;S2、任务调度节点判断数据包是否包含非结构化数据,响应于确认包含,则扫描包含非结构化数据的数据包,生成解压任务并发送至消息队列;S3、文件服务节点的消费者从所述消息队列中认领解压任务后,文件服务节点从备份存储中下载数据包,解压、拆分并分别存放结构化数据与非结构化数据。该方案基于分布式构架解压、记录非结构化数据,将非结构化数据分布存储于本地文件存储中,其索引信息被记录于数据库中,可实现快速、精准处理结构化数据需求。

    一种支持均衡资源的Elasticsearch集群扩展方法

    公开(公告)号:CN107566531B

    公开(公告)日:2020-07-10

    申请号:CN201710977782.8

    申请日:2017-10-17

    Abstract: 本发明涉及一种支持均衡资源的Elasticsearch集群扩展方法,可包括以下步骤:S1.根据服务器硬件资源安装Elasticsearch节点;S2.设置动态集群的基本参数和记录动态集群的一些状态值,并将这些参数和动态值以数据库或XML的形式持久化到磁盘中;S3.创建一个线程,定时检测文档数和占用空间,如果达到阈值,则根据系统参数动态创建分片和调整入库策略。本发明能对Elasticsearch集群中根据服务器的性能负载均衡存储相应比例的数据量,并支持按目标数据量和磁盘空间阈值自动创建库和分片,动态扩展集群;既避免了一个分片数据量太大,也避免了新数据插入时出现局部热点的问题,同时兼任新的服务器加入集群后,能自动识别并对Elasticsearch集群的库和分片做负载均衡。

Patent Agency Ranking