一种分片数动态调整方法、装置、设备及介质

    公开(公告)号:CN115658689A

    公开(公告)日:2023-01-31

    申请号:CN202211295635.X

    申请日:2022-10-21

    Inventor: 魏燕子 杨梦龙

    Abstract: 本申请公开了一种分片数动态调整方法、装置、设备及介质,涉及计算机技术领域,该方法包括:每天定时检测历史数据量;基于历史数据量确定出满足预设条件的目标索引,并确定按天划分的目标索引对应的目标天数;根据不同目标天数选择直接将节点数设置为目标分片数,或,选择基于不同目标天数获取不同天数的目标数据量,并基于目标数据量计算预期分片数,然后根据预期分片数与节点数的数量关系设置目标分片数。由此可见,本申请按天分索引减少数据量,并根据目标索引的目标天数和目标数据量实时调整分片数,以达到确定合理分片数以进行合理分片的目的。

    一种情报分析方法、装置、设备及可读存储介质

    公开(公告)号:CN114254007A

    公开(公告)日:2022-03-29

    申请号:CN202111584048.8

    申请日:2021-12-22

    Inventor: 魏燕子 范渊 刘博

    Abstract: 本申请公开了一种情报分析方法、装置、设备及可读存储介质,方法包括:获取数据库访问链接,根据数据库访问链接将对应的数据库中的情报信息缓存在内存中;情报信息包括情报模型名称、字段及情报数据;根据内存中的情报模型名称及字段对源数据库中的源数据进行过滤;将过滤后的源数据库中的源数据与内存中的情报数据进行碰撞,若碰撞到,则输出碰撞到的情报数据及源数据库中的相应数据。本申请公开的技术方案,通过将数据库中的情报信息缓存在内存中并基于缓存在内存中的情报信息进行情报分析以及根据缓存在内存中的情报模型名称及字段对源数据库中的源数据进行过滤而提高情报分析效率,降低情报分析的延迟,提高情报分析性能。

    基于JMH的规则自动化测试的方法

    公开(公告)号:CN111078538A

    公开(公告)日:2020-04-28

    申请号:CN201911199384.3

    申请日:2019-11-29

    Inventor: 魏燕子 范渊

    Abstract: 本发明提供了一种基于JMH的规则自动化测试的方法,包括以下步骤:1)、规则匹配;2)、测试规则的score。1.1)、将原始日志中的原始样例解析成json格式的数据发送到kafka的topic中,然后对kafka中的topic进行消费并将消费后的数据保存到文件中;1.2)、将步骤1.1得到的文件存放在规则测试的服务器上;1.3)、读取文件中的消费后的数据,根据其rawEvent字段将提取对应的值进行分词,将分词后的结果存放在HashSet中,并对分词后的结果进行hash,得到对应的hash值;1.4)、将分词之后的结果存放在在HashSet中;1.5)、测试规则是否出发告警;1.6)、结果文件的输出。本发明在规则匹配时不需要在服务器上运行就可以测试该条规则对应的数据样例是否可以出发该条规则的问题。

    基于flink数据引擎的数据处理方法、装置

    公开(公告)号:CN112328458B

    公开(公告)日:2023-07-25

    申请号:CN202011356556.6

    申请日:2020-11-27

    Inventor: 魏燕子 范渊 刘博

    Abstract: 本申请实涉及一种基于flink数据引擎的数据处理方法、装置、电子装置和存储介质,通过接收数据监测的指令信息,指令信息携带有请求数据监测的flink作业的第一作业信息;根据指令信息,获取与所有flink作业关联的第一应用信息;根据第一应用信息,调取预设部署模式下的多个候选flink作业;根据第一作业信息在多个候选flink作业中检测目标flink作业,并根据目标flink作业的状态信息生成目标flink作业的数据吞吐信息,解决了无法实时查看基于flink数据引擎的flink作业的数据吞吐信息的问题,提升了基于flink数据引擎的flink作业的数据吞吐信息的透明化程度。

    基于JMH的规则自动化测试的方法

    公开(公告)号:CN111078538B

    公开(公告)日:2023-06-20

    申请号:CN201911199384.3

    申请日:2019-11-29

    Inventor: 魏燕子 范渊

    Abstract: 本发明提供了一种基于JMH的规则自动化测试的方法,包括以下步骤:1)、规则匹配;2)、测试规则的score。1.1)、将原始日志中的原始样例解析成json格式的数据发送到kafka的topic中,然后对kafka中的topic进行消费并将消费后的数据保存到文件中;1.2)、将步骤1.1得到的文件存放在规则测试的服务器上;1.3)、读取文件中的消费后的数据,根据其rawEvent字段将提取对应的值进行分词,将分词后的结果存放在HashSet中,并对分词后的结果进行hash,得到对应的hash值;1.4)、将分词之后的结果存放在在HashSet中;1.5)、测试规则是否出发告警;1.6)、结果文件的输出。本发明在规则匹配时不需要在服务器上运行就可以测试该条规则对应的数据样例是否可以出发该条规则的问题。

    基于flink数据引擎的数据处理方法、装置

    公开(公告)号:CN112328458A

    公开(公告)日:2021-02-05

    申请号:CN202011356556.6

    申请日:2020-11-27

    Inventor: 魏燕子 范渊 刘博

    Abstract: 本申请实涉及一种基于flink数据引擎的数据处理方法、装置、电子装置和存储介质,通过接收数据监测的指令信息,指令信息携带有请求数据监测的flink作业的第一作业信息;根据指令信息,获取与所有flink作业关联的第一应用信息;根据第一应用信息,调取预设部署模式下的多个候选flink作业;根据第一作业信息在多个候选flink作业中检测目标flink作业,并根据目标flink作业的状态信息生成目标flink作业的数据吞吐信息,解决了无法实时查看基于flink数据引擎的flink作业的数据吞吐信息的问题,提升了基于flink数据引擎的flink作业的数据吞吐信息的透明化程度。

Patent Agency Ranking