-
公开(公告)号：CN114827049A
公开(公告)日：2022-07-29
申请号：CN202210219311.1
申请日：2022-03-02
Applicant: 厦门服云信息科技有限公司
Abstract: 本发明涉及一种基于kafka的堆积数据消费方法、终端设备及存储介质，该方法中包括：在每个单位时间内轮询计算topic每个分区下的最新偏移量和当前偏移量的差值并存储，同时判断topic是否为延迟状态并标注；当接收到对topic的消费请求时，判断topic是否处于延迟状态，当处于时，创建多个下游topic，并将堆积的待消费数据平均分发至所有下游topic内；根据总线程数和分区个数，将各分区剩余未消费偏移量按总线程数进行平局切分后，分配给各线程进行消费。本发明可以弹性提升topic分区数且提升业务高峰期数据吞吐量。
-
公开(公告)号：CN117891778A
公开(公告)日：2024-04-16
申请号：CN202410056380.4
申请日：2024-01-15
Applicant: 厦门服云信息科技有限公司
IPC: G06F16/13 , G06F16/182
Abstract: 本发明公开了一种Kafka数据索引方法、装置及可读介质，包括：获取消息生产者将发布的消息发送完成后返回的参数，生成字符串信息；构建索引文件，并将字符串信息存入索引文件，构建索引文件数据集，并在内存中创建多个第一数据结构；获取客户端发起的查询请求，根据查询请求中的索引字段在内存中的第一数据结构中查询是否存在对应所查询的发布的消息，若不存在，则将所查询的发布的消息返回给客户端；若存在，则根据查询请求中的订阅主题、索引字段、时间戳范围和节点hostName在索引文件数据集中确定对应的索引文件及字符串信息，根据字符串信息获取到所查询的发布的消息，并返回给客户端。解决持久化存储与磁盘中的数据面临无法进行数据回溯及排查的问题。
-
公开(公告)号：CN111143314A
公开(公告)日：2020-05-12
申请号：CN201911364877.8
申请日：2019-12-26
Applicant: 厦门服云信息科技有限公司
IPC: G06F16/18 , G06F16/182 , G06F16/2455 , G06F8/35
Abstract: 本发明涉及一种基于高速流式处理技术的日志解析方法及系统，其中，该方法可包括以下步骤：在节点底层搭建分布式消息中间件，用于缓存终端设备日志；配置日志解析模板，通过终端设备IP地址实现解析模板与日志数据相关联；日志数据泛化，具体地，采用SPARK流式批处理，将消息中间件缓存的日志按时间切片封装成RDD(弹性分布式数据集)，形成源源不断的实时RDD数据流；通过转换算子操作对实时RDD数据流进行预处理；根据与终端设备IP匹配的解析模板对经过预处理的实时RDD数据进行层级解析和泛化，没有匹配上模板的数据将通过模型识别进行数据分类而实现数据泛化；日志数据储存，各个节点泛化完的数据将在各自节点上进行日志数据持久化。
-
公开(公告)号：CN117938464A
公开(公告)日：2024-04-26
申请号：CN202311840770.2
申请日：2023-12-28
Applicant: 厦门广播电视集团 , 厦门服云信息科技有限公司
IPC: H04L9/40 , G06N3/0442 , G06N3/084 , G06F18/213 , G06F18/2431 , G06F123/02
Abstract: 本发明一种基于态势感知的时序攻击告警预测方法与系统，包括：获取第一预设时间范围内数据库存储的流量数据集，提取特征信息，将特征信息转换成特征值矩阵后输入构建的LSTM进行模型预训练；获取第二预设时间范围内的实时流量数据集加载到时间窗口队列，提取特征信息，将特征信息转换成特征值矩阵后输入预训练过的LSTM模型进行预测，并对预测值进行判断；当预测值超过预设阈值时，将特征信息进行入库保存，并输出预设时段内攻击数量及产生告警；当预测值不超过预设阈值时，获取数据库中当日的流量数据集，进行加权处理后输入LSTM模型，以实时修正预测值。本发明基于历史流量数据和实时流量数据快速准确预测未来攻击手法和攻击量等趋势，减少攻击伤害。
-
公开(公告)号：CN114844765B
公开(公告)日：2023-10-17
申请号：CN202210207091.0
申请日：2022-03-03
Applicant: 厦门服云信息科技有限公司
IPC: H04L41/0631 , H04L41/22 , H04L43/045
Abstract: 本发明涉及一种网络安全监测方法、终端设备及存储介质，该方法中包括：S1：通过NIFI构建网络安全监测领域包含的单元逻辑并组成单元逻辑库；S2：基于单元逻辑库，根据网络安全监测事件类型的不同构建对应的剧本；S3：根据剧本运行时输出的数据得到网络安全监测结果。本发明解决了面对传统的SIEM产生的海量数据处理时计算慢、耗时久、效率低、协作难的问题，支持海量告警。
-
Patent Agency Ranking
公开(公告)号：CN114827049B
公开(公告)日：2023-05-09
申请号：CN202210219311.1
申请日：2022-03-02
Applicant: 厦门服云信息科技有限公司
Abstract: 本发明涉及一种基于kafka的堆积数据消费方法、终端设备及存储介质，该方法中包括：在每个单位时间内轮询计算topic每个分区下的最新偏移量和当前偏移量的差值并存储，同时判断topic是否为延迟状态并标注；当接收到对topic的消费请求时，判断topic是否处于延迟状态，当处于时，创建多个下游topic，并将堆积的待消费数据平均分发至所有下游topic内；根据总线程数和分区个数，将各分区剩余未消费偏移量按总线程数进行平局切分后，分配给各线程进行消费。本发明可以弹性提升topic分区数且提升业务高峰期数据吞吐量。
-
公开(公告)号：CN115329311A
公开(公告)日：2022-11-11
申请号：CN202210791710.5
申请日：2022-07-07
Applicant: 厦门服云信息科技有限公司
Abstract: 本发明涉及一种基于多系统的数据操作方法、终端设备及存储介质，该方法中包括：对各系统对应的数据库的配置信息进行初始化；当用户登录后，根据加密后的用户信息生成令牌；对令牌进行加密，生成临时key，将临时key分发至各系统中保存；当接收到系统发送的数据操作请求时，采用负载均衡将分发至系统；系统对数据操作请求中的key进行验证，当验证通过时，根据数据操作请求从对应的数据库中进行数据操作，并将数据操作后得到的数据按照返回数据格式进行组装后，返回数据操作请求对应的发起请求的系统。本发明可以提升业务系统之间数据操作的高效性、安全性和稳定性。
-
公开(公告)号：CN115328950A
公开(公告)日：2022-11-11
申请号：CN202210799213.X
申请日：2022-07-08
Applicant: 厦门服云信息科技有限公司
IPC: G06F16/2455 , G06F16/22 , G06F16/242
Abstract: 本发明涉及一种基于二级索引的hbase查询方法、终端设备及存储介质，该方法中包括：根据数据rowkey的范围划分数据存储的分区，新建hbase索引表；根据数据写入请求获取待写入数据的元数据信息；根据元数据信息构建各数据的二级索引，基于二级索引更新索引表；当接收到数据查询请求时，根据构建的二级索引进行数据查询。本发明可以提高开发人员开发效率及降低逻辑开发成本提高效率，可以提高系统运行得稳定性，使得查询功能、性能更具优势，增加行业得竞争力。
-
公开(公告)号：CN115328762A
公开(公告)日：2022-11-11
申请号：CN202210787072.X
申请日：2022-07-06
Applicant: 厦门服云信息科技有限公司
Abstract: 本发明涉及一种hbase集群故障自动诊断方法、终端设备及存储介质，该方法中包括：S1：将对hbase集群的待检测单元进行故障检测的所有命令封装成API，定时轮询调用API中的各故障检测命令进行故障检测；根据故障代码对应的故障类别进行故障扫描，得到对应该故障类别的故障问题；基于故障问题，采用对应的多种故障子问题进行验证，以定位故障发生点；采用故障发生点对应的多种解决方案进行验证，得到该故障的根源问题；从存储故障修复建议的故障知识库中查找对应的故障修复建议；基于查找到的故障修复建议对故障进行修复。本发明中故障检测、诊断、研判、告警，流程自动化，可支撑多集群多节点自动化运维等场景。
-
公开(公告)号：CN114844765A
公开(公告)日：2022-08-02
申请号：CN202210207091.0
申请日：2022-03-03
Applicant: 厦门服云信息科技有限公司
IPC: H04L41/0631 , H04L41/22 , H04L43/045
Abstract: 本发明涉及一种网络安全监测方法、终端设备及存储介质，该方法中包括：S1：通过NIFI构建网络安全监测领域包含的单元逻辑并组成单元逻辑库；S2：基于单元逻辑库，根据网络安全监测事件类型的不同构建对应的剧本；S3：根据剧本运行时输出的数据得到网络安全监测结果。本发明解决了面对传统的SIEM产生的海量数据处理时计算慢、耗时久、效率低、协作难的问题，支持海量告警。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.023 seconds)
