公开(公告)号：CN113986902A

公开(公告)日：2022-01-28

申请号：CN202111269523.2

申请日：2021-10-29

Applicant: 上海观安信息技术股份有限公司

Inventor： 戴泽乐 ,  王跃跃 ,  张明明 ,  胡绍勇

IPC: G06F16/215 ,  G06F16/2455 ,  G06F16/25 ,  G06F16/182

Abstract: 本申请公开了一种多数据源数据的处理系统以及多数据源数据的处理方法，涉及计算技术领域，可实现对多数据源数据的统一处理，降低数据维护成本。所述系统采用分时、分布式设计，所述系统包括：任务管理模块、采集引擎模块、数据处理模块；所述采集引擎模块，一端与所述任务管理模块连接，另一端与不同数据源会话连接，用于接收所述任务管理模块下发的数据采集指令，并响应于所述数据采集指令采集目标数据；所述数据处理模块，一端与所述任务管理模块连接，另一端与所述采集引擎模块连接，用于在所述采集引擎模块提取所述目标数据，在所述任务管理模块拉取与所述目标数据匹配的数据处理规则，并利用所述数据处理规则格式化处理所述目标数据。

公开(公告)号：CN114237932A

公开(公告)日：2022-03-25

申请号：CN202111527038.0

申请日：2021-12-14

Applicant: 上海观安信息技术股份有限公司

Inventor： 戴泽乐 ,  胡绍勇

IPC: G06F9/54

Abstract: 本发明公开了一种提高Kafka消费能力的处理方法、系统及计算机存储介质。其中，该方法包括：将当前所述Kafka中的所有数据经多个消费者线程后存放到第一阻塞队列中；将所述第一阻塞队列中的数据送入到线程池中进行数据处理；获取第二阻塞队列中的生产者实例，并将数据处理后的所述数据根据所述生产者实例送入下一个Kafka中。通过将当前Kafka中的所有数据经多个消费者线程后存放到第一阻塞队列中，相较于现有技术中Kafka中的所有数据经多个消费者线程后进行复杂的业务处理，大大提高了数据的消费速率；通过设置线程池从第一阻塞队列中获取数据，并且设置线程池中线程的最大并发数，可以大大提高数据的消费速率；通过设置第二阻塞队列，实现生产者的多线程写入。