公开(公告)号：CN113872888B

公开(公告)日：2023-05-19

申请号：CN202111133495.1

申请日：2021-09-27

Applicant: 南威软件股份有限公司

Inventor： 吴志雄 ,  吴清顺 ,  陈吉平

IPC: H04L47/56

Abstract: 本发明提供了一种针对Kafka积压队列追赶的方法、系统及介质，该方法包括：启动消费者，并添加至消费者列表，若该消费者为追赶者，则从最新的消费偏移量处开始消费，否则，按照正常消费流程消费；在正常消费时，消费者循环从Kafka拉取数据，计算当前消费者偏移量和消息队列最大偏移量的差值，若差值大于一阈值，则将该消费者设为延迟状态，若消费者已经消费到追赶者启动时的偏移量并且消费者为延迟状态，则将消费者设为延迟恢复状态；对延迟状态的消费者启动一个追赶者进行消费；若发现消费者的状态为延迟恢复状态，则关闭追赶者，消费者从追赶者当前消费位置继续消费，并将消费者设置为正常状态。本发明实现追赶者全自动化设置，提高数据处理效率。

公开(公告)号：CN113872888A

公开(公告)日：2021-12-31

申请号：CN202111133495.1

申请日：2021-09-27

Applicant: 南威软件股份有限公司

Inventor： 吴志雄 ,  吴清顺 ,  陈吉平

IPC: H04L12/875

Abstract: 本发明提供了一种针对Kafka积压队列追赶的方法、系统及介质，该方法包括：启动消费者，并添加至消费者列表，若该消费者为追赶者，则从最新的消费偏移量处开始消费，否则，按照正常消费流程消费；在正常消费时，消费者循环从Kafka拉取数据，计算当前消费者偏移量和消息队列最大偏移量的差值，若差值大于一阈值，则将该消费者设为延迟状态，若消费者已经消费到追赶者启动时的偏移量并且消费者为延迟状态，则将消费者设为延迟恢复状态；对延迟状态的消费者启动一个追赶者进行消费；若发现消费者的状态为延迟恢复状态，则关闭追赶者，消费者从追赶者当前消费位置继续消费，并将消费者设置为正常状态。本发明实现追赶者全自动化设置，提高数据处理效率。