-
公开(公告)号:CN113722099A
公开(公告)日:2021-11-30
申请号:CN202111019977.4
申请日:2021-09-01
Applicant: 烽火通信科技股份有限公司
IPC: G06F9/50
Abstract: 本发明涉及一种千万级数据分片处理方法和装置。其方法部分主要包括:将分片机计算功能和业务处理功能解耦,并由分片机主动进行分片数据抢占任务;分片机根据自身性能实时申请分片数据;将每一台分片机申请所得的数据分为多个线程并行处理;最后一台处理完的分片机进行后置处理工作。本发明可以在不影响业务Service节点的情况下通过扩容分片机集群来大幅提高处理效率,且分片方法与业务解耦,在某些业务节点宕机时仍可保证数据正常处理。