基于责任链快速构造器的大数据流批一体处理架构方法

    公开(公告)号:CN119226339A

    公开(公告)日:2024-12-31

    申请号:CN202411254280.9

    申请日:2024-09-09

    Abstract: 本发明公开了一种基于责任链快速构造器的大数据流批一体处理架构方法,首先,架构需要申请读取数据流、文件流,进行执行环境的初始化;第二步,在数据变换过程中进行数据的映射和key值分组等操作;第三步,执行责任链,通过在每个工作节点新建职责链对象并对滚动窗口中的批量数据进行批量处理;第四步,对经过责任链的数据进行聚合计算,输出统计数据;最后,将转换过程中的产生的数据输出到sink端输出到消息队列系统。本发明简化了对象,降低了模块间的耦合度,增强了对象指派职责的灵活性,可快捷的构建通用的分布式软件架构,同时,构造了在不同模式下的运行入口,简化了开发人员和工程部署人员的工作流程。

Patent Agency Ranking