一种通信和资源感知的数据流分组方法及系统

    公开(公告)号:CN116319381B

    公开(公告)日:2023-07-25

    申请号:CN202310594872.4

    申请日:2023-05-25

    Inventor: 孙大为 陈哲

    Abstract: 本发明公开了一种通信和资源感知的数据流分组方法及系统,涉及分布式流计算技术领域。包括:监控模块获取拓扑信息,并将拓扑信息发送至下游任务选择模块;其中,拓扑信息包括数据流分组任务的CPU资源和拓扑中各个任务间的通信距离;下游任务选择模块进行数据流中字段值频率的预测,并根据字段值频率预测结果以及拓扑信息进行数据流分组。本发明能够以较低的字段值拆分程度实现下游有状态运算符实例的负载均衡,并提高拓扑中元组的吞吐量,降低系统延迟。

    一种通信和资源感知的数据流分组方法及系统

    公开(公告)号:CN116319381A

    公开(公告)日:2023-06-23

    申请号:CN202310594872.4

    申请日:2023-05-25

    Inventor: 孙大为 陈哲

    Abstract: 本发明公开了一种通信和资源感知的数据流分组方法及系统,涉及分布式流计算技术领域。包括:监控模块获取拓扑信息,并将拓扑信息发送至下游任务选择模块;其中,拓扑信息包括数据流分组任务的CPU资源和拓扑中各个任务间的通信距离;下游任务选择模块进行数据流中字段值频率的预测,并根据字段值频率预测结果以及拓扑信息进行数据流分组。本发明能够以较低的字段值拆分程度实现下游有状态运算符实例的负载均衡,并提高拓扑中元组的吞吐量,降低系统延迟。

Patent Agency Ranking