公开(公告)号：CN115168006A

公开(公告)日：2022-10-11

申请号：CN202210846093.4

申请日：2022-07-04

Applicant: 南京大学

Inventor： 顾荣 ,  吴侗雨 ,  殷瀚 ,  钟伟畅 ,  黄宜华

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明公开了一种基于优先状态迁移的流处理作业扩缩容调度方法。首先，在准备阶段，本发明进行初始化工作；其次，在分配阶段，本发明为伸缩操作分配必要资源；然后，在迁移准备阶段，上游算子更新数据分发策略；之后，在迁移阶段，分发明将待迁移状态拆分为若干个“微批”进行迁移，被扩缩容算子进行实例间的状态迁移；最后，在基于消息队列的状态传输完成后，清理阶段负责销毁实例、回收系统资源等。本发明可以保证流处理作业在不中断流处理任务的同时进行系统伸缩，并且保证流处理任务的全局状态的一致性；可以尽量提高状态数据迁移的效率，以最小化状态迁移所带来的算子性能下降；可以避免在非伸缩阶段影响系统性能。

公开(公告)号：CN115185683A

公开(公告)日：2022-10-14

申请号：CN202210785420.X

申请日：2022-07-04

Applicant: 南京大学

Inventor： 吴侗雨 ,  顾荣 ,  殷瀚 ,  钟伟畅 ,  黄宜华

IPC: G06F9/50 ,  G06F9/54

Abstract: 本发明公开了一种基于动态优化模型的云平台流处理资源分配方法。该方法首先定义流处理任务的算子性能模型；然后，引入通信开销因子并修正上述算子性能模型；之后，感知用户提交的流处理任务，并诊断其性能状态；随后，以默认并行度做参数预设，得到初步的模型拟合曲线，并持续拟合优化通信开销模型，使模型与性能指标的误差尽量小；紧接着，对算子性能模型进行更新，若需要伸缩，则进行任务重配置；最后，重复上述过程直到流处理作业完成。本发明可以考虑流处理算子在复杂任务中的通信开销，并构建一个非线性的算子性能模型，以实现云平台流处理系统资源的及时、合理分配。