公开(公告)号：CN115168006A

公开(公告)日：2022-10-11

申请号：CN202210846093.4

申请日：2022-07-04

Applicant: 南京大学

Inventor： 顾荣 ,  吴侗雨 ,  殷瀚 ,  钟伟畅 ,  黄宜华

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明公开了一种基于优先状态迁移的流处理作业扩缩容调度方法。首先，在准备阶段，本发明进行初始化工作；其次，在分配阶段，本发明为伸缩操作分配必要资源；然后，在迁移准备阶段，上游算子更新数据分发策略；之后，在迁移阶段，分发明将待迁移状态拆分为若干个“微批”进行迁移，被扩缩容算子进行实例间的状态迁移；最后，在基于消息队列的状态传输完成后，清理阶段负责销毁实例、回收系统资源等。本发明可以保证流处理作业在不中断流处理任务的同时进行系统伸缩，并且保证流处理任务的全局状态的一致性；可以尽量提高状态数据迁移的效率，以最小化状态迁移所带来的算子性能下降；可以避免在非伸缩阶段影响系统性能。

公开(公告)号：CN115277531B

公开(公告)日：2023-07-25

申请号：CN202210909508.8

申请日：2022-07-29

Applicant: 南京大学

Inventor： 吴侗雨 ,  余浩宇 ,  郑嘉琦 ,  顾荣 ,  戴海鹏 ,  陈贵海

IPC: H04L45/00 ,  H04L67/10 ,  H04L67/60

Abstract: 本发明公开了一种面向云上广域网的多径瓶颈公平性约束的两阶段路由方法。首先，本方法将网络抽象为有向图模型，将带宽分配方案形式化描述。其次，本发明方法基于上述模型建立了多径瓶颈公平性约束条件。然后，本发明方法实现了一种基于链路层级的两阶段路由算法。最后，根据带宽分配结果缩减网络，得到多径瓶颈公平分配方案。本发明方法能够有效地提升总吞吐量，或是在总吞吐量持平的基础上，大幅提升公平性。

公开(公告)号：CN115292308A

公开(公告)日：2022-11-04

申请号：CN202210790603.0

申请日：2022-07-05

Applicant: 南京大学

Inventor： 吴侗雨 ,  李猛 ,  柴华溢 ,  戴海鹏 ,  顾荣 ,  陈贵海

IPC: G06F16/22 ,  G06F16/2453 ,  G06F16/2455

Abstract: 本发明公开了一种用于加速云平台数据库LSM树查询的高效过滤方法，包括如下步骤：将已写入的数据按自身特点划分至互相独立的数据集子块内，为每一个数据集子块单独构建缓存行大小的分块布隆过滤器；结合在本数据块内缺失，但是历史查询频繁的数据，自适应调整已写入的数据的哈希函数集并存入分块哈希表达器；将分块布隆过滤器以及分块哈希映射表共同构成分块哈希自适应过滤器，并部署到系统中。在进行数据是否写入的判断时，采用单指令多数据流技术同时检测一个块内多个比特位。本发明将过滤器按缓存行大小进行分块，并行检测分块内的比特数据，极大提升了查询效率，并结合哈希自适应技术，有效避免了分块带来的准确性降低问题。

公开(公告)号：CN115277531A

公开(公告)日：2022-11-01

申请号：CN202210909508.8

申请日：2022-07-29

Applicant: 南京大学

Inventor： 吴侗雨 ,  余浩宇 ,  郑嘉琦 ,  顾荣 ,  戴海鹏 ,  陈贵海

IPC: H04L45/00 ,  H04L67/10 ,  H04L67/60

Abstract: 本发明公开了一种面向云上广域网的多径瓶颈公平性约束的两阶段路由方法。首先，本方法将网络抽象为有向图模型，将带宽分配方案形式化描述。其次，本发明方法基于上述模型建立了多径瓶颈公平性约束条件。然后，本发明方法实现了一种基于链路层级的两阶段路由算法。最后，根据带宽分配结果缩减网络，得到多径瓶颈公平分配方案。本发明方法能够有效地提升总吞吐量，或是在总吞吐量持平的基础上，大幅提升公平性。

公开(公告)号：CN115203203A

公开(公告)日：2022-10-18

申请号：CN202210812128.2

申请日：2022-07-11

Applicant: 南京大学

Inventor： 吴侗雨 ,  顾荣 ,  罗义力 ,  李思勉 ,  袁春风 ,  黄宜华

IPC: G06F16/22 ,  G06F16/245 ,  G06F3/06

Abstract: 本发明公开了一种基于热点数据上流的云平台键值存储数据编排方法。该方法首先定义了一个实时跟踪时间窗口中键值数据的近似数据结构；然后，通过该数据结构得以实时获取键值数据最新的访问频次和时刻；随后，根据数据访问频次和时刻信息得到数据热度模型，从而实时感知键值数据的热度；紧接着，统计出各个热度的数据量，形成数据热度表，依据数据热度表能够得到每个数据的热度排名；最后，根据数据热度表对云平台键值存储数据进行数据编排，实现数据的自动预热。本发明可以从键值数据云平台中的数据访问模式出发，跟踪键值数据的访问频次和时间节点，从而构建一个键值数据热度表，以实现键值存储数据的自动预热。

公开(公告)号：CN115185683A

公开(公告)日：2022-10-14

申请号：CN202210785420.X

申请日：2022-07-04

Applicant: 南京大学

Inventor： 吴侗雨 ,  顾荣 ,  殷瀚 ,  钟伟畅 ,  黄宜华

IPC: G06F9/50 ,  G06F9/54

Abstract: 本发明公开了一种基于动态优化模型的云平台流处理资源分配方法。该方法首先定义流处理任务的算子性能模型；然后，引入通信开销因子并修正上述算子性能模型；之后，感知用户提交的流处理任务，并诊断其性能状态；随后，以默认并行度做参数预设，得到初步的模型拟合曲线，并持续拟合优化通信开销模型，使模型与性能指标的误差尽量小；紧接着，对算子性能模型进行更新，若需要伸缩，则进行任务重配置；最后，重复上述过程直到流处理作业完成。本发明可以考虑流处理算子在复杂任务中的通信开销，并构建一个非线性的算子性能模型，以实现云平台流处理系统资源的及时、合理分配。