一种基于Flink的多模数据生成器的构建方法

    公开(公告)号:CN114003476A

    公开(公告)日:2022-02-01

    申请号:CN202111231719.2

    申请日:2021-10-22

    Applicant: 河海大学

    Inventor: 叶枫 李凌 沈丽群

    Abstract: 本发明公开了一种基于Flink的多模数据生成器的构建方法,包括如下步骤:(1)构建多模数据字典;(2)构建多模数据生成器;(3)基于Apache Flink的多模数据生成器配置与部署;(4)实现多模数据生成器的资源使用状况监控。本发明公开的一种基于Flink的多模数据生成器能够生成包括关系、键值、图、Json、XML多种模型的数据,同时用户可以根据自己的需求来生成所需大小的数据;该多模数据生成器是基于Flink平台实现和部署的,利用了Flink的并行处理和主动内存管理机制来实现其高效性和扩展性,还集成了Prometheus,对其进行更加细粒度的资源利用情况。

Patent Agency Ranking