-
公开(公告)号:CN114003476A
公开(公告)日:2022-02-01
申请号:CN202111231719.2
申请日:2021-10-22
Applicant: 河海大学
Abstract: 本发明公开了一种基于Flink的多模数据生成器的构建方法,包括如下步骤:(1)构建多模数据字典;(2)构建多模数据生成器;(3)基于Apache Flink的多模数据生成器配置与部署;(4)实现多模数据生成器的资源使用状况监控。本发明公开的一种基于Flink的多模数据生成器能够生成包括关系、键值、图、Json、XML多种模型的数据,同时用户可以根据自己的需求来生成所需大小的数据;该多模数据生成器是基于Flink平台实现和部署的,利用了Flink的并行处理和主动内存管理机制来实现其高效性和扩展性,还集成了Prometheus,对其进行更加细粒度的资源利用情况。