-
公开(公告)号：CN117632000A
公开(公告)日：2024-03-01
申请号：CN202311374429.2
申请日：2023-10-23
Applicant: 华南理工大学
IPC: G06F3/06
Abstract: 本发明公开了一种采用键值分离改进Flink HashMapStateBackend的方法，将数据的键与值分开存储，键全部保留在存储节点中，值存储在磁盘的文件中。该方法包括对存储节点按照访问顺序建立和维护索引；定时检测内存的使用情况，每当内存空间的使用超过规定阈值时，按照索引对存储节点进行键值分离；从存储节点中分离的值，根据分离的先后顺序存储在文件中；对于已经键值分离的数据，修改该数据的值时认为该值失效，定时计算失效率，每当失效率达到规定阈值时，选择失效率高于规定阈值的文件进行清理。本发明解决了Flink双流Join作业场景下使用Flink EmbeddedRocksDBStateBackend性能不够理想的问题。
Search Results
1
records
(took 0.017 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
