公开(公告)号：CN117950804A

公开(公告)日：2024-04-30

申请号：CN202410127805.6

申请日：2024-01-30

Applicant: 上海交通大学

Inventor： 龚禾林 ,  苟明宇 ,  黄科 ,  李寒 ,  李明刚 ,  陆佳亮 ,  罗钊航 ,  许鹏 ,  张林 ,  邹谊豪

IPC: G06F9/455 ,  G06F16/27 ,  G06N20/00 ,  G06F16/215 ,  G06F16/25 ,  G06F16/22 ,  G06F21/60 ,  G06F11/14 ,  G06Q50/06

Abstract: 本发明提供了一种面向核工程大数据分析的流批一体化分布式方法及系统，在分布式环境中，部署Kafka集群，进行模拟数据源的数据传输；部署Flink流处理平台，对数据流进行流数据处理；部署Kubernetes集群，通过网络策略和防火墙规则实现集群的网络隔离和数据传输安全；部署HBase数据库，对流处理后的数据进行列式存储；提供一数据回归预测模型，对输入数据进行异常实时预测；对存储数据进行批处理，并结合历史数据对模型进行更新；对核电站各个组件进行建模，对核电站的各传感器数据和/或运行状态进行实时监测。本发明实现了一个高效、可靠、安全的分布式数据处理和分析架构，适用于数据密集型的核工程领域。