公开(公告)号：CN120045534A

公开(公告)日：2025-05-27

申请号：CN202411928218.3

申请日：2024-12-25

Applicant: 航天信息股份有限公司

Inventor： 周振磊 ,  苏建辉 ,  李华健 ,  冯宇 ,  徐乐 ,  田志远 ,  林立凯

IPC: G06F16/18 ,  G06F16/23 ,  G06F16/27 ,  G06F16/28 ,  G06F16/25

Abstract: 本发明公开了一种对象存储项目下的日志分析方法及系统，包括：调用对象存储服务，以将业务数据存储到Hadoop集群中，获取调用操作产生的业务日志数据，并将所述业务日志数据存放到Tomcat容器中；检查所述Tomcat容器中的业务日志数据，以获取目标业务日志数据，并将所述目标业务日志数据上传至分布式文件系统HDFS内；加载HDFS数据到Hive数据表中，并利用Spark引擎对所述Hive数据表中的目标业务日志数据进行指标计算，获取指标数据，并存储到Hive仓库中；将所述Hive仓库中的指标数据导出至其他数据库，并基于所述指标数据生成日志分析报表。本发明能够为业务平台的市场营销、销售策略等提供数据支撑，保护业务敏感数据，离线掌握各个业务状态，对数据进行安全监控。

公开(公告)号：CN117851383A

公开(公告)日：2024-04-09

申请号：CN202311750563.8

申请日：2023-12-19

Applicant: 航天信息股份有限公司

Inventor： 张美娟 ,  高军斌 ,  林立凯 ,  张艳芳 ,  李宪英 ,  周以菲

IPC: G06F16/21 ,  G06F16/23 ,  G06F16/27

Abstract: 本申请实施例公开了一种数据迁移方法和系统，属于互联网技术领域，所述方法包括：搜索服务器集群将业务端存入的实时数据发送至消息中间件集群；Hadoop集群中的第一预设工具从所述消息中间件集群获取实时数据，写入数据库中；Hadoop集群通过第二预设工具从所述搜索服务器集群中获取预设周期前的历史数据，存入第一数据表中；按照所述预设周期从所述数据库中查询目标数据存储至第二数据表中；依据所述第一数据表、所述第二数据表确定增量数据，并将所述增量数据添加至所述第一数据表中。本申请提供的数据迁移方案，能够对快速地完成搜索服务器集群至Hadoop集群的百亿级数据的迁移、更新。