公开(公告)号：CN116506300A

公开(公告)日：2023-07-28

申请号：CN202310264141.3

申请日：2023-03-10

Applicant: 之江实验室

Inventor： 徐黎 ,  沈程 ,  孙婉琪 ,  郭伟杰 ,  王天放 ,  刘敏

IPC: H04L41/14 ,  H04L41/22 ,  H04L43/0876 ,  G06F16/215 ,  G06F16/25

Abstract: 网站流量数据统计的方法，包括：利用JavaScript埋点代码，在网站的页面添加数据统计代码和数据传输地址，创建、记录、收集用户访问行为信息；处理接收埋点服务器的信息，并以日志的形式记录，通过记录的头信息，浏览器信息，再将收集的日志数据通发送到下游的Flume日志框架；分别将日志流进行离线批处理与实时流处理；离线批处理日志通过MapReduce数据清洗后存入Hive中；通过ETL、Storm等计算工具按照业务逻辑进行计算，输出处理后的日志数据；根据实际需要，将日志数据分为多张表并持久化到数据库；数据可视化展示，通过图表组件，对流量数据进行可视化展示。还包括一种网站流量数据统计系统。本发明结合离线与实时两种数据处理方式，保障网站流量数据的准确性与实时性。