-
公开(公告)号:CN105279603B
公开(公告)日:2020-02-07
申请号:CN201510577285.X
申请日:2015-09-11
Applicant: 福建师范大学
IPC: G06Q10/06 , G06F16/2458
Abstract: 本发明公开了一种可动态配置的大数据分析系统与方法,所述系统包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块,每一个模块中都设计了至少一个可进行动态配置管理的组件,如数据管理配置组件、实时流分析计算配置组件、离线分析计算配置组件、动态配置组件。本发明还提出了一种大数据分析系统的动态配置方法,设计了各组成模块的数据结构及消息结构,通过动态配置管理器中的警示数据结构的状态信息驱动系统的动态配置,提出了警示冗余度的计算方法及动态配置方法,通过上述方式,本发明能够使系统运行于一个高效率的大数据分析计算水平,有效地解决了大数据分析平台管理的优化过程。
-
公开(公告)号:CN110222923A
公开(公告)日:2019-09-10
申请号:CN201910332409.6
申请日:2015-09-11
Applicant: 福建师范大学
IPC: G06Q10/06 , G06F16/2458
Abstract: 本发明公开了一种可动态配置的大数据分析系统,所述系统包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块,每一个模块中都设计了至少一个可进行动态配置管理的组件,如数据管理配置组件、实时流分析计算配置组件、离线分析计算配置组件、动态配置组件。本发明还提出了一种大数据分析系统的动态配置方法,设计了各组成模块的数据结构及消息结构,通过动态配置管理器中的警示数据结构的状态信息驱动系统的动态配置,提出了警示冗余度的计算方法及动态配置方法,通过上述方式,本发明能够使系统运行于一个高效率的大数据分析计算水平,有效地解决了大数据分析平台管理的优化过程。
-
-
公开(公告)号:CN106201822A
公开(公告)日:2016-12-07
申请号:CN201610502358.3
申请日:2016-07-01
Applicant: 福建师范大学
CPC classification number: G06F11/3065 , G06F11/3457 , G06F11/3476
Abstract: 本发明涉及一种基于稳态过程的多重分形Web日志的逼真生成方法,包括以下步骤:生成用户集合和Web文件集合,并关联用户和Web文件形成原始请求序列R,采用alpha稳态拟合用户到达模型,计算两次用户到达之间的到达时间间隔∆T作为改进ON/OFF模型的被动OFF时间,将原始请求序列R变成由多个用户请求序列构成的用户集合,每个用户形成一个用户请求序列Ru,遍历每一个用户u,并采用二项式b模型进行二项式分形,计算两次文件传输之间的访问时间间隔∆t作为改进ON/OFF模型的主动OFF时间,将用户请求序列Ru重新组合为新的序列Ru’。该方法可以兼顾自相似性和多重分形性,从而准确地模拟真实的Web日志。
-
公开(公告)号:CN105279603A
公开(公告)日:2016-01-27
申请号:CN201510577285.X
申请日:2015-09-11
Applicant: 福建师范大学
Abstract: 本发明公开了一种可动态配置的大数据分析系统与方法,所述系统包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块,每一个模块中都设计了至少一个可进行动态配置管理的组件,如数据管理配置组件、实时流分析计算配置组件、离线分析计算配置组件、动态配置组件。本发明还提出了一种大数据分析系统的动态配置方法,设计了各组成模块的数据结构及消息结构,通过动态配置管理器中的警示数据结构的状态信息驱动系统的动态配置,提出了警示冗余度的计算方法及动态配置方法,通过上述方式,本发明能够使系统运行于一个高效率的大数据分析计算水平,有效地解决了大数据分析平台管理的优化过程。
-
公开(公告)号:CN105912456B
公开(公告)日:2019-01-22
申请号:CN201610305500.5
申请日:2016-05-10
Applicant: 福建师范大学
Abstract: 本发明涉及一种基于用户兴趣迁移的大数据集仿真生成方法,包括以下步骤:生成用户集合和Web文件集合,然后关联用户和Web文件形成原始请求序列R,将原始请求序列R变成由多个用户请求序列构成的用户集合,每个用户形成一个用户请求序列Ru,遍历每一个用户u,并基于用户兴趣的影响,将用户请求序列Ru重新组合为新的序列Ru’。该方法能够提高自相似性,从而较好的模拟真实Web日志。
-
公开(公告)号:CN105912456A
公开(公告)日:2016-08-31
申请号:CN201610305500.5
申请日:2016-05-10
Applicant: 福建师范大学
CPC classification number: G06F11/3457 , G06F17/30867
Abstract: 本发明涉及一种基于用户兴趣迁移的大数据集仿真生成方法,包括以下步骤:生成用户集合和Web文件集合,然后关联用户和Web文件形成原始请求序列R,将原始请求序列R变成由多个用户请求序列构成的用户集合,每个用户形成一个用户请求序列Ru,遍历每一个用户u,并基于用户兴趣的影响,将用户请求序列Ru重新组合为新的序列Ru’。该方法能够提高自相似性,从而较好的模拟真实Web日志。
-
-
-
-
-
-