可动态配置的大数据分析系统及方法

    公开(公告)号:CN105279603A

    公开(公告)日:2016-01-27

    申请号:CN201510577285.X

    申请日:2015-09-11

    Abstract: 本发明公开了一种可动态配置的大数据分析系统与方法,所述系统包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块,每一个模块中都设计了至少一个可进行动态配置管理的组件,如数据管理配置组件、实时流分析计算配置组件、离线分析计算配置组件、动态配置组件。本发明还提出了一种大数据分析系统的动态配置方法,设计了各组成模块的数据结构及消息结构,通过动态配置管理器中的警示数据结构的状态信息驱动系统的动态配置,提出了警示冗余度的计算方法及动态配置方法,通过上述方式,本发明能够使系统运行于一个高效率的大数据分析计算水平,有效地解决了大数据分析平台管理的优化过程。

    基于细粒度动态融合的深度多视图聚类方法

    公开(公告)号:CN119963864A

    公开(公告)日:2025-05-09

    申请号:CN202510029725.1

    申请日:2025-01-08

    Abstract: 本发明公开了基于细粒度动态融合的深度多视图聚类方法,方法为:获取多视图数据并为每个视图构建自动编码器网络,并计算自编码重构损失;将低级潜在特征映射得到微簇结构;基于动态平衡分配策略优化微簇结构并计算得到优化损失;对每个单视图进行聚类并计算获取单视图聚类的损失;进行自表示偏差融合学习并获取免私有信息干扰的自表示损失;计算获取偏差矩阵;使用多头自注意力机制结合偏差矩阵得到融合特征,并计算特征融合优化函数;构建整体优化损失函数,通过最小化整体优化损失函数进行聚类训练,得到最终的聚类结果。本发明综合考虑簇的大小、先验概率分布和距离,解决了异构性归属判定问题。

    异构数据集基于MIC的字段值优先连接方法

    公开(公告)号:CN106202486B

    公开(公告)日:2019-07-09

    申请号:CN201610569447.X

    申请日:2016-07-19

    Abstract: 本发明涉及一种异构数据集基于MIC字段值优先连接方法,包括以下步骤:拟合异构数据集SE分布的参数;计算字段A、B之间的MIC系数;生成字段A、B中所有值分别出现次数构成的集合StA和StB;建立集合StA、StB对应的累积分布函数PA(x)、PB(y);判断记录总条数l是否为0,是则转最后一步,否则转下一步;根据PA(x)计算得出字段A中对应字段值Ax;基于字段值优先连接模型计算得出字段B中对应字段值By;保存{Ax,By}作为一条记录;更新总条数l=l‑1,并返回步骤5;完成异构数据的所有连接。该方法有利于逼真模拟异构数据集,使连接的数据集保持合理的字段间的均衡性以及节点间的相似性。

    异构数据集基于MIC的字段值优先连接方法

    公开(公告)号:CN106202486A

    公开(公告)日:2016-12-07

    申请号:CN201610569447.X

    申请日:2016-07-19

    CPC classification number: G06F16/90

    Abstract: 本发明涉及一种异构数据集基于MIC字段值优先连接方法,包括以下步骤:拟合异构数据集SE分布的参数;计算字段A、B之间的MIC系数;生成字段A、B中所有值分别出现次数构成的集合StA和StB;建立集合StA、StB对应的累积分布函数PA(x)、PB(y);判断记录总条数l是否为0,是则转最后一步,否则转下一步;根据PA(x)计算得出字段A中对应字段值Ax;基于字段值优先连接模型计算得出字段B中对应字段值By;保存{Ax,By}作为一条记录;更新总条数l=l-1,并返回步骤5;完成异构数据的所有连接。该方法有利于逼真模拟异构数据集,使连接的数据集保持合理的字段间的均衡性以及节点间的相似性。

    可动态配置的大数据分析系统及方法

    公开(公告)号:CN105279603B

    公开(公告)日:2020-02-07

    申请号:CN201510577285.X

    申请日:2015-09-11

    Abstract: 本发明公开了一种可动态配置的大数据分析系统与方法,所述系统包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块,每一个模块中都设计了至少一个可进行动态配置管理的组件,如数据管理配置组件、实时流分析计算配置组件、离线分析计算配置组件、动态配置组件。本发明还提出了一种大数据分析系统的动态配置方法,设计了各组成模块的数据结构及消息结构,通过动态配置管理器中的警示数据结构的状态信息驱动系统的动态配置,提出了警示冗余度的计算方法及动态配置方法,通过上述方式,本发明能够使系统运行于一个高效率的大数据分析计算水平,有效地解决了大数据分析平台管理的优化过程。

    可动态配置的大数据分析系统

    公开(公告)号:CN110222923A

    公开(公告)日:2019-09-10

    申请号:CN201910332409.6

    申请日:2015-09-11

    Abstract: 本发明公开了一种可动态配置的大数据分析系统,所述系统包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块,每一个模块中都设计了至少一个可进行动态配置管理的组件,如数据管理配置组件、实时流分析计算配置组件、离线分析计算配置组件、动态配置组件。本发明还提出了一种大数据分析系统的动态配置方法,设计了各组成模块的数据结构及消息结构,通过动态配置管理器中的警示数据结构的状态信息驱动系统的动态配置,提出了警示冗余度的计算方法及动态配置方法,通过上述方式,本发明能够使系统运行于一个高效率的大数据分析计算水平,有效地解决了大数据分析平台管理的优化过程。

Patent Agency Ranking