一种基于大数据的存储计算平台
    11.
    发明公开

    公开(公告)号:CN117453677A

    公开(公告)日:2024-01-26

    申请号:CN202311607734.1

    申请日:2023-11-27

    Abstract: 本申请揭示了一种基于大数据的存储计算平台,包括数据源管理层、数据资源池、数据处理层以及数据服务层。数据管理层负责接入和采集数据,数据资源池进行数据感知分类,数据处理层将接入的数据分类为结构化、非结构化和半结构化,并进行离线和实时数据处理。实时数据处理使用Flink计算引擎,数据处理层包括数据源组件、数据ETL组件和数据输出组件,数据源组件采集Kafka消息队列数据,数据ELT组件使用可自定义的FlinkSQL,数据输出组件以Hbase为数据仓库。数据处理层还包括数据检测单元,用于异常检测,包括数据加载模块、数据时间序列化模块和神经网络模块,神经网络模块配置有目标卷积神经网络模型,该模型中包含L2正则化项和Dropout项,这两项位于同一层或不同层。

    一种改进矩阵分解和谱聚类的协同过滤算法

    公开(公告)号:CN113722587A

    公开(公告)日:2021-11-30

    申请号:CN202110921385.5

    申请日:2021-08-11

    Abstract: 本发明公开了一种改进矩阵分解和谱聚类的协同过滤算法。该算法首先通过抑制物品流行度和用户活跃度优化的相似度计算融合入最小二乘法(ALS),以减少矩阵分解时因子信息的丢失,然后结合流行学习的谱聚类算法弥补ALS算法后期的协同过滤阶段产生大计算量问题,同时获得全局最优解以提高聚类所得目标用户最近邻居的准确率,进而提高协同过滤推荐精度,最后利用Movielens数据集进行实验。实验结果表明,改进的算法可以有效降低协同过滤算法的平均绝对误差和均方根误差,提高准确率,拥有更优的性能。

    一种基于人工智能及指标模型的实时舆情评估系统及方法

    公开(公告)号:CN118012905A

    公开(公告)日:2024-05-10

    申请号:CN202311585016.9

    申请日:2023-11-24

    Abstract: 一种基于人工智能及指标模型的实时舆情评估系统及方法,涉及人工智能技术领域,解决现有技术对指标参数无法实现动态调整及实时计算,导致工作量大以及人工成本高;同时对于重大舆情事件存在处理不及时等问题,本方法通过配置需监管媒体信息,采集监管媒体的数据并发布至Kafka消息中间件,开发指标管理服务并设计舆情评估指标模型及指标项分数,开发Flink的算法算子并接入人工智能审核算法,消费Kafka中新闻数据并开展指标项实时计算,基于指标计算结果评估监管媒体并对危险内容实时预警等。本发明方法对不合规新闻的实时发现、实时预警,评估结果为高危险的媒体,实时推送通知相关责任人。

    跨域数据协同管理方法及装置
    14.
    发明公开

    公开(公告)号:CN115987676A

    公开(公告)日:2023-04-18

    申请号:CN202211738700.1

    申请日:2022-12-31

    Abstract: 本发明公开了一种跨域数据协同管理方法及装置,该方法包括:设置与第一网络和第二网络连接的摆渡服务器,在所述摆渡服务器上集成任务调度工具和数据传输工具,所述数据传输工具集成有加密算法,在所述摆渡服务器上设置可交互的数据源,所述数据源包括第一网络数据源和第二网络数据源;所述第一网络和所述第二网络为不同安全级别的网络;利用所述任务调度工具和数据传输工具,对所述数据源的数据进行跨域交互和/或跨域共享。利用本发明方案,可以在保障数据安全的前提下,实现不同网络与不同安全域之间的数据交换,提高数据交换效率,降低资源消耗。

    一种基于高斯混合模型的智能电表误差分析方法

    公开(公告)号:CN113722984A

    公开(公告)日:2021-11-30

    申请号:CN202110921384.0

    申请日:2021-08-11

    Abstract: 本发明公开了一种基于高斯混合模型的智能电表误差分析方法。该方法首先分析了高斯混合模型与EM算法的基本思路,然后建立了以高斯混合的智能电表误差数据模型,在模型中考虑了对于数据的预处理:三次检测智能电表得到的误差数据进行求标准误差,针对数据的离散特征进数字编码化,对数据进行标准化处理。进一步,以一组智能电表误差数据为例,阐述了基于高斯混合模型的智能电表误差数据挖掘与分析方法,分析结果表明所提出的方法能够用于在大量的数据中寻找误差最小的智能电表,并能够给智能电表厂家反馈产品意见,同时还具有产品市场划分等功能。

Patent Agency Ranking