一种基于RK(Redis and Kafka)的实时高效缓存机制

    公开(公告)号:CN109857739A

    公开(公告)日:2019-06-07

    申请号:CN201910072758.9

    申请日:2019-01-28

    Abstract: 本发明提出了本发明提出了一种基于RK(Redis and Kafka)的实时高效缓存机制,结合Redis数据库的高效缓存性能与Kafka高吞吐量的实时消息队列特性,设计实时高效缓存机制。利用Kafka消息队列的拓扑结构,配合多终端并行服务机制,实现请求合理资源分配。针对写入请求所附带的数据更新,首先缓存到Redis,然后协调写入后台HBase数据库,保证数据的同步性、持久化。缓存在Redis的数据,在接收到Kafka的请求后将缓存数据发送服务端给与回复。保证了各平台数据缓存的协调同步、平台各事务的快速调度,提升了平台整体执行效率。

    一种基于CPU/GPU异构环境的协同并行化机制

    公开(公告)号:CN109857560A

    公开(公告)日:2019-06-07

    申请号:CN201910082779.9

    申请日:2019-01-28

    Abstract: 本发明提出了一种基于CPU/GPU异构环境的协同并行化机制,实现在大数据计算和处理时将其速度大大提高。一方面CPU向GPU提供数据并接受GPU传回的数据,管理GPU的工作;另一方面CPU和GPU协同并行完成计算任务,通过设置阈值的方式,比较此不同任务对CPU和GPU资源的不同请求,分别计算出在使用CPU和使用GPU的情况下此任务下能被容纳个数,选择出能容纳最多个数的处理器。这种根据节点的负载情况合理选择CPU或者GPU的方式,将目前大数据的计算和处理速度大大提高。

    一种基于混合小波神经网络的工业设备故障诊断方法

    公开(公告)号:CN110727256A

    公开(公告)日:2020-01-24

    申请号:CN201910261241.4

    申请日:2019-04-01

    Abstract: 本发明提出了一种基于混合小波神经网络的工业设备故障诊断方法,以音频信号作为故障信息的载体输入到Mixed-BPWNN模型,得到音频信号中的中所包含的故障信息。其核心方法包括两个方面:一方面对采集的音频信号进行小波分析,另一方面将传统网络模型中隐含层的激活函数用小波函数替代。该方法充分继承了小波变换良好的时频局部化性质及神经网络的自学习功能的特点,保留了全局最优解和局部细节最优解的优势,大大提高了网络模型对音频数据的处理能力和对故障诊断的精确度。

    一种基于HBase的实时动态数据管理系统

    公开(公告)号:CN109582643A

    公开(公告)日:2019-04-05

    申请号:CN201811385057.2

    申请日:2018-11-20

    Abstract: 本发明提出一种基于HBase的实时动态数据管理系统,包括数据的读取优化、复合索引机制以及并行查询优化。该发明设计基于HDFS和HBase的持久化数据存储机制,解决多结构数据海量存储问题;基于HBase表结构设计复合索引存储模型,实现索引缓存地址的映射管理以及缓存数据存储的索引表设计;基于多源缓冲区结构对数据进行队列划分,实现并行存储,并结合一致性哈希算法、多线程技术、行键优化设计等策略缓解海量数据并发写入压力;基于HBase查询实执行模块与多线技术,设计多查询并行机制,提高查询速度。该发明的基于HBase的实时动态数据管理系统有效提升数据写入与读取性能,解决多结构化数据海量存储,满足高动态、实时性的环境需求。

    一种基于模糊神经网络的工业故障分析系统

    公开(公告)号:CN110705812A

    公开(公告)日:2020-01-17

    申请号:CN201910303394.0

    申请日:2019-04-15

    Inventor: 于强 张卫山 房凯

    Abstract: 本发明提出了一种基于模糊神经网络(Fuzzy network-FNN)的工业故障分析系统,包括以下步骤:获取领域内专家经验知识、数据库中所记载的历史故障数据以及相应故障模式解释,并进行数据预处理消除异常和补全缺失值;接下来进行知识数据模糊化;更新解释器,为新增工业故障模式增加相应故障解释;使用模糊化后的数据训练神经网络,动态更新神经网络连接权值;基于神经网络正向推理方法对工业故障进行诊断分析,高效准确的判断数据或设备异常。

    一种基于知识图谱的工业故障分析专家系统

    公开(公告)号:CN110705710A

    公开(公告)日:2020-01-17

    申请号:CN201910310886.2

    申请日:2019-04-17

    Inventor: 于强 张卫山 房凯

    Abstract: 本发明提出了一种基于知识图谱(Knowledge Graph)的工业故障分析专家系统,包括以下步骤:专家经验知识获取以及预处理消除异常和补全缺失值;接下来进行知识数据模糊化,并以此运用语义网技术以及图计算引擎构建工业故障分析领域知识图谱;通过图谱动态自优化过程保证知识图谱结构的精简高效,提高计算效率;基于模糊推理方法对工业故障进行诊断分析,高效准确的判断数据或设备异常。

    一种基于Storm的工业信令数据流式计算框架

    公开(公告)号:CN109902107A

    公开(公告)日:2019-06-18

    申请号:CN201910078394.5

    申请日:2019-01-28

    Abstract: 本发明提出一种基于Storm的工业信令数据流式计算框架。由于当前工业大数据规模大、类型杂、质量低的难点以及挖掘流数据时的复杂方式,设计一种在执行数据挖掘算法时合理利用有限内存,从而一次性获得更多数据的框架。为了从以流形式存在的工业信令数据中挖掘有价值的信息,利用Storm对实时数据流进行挖掘。针对不同的实时数据挖掘任务,可能会用到同一类数据源,本发明中通过Kafka消息中间件,实现不同Topology的Spout共享数据源,保证消息可靠传输、消息回传等。该发明的基于Storm的工业信令数据流式计算框架,能有效提升工业信令数据挖掘过程中信息提取的有效性、高效性,改变工业大数据类型杂、质量低的现状,满足智能工业生产发展需求。

    一种基于深度置信网的数据流系统资源预测机制

    公开(公告)号:CN109871278A

    公开(公告)日:2019-06-11

    申请号:CN201910080222.1

    申请日:2019-01-28

    Abstract: 本发明提出一种基于深度置信网(DBN)的数据流系统资源预测机制,采用无监督的深度学习,以DBN为基础,进行时间序列分析来实现。该机制分为两个阶段,数据预处理和模型训练阶段:数据预处理阶段主要采取平滑的方法对数据进行预处理,从原始的时间序列数据生成一个差分变换以消除数据中的线性因素;模型训练阶段由两层RBMs构成的DBN网络模型对数据进行拟合训练,然后对节点负载做预测分析。该发明的深度学习机制,提供短期负载情况和长期负载情况的预测,可在提交计算任务时全面了解系统的状态。

    一种基于PSO算法的DBN模型优化方法

    公开(公告)号:CN109871935A

    公开(公告)日:2019-06-11

    申请号:CN201910078391.1

    申请日:2019-01-28

    Abstract: 本发明提出一种基于PSO算法的DBN模型优化方法。DBNs是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(Observation|Label)和P(Label|Observation)都做了评估,而判别模型仅仅而已评估了后者,也就是P(Label|Observation)。DBNs由多个限制玻尔兹曼机(Restricted Boltzmann Machines)层组成,一个典型的神经网络类型如图所示。这些网络被“限制”为一个可视层和一个隐层,层间存在连接,但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。为了使DBN模型预测更加精准,需要对DBN进行调优,包括层的个数、每一层的单元个数、学习率等。因此提出一种基于PSO算法的DBN模型优化方法,采用并行PSO(Particle Swarm Optimization)算法去寻找输入层和隐层的最优单元数目和RBM最优学习率,并在Spark平台上基于MapReduce的原理进行并行。

Patent Agency Ranking