一种大数据集群部署方法、装置、电子设备及存储介质

    公开(公告)号:CN116610327A

    公开(公告)日:2023-08-18

    申请号:CN202310341273.1

    申请日:2023-03-31

    Abstract: 本发明提供一种大数据集群部署方法、装置、电子设备及存储介质。该方法包括确定待部署的目标组件。监测多个节点的各资源的实时使用率。查询预设权重表获得各类型资源对目标组件的影响权重,其中影响权重用于表示目标组件对该类型硬件配置资源的需求程度。基于各类型硬件配置资源对目标组件的影响权重,获得目标组件在各节点的负载分值。基于目标组件在各节点的负载分值,将目标组件部署在负载分值最低的节点上。本发明能够通过基于组件对各类型资源的需求权重计算目标组件在各节点的负载分值,并将目标组件部署在负载分值最低的节点上,避免较多服务集中在某一个节点上,造成该节点资源紧张而其他节点资源空闲,提升了大数据集群资源利用率。

    基于切面编程的自动补偿方法、设备及存储介质

    公开(公告)号:CN116126303A

    公开(公告)日:2023-05-16

    申请号:CN202310138677.0

    申请日:2023-02-20

    Abstract: 本发明提供基于切面编程的自动补偿方法、设备及存储介质,该方法包括:响应于目标切点的应用请求,触发目标任务;其中,目标任务是与目标切点相对应的任务,目标切点为基于切面编程在项目中设置的多个预设切点中的任意一个切点,目标切点的参数至少包括补偿次数阈值和补偿时间间隔集合;在目标任务的执行结果显示为失败时,基于补偿时间间隔集合和补偿执行次数,自动触发目标任务。本发明可以通过在与目标任务对应的目标切点中预先定义了补偿次数阈值和补偿时间间隔集合,当捕获到执行结果为失败时,即可自动对目标任务进行重试或补偿,不会对目标任务有侵入,提高了处理的灵活性。

    一种基于多任务增益回归的废钢异物扣重学习方法

    公开(公告)号:CN115034326A

    公开(公告)日:2022-09-09

    申请号:CN202210710798.3

    申请日:2022-06-22

    Abstract: 本发明公开了一种基于多任务增益回归的废钢异物扣重学习方法,采用MTSN预测模型,并采用Embedding模块实现数据连续向量表示,采用层级条件下的多层感知网络实现数据学习,分别生成认知数据损失度量和离散废钢等级数据的损失度量,最后采用MTL多任务自动学习权重机制,关注相关性大的变量,弱化相关性小的变量,实现自动调节权重系数;本发明中的多层级回归网络,根据数据类型的不同,分别训练,对具有不确定性影响力的数据,单独计算特征影响因子,提高数据的表征能力,能够解决数据表征能力差的问题;本发明中的数据增益网络,初始化权重,计算数据预测参数,迭代训练,转化权重系数为增益系数。

    一种基于工作流任务的数据治理方法及系统

    公开(公告)号:CN115016906A

    公开(公告)日:2022-09-06

    申请号:CN202210422612.4

    申请日:2022-04-21

    Abstract: 本发明涉及工作流技术领域,具体为一种基于工作流任务的数据治理方法及系统,包括zookeeper框架、netty框架、quartz框架和多线程模块,所述执行流程包括以下步骤:创建保存工作流并将任务保存至关系型数据库中;多个主节点抢夺分布式锁,其中一个主节点的扫描线程获取所需执行的工作流;主节点拆分工作流为不同小任务,通过所述netty框架提交给从节点;从节点执行任务,完成后通过所述netty框架将执行结果返回主节点,由主节点将结果保存;对定时运行的任务,主节点扫描后将任务提交给所述quartz框架,自动运行相应工作流。本发明采用zookeeper,netty,quartz框架,可通过拖拽可视形式化配置任务,实时监控数据治理任务的运行状态,配置数据治理任务定时调度运行。

    一种优化维度组合的多维分析方法和系统

    公开(公告)号:CN114880343A

    公开(公告)日:2022-08-09

    申请号:CN202210483036.4

    申请日:2022-05-05

    Abstract: 本发明公开了一种优化维度组合的多维分析方法和系统,涉及多维数据分析技术领域。该优化维度组合的多维分析方法和系统,数据源模块支持导入Hive数据和Kafka消息队列,并对外提供Restful风格的接口方便调用;构建预处理cube模块时,提供可视化的客户端界面,用户可以自行选择维度、度量来构建符合自身需求;构建cube中提供了高级可选项,其中包含衍生维度的选择,聚合组的添加,必须维度的确定,层级制度及联合维度的设定;计算模块中提供MapReduce计算引擎和Spark计算引擎灵活处理不同情况。

    一种用于钢铁冶炼产线上的实时报警方法

    公开(公告)号:CN114567657A

    公开(公告)日:2022-05-31

    申请号:CN202210232609.6

    申请日:2022-03-10

    Abstract: 本发明公开了一种用于钢铁冶炼产线上的实时报警方法,包括如下步骤:设备上报数据通过MQTT协议传输至物联网平台的MQTT BROKER消息代理服务中间件;MQTT BROKER将接收到的设备数据直接推送至消息队列Kafka,通过消息队列Kafka将报警服务与其它服务解耦;规则引擎从Kafka中获取设备数据后,根据设备唯一标志符,从非关系型数据库Redis中按照业务需求获取预设的相应报警规则,匹配触发报警条件的数据阈值;规则引擎对设备数据进行处理,处于正常值域的设备数据直接跳过,数据处理后触发的报警生成报警通知并发送。本发明降低了服务器压力、数据存储压力、网络流量压力,提高了报警通知的实时性。

    一种全流程支持拖拉拽的自动化分布式任务流调度系统

    公开(公告)号:CN114546348A

    公开(公告)日:2022-05-27

    申请号:CN202210251893.1

    申请日:2022-03-15

    Abstract: 本发明涉及调度系统技术领域,具体为一种全流程支持拖拉拽的自动化分布式任务流调度系统,包括GG‑editor绘图框架、Activiti工作流框架、Quartz分布式定时调度框架;其中,Activiti工作流框架和Quartz分布式定时调度框架实现自动化分布式任务流调度;所述Activiti工作流框架实现复杂业务场景的任务流自定义配置;所述Quartz分布式定时调度框架实现该任务流的分布式调度;所述GG‑editor绘图框架实现可视化拖拽,工作流流程图的设计。本发明通过Activiti框架和Quartz框架,适用于复杂业务场景工作流设计,可视化拖拽组件简单灵活,支持大批量数据采集,每天可支持TB级数据量采集,每天采集数据可达亿条,支持复杂的任务流调度,任务流调度响应时间 =95%。

Patent Agency Ranking