-
公开(公告)号:CN116610327A
公开(公告)日:2023-08-18
申请号:CN202310341273.1
申请日:2023-03-31
Applicant: 河钢数字技术股份有限公司
Abstract: 本发明提供一种大数据集群部署方法、装置、电子设备及存储介质。该方法包括确定待部署的目标组件。监测多个节点的各资源的实时使用率。查询预设权重表获得各类型资源对目标组件的影响权重,其中影响权重用于表示目标组件对该类型硬件配置资源的需求程度。基于各类型硬件配置资源对目标组件的影响权重,获得目标组件在各节点的负载分值。基于目标组件在各节点的负载分值,将目标组件部署在负载分值最低的节点上。本发明能够通过基于组件对各类型资源的需求权重计算目标组件在各节点的负载分值,并将目标组件部署在负载分值最低的节点上,避免较多服务集中在某一个节点上,造成该节点资源紧张而其他节点资源空闲,提升了大数据集群资源利用率。
-
公开(公告)号:CN116452547A
公开(公告)日:2023-07-18
申请号:CN202310429197.X
申请日:2023-04-20
Applicant: 河钢数字技术股份有限公司 , 青岛河钢新材料科技股份有限公司
IPC: G06T7/00 , G06N3/0464 , G06N3/088 , G06V10/764
Abstract: 本申请适用于彩涂板检测技术领域,提供了一种基于无监督学习的彩涂板表面缺陷检测方法和装置。该方法包括:通过线阵相机采集彩涂板的待识别图像;从所述待识别图像中提取有效区域,通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型;根据所述彩涂板花纹类型和所述有效区域,利用缺陷检测模型进行彩涂板缺陷检测,输出缺陷区域坐标;基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域,将所述缺陷区域输入缺陷类型分类分级模型,得到彩涂板的缺陷类型和级别。本申请相较于传统基于图像特征如边缘提取等方法,具有较强的抗干扰能力和较高的缺陷检出率。
-
公开(公告)号:CN116126303A
公开(公告)日:2023-05-16
申请号:CN202310138677.0
申请日:2023-02-20
Applicant: 河钢数字技术股份有限公司
Abstract: 本发明提供基于切面编程的自动补偿方法、设备及存储介质,该方法包括:响应于目标切点的应用请求,触发目标任务;其中,目标任务是与目标切点相对应的任务,目标切点为基于切面编程在项目中设置的多个预设切点中的任意一个切点,目标切点的参数至少包括补偿次数阈值和补偿时间间隔集合;在目标任务的执行结果显示为失败时,基于补偿时间间隔集合和补偿执行次数,自动触发目标任务。本发明可以通过在与目标任务对应的目标切点中预先定义了补偿次数阈值和补偿时间间隔集合,当捕获到执行结果为失败时,即可自动对目标任务进行重试或补偿,不会对目标任务有侵入,提高了处理的灵活性。
-
公开(公告)号:CN115034326A
公开(公告)日:2022-09-09
申请号:CN202210710798.3
申请日:2022-06-22
Applicant: 河钢数字技术股份有限公司
Abstract: 本发明公开了一种基于多任务增益回归的废钢异物扣重学习方法,采用MTSN预测模型,并采用Embedding模块实现数据连续向量表示,采用层级条件下的多层感知网络实现数据学习,分别生成认知数据损失度量和离散废钢等级数据的损失度量,最后采用MTL多任务自动学习权重机制,关注相关性大的变量,弱化相关性小的变量,实现自动调节权重系数;本发明中的多层级回归网络,根据数据类型的不同,分别训练,对具有不确定性影响力的数据,单独计算特征影响因子,提高数据的表征能力,能够解决数据表征能力差的问题;本发明中的数据增益网络,初始化权重,计算数据预测参数,迭代训练,转化权重系数为增益系数。
-
公开(公告)号:CN115016906A
公开(公告)日:2022-09-06
申请号:CN202210422612.4
申请日:2022-04-21
Applicant: 河钢数字技术股份有限公司
IPC: G06F9/48
Abstract: 本发明涉及工作流技术领域,具体为一种基于工作流任务的数据治理方法及系统,包括zookeeper框架、netty框架、quartz框架和多线程模块,所述执行流程包括以下步骤:创建保存工作流并将任务保存至关系型数据库中;多个主节点抢夺分布式锁,其中一个主节点的扫描线程获取所需执行的工作流;主节点拆分工作流为不同小任务,通过所述netty框架提交给从节点;从节点执行任务,完成后通过所述netty框架将执行结果返回主节点,由主节点将结果保存;对定时运行的任务,主节点扫描后将任务提交给所述quartz框架,自动运行相应工作流。本发明采用zookeeper,netty,quartz框架,可通过拖拽可视形式化配置任务,实时监控数据治理任务的运行状态,配置数据治理任务定时调度运行。
-
公开(公告)号:CN114926442A
公开(公告)日:2022-08-19
申请号:CN202210588982.5
申请日:2022-05-26
Applicant: 河钢数字技术股份有限公司 , 山东大学 , 青岛海尔智能技术研发有限公司
IPC: G06T7/00 , G06N3/04 , G06N3/08 , G06K9/62 , G06V10/764
Abstract: 本发明公开了一种基于视觉感知的钢卷层数检测方法,涉及钢卷层数检测技术领域。该基于视觉感知的钢卷层数检测方法,所述步骤二中在Non‑local算子的公式中,响应值是通过计算不同区域之间的关系得到,而在在非局部关系建模中,是通过赋予每个成对的局部关系一个可学习的权重,利用钢厂现场摄像头中产生的图片标注产生用于微调模型的特定场景数据集,同时在模型训练的阶段,利用Grad‑CAM来对不同的特征图的重要性差异进行建模,从而在训练分类器的同时,还可以关注到影响分类结果的关键区域以能够地进一步提升分类精度。这不仅在一定程度上增加了深度学习模型对于工作人员的透明度和友好程度,也解放了钢厂工作人员的劳动力。
-
公开(公告)号:CN114880343A
公开(公告)日:2022-08-09
申请号:CN202210483036.4
申请日:2022-05-05
Applicant: 河钢数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455 , G06F16/27 , G06F9/54
Abstract: 本发明公开了一种优化维度组合的多维分析方法和系统,涉及多维数据分析技术领域。该优化维度组合的多维分析方法和系统,数据源模块支持导入Hive数据和Kafka消息队列,并对外提供Restful风格的接口方便调用;构建预处理cube模块时,提供可视化的客户端界面,用户可以自行选择维度、度量来构建符合自身需求;构建cube中提供了高级可选项,其中包含衍生维度的选择,聚合组的添加,必须维度的确定,层级制度及联合维度的设定;计算模块中提供MapReduce计算引擎和Spark计算引擎灵活处理不同情况。
-
公开(公告)号:CN114757935A
公开(公告)日:2022-07-15
申请号:CN202210482010.8
申请日:2022-05-05
Applicant: 河钢数字技术股份有限公司 , 山东大学 , 青岛海尔智能技术研发有限公司
IPC: G06T7/00 , G06T7/11 , G06T7/12 , G06N3/08 , G06N3/04 , G06K9/62 , G06V10/44 , G06V10/82 , G06V10/764
Abstract: 本发明公开了一种钢铁冷轧退火炉元器件多目标自动测温与预警方法,涉及金属冶炼技术领域,包括以下步骤:采集退火炉关键元器件图像数据、退火炉元器件目标检测算法开发、退火炉元器件图像语义分割算法开发和分析各个元器件的历史温度,设计温度异常检测算法。基于红外热成像摄像头和人工智能技术相结合的自动温度监测系统,并采用基于机器视觉技术的目标检测和图像语义分割算法,获得实时设备元器件图像。在获取现场实测数据的基础上,基于红外热成像摄像头获取关键元器件的实时温度数据,并开发温度异常检测算法,从而判断设备的运行状态并及时对设备异常进行预警。
-
公开(公告)号:CN114567657A
公开(公告)日:2022-05-31
申请号:CN202210232609.6
申请日:2022-03-10
Applicant: 河钢数字技术股份有限公司
IPC: H04L67/12 , H04L67/55 , H04L67/56 , H04L41/0604 , H04L41/0631
Abstract: 本发明公开了一种用于钢铁冶炼产线上的实时报警方法,包括如下步骤:设备上报数据通过MQTT协议传输至物联网平台的MQTT BROKER消息代理服务中间件;MQTT BROKER将接收到的设备数据直接推送至消息队列Kafka,通过消息队列Kafka将报警服务与其它服务解耦;规则引擎从Kafka中获取设备数据后,根据设备唯一标志符,从非关系型数据库Redis中按照业务需求获取预设的相应报警规则,匹配触发报警条件的数据阈值;规则引擎对设备数据进行处理,处于正常值域的设备数据直接跳过,数据处理后触发的报警生成报警通知并发送。本发明降低了服务器压力、数据存储压力、网络流量压力,提高了报警通知的实时性。
-
公开(公告)号:CN114546348A
公开(公告)日:2022-05-27
申请号:CN202210251893.1
申请日:2022-03-15
Applicant: 河钢数字技术股份有限公司
Abstract: 本发明涉及调度系统技术领域,具体为一种全流程支持拖拉拽的自动化分布式任务流调度系统,包括GG‑editor绘图框架、Activiti工作流框架、Quartz分布式定时调度框架;其中,Activiti工作流框架和Quartz分布式定时调度框架实现自动化分布式任务流调度;所述Activiti工作流框架实现复杂业务场景的任务流自定义配置;所述Quartz分布式定时调度框架实现该任务流的分布式调度;所述GG‑editor绘图框架实现可视化拖拽,工作流流程图的设计。本发明通过Activiti框架和Quartz框架,适用于复杂业务场景工作流设计,可视化拖拽组件简单灵活,支持大批量数据采集,每天可支持TB级数据量采集,每天采集数据可达亿条,支持复杂的任务流调度,任务流调度响应时间 =95%。
-
-
-
-
-
-
-
-
-