公开(公告)号：CN116610327A

公开(公告)日：2023-08-18

申请号：CN202310341273.1

申请日：2023-03-31

Applicant: 河钢数字技术股份有限公司

Inventor： 李玉涛 ,  王磊 ,  黎荣华 ,  陈云朋 ,  王钾 ,  马甜 ,  张韶 ,  杨辉

IPC: G06F8/60 ,  G06F11/34 ,  G06F9/50 ,  G06N5/01 ,  G06N20/20 ,  G06N3/0442

Abstract: 本发明提供一种大数据集群部署方法、装置、电子设备及存储介质。该方法包括确定待部署的目标组件。监测多个节点的各资源的实时使用率。查询预设权重表获得各类型资源对目标组件的影响权重，其中影响权重用于表示目标组件对该类型硬件配置资源的需求程度。基于各类型硬件配置资源对目标组件的影响权重，获得目标组件在各节点的负载分值。基于目标组件在各节点的负载分值，将目标组件部署在负载分值最低的节点上。本发明能够通过基于组件对各类型资源的需求权重计算目标组件在各节点的负载分值，并将目标组件部署在负载分值最低的节点上，避免较多服务集中在某一个节点上，造成该节点资源紧张而其他节点资源空闲，提升了大数据集群资源利用率。

公开(公告)号：CN119066247A

公开(公告)日：2024-12-03

申请号：CN202411094436.1

申请日：2024-08-09

Applicant: 河钢数字技术股份有限公司

Inventor： 张瑞华 ,  郝亮 ,  王钾 ,  孙彦永 ,  陈云朋 ,  李玉涛 ,  张楠

IPC: G06F16/951 ,  G06F16/9535 ,  G06F16/9538 ,  G06F16/31 ,  G06F16/35 ,  G06F40/284 ,  G06F16/182 ,  G06F16/11 ,  H04L67/02 ,  H04L67/10 ,  H04L67/1097

Abstract: 本发明公开了一种数据源管理方法，涉及数据管理技术领域，该数据源管理方法，包括以下步骤：第一步：预处理器预处理请求，解析元数据信息，包含集群名称，连接方式，构建Elasticsearch客户端；第二步：导入velocity模板引擎，通过转换器将请求解析换传成与之对应的消息体。构建请求参数；第三步：导入httpclient模块，通过http请求访问与之对应的Elasticsearch集群，拿到返回结果，通过解析器统一处理结果，返回数据；兼容多个版本Elasticsearch集群的多数据源管理系统。在预处理器和转换器下，结合velocity模板引擎生成对应不同版本的请求消息体，再通过https/http和与之相应的Elasticsearch交互，解析器统一处理返回。在以此为核心的前提下，简化了Elasticsearch集群的操作难度，实现了索引管理，数据流归档查询，数据归档等功能。