一种对异构数据源统一处理的方法及系统

    公开(公告)号:CN109766352A

    公开(公告)日:2019-05-17

    申请号:CN201811379218.7

    申请日:2018-11-19

    Abstract: 本发明公开了一种对异构数据源统一处理的方法及系统,方法包括步骤:获取请求端数据;通过请求端数据获取用户信息并对用户进行鉴权;解析请求端数据,确定请求端数据的目标数据库;将请求端数据转换为目标数据库对应的方言;创建与目标数据库的连接并通过转换后的方言执行请求端数据并返回执行结果至请求端;系统包括数据获取模块、数据解析模块、权限配置模块、路由解析模块、语法转换模块及执行模块;本发明基于MySql二进制通信协议通信,通过将标准Sql语句转换成目标数据库方言,实现了以统一的Sql92标准语句为入口,操作不同种类数据库并返回数据,有效降低了跨数据库的异构数据源统一处理的实现成本和技术难度,提高了异构数据源统一处理的效率。

    一种时序数据处理方法
    22.
    发明授权

    公开(公告)号:CN109687875B

    公开(公告)日:2023-03-31

    申请号:CN201811384936.3

    申请日:2018-11-20

    Abstract: 本发明公开了一种时序数据处理方法,时序数据包括输出时间点和多个指标,方法包括以下步骤:提取输出时间点的多指标数据块;构建时间序列和指标序列的映射关系;提取指定时间窗口的时间序列和时间序列对应的多指标数据块聚合为字节数据流;压缩聚合后的字节数据流并输出;本发明通过将一个时间点的多指标时序数据,使用同一时间实现多指标数据块的聚合,从而减少多个时间存储消耗;以字节流方式进行数据压缩,避免指标类型的限制导致压缩算法的受限,同时,对于位存储的指标数据聚合也能有效减少指标数据的存储消耗;通过本发明的方法有效提高了时序数据的压缩处理效率,时序压缩比以及存储效率。

    分布式存储方法、装置、电子设备及存储介质

    公开(公告)号:CN109831540B

    公开(公告)日:2022-02-11

    申请号:CN201910297355.4

    申请日:2019-04-12

    Abstract: 本公开提供一种分布式存储方法、装置、电子设备及存储介质,涉及数据处理技术领域。本公开提供的分布式存储方法、装置、电子设备及存储介质,在接收客户端发送的数据写入请求信息后,根据数据写入请求信息,给请求写入的数据分配存储位置,并根据存储位置生成元数据以及写入反馈信息,在生成写入反馈信息和元数据后,将写入反馈信息发送至客户端,以使客户端根据写入反馈信息中所包括的存储位置信息,将请求写入的数据写入与存储位置信息对应的数据节点中,将元数据与虚拟地址进行关联并存储于分布式内存数据库中,从而改善了HDFS集群存储容量受到管理节点自身内存限制的问题。

    参数校验方法及装置
    24.
    发明授权

    公开(公告)号:CN110162309B

    公开(公告)日:2020-07-24

    申请号:CN201910451267.5

    申请日:2019-05-28

    Abstract: 本申请提供的参数校验方法及装置,应用于数据处理设备。该数据处理设备配置有Hbase数据库,其中,该Hbase数据库包括有对数据库操作指令的操作参数进行校验的Java代码片段,该Java代码片段中包括预设英文字符、符号字符以及中文字符的Unicode编码范围。通过该Java代码片段对获取到byte数组类型的数据库操作参数转换成char数组类型。依次获取char数组中的数据,转换成相应的整数,将该整数同Unicode编码范围进行比较,进而判断该操作是为合法字符。如此,使得用户可以直接通过中文建表,提高了用户体验。

    一种系统运维数据的采集分析方法、装置及系统

    公开(公告)号:CN111209179A

    公开(公告)日:2020-05-29

    申请号:CN202010324455.4

    申请日:2020-04-23

    Abstract: 本发明公开了一种系统运维数据的采集分析方法、装置及系统,通过建立系统WMI数据的决策树模型,使用建立好的决策树模型对采集到的系统的WMI数据进行分析。本系统将基于Windows管理规范WMI来采集Windows设备的数据,包括CPU性能,硬件设备信息,内存信息,服务信息,进程信息等数据,基于决策树模型,最后针对采集到的不同设备的数据进行建模,形成预测模型,根据预测模型的预测结果来判断被监控系统的运行状态。解决了现有的运维系统监控一般靠人为设定各个参数的阈值实现,设定的阈值范围一般也是根据经验得到,无法针对每个系统进行的调整以更加适应系统负载,灵活性较差的问题。

    资源库共享方法及分布式集群系统

    公开(公告)号:CN109995878A

    公开(公告)日:2019-07-09

    申请号:CN201910294068.8

    申请日:2019-04-12

    Abstract: 本发明提供了一种资源库共享方法及分布式集群系统,系统包括通信连接的部署终端、服务主机及多个节点主机,方法包括:部署终端响应用户的配置操作生成包括服务主机IP地址、各个节点主机IP地址及资源库路径的配置数据。部署终端将携带配置数据的配置请求发送给节点主机,以使节点主机根据配置请求进行资源库挂载操作,从而使各个节点主机能够访问存储在服务主机的资源库。部署终端为服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务,并为节点主机安装用于执行服务主机分发的任务的节点服务,以实现分布式集群系统的并发执行任务的能力。

    数据存储方法及装置
    27.
    发明公开

    公开(公告)号:CN109992531A

    公开(公告)日:2019-07-09

    申请号:CN201910301133.5

    申请日:2019-04-15

    Abstract: 本申请公开了一种数据存储方法及装置,能够在集群开启高可用的情况下,正常地进行数据存储。本申请应用于集群系统的管理端,其具体方案为:首先获取集群的集群标识以及所述集群中服务节点的访问地址,所述服务节点为该集群中当前执行操作的节点,并将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中;然后在需要存储数据的情况下,接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识,再根据目标集群的集群标识,从所述虚拟解析服务器中获取与所述目标集群对应的访问地址,最后根据所述访问地址存储数据。

    数据库访问方法、数据库访问装置和数据分析平台

    公开(公告)号:CN109684399A

    公开(公告)日:2019-04-26

    申请号:CN201811584025.5

    申请日:2018-12-24

    Abstract: 本申请提供的数据库访问方法、数据库访问装置和数据分析平台,涉及数据库访问技术领域。其中,数据库访问方法包括:生成一访问插件,其中,该访问插件能够适配与数据访问接口连接的关系型数据库;对数据分析平台的结构化数据处理组件进行修改;在需要对关系型数据库进行访问时,通过修改后的结构化数据处理组件创建关系型数据库的映射关系,并通过所述访问插件对所述关系型数据库进行访问。通过上述方法,可以改善现有技术中在对关系型数据库进行访问时因需要编写自定义代码而导致存在维护成本高的问题。

    数据处理方法及系统
    29.
    发明公开

    公开(公告)号:CN109684093A

    公开(公告)日:2019-04-26

    申请号:CN201811585365.X

    申请日:2018-12-24

    Abstract: 本申请实施例提供一种数据处理方法及系统。该方法包括:计算设备将接收到的数据获取请求中的目标数据表标识及目标数据特征发送给查询设备;查询设备根据存储的元数据库中的数据表的数据表标识及对应的计算设备标识,查询得到与目标数据表标识对应的目标计算设备标识,并将目标数据表标识及目标数据特征发送给与目标计算设备标识对应的目标计算设备,以经目标计算设备获得目标位置信息;计算设备根据由查询设备发送的目标位置信息从对应的目标存储设备处获得目标数据,并将根据数据获取请求对目标数据进行处理后得到的处理结果发送请求设备。由此,通过将计算资源及存储资源分离,可保证计算任务按照正常进度进行。

    一种基于内存数据库的数据存储方法及装置

    公开(公告)号:CN111767289A

    公开(公告)日:2020-10-13

    申请号:CN202010909904.1

    申请日:2020-09-02

    Abstract: 本发明公开了一种基于内存数据库的数据存储方法及装置,主要解决现有技术中存在的现有内存数据库数据查询时,需要在内存中筛选需要的数据,读取出很多无用的数据,造成读放大,浪费资源的问题。该一种基于内存数据库的数据存储方法包括以下步骤:按设定列数量将数据分块后存储;建立多级索引,各级索引内均建立反向索引。通过上述方案,本发明达到了避免无用数据的检索,减小读放大,减少内存消耗的目的,具有很高的实用价值和推广价值。

Patent Agency Ranking