一种子图规模预测和分布式训练方法、装置及电子设备

    公开(公告)号:CN112990332B

    公开(公告)日:2023-06-02

    申请号:CN202110328443.3

    申请日:2021-03-26

    Abstract: 本申请实施例提供了一种子图规模预测和分布式训练方法、装置及电子设备,获取图的节点个数、平均度及子图个数,并根据节点个数、平均度及子图个数,利用预测模型,获得子图平均节点数;若子图平均节点数超过计算单元可承载的节点数上限,则调整子图个数,并返回执行根据节点个数、平均度及子图个数,利用预测模型,获得子图平均节点数的步骤;若子图平均节点数不超过节点数上限,则确定包括当前的子图个数和子图平均节点数的子图规模预测结果。通过本方案,增加了计算单元可处理子图的可能性,从而在一定程度上保证了计算单元可对子图进行正常处理。

    一种数据查询方法、装置及系统
    22.
    发明公开

    公开(公告)号:CN114064730A

    公开(公告)日:2022-02-18

    申请号:CN202111406883.2

    申请日:2021-11-24

    Abstract: 本申请实施例提供了一种数据查询方法、装置及系统,涉及数据处理技术领域,包括:获得查询语句;获得随机数值,利用预设密钥中的公钥对随机数值进行加密,得到加密数值;向服务端发送查询语句与加密数值,服务端用于:利用私钥对加密数值进行解密,得到随机数值,并利用比较算法查询符合查询条件的数据,得到数值型的数据查询结果,采用随机数值对数据查询结果进行异或运算,得到运算结果,向客户端发送运算结果;接收运算结果,采用随机数值对运算结果进行异或运算,得到数据查询结果。应用本申请实施例提供的方案,能够在保证数据安全的情况下提高数据查询效率。

    一种基于图表征的机器学习方法及系统

    公开(公告)号:CN112784996A

    公开(公告)日:2021-05-11

    申请号:CN202011637601.5

    申请日:2020-12-31

    Abstract: 本发明实施例提供了一种基于图表征的机器学习方法及系统。其中,所述方法包括:所述第一设备通过所述机器学习框架对原始数据进行预处理;所述第一设备控制所述机器学习框架将经过预处理得到的处理后数据经由所述第一套接字和所述第二套接字传输至所述图表征框架;所述第二设备通过所述图表征框架对所述处理后数据进行图表征处理;所述第二设备控制所述图表征框架将经过图表征处理得到的图表征经由所述第二套接字和所述第一套接子传输至所述机器学习框架;所述第一设备控制所述机器学习框架基于所述图表征对所述原始数据所属对象进行处理。可以提高机器学习中算法模型的性能。

    一种基于数据湖的数据管理系统及方法

    公开(公告)号:CN112307122A

    公开(公告)日:2021-02-02

    申请号:CN202011193306.5

    申请日:2020-10-30

    Abstract: 本发明实施例提供了一种基于数据湖的数据管理系统及方法,涉及大数据技术领域。该系统包括:多个计算引擎、多个数据源以及虚拟引擎装置;每个计算引擎,用于向虚拟引擎装置发送数据访问请求和待访问的数据源的标识信息,并接收虚拟引擎装置反馈的与数据访问请求对应的响应结果;虚拟引擎装置,用于向具有标识信息的数据源发送数据访问请求;以及,将具有标识信息的数据源反馈的响应结果,反馈至发出数据访问请求的计算引擎;每个数据源,用于确定数据访问请求对应的响应结果,并将所确定的响应结果反馈给虚拟引擎装置。与现有技术相比,应用本发明实施例提供的方案,可以实现减少基于数据湖的数据管理系统构建过程中的重复开发工作。

    一种数据存储、更新和查询方法及装置

    公开(公告)号:CN108614818B

    公开(公告)日:2020-12-25

    申请号:CN201611127382.X

    申请日:2016-12-09

    Abstract: 本发明实施例提供了一种数据存储、更新和查询方法及装置,该数据存储方法中,构建多个数据子立方体,并将所构建的多个数据子立方体作为当前层的数据子立方体;判断当前层的数据子立方体是否满足预设合并条件;如果满足,根据第一预设合并规则,将当前层的数据子立方体合并为上一层数据子立方体;判断上一层数据子立方体是否满足预设合并条件;如果满足,将上一层数据子立方体作为当前层的数据子立方体,再执行根据第一预设合并规则,将当前层的数据子立方体合并为上一层数据子立方体的步骤;如果不满足,保存所构建的多层数据子立方体。通过更新历史数据对应的数据子立方体实现对已存储的历史数据进行更新。

    节点控制方法及装置、任务处理系统

    公开(公告)号:CN110971627A

    公开(公告)日:2020-04-07

    申请号:CN201811143461.9

    申请日:2018-09-28

    Abstract: 本申请是关于一种节点控制方法及装置、任务处理系统,所述任务处理系统包括:n个节点,n个节点组成m个节点集合,n>m≥2;每个节点集合包括:管理节点和代理节点,任务处理系统中的所有管理节点包括:一个主管理节点和多个从管理节点,主管理节点用于在接收到处理任务的指令时,向与主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送指令;每个从管理节点用于在接收到主管理节点发送的指令时,向与每个从管理节点属于同一节点集合的代理节点发送指令;每个代理节点用于在接收到指令时,根据指令处理任务。本申请解决了相关技术中任务处理系统的处理效率较低的问题,本申请用于控制节点。

    数据查询方法及装置
    27.
    发明公开

    公开(公告)号:CN108804459A

    公开(公告)日:2018-11-13

    申请号:CN201710302039.2

    申请日:2017-05-02

    Abstract: 本发明公开了一种数据查询方法及装置,属于数据处理领域。该方法包括:当接收到结构化查询语言SQL查询语句时,确定SQL查询语句所要查询的目标数据表;根据SQL查询语句中包括的维度和度量,从目标数据表的至少一个预统计信息中确定目标预统计信息;根据SQL查询语句和目标预统计信息获取聚合查询结果。由于该至少一个预统计信息是对目标数据表中的数据预先进行聚合运算得到的,因此,当根据该SQL查询语句确定目标预统计信息之后,可以从该目标预统计信息中直接获取部分或者全部的聚合查询结果,省去了从目标数据表中获取数据并对大量数据进行实时运算的过程,缩短了查询响应时间,提高了查询效率。

    一种数据查询方法、装置、分布式数据查询系统

    公开(公告)号:CN113626491B

    公开(公告)日:2023-08-04

    申请号:CN202010388675.3

    申请日:2020-05-09

    Abstract: 本发明实施例提供了一种数据查询方法、装置、分布式数据查询系统。方法包括:按照第一谓词判断顺序,依次对每个原始数据进行查询,以确定该原始数据是否为同时命中多个谓词的目标数据,直至已经查询的原始数据的数量满足预设顺序更替条件或完成所有原始数据的查询;当已经查询的原始数据的数量满足预设顺序更替条件时,针对所述多个谓词中的每个谓词,根据已经查询的原始数据的数据特征,计算该谓词的当前得分;依据每个谓词的所述当前得分所表示的效率由高到低的顺序,生成第二谓词判断顺序;将所述第二谓词判断顺序作为新的第一谓词判断顺序,返回执行所述按照第一谓词判断顺序,依次对每个原始数据进行查询的步骤。可以提高数据查询效率。

    图数据挖掘方法、装置、电子设备及机器可读存储介质

    公开(公告)号:CN113867983A

    公开(公告)日:2021-12-31

    申请号:CN202111075298.9

    申请日:2021-09-14

    Abstract: 本申请提供一种图数据挖掘方法、装置、电子设备及机器可读存储介质,该方法包括:对原始数据进行预处理,得到图结构数据;依据分布式图神经网络的训练策略,对所述图结构数据进行切分,得到多个子图数据,并将所述子图数据存储分布式内存管理系统;构建分布式图神经网络训练函数,利用所述分布式图神经网络训练函数,依据所述分布式内存管理系统中存储的子图数据,进行分布式图神经网络模型训练,并将得到的Embedding存储到所述分布式内存管理系统;依据所述分布式内存管理系统中保存的所述Embedding进行ML模型的训练和预测。该方法可以提升图数据挖掘的执行效率。

    一种图像搜索方法、装置、电子设备及存储介质

    公开(公告)号:CN113297409A

    公开(公告)日:2021-08-24

    申请号:CN202110738206.4

    申请日:2021-06-30

    Abstract: 本申请实施例提供了一种图像搜索方法、装置、电子设备及存储介质,涉及图像处理技术领域,所述方法应用于电子设备,所述电子设备配置有持久性内存,所述持久性内存用于存储第一候选图像的图像特征,所述方法包括:获得待搜索图像的目标图像特征;获得搜索范围,若所述第一候选图像中存在处于所述搜索范围的图像,直接访问所述持久性内存,获得所述持久性内存中各个第一候选图像的图像特征,计算所述目标图像特征与各个第一候选图像的图像特征之间的相似度;根据所计算的相似度,从所述第一候选图像中确定与所述待搜索图像相似的图像。应用本申请实施例提供的方案,可以提高图像搜索效率。

Patent Agency Ranking