针对图进行分布式存储的分区确定方法及装置

    公开(公告)号:CN118151861A

    公开(公告)日:2024-06-07

    申请号:CN202410401511.8

    申请日:2024-04-02

    Inventor: 万小培

    Abstract: 本说明书实施例提供一种针对图进行分布式存储的分区确定方法及装置,用于将目标图拆分为与多个分布式设备分别对应的各个存储分区。具体而言,在图的分布式存储过程中,基于经由初始分割确定的初始分区,由各个分布式设备联合执行多轮次的扩散操作。单个轮次的扩散操作中,各个分布式设备分别确定相应存储分区的种子节点,并将种子节点广播至其他分布式设备,由各个设备在本地初始分片中扩散种子节点的一阶邻居节点,且仅标记节点所属存储分区,而无需标记连接边所属存储分区,最后由各个分布式设备确定根据本地初始分区中的节点所属存储分区确定相应的连接边所属存储分区。该实施方式可以减少内存消耗,提高图的分区速度。

    一种对知识图谱进行数据分片的方法及装置

    公开(公告)号:CN114416913A

    公开(公告)日:2022-04-29

    申请号:CN202210312004.8

    申请日:2022-03-28

    Inventor: 万小培

    Abstract: 本说明书实施例提供了一种对知识图谱进行数据分片的方法及装置。该方法用于将知识图谱拆分成分别归属于多个设备的多个分片数据。首先,对知识图谱中的多个边进行初始拆分,使得各个设备分别得到部分边。任一个第一设备基于第一扩散速度从其拥有的第一部分边的端节点中选择扩散节点,获取知识图谱中以扩散节点为一侧端节点的边,作为待分片边;将待分片边中的目标边加入第一设备的第一分片数据中。接着,第一设备获取其他设备的分片数据中的已分片节点,基于第一设备与其他设备的已分片节点的对比,对第一扩散速度进行调整,基于调整后的第一扩散速度继续选择扩散节点,循环执行获取知识图谱中以扩散节点为一侧端节点的边的步骤。

    多模态知识图谱训练和预测方法及装置

    公开(公告)号:CN117744793A

    公开(公告)日:2024-03-22

    申请号:CN202311868763.3

    申请日:2023-12-29

    Inventor: 万小培 陆梦倩

    Abstract: 本说明书实施例涉及多模态知识图谱训练和预测方法及装置,训练方法包括:获取第一知识图谱,第一知识图谱中包括第一节点,第一节点的属性信息包括,以第一文本内容为属性值的第一属性,和以第一图像为属性值的第二属性;然后,对第一知识图谱进行修改,得到第二知识图谱;第二知识图谱中包括与第一节点对应的第一修正节点,代表第一文本内容的第一扩展节点,代表第一图像的第二扩展节点;在第一修正节点的属性信息中,第一属性和第二属性被移除;第一修正节点连接到第一扩展节点和第二扩展节点;将第二知识图谱中的各个节点进行编码,得到各个节点的第一嵌入表征;最后,基于第一嵌入表征,训练图神经网络,得到各个节点的第二嵌入表征。

    基于马尔可夫逻辑网预测用户行为的方法及装置

    公开(公告)号:CN115829110A

    公开(公告)日:2023-03-21

    申请号:CN202211489287.X

    申请日:2022-11-25

    Abstract: 本说明书实施例提供一种基于马尔可夫逻辑网预测用户行为的方法及装置。该方法包括:先获取基于用于限定用户行为之间关系的多条实例化规则而构建的马尔可夫逻辑网,其中包括与用户行为相关的多个变量,多个变量中涉及同一条实例化规则的变量共同形成对应的团;再基于马尔可夫逻辑网,对多个变量中各个隐变量在观测变量的观测值下的概率分布进行多轮次迭代更新,其中任一轮次包括:将各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、各个团中其他隐变量的上一轮概率分布,确定目标隐变量的逻辑值对应的目标势能,用以确定目标隐变量的本轮概率分布;然后,根据多轮次迭代更新后隐变量中的行为变量的概率分布,预测用户行为。

    一种对知识图谱进行数据分片的方法及装置

    公开(公告)号:CN114416913B

    公开(公告)日:2022-07-05

    申请号:CN202210312004.8

    申请日:2022-03-28

    Inventor: 万小培

    Abstract: 本说明书实施例提供了一种对知识图谱进行数据分片的方法及装置。该方法用于将知识图谱拆分成分别归属于多个设备的多个分片数据。首先,对知识图谱中的多个边进行初始拆分,使得各个设备分别得到部分边。任一个第一设备基于第一扩散速度从其拥有的第一部分边的端节点中选择扩散节点,获取知识图谱中以扩散节点为一侧端节点的边,作为待分片边;将待分片边中的目标边加入第一设备的第一分片数据中。接着,第一设备获取其他设备的分片数据中的已分片节点,基于第一设备与其他设备的已分片节点的对比,对第一扩散速度进行调整,基于调整后的第一扩散速度继续选择扩散节点,循环执行获取知识图谱中以扩散节点为一侧端节点的边的步骤。

    基于图神经网络的图表征方法、网络训练方法和装置

    公开(公告)号:CN117993511A

    公开(公告)日:2024-05-07

    申请号:CN202410224431.X

    申请日:2024-02-28

    Abstract: 本说明书的实施例提供了一种基于图神经网络的图表征方法、网络训练方法和装置。在该图表征方法中,基于全图结构关系数据进行图划分;在每轮分区推理过程中:将所选取的当前图划分结果中的各个节点所对应的当前节点表征从外部存储空间加载至系统内存,当前节点表征基于对应的节点所具有的节点特征数据推理得到;根据全图结构关系数据确定当前图划分结果中的各个目标节点的邻居节点;将至少部分邻居节点所对应的当前节点表征和包含邻居节点的结构关系数据从系统内存传输到GPU存储空间;在GPU处,基于图神经网络根据当前节点表征和相应的结构关系数据进行推理,得到目标节点所对应的融合有邻居节点特征的节点表征,并更新外部存储中的相应节点表征。

    一种在分布式系统中进行图数据分配的方法及装置

    公开(公告)号:CN117194690A

    公开(公告)日:2023-12-08

    申请号:CN202311267500.7

    申请日:2023-09-27

    Abstract: 本说明书实施例涉及一种在分布式系统中进行图数据分配的方法和装置,所述分布式系统包含排列为N*N维设备矩阵的N*N台工作设备,所述方法通过其中任意的第一工作设备执行,包括:获取第一图数据中若干节点的节点数据以及若干连接边,根据任一节点的节点数据,使用预设的映射函数确定所述节点的目标编号,然后对于任意的目标连接边,使用第一映射规则,将其连接的两个目标节点的两个目标编号分别映射为N*N维设备矩阵中的行索引和列索引,根据行索引和列索引在所述设备矩阵中确定目标工作设备,然后将所述目标连接边和所述两个目标节点的相关数据发送到所述目标工作设备。

    一种支持多引擎框架的图模型任务实现方法和系统

    公开(公告)号:CN114511100B

    公开(公告)日:2023-01-13

    申请号:CN202210393596.0

    申请日:2022-04-15

    Abstract: 本说明书实施例提供了一种支持多引擎框架的图模型任务实现方法和系统,包括图模型任务处理方法和图模型任务部署方法,任务处理方法包括:获取预设数据格式的图数据;从两种以上机器学习引擎和/或两种以上图学习框架中,确定目标机器学习引擎或目标图学习框架;将所述图数据从所述预设数据格式转换为与所述目标机器学习引擎或所述目标图学习框架对应的数据格式,得到目标输入数据;将所述目标输入数据提供给所述目标机器学习引擎或所述目标图学习框架,通过所述目标机器学习引擎或所述目标图学习框架基于其支持的机器学习模型处理所述目标输入数据实现图模型任务。

    一种支持多引擎框架的图模型任务实现方法和系统

    公开(公告)号:CN114511100A

    公开(公告)日:2022-05-17

    申请号:CN202210393596.0

    申请日:2022-04-15

    Abstract: 本说明书实施例提供了一种支持多引擎框架的图模型任务实现方法和系统,包括图模型任务处理方法和图模型任务部署方法,任务处理方法包括:获取预设数据格式的图数据;从两种以上机器学习引擎和/或两种以上图学习框架中,确定目标机器学习引擎或目标图学习框架;将所述图数据从所述预设数据格式转换为与所述目标机器学习引擎或所述目标图学习框架对应的数据格式,得到目标输入数据;将所述目标输入数据提供给所述目标机器学习引擎或所述目标图学习框架,通过所述目标机器学习引擎或所述目标图学习框架基于其支持的机器学习模型处理所述目标输入数据实现图模型任务。

Patent Agency Ranking