一种基于受限恢复的图迭代器及方法

    公开(公告)号:CN110750385B

    公开(公告)日:2022-09-09

    申请号:CN201911021201.9

    申请日:2019-10-25

    Abstract: 本发明公开一种基于受限恢复的图迭代器及方法,属于分布式迭代计算技术领域。该迭代器采用分布式图计算算法的join‑GroupBy‑Union‑aggregation模式将图计算转换操作中的宽依赖转化为窄依赖,并对部分数据进行备份,从而使得只需恢复故障节点而不需要完全将整个计算回退到最近检查点保存的状态;在故障节点恢复时采用所有健康节点来并行恢复,进一步加快了故障恢复的速度;图迭代中在迭代尾部添加检查点的非阻塞检查点模型,加速了检查点的写入速度,并且在尾部检查点添加了迭代感知器,使得仅在当前迭代中的检查点完成后才启动下一个迭代,有助于在迭代图处理期间协调检查点的创建。

    一种基于区块链的图谱查询验证方法

    公开(公告)号:CN114840681A

    公开(公告)日:2022-08-02

    申请号:CN202210385844.7

    申请日:2022-04-13

    Abstract: 本发明涉及链上链下混合存储区块链领域,涉及一种基于区块链的图谱查询验证方法,特别涉及基于混合存储区块链的可验证子图查询处理方法。本发明提供了一种基于区块链的图谱查询验证方法,完善了区块链中图式结构数据的可验证查询机制。本发明通过在服务器端基于大图顶点的结构信息构建树形可验证索引,有效捕获数据以及区块间的复杂拓扑结构,借助区块链的不可篡改和可溯源的性质存储树形可验证索引的根节点以及大图的哈希值,实现了查询结果与验证信息高效并行生成。

    一种可重叠的社群发现方法

    公开(公告)号:CN112948712B

    公开(公告)日:2022-03-25

    申请号:CN202110326914.7

    申请日:2021-03-26

    Abstract: 本发明公开了一种可重叠的社群发现方法,步骤如下:S1分布式计算图G中的所有极大团,统计极大团的数量信息并将极大团的数量信息发送到所有计算节点中;S2对所有的极大团进行排序和编码,给每个极大团分配唯一的编码确定极大团;S3计算极大团中的子团,将子团发送到不同计算节点中;S4在每个计算节点内,构建反向索引;S5对每个极大团,利用反向索引,计算与每个极大团与其同一个计算节点内有k‑1个共享顶点的极大团,使用并查集将极大团的I D保存在同一个集合中;S6合并不同集群中的并查集,求出相应的派系。采用上述结构的一种可重叠的社群发现方法,增加了系统对大图的处理能力,横向扩展更加容易且成本更低。

    一种基于三角形的超图稠密度度量方法

    公开(公告)号:CN114168803A

    公开(公告)日:2022-03-11

    申请号:CN202111530839.2

    申请日:2021-12-14

    Abstract: 本发明公开了一种基于三角形的超图稠密度度量方法,步骤如下:S1、输入超图HG=(V,EH),初始化集合S为空,集合S为Set,不可添加相同元素;S2、按序号从小到大遍历超图中所有的超边,对每条超边进行操作。本发明采用上述的一种基于三角形的超图稠密度度量方法,可以计算超图中存在的三角形个数并枚举所有三角形,可以应用于社区发现,高阶的超图分析,超图的稠密度计算,衡量社区是否紧密等领域。本发明提供了一种新型的超图三角形定义,并实现了一种高效的方案来度量超图稠密度的指标。

    一种在超图中计算(k,α,β)-truss参数及结构的方法

    公开(公告)号:CN114117736A

    公开(公告)日:2022-03-01

    申请号:CN202111249203.0

    申请日:2021-10-26

    Abstract: 本发明公开了一种在超图中计算(k,α,β)‑truss参数及结构的方法,要求找到一个极大顶点对集合,其中每个顶点对能与集合中的其它顶点对组成至少k个(α,β)‑三角形。本发明针对α=0和α>0两种情况,分别提出了利用基于超图构建的普通图,和基于超图构建的投影图计算(k,α,β)‑truss的方法。为了解决参数设定难的问题,本发明提出了一种天际线(k,α,β)‑truss的计算方法,能够在指定k的情况下找出多个内聚程度最高的(k,α,β)‑truss。本发明公开的方法更够有效地在超图中计算出内聚子图,且具有较高的效率,能够适用于大规模超图数据。

    一种基于区块链的视频版权管理方法

    公开(公告)号:CN111414417A

    公开(公告)日:2020-07-14

    申请号:CN202010135931.8

    申请日:2020-03-02

    Abstract: 本发明公开了一种基于区块链的视频版权管理方法,包括:视频信息存储阶段和视频版权查询阶段;数据存储阶段为:构建区块链网络,管理节点将原始视频存入本地文件系统;计算节点对原始视频抽取关键帧;计算节点构建原始视频对应在区块链上的数据单元并连接在区块链上进行广播;其他节点同步区块链状态;视频版权查询阶段包括:待查视频被提交到管理节点,抽取关键帧并进行查询;根据链上链下数据的协同来判断查询结果的可信度,验证节点反馈结果。本发明通过区块链存储视频的关键帧、文本标签以及基于原始视频文件生成的摘要三种元数据,来解决视频存储需要较大储存空间的问题,并进一步根据自定义的共识机制来解决节点之间互不信任的问题。

    一种基于位图近似的h-跳距离核分解方法

    公开(公告)号:CN111382316A

    公开(公告)日:2020-07-07

    申请号:CN202010151472.2

    申请日:2020-03-06

    Abstract: 本发明公开了一种基于位图近似的h-跳距离核分解方法,可用于许多大数据处理相关的应用,例如社交网络分析,合作网络分析及web网络分析等。本发明提出了基于位图近似的h-跳距离核分解方法,来提高大图处理的效率,该方法不仅使内存消耗还是时间消耗均得到了极大的改善,尤其是在时间效率上能够提升一到两个数量至多。该方法基于位图的存储技术来提高算法的时间和空间效率,而且精确算法在处理大图数据也相当困难的同时,本发明实施例在保证一定准确度的同时,大幅度提升算法的计算效率,以更高效率处理大数据。

    一种Gaia系统中支持流数据与批数据交互的数据交换系统

    公开(公告)号:CN110825775A

    公开(公告)日:2020-02-21

    申请号:CN201911067510.X

    申请日:2019-11-04

    Abstract: 本发明公开了一种Gaia系统中支持流数据与批数据交互的数据交换系统,实现了在Gaia的低纬度算子级的流数据与批数据连接,并且可实现对指定数据库的定向支持。为达到上述目的,该系统包括操作符模块、核心算子模块、批数据定义模块、缓存模块以及外部数据接口模块。该系统中其中批数据定义模块、缓存模块、核心算子模块可以分别从辅助工具模块中获取自己需要的工具类;核心算子模块通过调用批数据定义模块获取连接相关信息,并调用外部数据接口模块从不同数据源中获取批数据,调用缓存模块对数据进行缓存操作。操作符模块对核心算子模块和批数据定义模块进行了外部封装,使得Gaia系统可以进行统一调用。

Patent Agency Ranking