-
公开(公告)号:CN116361400A
公开(公告)日:2023-06-30
申请号:CN202310270385.2
申请日:2023-03-20
Applicant: 南湖实验室
Abstract: 本发明涉及一种基于swift协议实现数据湖与Ceph RGW互联的方法。它解决了现有技术中Delta Lake对Ceph RGW中存储的数据进行系统化操作时耗时长且硬件成本高的问题。它包括S1、创建Hadoop‑Ceph RGW文件系统模块;S2、构建传输接口并进行适配;S3、创建类继承并实现FileSystem抽象类;S4、利用适配的接口连接Ceph RGW和Delta Lake;S5、通过FileSystem抽象类对存储在Ceph RGW存储仓库中的数据进行访问和系统化操作。本发明的优点在于:有效提高了工作效率,降低了硬件成本。
-
公开(公告)号:CN113961755B
公开(公告)日:2023-02-10
申请号:CN202111049936.X
申请日:2021-09-08
Applicant: 南湖实验室
IPC: G06F16/901
Abstract: 本发明提供了一种基于持久内存的图数据存储架构,包括支持图数据查询与存储并行的混合内存架构,且所述的混合内存架构包括动态随机存储和持久内存,由所述的动态随机存储提供查询内存,由所述的持久内存提供存储内存,且所述的动态随机存储和持久内存分别连接于图数据库系统的内存总线以构建混合内存架构。该架构实现了图数据库直接部署与运行在持久内存之上,该架构有别于传统的图数据库系统,使得基于该架构下实现的持久内存图数据库不再依赖底层文件系统运行,减少了软件栈的层级。
-
公开(公告)号:CN113961755A
公开(公告)日:2022-01-21
申请号:CN202111049936.X
申请日:2021-09-08
Applicant: 南湖实验室
IPC: G06F16/901
Abstract: 本发明提供了一种基于持久内存的图数据存储架构,包括支持图数据查询与存储并行的混合内存架构,且所述的混合内存架构包括动态随机存储和持久内存,由所述的动态随机存储提供查询内存,由所述的持久内存提供存储内存,且所述的动态随机存储和持久内存分别连接于图数据库系统的内存总线以构建混合内存架构。该架构实现了图数据库直接部署与运行在持久内存之上,该架构有别于传统的图数据库系统,使得基于该架构下实现的持久内存图数据库不再依赖底层文件系统运行,减少了软件栈的层级。
-
公开(公告)号:CN113961754A
公开(公告)日:2022-01-21
申请号:CN202111049920.9
申请日:2021-09-08
Applicant: 南湖实验室
IPC: G06F16/901
Abstract: 本发明提供了一种基于持久内存的图数据库系统,包括计算层和存储层,所述的存储层包括具有图数据存储模型的图数据库和存储架构,在图数据存储模型中,图被划分为独立的节点集和独立的边集,且节点集和边集之间没有交集,节点集中的每个节点均具有一个唯一的节点地址,边集中的每个边均有唯一的边地址;所述的存储架构包括持久内存。本方案优化图数据存储模型,提出了一种新的基于集合的图数据存储模型,与传统的基于邻接矩阵和邻接链表的图数据存储模型有着本质的不同和全新的视角,通过该模型能够严格反映图数据的数学定义,有效地保存数据之间的关系,与现有的图数据存储模型相比,具有更好的时空效率。
-
公开(公告)号:CN113961753A
公开(公告)日:2022-01-21
申请号:CN202111049100.X
申请日:2021-09-08
Applicant: 南湖实验室
IPC: G06F16/901
Abstract: 本发明提供了一种基于集合的图数据存储模型及其图数据库,在本图数据存储模型中,图被划分为独立的节点集和独立的边集,且节点集和边集之间没有交集,节点集中的每个节点均具有唯一的节点地址和唯一的节点ID,边集中的每个边均具有唯一的边地址和唯一的边ID。该模型能够严格反映图数据的数学定义,有效地保存数据之间的关系,与现有的最新图数据存储模型相比具有更好的时空效率。
-
公开(公告)号:CN116883894A
公开(公告)日:2023-10-13
申请号:CN202310783052.X
申请日:2023-06-29
Applicant: 南湖实验室
IPC: G06V20/40 , G06V40/20 , G06V10/80 , G06V10/82 , G06N3/0442 , G06N3/0464 , G06N3/048 , G06N3/0895
Abstract: 本发明提供了一种多模态信息融合的视频暴力行为检测方法、系统及设备,涉及计算机视觉领域。该方法包括:获取不同来源以及不同角度的视频对视频进行划分,生成视频片段;采用弱监督标记方式,将存在暴力行为的视频片段标记为暴力视频,制作弱标签;将待检测视频输入至根据具有弱标签的视频片段训练弱监督视频暴力行为检测模型得到的暴力行为检测模型中,识别待检测视频中的暴力行为;弱监督视频暴力行为检测模型包括结合图卷积、多尺度机制以及图LSTM结构的三分支多模态信息优化器;三分支多模态信息优化器提取所述视频片段中的RGB特征、光流特征以及音频特征。本发明能够降低样本采集难度以及采集成本,实现多模态信息融合。
-
公开(公告)号:CN113961753B
公开(公告)日:2023-04-21
申请号:CN202111049100.X
申请日:2021-09-08
Applicant: 南湖实验室
IPC: G06F16/901
Abstract: 本发明提供了一种基于集合的图数据存储模型及其图数据库,在本图数据存储模型中,图被划分为独立的节点集和独立的边集,且节点集和边集之间没有交集,节点集中的每个节点均具有唯一的节点地址和唯一的节点ID,边集中的每个边均具有唯一的边地址和唯一的边ID。该模型能够严格反映图数据的数学定义,有效地保存数据之间的关系,与现有的最新图数据存储模型相比具有更好的时空效率。
-
公开(公告)号:CN114048260A
公开(公告)日:2022-02-15
申请号:CN202210029283.7
申请日:2022-01-12
Applicant: 南湖实验室 , 北京大数据先进技术研究院
Abstract: 本发明提供了一种数据湖与关系型数据库互联的方法,包括以下步骤:S1.在数据湖中添加关系型数据库的数据源类;S2.数据湖匹配使用关系型数据库的数据源类;S3.根据数据源类确定并加载相应驱动以与相应关系型数据库进行连接。本发明通过传参的方式将数据源注册配置文件、关系型数据库配置文件和驱动包目录串联起来,在启动数据湖时,不需要指定具体要使用哪个数据库,直接使用相应的数据库即可,也不需要遍历配置文件,用户按需通过传递参数的形式获取所需的配置信息即可,实现数据湖与关系型数据库之间的高效连接和双向读写。
-
公开(公告)号:CN114510522B
公开(公告)日:2025-03-11
申请号:CN202210030132.3
申请日:2022-01-12
Applicant: 南湖实验室 , 北京大数据先进技术研究院
Abstract: 本发明提供了一种基于数据分类的数据总线,数据总线按照数据结构种类被划分为多个数据空间,每一类数据结构对应一个数据空间,每个数据空间对应一个接口基类和多个接口子类,各接口子类通过继承相应数据空间中的接口基类进行本数据总线与相应数据结构种类的子类数据结构之间的对接。在数据总线中按照数据结构种类划分数据空间,每个数据空间对应于多种子类型数据结构,用户在操作数据时,只需要区分数据属于哪一大类,无需细分到具体的数据类别,方便用户的使用,同时方便用户扩展新的数据类型,无需进行重写。
-
公开(公告)号:CN118018627A
公开(公告)日:2024-05-10
申请号:CN202410157575.8
申请日:2024-02-04
Applicant: 南湖实验室
Abstract: 本发明公开一种基于管道‑过滤器架构的数据传输方法、系统及设备,涉及数据传输领域,该方法包括分别构建用于数据输入的抽象Source过滤器、用于数据转换的抽象Transform过滤器和用于数据输出的抽象Sink过滤器;抽象Source过滤器、抽象Transform过滤器和抽象Sink过滤器均为抽象过滤器;用户自定义过滤器继承自抽象过滤器;抽象Transform过滤器和抽象Sink过滤器均继承自AbstractActor;构建数据管道;基于Actor模型,将用户确定的过滤器分别添加至数据管道中,构建管道‑过滤器链路;利用构建的管道‑过滤器链路进行数据的传输。本发明能够提高数据传输的效率和通用性。
-
-
-
-
-
-
-
-
-