-
公开(公告)号：CN118018627A
公开(公告)日：2024-05-10
申请号：CN202410157575.8
申请日：2024-02-04
Applicant: 南湖实验室
Abstract: 本发明公开一种基于管道‑过滤器架构的数据传输方法、系统及设备，涉及数据传输领域，该方法包括分别构建用于数据输入的抽象Source过滤器、用于数据转换的抽象Transform过滤器和用于数据输出的抽象Sink过滤器；抽象Source过滤器、抽象Transform过滤器和抽象Sink过滤器均为抽象过滤器；用户自定义过滤器继承自抽象过滤器；抽象Transform过滤器和抽象Sink过滤器均继承自AbstractActor；构建数据管道；基于Actor模型，将用户确定的过滤器分别添加至数据管道中，构建管道‑过滤器链路；利用构建的管道‑过滤器链路进行数据的传输。本发明能够提高数据传输的效率和通用性。
-
公开(公告)号：CN114528337B
公开(公告)日：2024-03-15
申请号：CN202210029808.7
申请日：2022-01-12
Applicant: 南湖实验室 , 北京大数据先进技术研究院
Abstract: 本发明公开了一种面向多源异构数据源的接口系统、通用接口及其实现方法，以面向多源异构数据源的通用接口实现方法为基础，包括：新建一个工程，并在工程内建立一个通用接口；在通用接口中建立相互独立的数据集合和操作集合；其中，数据集合被定义为能够被具体数据类型继承，且包括数据基类和继承数据基类的二级数据类；操作集合包括操作基类和继承操作基类的二级操作类；且所述的二级操作类被定义有其适用的具体数据类型以实现数据集合与操作集合的解耦与正交。通用接口中数据和操作形成两个独立的集合，并将操作抽象为接口，实现数据与操作的解耦和正交，使数据和操作能够自由地组合，实现操作的复用。
-
公开(公告)号：CN116340317A
公开(公告)日：2023-06-27
申请号：CN202310272727.4
申请日：2023-03-21
Applicant: 南湖实验室
IPC: G06F16/22 , G06F16/242 , G06F18/25
Abstract: 本方案公开了一种基于Elasticsearch实现DeltaLake数据湖索引的方法，入湖时，Spark对源数据进行抽取，对抽取出的数据集进行Schema分析，同时增加数据存储地址信息组成索引结构，实现入湖过程中，针对不同数据源的数据，如果用户未选择创建索引的列，由系统自动推断索引结构，实现基于数据源种类的天然分类。搜索时，不同源数据具有不同的索引结构，源数据因此被分类，查询过程中，根据用户指定在某一类或几类数据范围内进行查询，指定某一类数据进行快速查询。本方案针对Delta Lake数据湖引入Elasticsearch，实现了Elasticsearch与Delta Lake有机结合。在数据入湖过程中，异步建立索引，在数据搜索过程中，只需要关键字，就能迅速定位到已经建立索引的数据的位置，进而快速抓取到需要的数据。
-
公开(公告)号：CN115331056A
公开(公告)日：2022-11-11
申请号：CN202210973706.0
申请日：2022-08-15
Applicant: 南湖实验室
IPC: G06V10/764 , G06V10/82 , G06N3/08
Abstract: 本发明公开了一种基于反向传播梯度筛选的异常检测方法及模型，包括：S1.准备经过训练的异常检测模型；S2.将待预测图片输入异常检测模型进行一般的前向传播得到预测结果，当预测结果为异常时，执行步骤S3；S3.确定用于求梯度的特征图矩阵；S4.对预测结果进行反向传播计算得到特征图矩阵对应的梯度矩阵；S5.对梯度矩阵在横纵坐标的方向上求平均梯度得到平均梯度矩阵；S6.对平均梯度矩阵与特征图矩阵进行矩阵相乘操作并将各个通道的同位置元素的值进行累加得到梯度图；S7.基于步骤S6获取的梯度图进行梯度筛选得到异常感知区域。本发明在原有的基于深度神经网络的分类模型框架上实现扩展功能，在保持模型框架精简的同时能够实现异常区域的定位。
-
公开(公告)号：CN114117333B
公开(公告)日：2022-05-17
申请号：CN202210068973.3
申请日：2022-01-20
Applicant: 南湖实验室
Abstract: 本发明公开了一种用于异常检测的对抗重构网络设计、训练方法及检测方法，尤其涉及一种用于异常检测的可支持多段式训练的对抗重构网络损失函数设计方法，包括重构网络损失函数和判别网络损失函数，所述的重构网络损失函数包括重构损失函数和重构对抗损失函数，所述的判别网络损失函数包括真实图像判别损失函数和判别对抗损失函数，所述的重构损失函数用于评估重构网络的重构性能，真实图像判别损失函数用于评估判别网络的判别性能，所述的重构对抗损失函数和判别对抗损失函数用于重构网络和判别网络对抗训练的交互。前述对抗重构网络损失函数涉及方法为多段式训练策略提供基础，使模型训练更稳定，克服对抗重构网络的对抗训练不稳定的问题，保证最终的重构网络能够高效复原正常样本，且判别网络对正常样本赋高分。
-
Patent Agency Ranking
公开(公告)号：CN113569266A
公开(公告)日：2021-10-29
申请号：CN202111104191.2
申请日：2021-09-22
Applicant: 南湖实验室
Abstract: 本发明公开了一种基于芯片层级隐私计算的主机远程监控方法，包括：S1.用户端主机中的监控软件在基于芯片层级的可信执行环境中启动；S2.判断用户端主机本地是否存在有效的隐私数据，若是，直接进入步骤S4，否则，进入步骤S3；S3.与监管方建立安全连接并抓取隐私数据；S4.运行在可信执行环境中的监控软件基于隐私数据执行相关监测指令，并对监测结果加密和签名后传输给监管方。本方案利用基于隐私计算可信执行环境来保证用户端监测信息的有效性、不可篡改性和监控的安全性，并且基于监管方的加密密钥和签名密钥来对监测信息进行加密和签名，能够将监管信息存放在本地，避免实时连接带来的大开销成本。
-
公开(公告)号：CN118170818A
公开(公告)日：2024-06-11
申请号：CN202410160803.7
申请日：2024-02-05
Applicant: 南湖实验室
IPC: G06F16/2458 , G06F16/21 , G06F16/22
Abstract: 本发明公开一种数据湖对时序数据的管理方法、系统及电子设备，涉及数据湖技术领域，所述方法包括：实时采集时序数据库中的源数据；将源数据通过数据通道传输到数据湖中；数据通道是通过继承数据湖中的SchemaRelationProvider类、CreatableRelationProvider类、DataSourceRegister类和RelationProvider类创建的。本发明充分发挥了数据湖的能力，大大的提高了采集数据的效率。
-
公开(公告)号：CN118132602A
公开(公告)日：2024-06-04
申请号：CN202410157429.5
申请日：2024-02-04
Applicant: 南湖实验室
IPC: G06F16/2455 , G06F16/2457 , G06F16/35
Abstract: 本发明公开一种多源异构数据管理系统及方法，涉及数据处理领域；该系统包括：相互连接的数据源管理模块和数据采集模块；数据源管理模块基于简化描述抽象算法对多源异构数据进行分类，得到分类数据源；分类数据源包括：结构化数据源、半结构化数据源、非结构化数据源和二进制数据源；对分类数据源进行设定配置规则的信息配置，得到数据源信息；设定配置规则包括：URL、用户名、密码和驱动；数据采集模块采用设定数据处理方式，对数据源信息进行查询检索并读取，得到读取数据；设定数据处理方式包括：批数据模式和流数据模式；本发明能够高效简便的实现数据的处理。
-
公开(公告)号：CN117992433A
公开(公告)日：2024-05-07
申请号：CN202410153131.7
申请日：2024-02-04
Applicant: 南湖实验室
Abstract: 本发明公开一种因果关系数据湖构建方法、系统、电子设备及介质，涉及数据湖、因果推断和数据管理的技术领域。所述方法包括：获取数据湖中各因果分析来源表；将各因果分析来源表按照共同项进行合并得到合成来源表并存储在数据湖中；在所述合成来源表中挑选所有要进行因果分析的属性并调用因果算法包对所有要进行因果分析的属性的值进行因果分析得到多条因果边；根据各所述因果边的ID和预设全局唯一因果关系ID构建因果关系表和来源信息表并将所述因果关系表和所述来源信息表存储在数据湖中，实现因果关系数据湖构建。本发明可解决现有因果分析方法数据来源分散、分析效率低下，以及数据湖本身不具备数据间因果关系的问题。
-
公开(公告)号：CN115759757A
公开(公告)日：2023-03-07
申请号：CN202211615887.6
申请日：2022-12-15
Applicant: 南湖实验室
IPC: G06Q10/0635 , G06Q40/04
Abstract: 本发明公开一种交易风险预警方法、系统和电子设备，涉及安全预警技术领域。本发明主要应用于可信执行环境中，在实施过程中，将交易数据输入到由基于机密计算的深度学习训练得到交易风险预警模型即可得到交易风险预警结果，就这能够实现利用计算机硬件支持的可信执行环境，保护深度学习使用的样本数据和模型数据的隐私安全，以能够在提高采用深度学习模型的安全性的同时，提高交易预警的实时性和精确性，进而有效规避交易过程存在的风险。
-
-
-
-
-
-
-
-
-
Search Results
33
records
(took 0.02 seconds)
