-
公开(公告)号:CN117176803A
公开(公告)日:2023-12-05
申请号:CN202310983253.4
申请日:2023-08-07
Applicant: 南湖实验室
IPC: H04L67/565 , G06F16/25
Abstract: 本发明公开一种基于管道技术的数据湖交互方法及系统,涉及数据湖交互领域,该方法包括初始化数据管道;所述数据管道用于将同一数据类型的数据集进行处理转换为另一数据类型的数据集;利用初始化的数据管道与数据湖进行数据湖交互;所述数据湖交互包括:数据类型转换、数据湖类型适配、Session构建以及元数据构建。本发明能够提高数据湖中数据的输出和输入效率。
-
公开(公告)号:CN116977778A
公开(公告)日:2023-10-31
申请号:CN202310738639.9
申请日:2023-06-20
Applicant: 南湖实验室
IPC: G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本发明公开一种冰凌检测方法、系统、电子设备及介质,涉及遥感语义分割技术领域。所述方法包括将待预测河流遥感图像输入训练好的冰凌检测模型得到待预测河流遥感图像中的冰凌;训练好的冰凌检测模型以样本河流遥感图像为输入以样本河流遥感图像中的冰凌为输出对冰凌检测模型进行训练得到的;冰凌检测模型包括编码层、多头注意力层和解码层;编码层的输出端与多头注意力层的输入端以及解码层的输入端连接,多头注意力层的输出端与解码层的输入端连接;编码层包括:多个特征编码模块;特征编码模块为倒置残差结构且包括深度参数化卷积层;多头注意力层包括空间注意力特征机制和通道注意力特征机制。本发明可提高冰凌边缘检测的准确度。
-
公开(公告)号:CN116975342A
公开(公告)日:2023-10-31
申请号:CN202310921175.5
申请日:2023-07-25
Applicant: 南湖实验室
IPC: G06F16/535 , G06F16/54 , G06V20/13 , G06V10/26 , G06V20/70 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明公开一种基于数据湖的深度学习语义分割方法、系统及设备,涉及语义分割领域,该方法包括构建数据湖;在所述数据湖确定数据源、数据格式、数据层次结构以及存储介质;将遥感数据存储在数据湖中;并进行遥感数据可视化;从数据湖中检索遥感数据以及检索标注影像;利用检索得到的遥感数据以及相应的标注影像训练语义分割模型,得到遥感影像解译模型;利用遥感影像解译模型确定待预测的遥感数据的分类结果本发明能够提高深度学习方法对海量图像数据的处理效率。
-
公开(公告)号:CN115965838A
公开(公告)日:2023-04-14
申请号:CN202211612143.9
申请日:2022-12-14
Applicant: 南湖实验室
IPC: G06V10/778 , G06V10/82 , G06N3/0475 , G06N3/0464 , G06N3/0895 , G06N3/094
Abstract: 本发明公开了一种基于半监督学习的固废检测模型构建方法和固废检测方法,固废检测模型包括生成器和判别器,生成器基于输入的有标签影像特征图和无标签影像特征图输出预测结果,判别器基于生成器的预测结果和相应影像特征图的真实标签输出一致性判别结果,基于有标签影像特征图和无标签影像特征图的样本集组合,通过判别器与生成器的对抗训练使判别器学习到预测结果与真实标签的判别知识,生成器学习到基于输入的影像特征图识别固废目标的能力。通过半监督学习机制综合生成器和判别器提取未标记数据信息,采用融合损失来规范训练实现像素级预测,对标签的低需求量使其具有较高的应用价值和推广性,可有效提高现有方法的召回率。
-
公开(公告)号:CN113961754B
公开(公告)日:2023-02-10
申请号:CN202111049920.9
申请日:2021-09-08
Applicant: 南湖实验室
IPC: G06F16/901
Abstract: 本发明提供了一种基于持久内存的图数据库系统,包括计算层和存储层,所述的存储层包括具有图数据存储模型的图数据库和存储架构,在图数据存储模型中,图被划分为独立的节点集和独立的边集,且节点集和边集之间没有交集,节点集中的每个节点均具有一个唯一的节点地址,边集中的每个边均有唯一的边地址;所述的存储架构包括持久内存。本方案优化图数据存储模型,提出了一种新的基于集合的图数据存储模型,与传统的基于邻接矩阵和邻接链表的图数据存储模型有着本质的不同和全新的视角,通过该模型能够严格反映图数据的数学定义,有效地保存数据之间的关系,与现有的图数据存储模型相比,具有更好的时空效率。
-
公开(公告)号:CN114048260B
公开(公告)日:2022-09-09
申请号:CN202210029283.7
申请日:2022-01-12
Applicant: 南湖实验室 , 北京大数据先进技术研究院
Abstract: 本发明提供了一种数据湖与关系型数据库互联的方法,包括以下步骤:S1.在数据湖中添加关系型数据库的数据源类;S2.数据湖匹配使用关系型数据库的数据源类;S3.根据数据源类确定并加载相应驱动以与相应关系型数据库进行连接。本发明通过传参的方式将数据源注册配置文件、关系型数据库配置文件和驱动包目录串联起来,在启动数据湖时,不需要指定具体要使用哪个数据库,直接使用相应的数据库即可,也不需要遍历配置文件,用户按需通过传递参数的形式获取所需的配置信息即可,实现数据湖与关系型数据库之间的高效连接和双向读写。
-
公开(公告)号:CN114528337A
公开(公告)日:2022-05-24
申请号:CN202210029808.7
申请日:2022-01-12
Applicant: 南湖实验室 , 北京大数据先进技术研究院
Abstract: 本发明公开了一种面向多源异构数据源的接口系统、通用接口及其实现方法,以面向多源异构数据源的通用接口实现方法为基础,包括:新建一个工程,并在工程内建立一个通用接口;在通用接口中建立相互独立的数据集合和操作集合;其中,数据集合被定义为能够被具体数据类型继承,且包括数据基类和继承数据基类的二级数据类;操作集合包括操作基类和继承操作基类的二级操作类;且所述的二级操作类被定义有其适用的具体数据类型以实现数据集合与操作集合的解耦与正交。通用接口中数据和操作形成两个独立的集合,并将操作抽象为接口,实现数据与操作的解耦和正交,使数据和操作能够自由地组合,实现操作的复用。
-
公开(公告)号:CN113791742A
公开(公告)日:2021-12-14
申请号:CN202111368382.X
申请日:2021-11-18
Applicant: 南湖实验室
Abstract: 本发明提供了一种高性能的数据湖系统及数据存储方法,数据存储方法包括以下步骤:S1.将文件转成文件流;S2.将文件流转成一个数组嵌套多个子数组的形式;S3.将所述的转成RDD后存储至数据湖的存储层中。本方案提出嵌套的字段结构,为出湖过程的并行处理提供字段结构基础,有效提高出湖性能,并且根据硬件内核灵活生成嵌套的子数组数量,使数据湖具有更强的扩展性能,针对不同的用户均能够保持最佳的入湖效率,满足用户需求。
-
公开(公告)号:CN116824395A
公开(公告)日:2023-09-29
申请号:CN202310906846.0
申请日:2023-07-21
Applicant: 南湖实验室
IPC: G06V20/13 , G06V10/40 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开一种基于地学特征的滑坡提取方法、系统、设备及介质,涉及滑坡提取技术领域,该方法包括:采集待检测区域的遥感影像、数字高程模型和地形参数;将所述遥感影像、所述数字高程模型以及所述地形参数输入滑坡提取模型,输出滑坡提取结果;所述滑坡提取模型为根据训练集对深度卷积神经网络进行训练获得的,所述深度卷积神经网络中进行特征提取时,采用了空洞卷积和空间金字塔池化模块;根据所述滑坡提取结果和所述数字高程模型确定滑坡面积。本发明提高了滑坡提取的准确性。
-
公开(公告)号:CN116721274A
公开(公告)日:2023-09-08
申请号:CN202310034929.5
申请日:2023-01-10
Applicant: 南湖实验室
IPC: G06V10/764 , G06V10/82 , G06V10/26 , G06N3/0464 , G06N3/09
Abstract: 本发明公开一种固态废弃物的识别方法、系统、设备及存储介质,涉及语义分割技术领域,所述方法包括:将目标图像输入第一分类模型中,得到第一类激活映射图和第二类激活映射图;根据第一类激活映射图,计算背景的第一目标类激活映射图;根据第一类激活映射图和第二类激活映射图,计算背景的第二目标类激活映射图;基于第一目标类激活映射图、第一类激活映射图、第二类激活映射图和第二目标类激活映射图,确定目标亲和力标签;将目标图像和目标亲和力标签输入至固态废弃物伪标签生成模型中,得到固态废弃物伪标签,从而训练全监督语义分割神经网络,得到目标固态废弃物识别模型,识别目标图像中的固态废弃物,提高了固体废弃物的识别精度。
-
-
-
-
-
-
-
-
-