一种具有学习式属性模式的关系数据库错误检测方法

    公开(公告)号:CN119848155A

    公开(公告)日:2025-04-18

    申请号:CN202510322155.5

    申请日:2025-03-19

    Abstract: 本发明属于数据库数据质量管理技术领域,具体涉及一种具有学习式属性模式的关系数据库错误检测方法。步骤:数据预处理,将输入数据序列用数据词元与模式词元交错构建的输入词元表示;错误识别,基于输入词元学习相应属性的属性域间独立和属性域内部共享的特征,并将学习内容存储在可学习模式模块和多头自注意力网络权重中以用于检测;可视化解释,提取多头自注意力网络内的注意力分数,以此构建输入词元和输出预测的关系,生成可视化注意力图。本发明的主要改进是属性模式感知的Transformer框架,学习关系表的数据值和其属性域结构的特征,用于检测给定数据集的数据错误,提高检测任务的准确性和效率,可视化错误检测的过程。

    海量数据离群点检测中相关子空间搜索方法

    公开(公告)号:CN118333147B

    公开(公告)日:2024-08-13

    申请号:CN202410774444.4

    申请日:2024-06-17

    Abstract: 本发明属于数据处理技术领域,具体涉及一种海量数据离群点检测中相关子空间搜索方法。该方法主要包括:步骤1,对原始数据进行预处理,构建有序列表集合和哈希分片集合;依次利用预处理得到的所有哈希分片进行自适应相关属性判断,保留无重复的相关属性结果集;步骤2,根据步骤1的结果生成所有候选子空间,并利用预计算的有序列表集合和基于最频繁替换策略的FLA结构进行相关子空间判断;步骤3,对步骤2中结果进行冗余删除并返回所有相关子空间。本发明利用局部敏感哈希索引预先将数据集划分成内存可以容纳的哈希分片,避免了由于内存不足对处理海量数据集的限制;独立验证所有哈希分片进行无关属性剪切,大大减少了候选子空间的数量。

    一种偏好性G-Skyline查询方法

    公开(公告)号:CN119557345B

    公开(公告)日:2025-04-11

    申请号:CN202510121405.9

    申请日:2025-01-26

    Abstract: 本发明属于数据查询技术领域,涉及一种偏好性G‑Skyline查询方法。该方法包括三个步骤:(1)求初步的候选元组:扫描预排序表PT筛选得到全部的组成G‑Skyline组的候选元组;(2)求精简的候选元组:基于用户指定的偏好元组,剔除冗余候选元组得到精简的候选元组;(3)求偏好G‑Skyline组:基于偏好元组和精简的候选元组求得偏好G‑Skyline组。本发明在求候选元组时,基于G‑Skyline的性质筛选得到初步的候选元组,然后利用剪切定理剔除了冗余的候选元组,减少了候选元组数量;在求偏好G‑Skyline组时,充分利用了偏好元组,采用深度优先搜索思想,使得生成的候选组的数量大大减小。

    一种k代表G-Skyline查询方法

    公开(公告)号:CN118013086A

    公开(公告)日:2024-05-10

    申请号:CN202410423950.9

    申请日:2024-04-10

    Abstract: 本发明属于数据查询技术领域,尤其涉及一种k代表G‑Skyline查询方法。一种k代表G‑Skyline查询方法,包括以下步骤:(1)数据预处理:构建预排序表;(2)求候选元组:扫描预排序表,筛选得到候选元组集;(3)求突出G‑Skyline组:对候选元组集中的候选元组进行运算,获得突出G‑Skyline组;(4)求k代表G‑Skyline组:从突出G‑Skyline组中筛选得到k代表G‑Skyline组。本发明基于预排序和层次剪枝策略,能够快速得到高质量的查询结果;并首次以遗憾率作为代表组评估标准,评估用户对查询结果的满意度,提高了用户友好性。

    一种基于等价类结构的数据间函数依赖关系挖掘方法

    公开(公告)号:CN118170827B

    公开(公告)日:2024-08-09

    申请号:CN202410605468.7

    申请日:2024-05-16

    Abstract: 本发明属于数据处理技术领域,具体涉及一种基于等价类结构的数据间函数依赖关系挖掘方法。该方法包括:步骤1,遍历每列数据,获得等价类结构;对原始数据集进行重构,主要分为去除属性、属性重排序和压缩取值;步骤2,对元组对进行伪随机采样,比较样本,生成非函数依赖,并在满足停止条件时停止,然后在FD‑tree结构上对非函数依赖进行归纳操作,得到候选函数依赖项;步骤3,对FD‑tree结构中的候选函数依赖项进行验证,将候选项进行分组,每个分组对应一个属性的等价类结构,按属性排序的倒序,使用相应等价类结构对分组中的候选项进行验证。本发明的方法能够高效快速地求得给定数据实例的函数依赖关系。

    一种基于等价类结构的数据间函数依赖关系挖掘方法

    公开(公告)号:CN118170827A

    公开(公告)日:2024-06-11

    申请号:CN202410605468.7

    申请日:2024-05-16

    Abstract: 本发明属于数据处理技术领域,具体涉及一种基于等价类结构的数据间函数依赖关系挖掘方法。该方法包括:步骤1,遍历每列数据,获得等价类结构;对原始数据集进行重构,主要分为去除属性、属性重排序和压缩取值;步骤2,对元组对进行伪随机采样,比较样本,生成非函数依赖,并在满足停止条件时停止,然后在FD‑tree结构上对非函数依赖进行归纳操作,得到候选函数依赖项;步骤3,对FD‑tree结构中的候选函数依赖项进行验证,将候选项进行分组,每个分组对应一个属性的等价类结构,按属性排序的倒序,使用相应等价类结构对分组中的候选项进行验证。本发明的方法能够高效快速地求得给定数据实例的函数依赖关系。

    一种海量数据Top-k skyline组查询方法

    公开(公告)号:CN116501738A

    公开(公告)日:2023-07-28

    申请号:CN202310470834.8

    申请日:2023-04-27

    Abstract: 本发明提供了一种海量数据Top‑kskyline组查询方法,包括阶段一、应用G‑Skyline的验证定理依次扫描预排序表中的数据点,直到扫描完所有数据点,得到包含全部的候选点及skyline点的孩子集的候选点集;阶段二、由候选点集枚举生成候选组,枚举轮次的判断由左部定理、右部定理以及近似定理完成;计算候选组得分,维护Top‑k得分阈值;生成Top‑k候选组的孩子G‑Skyline组,更新Top‑k候选组得到最终结果。利用预排续表作为索引结构,只需构建一次就可以应用于所有属性组合场景。利用预排序实现了早中止,减少了筛选候选点需要扫描的数据规模。基于左部定理、右部定理以及近似定理三个计算定理提出了高效的计算方法,降低了G‑Skyline组得分上界并极大地减少了G‑Skyline组的生成数量和计算量。

    一种偏好性G-Skyline查询方法

    公开(公告)号:CN119557345A

    公开(公告)日:2025-03-04

    申请号:CN202510121405.9

    申请日:2025-01-26

    Abstract: 本发明属于数据查询技术领域,涉及一种偏好性G‑Skyline查询方法。该方法包括三个步骤:(1)求初步的候选元组:扫描预排序表PT筛选得到全部的组成G‑Skyline组的候选元组;(2)求精简的候选元组:基于用户指定的偏好元组,剔除冗余候选元组得到精简的候选元组;(3)求偏好G‑Skyline组:基于偏好元组和精简的候选元组求得偏好G‑Skyline组。本发明在求候选元组时,基于G‑Skyline的性质筛选得到初步的候选元组,然后利用剪切定理剔除了冗余的候选元组,减少了候选元组数量;在求偏好G‑Skyline组时,充分利用了偏好元组,采用深度优先搜索思想,使得生成的候选组的数量大大减小。

    海量数据离群点检测中相关子空间搜索方法

    公开(公告)号:CN118333147A

    公开(公告)日:2024-07-12

    申请号:CN202410774444.4

    申请日:2024-06-17

    Abstract: 本发明属于数据处理技术领域,具体涉及一种海量数据离群点检测中相关子空间搜索方法。该方法主要包括:步骤1,对原始数据进行预处理,构建有序列表集合和哈希分片集合;依次利用预处理得到的所有哈希分片进行自适应相关属性判断,保留无重复的相关属性结果集;步骤2,根据步骤1的结果生成所有候选子空间,并利用预计算的有序列表集合和基于最频繁替换策略的FLA结构进行相关子空间判断;步骤3,对步骤2中结果进行冗余删除并返回所有相关子空间。本发明利用局部敏感哈希索引预先将数据集划分成内存可以容纳的哈希分片,避免了由于内存不足对处理海量数据集的限制;独立验证所有哈希分片进行无关属性剪切,大大减少了候选子空间的数量。

    一种k代表G-Skyline查询方法
    10.
    发明授权

    公开(公告)号:CN118013086B

    公开(公告)日:2024-06-25

    申请号:CN202410423950.9

    申请日:2024-04-10

    Abstract: 本发明属于数据查询技术领域,尤其涉及一种k代表G‑Skyline查询方法。一种k代表G‑Skyline查询方法,包括以下步骤:(1)数据预处理:构建预排序表;(2)求候选元组:扫描预排序表,筛选得到候选元组集;(3)求突出G‑Skyline组:对候选元组集中的候选元组进行运算,获得突出G‑Skyline组;(4)求k代表G‑Skyline组:从突出G‑Skyline组中筛选得到k代表G‑Skyline组。本发明基于预排序和层次剪枝策略,能够快速得到高质量的查询结果;并首次以遗憾率作为代表组评估标准,评估用户对查询结果的满意度,提高了用户友好性。

Patent Agency Ranking