公开(公告)号：CN118170827B

公开(公告)日：2024-08-09

申请号：CN202410605468.7

申请日：2024-05-16

Applicant: 哈尔滨工业大学(威海)

Inventor： 万晓珑 ,  李映辛 ,  韩希先 ,  王金宝

IPC: G06F16/2458 ,  G06F16/22

Abstract: 本发明属于数据处理技术领域，具体涉及一种基于等价类结构的数据间函数依赖关系挖掘方法。该方法包括：步骤1，遍历每列数据，获得等价类结构；对原始数据集进行重构，主要分为去除属性、属性重排序和压缩取值；步骤2，对元组对进行伪随机采样，比较样本，生成非函数依赖，并在满足停止条件时停止，然后在FD‑tree结构上对非函数依赖进行归纳操作，得到候选函数依赖项；步骤3，对FD‑tree结构中的候选函数依赖项进行验证，将候选项进行分组，每个分组对应一个属性的等价类结构，按属性排序的倒序，使用相应等价类结构对分组中的候选项进行验证。本发明的方法能够高效快速地求得给定数据实例的函数依赖关系。

公开(公告)号：CN118170827A

公开(公告)日：2024-06-11

申请号：CN202410605468.7

申请日：2024-05-16

Applicant: 哈尔滨工业大学(威海)

Inventor： 万晓珑 ,  李映辛 ,  韩希先 ,  王金宝

IPC: G06F16/2458 ,  G06F16/22

Abstract: 本发明属于数据处理技术领域，具体涉及一种基于等价类结构的数据间函数依赖关系挖掘方法。该方法包括：步骤1，遍历每列数据，获得等价类结构；对原始数据集进行重构，主要分为去除属性、属性重排序和压缩取值；步骤2，对元组对进行伪随机采样，比较样本，生成非函数依赖，并在满足停止条件时停止，然后在FD‑tree结构上对非函数依赖进行归纳操作，得到候选函数依赖项；步骤3，对FD‑tree结构中的候选函数依赖项进行验证，将候选项进行分组，每个分组对应一个属性的等价类结构，按属性排序的倒序，使用相应等价类结构对分组中的候选项进行验证。本发明的方法能够高效快速地求得给定数据实例的函数依赖关系。

公开(公告)号：CN116501738A

公开(公告)日：2023-07-28

申请号：CN202310470834.8

申请日：2023-04-27

Applicant: 哈尔滨工业大学(威海)

Inventor： 万晓珑 ,  王康傲 ,  韩希先 ,  王金宝

IPC: G06F16/22 ,  G06F16/245

Abstract: 本发明提供了一种海量数据Top‑kskyline组查询方法，包括阶段一、应用G‑Skyline的验证定理依次扫描预排序表中的数据点，直到扫描完所有数据点，得到包含全部的候选点及skyline点的孩子集的候选点集；阶段二、由候选点集枚举生成候选组，枚举轮次的判断由左部定理、右部定理以及近似定理完成；计算候选组得分，维护Top‑k得分阈值；生成Top‑k候选组的孩子G‑Skyline组，更新Top‑k候选组得到最终结果。利用预排续表作为索引结构，只需构建一次就可以应用于所有属性组合场景。利用预排序实现了早中止，减少了筛选候选点需要扫描的数据规模。基于左部定理、右部定理以及近似定理三个计算定理提出了高效的计算方法，降低了G‑Skyline组得分上界并极大地减少了G‑Skyline组的生成数量和计算量。

公开(公告)号：CN114528332A

公开(公告)日：2022-05-24

申请号：CN202210060831.2

申请日：2022-01-19

Applicant: 哈尔滨工业大学(威海)

Inventor： 何京璇 ,  韩希先 ,  王金宝

IPC: G06F16/2458 ,  G06F16/22

Abstract: 本发明公开了海量数据中基于后缀划分的高效用高占用比项集挖掘算法，包括预处理阶段、项集挖掘阶段。预处理阶段包括后缀划分及垂直存储；项集挖掘阶段，依次将每个分区从磁盘读入内存，首先对1‑项集和2‑项集进行计算，判断其是否为高效用高占用比项集；对于长度大于2的项集，构建一个基于链表的双向栈结构存储分区中的拓展项集，再利用双向栈中的项构建一棵集合枚举树，在集合枚举树上按照深度优先搜索的顺序对项集进行遍历挖掘；同时根据支持度向下闭合属性、效用占用比向下闭合属性、3‑项集完全剪枝策略对项集进行剪枝，结合项集链接策略和剩余TID交叉计数策略进行挖掘。本发明有效解决了当前算法无法处理大规模数据集的问题。

公开(公告)号：CN109284306A

公开(公告)日：2019-01-29

申请号：CN201811039452.5

申请日：2018-09-06

Applicant: 哈尔滨工业大学(威海)

Inventor： 戈韵如 ,  韩希先 ,  宋翠 ,  王佰玲

IPC: G06F16/2455

Abstract: 本发明提供一种海量不完整数据的skyline查询方法，设备及存储介质，扫描的TSI算法，可以有效地在海量不完整数据上进行skyline的计算处理。TSI通过对表执行两遍扫描来计算出skyline的结果。第一遍扫描的时候TSI忽略了非传递性以及循环支配特性，并且将skyline结果的精化留到第二遍扫描时进行。还针对第一个顺序扫描阶段提出了跳过不必要的元组的方法，进一步地增加了TSI的性能。

公开(公告)号：CN119557345A

公开(公告)日：2025-03-04

申请号：CN202510121405.9

申请日：2025-01-26

Applicant: 哈尔滨工业大学(威海)

Inventor： 万晓珑 ,  王康傲 ,  韩希先 ,  王金宝

IPC: G06F16/2457 ,  G06F16/215

Abstract: 本发明属于数据查询技术领域，涉及一种偏好性G‑Skyline查询方法。该方法包括三个步骤：（1）求初步的候选元组：扫描预排序表PT筛选得到全部的组成G‑Skyline组的候选元组；（2）求精简的候选元组：基于用户指定的偏好元组，剔除冗余候选元组得到精简的候选元组；（3）求偏好G‑Skyline组：基于偏好元组和精简的候选元组求得偏好G‑Skyline组。本发明在求候选元组时，基于G‑Skyline的性质筛选得到初步的候选元组，然后利用剪切定理剔除了冗余的候选元组，减少了候选元组数量；在求偏好G‑Skyline组时，充分利用了偏好元组，采用深度优先搜索思想，使得生成的候选组的数量大大减小。

公开(公告)号：CN118333147A

公开(公告)日：2024-07-12

申请号：CN202410774444.4

申请日：2024-06-17

Applicant: 哈尔滨工业大学(威海)

Inventor： 万晓珑 ,  徐千惠 ,  韩希先 ,  王金宝

IPC: G06N5/01 ,  G06F18/2433 ,  G06F18/10

Abstract: 本发明属于数据处理技术领域，具体涉及一种海量数据离群点检测中相关子空间搜索方法。该方法主要包括：步骤1，对原始数据进行预处理，构建有序列表集合和哈希分片集合；依次利用预处理得到的所有哈希分片进行自适应相关属性判断，保留无重复的相关属性结果集；步骤2，根据步骤1的结果生成所有候选子空间，并利用预计算的有序列表集合和基于最频繁替换策略的FLA结构进行相关子空间判断；步骤3，对步骤2中结果进行冗余删除并返回所有相关子空间。本发明利用局部敏感哈希索引预先将数据集划分成内存可以容纳的哈希分片，避免了由于内存不足对处理海量数据集的限制；独立验证所有哈希分片进行无关属性剪切，大大减少了候选子空间的数量。

公开(公告)号：CN118013086B

公开(公告)日：2024-06-25

申请号：CN202410423950.9

申请日：2024-04-10

Applicant: 哈尔滨工业大学(威海)

Inventor： 万晓珑 ,  王康傲 ,  韩希先 ,  王金宝

IPC: G06F16/901 ,  G06F16/903

Abstract: 本发明属于数据查询技术领域，尤其涉及一种k代表G‑Skyline查询方法。一种k代表G‑Skyline查询方法，包括以下步骤：（1）数据预处理：构建预排序表；（2）求候选元组：扫描预排序表，筛选得到候选元组集；（3）求突出G‑Skyline组：对候选元组集中的候选元组进行运算，获得突出G‑Skyline组；（4）求k代表G‑Skyline组：从突出G‑Skyline组中筛选得到k代表G‑Skyline组。本发明基于预排序和层次剪枝策略，能够快速得到高质量的查询结果；并首次以遗憾率作为代表组评估标准，评估用户对查询结果的满意度，提高了用户友好性。

公开(公告)号：CN116484320A

公开(公告)日：2023-07-25

申请号：CN202310420433.1

申请日：2023-04-19

Applicant: 哈尔滨工业大学(威海)

Inventor： 万晓珑 ,  何京璇 ,  韩希先 ,  王金宝

IPC: G06F18/26 ,  G06N5/025 ,  G06F3/06

Abstract: 本发明提供了一种大规模数据中非支配的频繁‑效用项集的高效挖掘方法，包括：根据前缀对数据集进行划分和网格存储；根据网格中存储的项的属性值，初始化多层索引链表结构，并按反对角线序读取网格；对于每个网格，将多层索引链表中存储的最大效用值作为条件约束，依次读取网格中满足约束的项所对应的前缀分片；在每个分片中，将满足条件约束的项加入到拓展集合中；依次拓展集合中的项，获得在支持度和效用值两个属性上具有支配能力的项集并将其加入到结果项集中。本发明提出了基于前缀划分策略、网格存储方式以及三组剪枝策略，能在大规模的海量数据上进行高效计算，有效剪枝掉大量无希望的项集，极大地节省了方法的空间开销和时间开销。

公开(公告)号：CN115237976A

公开(公告)日：2022-10-25

申请号：CN202210649569.5

申请日：2022-06-10

Applicant: 哈尔滨工业大学(威海)

Inventor： 白文超 ,  韩希先 ,  赵禹博 ,  王金宝 ,  白淑雯

IPC: G06F16/2458 ,  G06F16/2457

Abstract: 本发明属于大数据查询技术领域，具体涉及查询负载预测算法及模型。基于TCN‑A模型的查询负载预测算法，包括：对原始用户查询数据进行预处理，构建查询负载序列；利用训练好的时间序列预测模型预测查询负载；其中，所述的时间序列预测模型通过对查询负载序列进行时域注意力加权和时序预测获得查询负载的预测结果。本发明提出并实现了一种新型的时间序列预测模型及算法，以高效的时间卷积神经网络为核心，融入设计的时域注意力机制，捕获历史查询负载的变化信息及相关性特征，并充分利用查询间隔时间快速地实现查询负载的精确预测。