公开(公告)号：CN112149416A

公开(公告)日：2020-12-29

申请号：CN202010938852.0

申请日：2020-09-09

Applicant: 南京大学

Inventor： 戴海鹏 ,  陈贵海 ,  李猛 ,  汪笑宇 ,  夏瑞 ,  谢榕彪 ,  于俊

IPC: G06F40/289 ,  G06F40/216 ,  G06F40/126 ,  G06F16/335 ,  G06F16/27

Abstract: 一种在分布式学术数据仓库中检测热点学术研究话题的方法，包括在分布式数据仓库中的数据数据采样压缩编码，传输阶段，以及中央服务器上的数据恢复和检测阶段；数据采样压缩编码对每个从学术文档中提取出的学术词进行多重采样决定是否进入组内每个编码型布谷鸟过滤器，成功采样的词汇将进入数据编码阶段；数据压缩编码阶段负责在每个分布式数据仓库中扫描所有的文档，并利用分词器从文档中提取学术研究词汇；数据传输阶段负责将每个分布式数据仓库中记录压缩数据的编码型布谷鸟过滤器传输至中央服务器；数据恢复和检测阶段是在中央服务器上将从各个分布式数据集上构建起来编码布谷鸟过滤器中解码恢复出原始词汇并估算其热度。

公开(公告)号：CN112149416B

公开(公告)日：2023-08-22

申请号：CN202010938852.0

申请日：2020-09-09

Applicant: 南京大学

Inventor： 戴海鹏 ,  陈贵海 ,  李猛 ,  汪笑宇 ,  夏瑞 ,  谢榕彪 ,  于俊

IPC: G06F40/289 ,  G06F40/216 ,  G06F40/126 ,  G06F16/335 ,  G06F16/27

Abstract: 一种在分布式学术数据仓库中检测热点学术研究话题的方法，包括在分布式数据仓库中的数据数据采样压缩编码，传输阶段，以及中央服务器上的数据恢复和检测阶段；数据采样压缩编码对每个从学术文档中提取出的学术词进行多重采样决定是否进入组内每个编码型布谷鸟过滤器，成功采样的词汇将进入数据编码阶段；数据压缩编码阶段负责在每个分布式数据仓库中扫描所有的文档，并利用分词器从文档中提取学术研究词汇；数据传输阶段负责将每个分布式数据仓库中记录压缩数据的编码型布谷鸟过滤器传输至中央服务器；数据恢复和检测阶段是在中央服务器上将从各个分布式数据集上构建起来编码布谷鸟过滤器中解码恢复出原始词汇并估算其热度。