公开(公告)号：CN115293126A

公开(公告)日：2022-11-04

申请号：CN202210700368.3

申请日：2022-06-20

Applicant: 南开大学

Inventor： 孙羽菲 ,  申峻宇 ,  王昊天 ,  李东闻 ,  张玉志

IPC: G06F40/194 ,  G06K9/62 ,  G06F16/31 ,  G06F16/383

Abstract: 本公开公开了大规模文本数据的去重方法及装置、电子设备和存储介质，涉及数据处理领域，主要技术方案包括：将第一待去重数据划分至少两个数据段，每个数据段包含至少两个数据；在第一数据段内，分别针对单个数据执行预设哈希算法，得至少一个哈希分块；对第一数据段内的至少两个数据执行去重计算，得第二待去重数据；依次将第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对；根据比对结果的相似度进行二次去重计算，并继续执行第一待去重数据中剩余的第二数据段内的去重计算。与相关技术相比，本公开实施例将大规模数据拆分成小段数据，然后依次对每段数据进行去重操作，进而实现文本数据去重规模突破设备内存限制。

公开(公告)号：CN115292474A

公开(公告)日：2022-11-04

申请号：CN202210700372.X

申请日：2022-06-20

Applicant: 南开大学

Inventor： 孙羽菲 ,  张玉志 ,  李东闻 ,  钟震宇 ,  王昊天 ,  申峻宇

IPC: G06F16/335 ,  G06F16/383 ,  G06F40/103 ,  G06F40/284

Abstract: 本公开提供了一种海量网络数据处理系统及其的构建方法、装置。数据下载模块基于配置后的下载方式及下载任务的调度进行数据处理；文本提取模块以网络文本的一行为单位进行预设语言类型的文本提取；文本过滤模块基于过滤策略对数据进行过滤，所述过滤策略根据首位标点及末尾标点、控制符、出现预设敏感词汇的占比、文本总长度中的至少一种生成；去重模块基于去重策略对数据进行去重，所述去重策略采用先局部去重，再整体二次去重的方式；数据筛选模块基于筛选策略进行筛选，所述筛选策略根据文本困惑度得到；文本格式处理模块对文本数据格式进行配置。实现了利用海量网络数据进行高质量文本数据系统的构建。

公开(公告)号：CN115292444A

公开(公告)日：2022-11-04

申请号：CN202210698401.3

申请日：2022-06-20

Applicant: 南开大学

Inventor： 孙羽菲 ,  李东闻 ,  钟震宇 ,  王昊天 ,  申峻宇 ,  张玉志

IPC: G06F16/33 ,  G06F16/383 ,  G06F40/216 ,  G06F40/284

Abstract: 本申请提供了一种文本数据的筛选方法、装置、电子设备及存储介质，主要技术方案包括：将待处理文本数据通过第一筛选策略进行筛选，第一筛选策略用于根据首位标点及末位标点进行数据筛选；将待处理文本数据通过第二筛选策略进行筛选，第二筛选策略用于对待处理文本数据中的预设控制符进行筛选；将待处理文本数据通过第三筛选策略进行筛选，第三筛选策略用于根据待处理文本数据中出现预设敏感词汇的占比进行筛选；将待处理文本数据通过第四筛选策略进行筛选，第四筛选策略用于根据待处理文本数据的文本总长度进行筛选。与相关技术筛选结果存在误差或导致正常文本数据丢失相比，此方法可以将冗余文本、敏感文本或者过短文本去除，得到高质量的文本。