-
公开(公告)号：CN115293157A
公开(公告)日：2022-11-04
申请号：CN202210700387.6
申请日：2022-06-20
Applicant: 南开大学
IPC: G06F40/289 , G06F40/216
Abstract: 本公开公开了中文文本的提取方法及装置、电子设备和存储介质，具体涉及数据处理技术领域，对待处理文本数据按照预设分割方法进行处理，得到至少两个文本单元；分别检测每个文本单元中的总字符长度，以及分别检测每个文本单元中的中文字符长度；计算同一文本单元内的所述中文字符长度与所述总字符长度之间的比值；若所述比值超过目标中文占比阈值，则保留当前文本单元内的所有字符。通过以文本数据的行为单位，并根据行中的总字符长度与中文字符长度的比值以及根据行中总字符长度确定的中文占比阈值进行确定是否保留当前行中的全部字符，既有效地提取了中文文本信息，也有效地保留了中文句子中原本包含的其他语言的信息。
-
Patent Agency Ranking
公开(公告)号：CN115292444A
公开(公告)日：2022-11-04
申请号：CN202210698401.3
申请日：2022-06-20
Applicant: 南开大学
IPC: G06F16/33 , G06F16/383 , G06F40/216 , G06F40/284
Abstract: 本申请提供了一种文本数据的筛选方法、装置、电子设备及存储介质，主要技术方案包括：将待处理文本数据通过第一筛选策略进行筛选，第一筛选策略用于根据首位标点及末位标点进行数据筛选；将待处理文本数据通过第二筛选策略进行筛选，第二筛选策略用于对待处理文本数据中的预设控制符进行筛选；将待处理文本数据通过第三筛选策略进行筛选，第三筛选策略用于根据待处理文本数据中出现预设敏感词汇的占比进行筛选；将待处理文本数据通过第四筛选策略进行筛选，第四筛选策略用于根据待处理文本数据的文本总长度进行筛选。与相关技术筛选结果存在误差或导致正常文本数据丢失相比，此方法可以将冗余文本、敏感文本或者过短文本去除，得到高质量的文本。
-
公开(公告)号：CN115292242A
公开(公告)日：2022-11-04
申请号：CN202210700365.X
申请日：2022-06-20
Applicant: 南开大学
Abstract: 本公开公开了大规模文本数据处理系统的构建方法及装置、电子设备和存储介质，涉及数据处理领域，主要技术方案包括：配置多任务并行处理策略，以执行数据处理中对应的不同任务；配置执行不同任务处理的自动化流转；按照预设配置策略配置分时处理不同任务；基于预设数据库对多任务进行管理及纠错，以完成所述数据处理系统的构建。与相关技术相比，本公开实施例提供的数据处理系统进行了各种优化策略的配置，实现多任务并行处理，任务处理自动化流转，分时处理不同任务，以及对存放多任务的文件进行管理及纠错，且本公开实施例提供的各种优化策略同时也可作为数据处理系统性能提升手段与鲁棒的错误处理方法，从而实现了数据处理系统的鲁棒性提升。
-
公开(公告)号：CN114861753B
公开(公告)日：2025-05-13
申请号：CN202210306441.9
申请日：2022-03-25
Applicant: 南开大学
IPC: G06F18/24 , G06F18/23 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于大规模网络的数据分类方法和装置，其中，该方法包括：获取待检测数据；其中，待检测数据包括系统级指标和用户级指标；对待检测数据的多变量时间序列进行平滑和归一化的数据预处理得到预处理数据；将预处理数据输入通过离线聚类训练好的一维卷积自动编码器进行数据压缩处理，并使用离线聚类得到的特征索引执行特征选择，根据特征选择的结果进行距离计算，以进行在线数据分类；基于在线数据分类，输出待检测数据的在线分类结果。本发明可以根据系统实例的正常模式对其进行精确且高效聚类并显著减少异常检测训练开销。
-
公开(公告)号：CN115292474A
公开(公告)日：2022-11-04
申请号：CN202210700372.X
申请日：2022-06-20
Applicant: 南开大学
IPC: G06F16/335 , G06F16/383 , G06F40/103 , G06F40/284
Abstract: 本公开提供了一种海量网络数据处理系统及其的构建方法、装置。数据下载模块基于配置后的下载方式及下载任务的调度进行数据处理；文本提取模块以网络文本的一行为单位进行预设语言类型的文本提取；文本过滤模块基于过滤策略对数据进行过滤，所述过滤策略根据首位标点及末尾标点、控制符、出现预设敏感词汇的占比、文本总长度中的至少一种生成；去重模块基于去重策略对数据进行去重，所述去重策略采用先局部去重，再整体二次去重的方式；数据筛选模块基于筛选策略进行筛选，所述筛选策略根据文本困惑度得到；文本格式处理模块对文本数据格式进行配置。实现了利用海量网络数据进行高质量文本数据系统的构建。
-
公开(公告)号：CN114861753A
公开(公告)日：2022-08-05
申请号：CN202210306441.9
申请日：2022-03-25
Applicant: 南开大学
Abstract: 本发明公开了一种基于大规模网络的数据分类方法和装置，其中，该方法包括：获取待检测数据；其中，待检测数据包括系统级指标和用户级指标；对待检测数据的多变量时间序列进行平滑和归一化的数据预处理得到预处理数据；将预处理数据输入通过离线聚类训练好的一维卷积自动编码器进行数据压缩处理，并使用离线聚类得到的特征索引执行特征选择，根据特征选择的结果进行距离计算，以进行在线数据分类；基于在线数据分类，输出待检测数据的在线分类结果。本发明可以根据系统实例的正常模式对其进行精确且高效聚类并显著减少异常检测训练开销。
-
-
-
-
-
Search Results
6
records
(took 0.019 seconds)
