-
公开(公告)号：CN111930597B
公开(公告)日：2023-09-22
申请号：CN202010813538.X
申请日：2020-08-13
IPC: G06F11/30 , G06F40/216 , G06N3/0442 , G06N3/096 , G06N3/091
Abstract: 本发明涉及网络通信，为能够及时、主动发现服务异常以及时采取应对措施，提高网络中心的稳定性，本发明，基于迁移学习的日志异常检测方法，处理对象为源数据、目标数据：具体包括三部分：1)特征构建部分；形成日志数据的向量序列，作为迁移学习部分的输入；2)迁移学习部分；首先将源数据形成的向量序列输入长短期记忆LSTM网络，对模型参数进行训练；然后将目标数据形成的向量序列输入上一阶段初步训练好参数的模型，并对模型参数进行再次调整3)主动学习部分：迭代地更新数据和模型。本发明主要应用于网络通信日志数据处理场合。
-
公开(公告)号：CN114861753A
公开(公告)日：2022-08-05
申请号：CN202210306441.9
申请日：2022-03-25
Applicant: 南开大学
Abstract: 本发明公开了一种基于大规模网络的数据分类方法和装置，其中，该方法包括：获取待检测数据；其中，待检测数据包括系统级指标和用户级指标；对待检测数据的多变量时间序列进行平滑和归一化的数据预处理得到预处理数据；将预处理数据输入通过离线聚类训练好的一维卷积自动编码器进行数据压缩处理，并使用离线聚类得到的特征索引执行特征选择，根据特征选择的结果进行距离计算，以进行在线数据分类；基于在线数据分类，输出待检测数据的在线分类结果。本发明可以根据系统实例的正常模式对其进行精确且高效聚类并显著减少异常检测训练开销。
-
公开(公告)号：CN115293126A
公开(公告)日：2022-11-04
申请号：CN202210700368.3
申请日：2022-06-20
Applicant: 南开大学
IPC: G06F40/194 , G06K9/62 , G06F16/31 , G06F16/383
Abstract: 本公开公开了大规模文本数据的去重方法及装置、电子设备和存储介质，涉及数据处理领域，主要技术方案包括：将第一待去重数据划分至少两个数据段，每个数据段包含至少两个数据；在第一数据段内，分别针对单个数据执行预设哈希算法，得至少一个哈希分块；对第一数据段内的至少两个数据执行去重计算，得第二待去重数据；依次将第二待去重数据中的哈希分块与预设参考数据库中的哈希分块进行比对；根据比对结果的相似度进行二次去重计算，并继续执行第一待去重数据中剩余的第二数据段内的去重计算。与相关技术相比，本公开实施例将大规模数据拆分成小段数据，然后依次对每段数据进行去重操作，进而实现文本数据去重规模突破设备内存限制。
-
公开(公告)号：CN114861753B
公开(公告)日：2025-05-13
申请号：CN202210306441.9
申请日：2022-03-25
Applicant: 南开大学
IPC: G06F18/24 , G06F18/23 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于大规模网络的数据分类方法和装置，其中，该方法包括：获取待检测数据；其中，待检测数据包括系统级指标和用户级指标；对待检测数据的多变量时间序列进行平滑和归一化的数据预处理得到预处理数据；将预处理数据输入通过离线聚类训练好的一维卷积自动编码器进行数据压缩处理，并使用离线聚类得到的特征索引执行特征选择，根据特征选择的结果进行距离计算，以进行在线数据分类；基于在线数据分类，输出待检测数据的在线分类结果。本发明可以根据系统实例的正常模式对其进行精确且高效聚类并显著减少异常检测训练开销。
-
Patent Agency Ranking
公开(公告)号：CN115292474A
公开(公告)日：2022-11-04
申请号：CN202210700372.X
申请日：2022-06-20
Applicant: 南开大学
IPC: G06F16/335 , G06F16/383 , G06F40/103 , G06F40/284
Abstract: 本公开提供了一种海量网络数据处理系统及其的构建方法、装置。数据下载模块基于配置后的下载方式及下载任务的调度进行数据处理；文本提取模块以网络文本的一行为单位进行预设语言类型的文本提取；文本过滤模块基于过滤策略对数据进行过滤，所述过滤策略根据首位标点及末尾标点、控制符、出现预设敏感词汇的占比、文本总长度中的至少一种生成；去重模块基于去重策略对数据进行去重，所述去重策略采用先局部去重，再整体二次去重的方式；数据筛选模块基于筛选策略进行筛选，所述筛选策略根据文本困惑度得到；文本格式处理模块对文本数据格式进行配置。实现了利用海量网络数据进行高质量文本数据系统的构建。
-
公开(公告)号：CN111930597A
公开(公告)日：2020-11-13
申请号：CN202010813538.X
申请日：2020-08-13
IPC: G06F11/30 , G06F40/216 , G06N3/04 , G06N3/08
Abstract: 本发明涉及网络通信，为能够及时、主动发现服务异常以及时采取应对措施，提高网络中心的稳定性，本发明，基于迁移学习的日志异常检测方法，处理对象为源数据、目标数据：具体包括三部分：1)特征构建部分；形成日志数据的向量序列，作为迁移学习部分的输入；2)迁移学习部分；首先将源数据形成的向量序列输入长短期记忆LSTM网络，对模型参数进行训练；然后将目标数据形成的向量序列输入上一阶段初步训练好参数的模型，并对模型参数进行再次调整3)主动学习部分：迭代地更新数据和模型。本发明主要应用于网络通信日志数据处理场合。
-
公开(公告)号：CN115293157A
公开(公告)日：2022-11-04
申请号：CN202210700387.6
申请日：2022-06-20
Applicant: 南开大学
IPC: G06F40/289 , G06F40/216
Abstract: 本公开公开了中文文本的提取方法及装置、电子设备和存储介质，具体涉及数据处理技术领域，对待处理文本数据按照预设分割方法进行处理，得到至少两个文本单元；分别检测每个文本单元中的总字符长度，以及分别检测每个文本单元中的中文字符长度；计算同一文本单元内的所述中文字符长度与所述总字符长度之间的比值；若所述比值超过目标中文占比阈值，则保留当前文本单元内的所有字符。通过以文本数据的行为单位，并根据行中的总字符长度与中文字符长度的比值以及根据行中总字符长度确定的中文占比阈值进行确定是否保留当前行中的全部字符，既有效地提取了中文文本信息，也有效地保留了中文句子中原本包含的其他语言的信息。
-
公开(公告)号：CN115292444A
公开(公告)日：2022-11-04
申请号：CN202210698401.3
申请日：2022-06-20
Applicant: 南开大学
IPC: G06F16/33 , G06F16/383 , G06F40/216 , G06F40/284
Abstract: 本申请提供了一种文本数据的筛选方法、装置、电子设备及存储介质，主要技术方案包括：将待处理文本数据通过第一筛选策略进行筛选，第一筛选策略用于根据首位标点及末位标点进行数据筛选；将待处理文本数据通过第二筛选策略进行筛选，第二筛选策略用于对待处理文本数据中的预设控制符进行筛选；将待处理文本数据通过第三筛选策略进行筛选，第三筛选策略用于根据待处理文本数据中出现预设敏感词汇的占比进行筛选；将待处理文本数据通过第四筛选策略进行筛选，第四筛选策略用于根据待处理文本数据的文本总长度进行筛选。与相关技术筛选结果存在误差或导致正常文本数据丢失相比，此方法可以将冗余文本、敏感文本或者过短文本去除，得到高质量的文本。
-
公开(公告)号：CN115292242A
公开(公告)日：2022-11-04
申请号：CN202210700365.X
申请日：2022-06-20
Applicant: 南开大学
Abstract: 本公开公开了大规模文本数据处理系统的构建方法及装置、电子设备和存储介质，涉及数据处理领域，主要技术方案包括：配置多任务并行处理策略，以执行数据处理中对应的不同任务；配置执行不同任务处理的自动化流转；按照预设配置策略配置分时处理不同任务；基于预设数据库对多任务进行管理及纠错，以完成所述数据处理系统的构建。与相关技术相比，本公开实施例提供的数据处理系统进行了各种优化策略的配置，实现多任务并行处理，任务处理自动化流转，分时处理不同任务，以及对存放多任务的文件进行管理及纠错，且本公开实施例提供的各种优化策略同时也可作为数据处理系统性能提升手段与鲁棒的错误处理方法，从而实现了数据处理系统的鲁棒性提升。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.019 seconds)
