数据异常处理方法、装置、电子设备和存储介质

    公开(公告)号:CN114546691B

    公开(公告)日:2025-03-28

    申请号:CN202210027666.0

    申请日:2022-01-11

    Inventor: 叶盛

    Abstract: 本发明提供一种数据异常处理方法、装置、电子设备和存储介质,其中方法包括:在当前处理节点处理的数据流发生异常时,捕获异常数据;确定是否重新抛出所述异常数据;在确定不重新抛出所述异常数据时,获取所述当前处理节点对应的目标异常处理配置信息;基于所述目标异常处理配置信息对所述异常数据进行处理。本发明提供的数据异常处理方法、装置、电子设备和存储介质,实现了异常数据的统一处理,简化了数据异常处理的复杂度。

    一种数据处理的方法、装置、介质及电子设备

    公开(公告)号:CN118690316A

    公开(公告)日:2024-09-24

    申请号:CN202310286650.6

    申请日:2023-03-22

    Inventor: 叶盛 张靖雯

    Abstract: 本申请实施例提供一种数据处理的方法、装置、介质及电子设备,所述方法包括:获取第一数据的第一实体属性标识集合,其中,所述第一数据为需要进行实体识别的数据;若确定待匹配实体集合中的第一实体为所述第一数据所属的候选匹配实体,则根据所述第一实体属性标识集合中的排他实体属性标识确认是否将所述候选匹配实体作为所述第一数据所属的目标实体,其中,每个排他实体属性标识用于唯一表征实体的一类排他实体属性。本申请的实施例通过分类实体属性标识,能够提升对数据所述实体识别的准确性。

    攻击事件的追踪溯源方法、装置及设备

    公开(公告)号:CN110519264B

    公开(公告)日:2022-09-30

    申请号:CN201910792305.3

    申请日:2019-08-26

    Abstract: 本申请公开了一种攻击事件的追踪溯源方法、装置及设备,涉及网络安全技术领域,可提高追踪溯源的效率和精确性,帮助用户及时发现存在恶意攻击行为的攻击者。其中方法包括:首先将攻击告警数据按照相同的属性特征划分为攻击事件切片;然后根据所述攻击事件切片对应的切片特征,分析所述攻击事件切片之间的关联关系;最后依据所述关联关系,将所述攻击事件切片进行同源聚合,以便获取相同的攻击者信息。本申请适用于网络安全的追踪溯源。

    一种数据处理方法、装置、电子设备和存储介质

    公开(公告)号:CN114579331A

    公开(公告)日:2022-06-03

    申请号:CN202210199927.7

    申请日:2022-03-01

    Inventor: 叶盛

    Abstract: 本申请实施例提供一种数据处理方法、装置、电子设备和存储介质,所述方法用于大数据处理系统,所述大数据处理系统包括:数据处理算子和适配器,所述适配器用于根据不同计算平台的接口标准对数据处理算子进行相应的封装适配,所述方法包括:确定用于生成数据处理任务的数据处理算子;利用适配器对所述数据处理算子进行封装适配,以使封装适配后的所述数据处理算子符合相应计算平台的接口标准;根据封装适配后的所述数据处理算子生成数据处理任务;将所述数据处理任务发送到所述计算平台,以使所述计算平台进行处理。基于上述实施方式,能够将数据处理算子发送到不同的计算平台进行处理。

    一种数据处理方法、装置、电子设备和存储介质

    公开(公告)号:CN114579331B

    公开(公告)日:2025-05-23

    申请号:CN202210199927.7

    申请日:2022-03-01

    Inventor: 叶盛

    Abstract: 本申请实施例提供一种数据处理方法、装置、电子设备和存储介质,所述方法用于大数据处理系统,所述大数据处理系统包括:数据处理算子和适配器,所述适配器用于根据不同计算平台的接口标准对数据处理算子进行相应的封装适配,所述方法包括:确定用于生成数据处理任务的数据处理算子;利用适配器对所述数据处理算子进行封装适配,以使封装适配后的所述数据处理算子符合相应计算平台的接口标准;根据封装适配后的所述数据处理算子生成数据处理任务;将所述数据处理任务发送到所述计算平台,以使所述计算平台进行处理。基于上述实施方式,能够将数据处理算子发送到不同的计算平台进行处理。

    一种网页正文的识别处理方法及装置

    公开(公告)号:CN110795933B

    公开(公告)日:2023-10-31

    申请号:CN201910945459.1

    申请日:2019-09-30

    Abstract: 本发明实施例公开了一种网页正文的识别处理方法及装置,方法包括:获取待识别网页的网页源码,清除所述网页源码中所有的网页标签,得到包括空白行的网页文本;根据空白行对所述网页文本进行分块,得到若干个文字区块,各文字区块之间为空白行;统计各文字区块的文字数量,根据各文字区块的文字数量确定网页正文的边界,并根据网页正文的边界识别所述待识别网页中的网页正文。本发明实施例通过统计各文字区块的文字数量来确定网页正文的边界,并根据边界识别待识别网页中的网页正文,适应于所有类型的网页正文提取,提取过程简单,大大提高了网页正文提取的准确性和泛化性。

    敏感词检测方法及装置
    9.
    发明授权

    公开(公告)号:CN110991171B

    公开(公告)日:2023-10-13

    申请号:CN201910945463.8

    申请日:2019-09-30

    Abstract: 本发明实施例提供一种敏感词检测方法及装置,其中,方法包括:获取目标文本,对目标文本进行分词处理;将分词处理后的目标文本输入文本分类模型,所述文本分类模型是带有注意力机制的循环神经网络模型,获取文本分类模型输出的目标文本的类别和分词处理后的目标文本中每个词语的注意力权重,所述类别包括:敏感和正常;若文本分类模型输出的目标文本的类别为敏感,则将分词处理后的目标文本中注意力权重最大的词语作为检测出的敏感词;其中,所述文本分类模型是基于分词处理后的带有类别的标注的文本样本、对带有注意力机制的循环神经网络进行训练后生成的。本发明实施例能提高检测敏感词的效率,节省人工成本,时效性高。

    钓鱼网站的检测方法及装置、存储介质、电子装置

    公开(公告)号:CN110677384B

    公开(公告)日:2023-01-06

    申请号:CN201910791214.8

    申请日:2019-08-26

    Inventor: 叶盛 吴勇义 魏宁

    Abstract: 本发明提供了一种钓鱼网站的检测方法及装置、存储介质、电子装置,其中,该方法包括:监测域名解析请求,其中,域名解析请求携带目标网站的域名地址;针对第一次监测到的域名地址,计算域名地址与预设白名单的域名相似度,其中,预设白名单包括多个真实网站域名;在域名相似度落在预设阈值范围内时,选择域名相似度最高的真实网站的第一域名,计算域名地址的第一页面与第一域名的第二页面的页面相似度;在页面相似度大于第一阈值时,将目标网站确定为钓鱼网站。通过本发明,解决了相关技术中不能预先检测钓鱼网站的技术问题,从而达到了及时发现钓鱼网站,进而能够避免钓鱼网站带来的损失的有益效果。

Patent Agency Ranking