公开(公告)号：CN114090775A

公开(公告)日：2022-02-25

申请号：CN202111376161.7

申请日：2021-11-19

Applicant: 国家计算机网络与信息安全管理中心广东分中心 ,  天津市国瑞数码安全系统股份有限公司

Inventor： 周小敏 ,  应鸿晖 ,  林国池 ,  石易 ,  麦丽娟 ,  莫凡 ,  林佳涛 ,  李高翔 ,  黄福鸿 ,  卓采标 ,  廖淑敏 ,  杨慧强 ,  宋宜昌 ,  黄正国 ,  周毅 ,  吴冠标 ,  李新 ,  蒋维 ,  曹勇 ,  高欢

IPC: G06F16/35 ,  G06F16/33 ,  G06F16/951 ,  G06F16/957

Abstract: 本发明属于网页文本处理领域，具体涉及一种基于BERT算法的网页有害文本识别方法及系统，所述识别方法包括：步骤1：使用网络爬虫爬取网页原始内容，得到初始文本；步骤2：基于HTML协议对初始文本进行文本整理，得到待识别文本集合；步骤3：将待识别文本集合输入到基于BERT中文预训练模型训练得到的有害信息识别模型中进行有害文本识别，得到识别结果；步骤4：对识别结果进行人工验证，并基于得到的异常识别样本更新有害信息识别模型。上述方法不仅准确提取有效的网页文本，利用已有的有害文本判断模型实现网页文本内容识别，同时还通过人工校正对有害文本判断模型进行训练更新，进一步提升有害文本判断模型的准确性。