-
公开(公告)号：CN114143290B
公开(公告)日：2024-01-30
申请号：CN202111407941.3
申请日：2021-11-19
Applicant: 国家计算机网络与信息安全管理中心广东分中心 , 天津市国瑞数码安全系统股份有限公司
Inventor： 周小敏 , 应鸿晖 , 林国池 , 石易 , 麦丽娟 , 莫凡 , 林佳涛 , 黄福鸿 , 李高翔 , 卓采标 , 杨慧强 , 廖淑敏 , 宋宜昌 , 周毅 , 黄正国 , 吴冠标 , 李新 , 蒋维 , 曹勇 , 高欢
IPC: H04L61/5061 , H04L61/5007 , H04L61/5053 , H04L67/56 , G06F16/951
Abstract: 本发明属于IP代理技术领域，具体涉及一种多网站并行爬取的IP代理池的构建系统和方法，所述构建系统包括：IP验证模块，用于对初始IP集合内的代理IP进行代理可用性验证，并将可用的代理IP置入有效队列中，得到有效IP集合；IP标记模块，用于对有效IP集合内的代理IP进行逐一标记，得到具有标记信息的标记IP集合；IP组合模块，用于获取若干待爬取网站信息并为每个待爬取网站构建对应的网站代理IP队列，还用于基于待爬取网站信息在标记IP集合中挑取标记信息与其匹配的代理IP，并将挑取的代理IP置入与其匹配的网站代理IP队列中。上述构建系统构建了多网站并行爬取代理池，实现了多网站并行爬取，进而提高代理IP的利用率以及爬取成功率。
-
公开(公告)号：CN114143290A
公开(公告)日：2022-03-04
申请号：CN202111407941.3
申请日：2021-11-19
Applicant: 国家计算机网络与信息安全管理中心广东分中心 , 天津市国瑞数码安全系统股份有限公司
Inventor： 周小敏 , 应鸿晖 , 林国池 , 石易 , 麦丽娟 , 莫凡 , 林佳涛 , 黄福鸿 , 李高翔 , 卓采标 , 杨慧强 , 廖淑敏 , 宋宜昌 , 周毅 , 黄正国 , 吴冠标 , 李新 , 蒋维 , 曹勇 , 高欢
IPC: H04L61/5061 , H04L61/5007 , H04L61/5053 , H04L67/56 , G06F16/951
Abstract: 本发明属于IP代理技术领域，具体涉及一种多网站并行爬取的IP代理池的构建系统和方法，所述构建系统包括：IP验证模块，用于对初始IP集合内的代理IP进行代理可用性验证，并将可用的代理IP置入有效队列中，得到有效IP集合；IP标记模块，用于对有效IP集合内的代理IP进行逐一标记，得到具有标记信息的标记IP集合；IP组合模块，用于获取若干待爬取网站信息并为每个待爬取网站构建对应的网站代理IP队列，还用于基于待爬取网站信息在标记IP集合中挑取标记信息与其匹配的代理IP，并将挑取的代理IP置入与其匹配的网站代理IP队列中。上述构建系统构建了多网站并行爬取代理池，实现了多网站并行爬取，进而提高代理IP的利用率以及爬取成功率。
-
公开(公告)号：CN109934251B
公开(公告)日：2021-08-06
申请号：CN201811615581.4
申请日：2018-12-27
Applicant: 国家计算机网络与信息安全管理中心广东分中心 , 北京天融信网络安全技术有限公司
IPC: G06K9/62
Abstract: 本发明涉及一种用于小语种文本识别的方法，包括以下步骤：S1.构建来源于不同语种的训练文本集；S2.对训练文本集中的文本进行基于字节的N‑gramrank特征的提取；S3.对训练文本集中的文本进行基于互信息的度量特征的提取，即计算文本中的所有信息字节在单个语种中的信息度量；S4.对训练文本集中的文本进行基于转移概率的概率特征的提取，即计算文本中所有相邻字节能在单个语种中表达完整信息的概率；S5.利用步骤S2～S4提取的特征训练分类器；S6.对待识别的文本按照步骤S2～S4进行特征的提取，然后将提取的特征输入分类器中进行识别，分类器输出语种识别结果。
-
公开(公告)号：CN113095858A
公开(公告)日：2021-07-09
申请号：CN202110497356.0
申请日：2021-05-07
Applicant: 广州市刑事科学技术研究所 , 国家计算机网络与信息安全管理中心广东分中心
IPC: G06Q30/00 , G06F16/335 , G06F16/35 , G06F40/194 , G06F40/279 , G06F40/30 , G06N3/04 , G06N3/08
Abstract: 本发明为解决没有考虑对文本信息的过滤及涉诈类别的分类导致存在识别准确率和效率低的问题，提出一种涉诈短文本识别方法，包括以下步骤：获取待识别的短文本，对所述短文本中的正常短文本进行过滤，得到疑似涉诈短文本数据集；将所述疑似涉诈短文本数据集输入神经网络模型中提取语义特征；根据所述疑似涉诈短文本数据集中字符的拼音和笔顺与预设的涉诈关键词的相似度对所述疑似涉诈短文本数据集进行特征抽取得到人工特征，并基于预设的涉诈关键词进行硬匹配，得到硬匹配特征；将所述语义特征、人工特征和硬匹配特征进行特征融合后通过多分类算法进行建模训练，生成用于诈骗短文本识别的分类器，输出得到涉诈短文本识别结果。
-
-
-
Search Results
14
records
(took 0.063 seconds)
