一种数据入库方法、装置、电子设备和存储介质

    公开(公告)号:CN112559453A

    公开(公告)日:2021-03-26

    申请号:CN202011450305.4

    申请日:2020-12-09

    Abstract: 本发明公开了一种数据入库方法、装置、电子设备和存储介质,包括:基于Flink框架获取用户配置的任务参数,其中,任务参数中包含数据源地址和数据转换方式;根据数据源地址进行数据抽取获取源数据,其中,源数据的类型包括文件数据、数据库数据、消息队列数据或分布式文件系统HDFS数据;根据数据转换方式对源数据进行转换获得转换数据,并将转换数据以数据流的形式写入到目标数据库的指定位置。通过在Flink框架下获取包含数据源地址和数据转换方式的任务参数,将从数据源地址获取的源数据根据转换方式进行转换,并将转换数据写入到目标数据库的指定位置,从而实现了基于Flink框架将复杂的源数据进行处理并进行准确的入库保存。

    一种短链接涉诈网址的识别方法、装置、设备及存储介质

    公开(公告)号:CN117978422A

    公开(公告)日:2024-05-03

    申请号:CN202311568799.X

    申请日:2023-11-22

    Abstract: 本发明公开了一种短链接涉诈网址的识别方法、装置、设备及存储介质。该方法包括:获取多项涉诈短链接,并确定与每项涉诈短链接分别对应的分发平台;通过爬虫引擎,在每个分发平台中进行多级页面抓取,并在页面抓取结果中,识别第一类域名信息集以及第二类域名信息集;根据第一类域名信息集和第二类域名信息集,构建域名关系图,并采用域名关系图中的各域名对设定的决策树模型进行训练,得到反诈模型;在检测到待识别的涉诈网址时,将涉诈网址输入至反诈模型中,获取对所述涉诈网址的识别结果。本发明实施例的技术方案通过爬虫引擎、人工智能、图计算工具及决策树模型等技术,发现真实涉诈链接与APP下载地址,实现对涉诈网址访问的有效封堵拦截。

    网页分类方法、装置、电子设备、及存储介质

    公开(公告)号:CN113297525B

    公开(公告)日:2023-12-12

    申请号:CN202110673830.0

    申请日:2021-06-17

    Abstract: 本发明实施例涉及一种网页分类方法、装置、电子设备、及存储介质,具体涉及网络安全技术领域,方法包括:获取待分类的网页;判断网页的域名是否命中预定的备案网页库中的IP地址;若命中,则根据所命中的备案网页的内容特征判断网页的内容是否有变化,若判断所述网页的内容无变化,则输出所命中的备案网页的分类信息,若判断所述网页的内容有变化,则对所述网页采用预定分类规则集进行匹配;若未命中,则对所述网页采用所述预定分类规则集进行匹配;在对所述网页采用所述预定分类规则集进行匹配后,若匹配成功则根据所匹配的分类规则确定所述网页的分类信息,若匹配不成功则通过分类(56)对比文件张峰;胡向东;林家富;郭智慧;付俊;刘可.基于SVM的金融类钓鱼网页检测方法.重庆邮电大学学报(自然科学版).2017,(第06期),100-107.

Patent Agency Ranking