一种基于多模融合特征的暗网相似商品判定方法、存储介质及计算装置

    公开(公告)号:CN114090901A

    公开(公告)日:2022-02-25

    申请号:CN202111367617.3

    申请日:2021-11-18

    Abstract: 本发明提供一种基于多模融合特征的暗网相似商品判定方法、存储介质及计算装置,所述方法包括:步骤10,采集暗网商品数据并对商品分类;其中,采集的暗网商品数据包括商品文字和商品图片,并对采集的商品图片生成md5值;步骤20,基于步骤1中采集的暗网商品数据以及商品分类结果,计算商品图片的感知哈希指纹值以及商品文字的Word2Vec句向量值;步骤30,基于商品图片的md5值、商品图片的感知哈希指纹值以及商品文字的Word2Vec句向量值,对商品相似度进行计算。本发明通过构建一种融合商品图片和商品文本的相似度计算方法,能够解决暗网商品图片模糊,文字信息简单,相似商品的判定存在困难的问题。

    一种多平台文本二级标签体系搭建及完善迭代的方法

    公开(公告)号:CN114090796A

    公开(公告)日:2022-02-25

    申请号:CN202111367064.1

    申请日:2021-11-18

    Abstract: 本发明提供一种多平台文本二级标签体系搭建及完善迭代的方法,包括:S10,迭代扩充一级标签下的代表词;S20,基于代表词确定初始二级标签;S30,基于初始二级标签完成二级标签扩充与融合。本发明的有益效果是:1、本发明通过代表词语料获取,词向量模型训练,相似词提取的方式扩充代表词数量,极大地减少了人工收集的过程,并且也较大的降低了人工筛选的难度。2、本发明利用代表词聚类的方式自动化生成各代表词的标签类别,对于人工归纳二级标签提供了便利型。3、本发明使用测试文本进行二级标签的进一步扩充融合的方法除了提高了二级标签的覆盖率,对于新文本二级标签的归类和新建也提供了帮助。

    一种实时文本数据流去重系统及方法

    公开(公告)号:CN117892727A

    公开(公告)日:2024-04-16

    申请号:CN202410288617.1

    申请日:2024-03-14

    Abstract: 本发明公开了一种实时文本数据流去重系统及方法,涉及数据去重领域,其中去重系统包括:数据输入端,所述数据输入端由用于接收与发送文本数据流的消息队列组成;数据处理端,所述数据处理端由流处理引擎组成,能够按不同语种对文本数据进行预处理,并基于改进Ksentence进行文本标识计算,最后形成输出数据流;数据输出端,所述数据输出端能够将数据处理端的输出数据流存储至对应的数据库中;并以此提出了一种去重方法;本发明,侧重于对海量性、实时性的文本进行去重,适用于在线实时场景。

    开放网络模式下FreeNet匿名流量检测方法及系统

    公开(公告)号:CN114124467A

    公开(公告)日:2022-03-01

    申请号:CN202111271019.6

    申请日:2021-10-29

    Abstract: 本发明公开了一种开放网络模式下FreeNet匿名流量检测方法及系统,其中检测方法包括:数据采集:使用网络抓包工具采集流量数据,获取待识别的流量文件,并存为pcap格式的流量文件;数据预处理:过滤广播流量和ICMP协议流量,提取出会话的五元组信息与有效载荷数据,存为json格式的会话数据;特征提取:基于所述会话数据,提取会话中的特征并形成特征数据集,所述特征包括最大包长度、最小包长度、传输协议、端口个数和报文熵值;FreeNet流量检测:基于所述特征数据集,筛选出可能的FreeNet流量,输出其五元组信息。本发明基于规则策略匹配的方法对FreeNet流量进行检测,计算复杂度低,检测速度快。

    一种实时文本数据流去重系统及方法

    公开(公告)号:CN117892727B

    公开(公告)日:2024-05-17

    申请号:CN202410288617.1

    申请日:2024-03-14

    Abstract: 本发明公开了一种实时文本数据流去重系统及方法,涉及数据去重领域,其中去重系统包括:数据输入端,所述数据输入端由用于接收与发送文本数据流的消息队列组成;数据处理端,所述数据处理端由流处理引擎组成,能够按不同语种对文本数据进行预处理,并基于改进Ksentence进行文本标识计算,最后形成输出数据流;数据输出端,所述数据输出端能够将数据处理端的输出数据流存储至对应的数据库中;并以此提出了一种去重方法;本发明,侧重于对海量性、实时性的文本进行去重,适用于在线实时场景。

Patent Agency Ranking