一种面向新闻标题的人物关系抽取方法

    公开(公告)号:CN105608070B

    公开(公告)日:2019-01-25

    申请号:CN201510965136.0

    申请日:2015-12-21

    Abstract: 本发明涉及一种面向新闻标题的人物关系抽取方法,其步骤包括:1)寻找出新闻标题中的关系指示词,用以区分不同类别的人物关系;2)根据人物与关系指示词在新闻标题中的位置特征,建立描述句子的句式模板;利用训练数据统计每个模板的正/负例个数,根据正负模板的比例判定新闻标题中人物间关系的正确性;3)从新闻标题与人物属性知识库中提取特征,通过特征分类的方法并结合步骤2)得到的句式模板的正/负例个数,判定给定的人物关系是否正确。本发明在保证准确率的同时,降低了特征维度,提高了判定效率,可用于挖掘新闻标题中的人物关系,进而发现社会中的焦点人物、热点事件等,便于及时掌握社会动态,监控舆情。

    一种基于开源信息的可疑威胁指标主动验证方法和系统

    公开(公告)号:CN109194605A

    公开(公告)日:2019-01-11

    申请号:CN201810709596.0

    申请日:2018-07-02

    Abstract: 本发明涉及一种基于开源信息的可疑威胁指标主动验证方法和系统。该方法包括以下步骤:1)设计特定查询语句,所述特定查询语句是可疑威胁指标与特定场景的组合;2)收集和爬取根据所述特定查询语句在互联网上检索得到的结果信息;3)将所述结果信息中的相关开源信息进行结构化处理,得到结构化数据;4)利用所述结构化数据,充分学习其中的隐藏特征,训练相应的分类模型;5)利用所述分类模型验证在特定场景下的可疑威胁指标的恶意性,从而识别网络威胁。该系统包括查询设计模块、信息采集模块、数据处理模块、模型训练模块、指标验证模块。本发明能够高效准确地完成对可疑威胁指标的验证,帮助人们识别高级威胁攻击,保证网络安全。

    一种海量安全日志信息过滤方法及装置

    公开(公告)号:CN109101527A

    公开(公告)日:2018-12-28

    申请号:CN201810642159.1

    申请日:2018-06-21

    Abstract: 本发明公开了一种海量安全日志信息过滤方法及装置。本方法为:1)提取安全日志信息的特征序列;2)根据黑白名单对所述特征序列进行标注,利用标注好的特征序列训练向量表示模型;其中,将根据黑白名单无法标注的特征序列称为灰度数据;3)利用训练好的向量表示模型,对所述灰度数据进行向量表示,得到各所述灰度数据对应的向量;4)计算每一所述灰度数据i对应的向量与各标注为白名单的特征序列对应的向量之间的距离d;如果该距离d小于设定阈值,则过滤掉所述灰度数据i对应的安全日志。本发明能够在小规模黑白名单基础上实现大规模正常日志信息的过滤,提升了异常检测的效率。

    一种基于词性标注的文档相似性度量方法

    公开(公告)号:CN109062899A

    公开(公告)日:2018-12-21

    申请号:CN201810857156.X

    申请日:2018-07-31

    CPC classification number: G06F17/2785 G06F17/277

    Abstract: 本发明公开了一种基于词性标注的文档相似性度量方法。本方法为:1)对于两待分析的文档doc1、doc2,使用词性标注工具对文档doc1、doc2进行词性标注,得到文档的词性标签,对词性标签进行编码,得到词性标签向量;2)根据文档doc1、doc2的词性标签分布和单词分布度量两文档doc1、doc2之间的距离;3)根据两文档doc1、doc2之间的距离确定两文档doc1、doc2之间的相似度。本发明使得文本之间的距离度量更加精确,可以被应用在信息检索、文本分类等自然语言处理任务中,能够大大提高文本分类任务的准确率。

    一种针对URL的分词方法及装置

    公开(公告)号:CN108228710A

    公开(公告)日:2018-06-29

    申请号:CN201711237280.8

    申请日:2017-11-30

    Abstract: 本发明涉及一种针对URL的分词方法及装置。该方法包括:1)对URL地址按照其内在的层次结构进行分割,得到若干层次部分;2)对所述若干层次部分依次进行符号分割与正则表达式过滤;3)对步骤2)处理后得到字符串进行分割,得到URL分词序列。其中步骤1)将URL地址分割为五个层次部分:协议类型、自由域名、二级域名、顶级域名和路径;步骤3)利用双向最大匹配算法和概率模型对字符串进行分割。本发明充分利用了URL本身的层次结构,能够高效地对URL进行分割,并最大化地保留了URL地址中的有用信息,得到的URL分词序列可用于网页分类、钓鱼URL检测等任务中的特征分析,能够有效提高任务准确率。

    一种高效可扩展的安全的文档相似性计算方法和装置

    公开(公告)号:CN107885705A

    公开(公告)日:2018-04-06

    申请号:CN201710930206.8

    申请日:2017-10-09

    Abstract: 本发明涉及一种高效可扩展的安全的文档相似性计算方法和装置。该方法使用MinHash文档指纹算法将文档表示成固定数量指纹的指纹集合,既可以较好衡量文档间的相似性,又控制了指纹集合的规模;将多个指纹集合存储到multi-GBF中,不仅可以确定集合元素是否存在,还可以在查找时返回元素的多个来源ID;不经意多来源混淆布隆过滤器交集计算协议可以高效地在两方之间完成安全的文档相似性计算,又不互相暴露自己的私有数据给对方;采用本发明方法计算文档间的相似性的复杂度与文档集合的大小呈线性关系。

    一种基于社团划分的无监督复合短语识别方法

    公开(公告)号:CN106897264A

    公开(公告)日:2017-06-27

    申请号:CN201710018100.0

    申请日:2017-01-10

    CPC classification number: G06F17/278

    Abstract: 本发明涉及一种基于社团划分的无监督复合短语识别方法。该方法包括:1)采用词性标注工具对输入的语料进行词性标注和分词;2)生成科技复合短语的上下文模板,并通过所述上下文模板对分词后的语料进行科技复合短语的预提取;3)将预提取后的文本中的分词序列映射到有序的社团图结构,按照分词之间的权重将前后具有紧密联系的词语划分到一个社团分段中;4)计算各个社团分段的模块度,并求解不同社团分段的组合的模块度,将整个输入文本的模块度之和最大化;5)验证各社团分段是否包含科技复合短语的特征词,以实现科技复合短语的最终识别。本发明只需少量标注语料,便可以自动识别科技类复合短语,是一种高效的科技类复合短语识别方法。

    一种基于字模型的评论文本实体识别方法及装置

    公开(公告)号:CN106776555A

    公开(公告)日:2017-05-31

    申请号:CN201611129133.4

    申请日:2016-12-09

    Abstract: 本发明涉及一种基于字模型的评论文本实体识别方法及装置。该方法包括:1)使用标注好的训练数据训练基于字的双向LSTM模型;2)使用训练好的基于字的双向LSTM模型对输入的评价性文本进行核心实体识别;3)对基于字的双向LSTM模型输出的非空结果进行字补齐,将补齐后的结果作为最终识别出的核心实体并输出;4)对基于字的双向LSTM模型输出的结果为空的评价性文本,通过文本分词、词性标注和实体词典生成一个候选实体作为核心实体。本发明可以从大规模、表达口语化的评论文本中准确高效地提取文本中实体。

Patent Agency Ranking