-
公开(公告)号:CN110059181A
公开(公告)日:2019-07-26
申请号:CN201910202727.0
申请日:2019-03-18
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F16/35
Abstract: 本发明属于文本分类领域,具体涉及一种面向大规模分类体系的短文本标签方法、系统、装置,旨在为了解决有限数据情况下面向大规模分类体系的短文本标签系统的稳定性不高的问题。本发明方法包括:获取待分类的第一短文本信息集合,并基于正向最大匹配分词和word2vec词向量表示技术进行预处理得到第二短文本信息集合;基于规则的分类方法、有监督的神经网络分类方法,对第二短文本信息集合进行二分类后进行短文本过滤,并基于同样的分类方法进行各短文本的第一、二级分类标签,基于半监督学习的标签传播方法进行各短文本的第三、四级分类标签。本发明在有限数据情况下保证了面向大规模分类体系的短文本标签系统的稳定性。
-
公开(公告)号:CN105786991B
公开(公告)日:2019-03-15
申请号:CN201610089962.8
申请日:2016-02-18
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种结合用户情感表达方式的中文情感新词识别方法和系统。其中,该方法包括获取输入文本;基于所述输入文本中词频大于第一预设阈值的字符串,构建候选新词集合;使用中文旧词词库对所述候选新词集合进行过滤;基于统计指标从过滤的候选新词集合中筛选新词,构建新词集合;其中,所述统计指标为构词能力、点互信息、灵活度和邻接熵;基于情感倾向点互信息,从所述新词集合中识别情感新词,构建初始情感新词集合;基于所述输入文本中涉及的用户的情感表达方式,从所述初始情感新词集合中筛选高置信度情感新词,并将其作为所识别的中文情感新词。通过本发明实施例解决了如何提高情感新词识别的精度和灵活度的技术问题。
-
公开(公告)号:CN105740236A
公开(公告)日:2016-07-06
申请号:CN201610066957.5
申请日:2016-01-29
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F17/27
CPC classification number: G06F17/2715 , G06F17/2775
Abstract: 本发明公开了一种结合写作特征和序列特征的中文情感新词识别方法和系统。该方法对于输入文本子句,基于情感词的作者写作特征和情感词的序列特征将文本子句表示为各种特征(如:字、词性等)的序列。然后,针对特征表示的文本子句,利用线性链条件随机场模型输出与文本子句对应的情感词标签序列。其中,线性链条件随机场模型基于包含传统情感词的文本训练得到。接着,基于文本子句中字的序列和情感词标签序列,利用有限状态自动机识别文本子句中的情感词,形成情感词集合。最后,利用中文旧词词库对情感词集合进行过滤,将未出现在中文旧词词库中的情感词作为中文情感新词。通过本发明实施例解决了如何提高情感新词识别精度和召回率的技术问题。
-
公开(公告)号:CN108470046B
公开(公告)日:2020-12-01
申请号:CN201810184478.2
申请日:2018-03-07
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F16/9535 , G06F16/34
Abstract: 本发明涉及计算机技术领域,具体提供了一种基于新闻事件搜索语句的新闻事件排序方法及系统,旨在解决在考虑用户主观信息的情况下,如何实现新闻事件排序的技术问题。为此目的,本发明中的新闻事件排序方法,能够通过预设的新闻事件排序模型对预先获取的新闻事件搜索语句进行识别,得到按照相关度大小排序的新闻事件排序结果。其中,新闻事件搜索语句包含能够表征用户情感倾向的用户主观信息。基于此,本发明能够结合用户对新闻事件的情感倾向,按照新闻事件与用户偏好相关程度进行排序,从而提高新闻事件排序结果的准确性。同时,本发明中的系统能够执行并实现上述方法。
-
公开(公告)号:CN108470046A
公开(公告)日:2018-08-31
申请号:CN201810184478.2
申请日:2018-03-07
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F16/34 , G06F16/9535
Abstract: 本发明涉及计算机技术领域,具体提供了一种基于新闻事件搜索语句的新闻事件排序方法及系统,旨在解决在考虑用户主观信息的情况下,如何实现新闻事件排序的技术问题。为此目的,本发明中的新闻事件排序方法,能够通过预设的新闻事件排序模型对预先获取的新闻事件搜索语句进行识别,得到按照相关度大小排序的新闻事件排序结果。其中,新闻事件搜索语句包含能够表征用户情感倾向的用户主观信息。基于此,本发明能够结合用户对新闻事件的情感倾向,按照新闻事件与用户偏好相关程度进行排序,从而提高新闻事件排序结果的准确性。同时,本发明中的系统能够执行并实现上述方法。
-
公开(公告)号:CN105068988B
公开(公告)日:2018-01-30
申请号:CN201510431992.8
申请日:2015-07-21
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F17/27
Abstract: 本发明涉及一种多维度和多粒度情感分析方法,包括:构建情感资源,即根据特定领域文本的类别体系构建其情感资源;选择情感倾向词,即选择每个类别下的情感词并确定其情感倾向;判别情感倾向性,包括:判断信息资源的类型;从信息资源中获取情感关键词;从信息资源中识别权威发布者,并获取该信息资源的情感分析结果;对社交类信息进行情感分析;对非专有类别社交类信息的情感倾向进行分析;针对专有类别的社交信息进行情感分析。本发明的情感分析方法能够从多维度、多粒度进行情感分析以提供较高的情感分析识别率和精度。
-
公开(公告)号:CN105786991A
公开(公告)日:2016-07-20
申请号:CN201610089962.8
申请日:2016-02-18
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
CPC classification number: G06F17/30731 , G06F17/2715
Abstract: 本发明公开了一种结合用户情感表达方式的中文情感新词识别方法和系统。其中,该方法包括获取输入文本;基于所述输入文本中词频大于第一预设阈值的字符串,构建候选新词集合;使用中文旧词词库对所述候选新词集合进行过滤;基于统计指标从过滤的候选新词集合中筛选新词,构建新词集合;其中,所述统计指标为构词能力、点互信息、灵活度和邻接熵;基于情感倾向点互信息,从所述新词集合中识别情感新词,构建初始情感新词集合;基于所述输入文本中涉及的用户的情感表达方式,从所述初始情感新词集合中筛选高置信度情感新词,并将其作为所识别的中文情感新词。通过本发明实施例解决了如何提高情感新词识别的精度和灵活度的技术问题。
-
公开(公告)号:CN105068988A
公开(公告)日:2015-11-18
申请号:CN201510431992.8
申请日:2015-07-21
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F17/27
Abstract: 本发明涉及一种多维度和多粒度情感分析方法,包括:构建情感资源,即根据特定领域文本的类别体系构建其情感资源;选择情感倾向词,即选择每个类别下的情感词并确定其情感倾向;判别情感倾向性,包括:判断信息资源的类型;从信息资源中获取情感关键词;从信息资源中识别权威发布者,并获取该信息资源的情感分析结果;对社交类信息进行情感分析;对非专有类别社交类信息的情感倾向进行分析;针对专有类别的社交信息进行情感分析。本发明的情感分析方法能够从多维度、多粒度进行情感分析以提供较高的情感分析识别率和精度。
-
公开(公告)号:CN112287684B
公开(公告)日:2024-06-11
申请号:CN202011192254.X
申请日:2020-10-30
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F40/295 , G06F40/30
Abstract: 本发明属于领域,具体涉及了一种融合变体词识别的短文本审核方法及装置,旨在解决如何将变体词识别技术融合到有害文本审核任务中并实现模型自动更新的问题。本发明包括:构建配置词库,基于社交媒体平台获取待审核文本数据,对待审核文本数据进行筛选获得可疑文本数据,并去除无意义信息并计算文本特征向量和统计特征向量,将文本特征向量和统计特征向量进行特征融合通过训练好的基于支持向量机的有害文本分类模型获取有害文本,利用预设的关键词抽取算法获取所述有害文本的敏感词写入配置词库。本发明将变体词识别技术融合到文本特征和统计特征计算进行有害文本审核任务中并实现模型自动更新,提高了文本审核的准确率和更新速度。
-
公开(公告)号:CN112287684A
公开(公告)日:2021-01-29
申请号:CN202011192254.X
申请日:2020-10-30
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F40/295 , G06F40/30
Abstract: 本发明属于领域,具体涉及了一种融合变体词识别的短文本审核方法及装置,旨在解决如何将变体词识别技术融合到有害文本审核任务中并实现模型自动更新的问题。本发明包括:构建配置词库,基于社交媒体平台获取待审核文本数据,对待审核文本数据进行筛选获得可疑文本数据,并去除无意义信息并计算文本特征向量和统计特征向量,将文本特征向量和统计特征向量进行特征融合通过训练好的基于支持向量机的有害文本分类模型获取有害文本,利用预设的关键词抽取算法获取所述有害文本的敏感词写入配置词库。本发明将变体词识别技术融合到文本特征和统计特征计算进行有害文本审核任务中并实现模型自动更新,提高了文本审核的准确率和更新速度。
-
-
-
-
-
-
-
-
-