-
公开(公告)号:CN1180377C
公开(公告)日:2004-12-15
申请号:CN02129045.8
申请日:2002-08-29
Applicant: 北京北大方正技术研究院有限公司 , 北京大学计算机科学技术研究所
IPC: G06N7/00
Abstract: 本发明属于智能信息处理技术,具体涉及一种对半结构化文档集进行文本挖掘的方法。本发明针对现有的文本挖掘处理半结构化文档集存在的挖掘效果差的缺陷,提出了一种针对半结构化文档的结构链接向量模型的挖掘方法。它能够综合利用半结构化文档中的字词信息、结构信息与链接信息,并以统一的数学模型进行表示。采用该模型对半结构化文档集进行文本挖掘,由于充分的利用了半结构化文档中的结构信息与链接信息,挖掘效果大大改进。本方法可广泛地应用于智能信息处理。
-
公开(公告)号:CN1399228A
公开(公告)日:2003-02-26
申请号:CN02129045.8
申请日:2002-08-29
Applicant: 北京北大方正技术研究院有限公司 , 北京大学计算机科学技术研究所
Abstract: 本发明属于智能信息处理技术,具体涉及一种对半结构化文档集进行文本挖掘的方法。本发明针对现有的文本挖掘处理半结构化文档集存在的挖掘效果差的缺陷,提出了一种针对半结构化文档的结构链接向量模型的挖掘方法。它能够综合利用半结构化文档中的字词信息、结构信息与链接信息,并以统一的数学模型进行表示。采用该模型对半结构化文档集进行文本挖掘,由于充分的利用了半结构化文档中的结构信息与链接信息,挖掘效果大大改进。本方法可广泛地应用于智能信息处理。
-
公开(公告)号:CN100498783C
公开(公告)日:2009-06-10
申请号:CN200610112798.4
申请日:2006-09-01
Applicant: 北大方正集团有限公司 , 北京大学 , 北京北大方正技术研究院有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种支持全文检索系统同时检索数值类型数据域的方法。该方法通过将数值类型的数据值转换成具有固定长度的有序的位串作为索引项实现数值类型数据的快速索引与检索,实现了全文检索系统对数值类型数据域的支持,解决了全文检索系统对结构化数据支持的问题。从而达到了使全文检索系统可同时对结构化数据和非结构化数据进行处理的目的。随着信息量爆炸性增长,信息检索的需要越来越深入,本发明的方法具有广泛的应用前景。
-
公开(公告)号:CN101136014A
公开(公告)日:2008-03-05
申请号:CN200610112798.4
申请日:2006-09-01
Applicant: 北大方正集团有限公司 , 北京大学 , 北京北大方正技术研究院有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种支持全文检索系统同时检索数值类型数据域的方法。该方法通过将数值类型的数据值转换成具有固定长度的有序的位串作为索引项实现数值类型数据的快速索引与检索,实现了全文检索系统对数值类型数据域的支持,解决了全文检索系统对结构化数据支持的问题。从而达到了使全文检索系统可同时对结构化数据和非结构化数据进行处理的目的。随着信息量爆炸性增长,信息检索的需要越来越深入,本发明的方法具有广泛的应用前景。
-
公开(公告)号:CN1987853A
公开(公告)日:2007-06-27
申请号:CN200510132443.7
申请日:2005-12-23
Applicant: 北大方正集团有限公司 , 北京北大方正技术研究院有限公司 , 北京大学
IPC: G06F17/30
Abstract: 本发明公开了一种关系型数据库与全文检索相结合的检索方法,为克服现有技术中关系型数据库中SQL检索方式与全文检索方式不能很好的结合、效率低下的问题而发明。包括一个以上的数据库,并对每一个数据库中需要的属性字段创建数据库检索索引库和由全文检索引擎创建全文索引库,检索时将检索条件根据需要分拆为数据库检索和全文检索两部分,分别形成相应的查询语句,数据库检索条件要求符合标准SQL规范,全文检索条件要求符合全文检索语法规则,然后前者提交关系型数据库进行数据库检索,后者提交全文检索引擎进行全文检索,从而实现两检索并行执行,大大提高检索的性能,并且能够提供全文检索引擎特定的检索机制。
-
公开(公告)号:CN1828609A
公开(公告)日:2006-09-06
申请号:CN200610072587.2
申请日:2006-04-13
Applicant: 北大方正集团有限公司 , 北京大学 , 北京北大方正技术研究院有限公司
Abstract: 本发明涉及一种基于簇排列的面向主题或查询的多文档摘要方法,属于语言文字处理技术领域。现有的多文档摘要方法,在用户搜索感兴趣的主题时,不能准确地根据用户定义的兴趣爱好等属性返回相关的新闻信息和面向用户属性的摘要。本发明所述的方法提供了一种新的半监督学习算法即基于簇排列的算法,该方法全面考虑了句子之间的相互关系以及句子和用户主题或查询之间的关系,从而使得生成的摘要既能包含文档集的主要信息,又能诠释主题或回答查询,同时利用差异性惩罚算法来保证摘要的新颖性。采用本发明所述的方法能够根据用户的兴趣爱好等需求,返回相关的新闻信息,从而得到更好的面向主题或查询的多文档摘要,可以满足不同用户的个性化需求。
-
公开(公告)号:CN101231641B
公开(公告)日:2010-05-19
申请号:CN200710062944.1
申请日:2007-01-22
Applicant: 北大方正集团有限公司 , 北京大学 , 北京北大方正技术研究院有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种自动分析互联网上热点主题传播过程的方法及系统,属于智能信息处理技术。由于互联网上文本信息的不断增长,自动从海量文本中检测与分析热点或敏感主题是文本挖掘和信息检索领域的一个重要课题,具有重大的实用价值。本发明利用自然语言处理方法,自动分析给定热点或敏感主题中的文档信息传播过程:对主题中的文档按照时间排序之后,从第一篇文档开始对当前文档利用模式匹配方法搜索其转载出处,如果未发现其转载出处,则进一步利用文档相似度比较方法判断其转载出处,同时获取对应的源文档。最后将转载关系以图形化的方式直观地呈现给用户。本方法可广泛应用于互联网智能信息处理、舆情分析与监控等。
-
公开(公告)号:CN100543735C
公开(公告)日:2009-09-23
申请号:CN200510117412.4
申请日:2005-10-31
Applicant: 北大方正集团有限公司 , 北京北大方正技术研究院有限公司 , 北京大学
Abstract: 本发明公开了一种基于文档结构的文档相似性度量方法,涉及一种自然语言的处理方法。针对度量方法中丢失了词语在文档各个部分的分布信息,本发明提出的方法包括以下步骤:(1)对于需要比较的两个文档X和Y,分别使用文档结构分析方法找出每个文档的子主题序列;(2)利用相似性度量方法计算任意两个分别属于不同文档的子主题之间的相似度值;(3)对步骤(1)及步骤(2)得到的子主题序列及子主题之间的相似度值,建立一个带权二部图G={X,Y,E};(4)对带权二部图G={X,Y,E}求解最优匹配,对最优匹配的总权值进行规范化处理,即得到文档X与Y的相似度值。本发明提出的方法,提高了文档相似性判断的准确度。
-
公开(公告)号:CN100461177C
公开(公告)日:2009-02-11
申请号:CN200610007219.X
申请日:2006-02-14
Applicant: 北大方正集团有限公司 , 北京北大方正技术研究院有限公司 , 北京大学
IPC: G06F17/30
Abstract: 本发明涉及一种自动检测新闻事件的方法,属于智能信息处理技术。现有技术中,事件检测技术仅仅考虑在固定的小数据集合上的错检率和漏检率,常出现新闻事件被误分为多个小事件的情况,并且事件检测的精确度不高,常出现检测到的事件内容过于宽泛的情况。本发明所述的方法针对持续新闻流事件检测的实际应用,通过引入事件排序,事件合并和调整,新闻报道淘汰,以及新闻事件描述等步骤,提出了一个实用的新闻事件检测方法。采用本发明所述的方法,能够明显提高新闻事件的检测效果,大大增强其实用性。本方法可广泛地应用于智能信息处理。
-
公开(公告)号:CN101315625A
公开(公告)日:2008-12-03
申请号:CN200710099802.2
申请日:2007-05-30
Applicant: 北大方正集团有限公司 , 北京北大方正技术研究院有限公司 , 北京大学
Abstract: 本发明公开了一种词汇语义褒贬获得方法、系统及装置,用以提高确定词汇语义褒贬的准确率。在本发明中,通过搜索引擎查询获得命中待处理词汇的第一文档数、命中所述待处理词汇分别与每个种子词汇的结合的第二文档数集合以及命中所述结合的文档集合中相应的摘要信息;获得每个种子词汇对应的摘要信息中所述待处理词汇与相应种子词汇间符合设定共现关系的文档比例;根据所述查询的总文档数量、所述第一文档数、所述第二文档数集合、命中每个种子词汇的第三文档数集合以及每个种子词汇对应的文档比例获得所述待处理词汇与每个种子词汇的点间互信息;根据各种子词汇的褒贬情况及相应的点间互信息确定所述待处理词汇的语义褒贬。
-
-
-
-
-
-
-
-
-