-
公开(公告)号:CN116049414B
公开(公告)日:2023-06-06
申请号:CN202310346367.8
申请日:2023-04-03
Applicant: 北京中科闻歌科技股份有限公司 , 新华融合媒体科技发展(北京)有限公司
Abstract: 本发明提供了一种基于话题描述的文本聚类方法、电子设备和存储介质,方法包括:首先对待聚类的每个文本生成一个话题描述,然后将该话题描述输入话题描述特征生成模型,提取话题描述的特征,作为当前文本的话题描述特征,基于该特征,对文本进行聚类,相较于直接使用原始文本提取的特征进行聚类,使用生成的话题描述特征进行聚类,减少了文本内容形式多样导致的噪声干扰,提高了聚类准确性。聚类后,基于文本和话题的特征向量之间的相似度以及文本和话题的话题描述特征向量之间的相似度,对聚类结果进行清洗和合并,最后得到聚类结果和每个话题的话题描述,能够使得聚类结果更加准确。
-
公开(公告)号:CN116049414A
公开(公告)日:2023-05-02
申请号:CN202310346367.8
申请日:2023-04-03
Applicant: 北京中科闻歌科技股份有限公司 , 新华融合媒体科技发展(北京)有限公司
Abstract: 本发明提供了一种基于话题描述的文本聚类方法、电子设备和存储介质,方法包括:首先对待聚类的每个文本生成一个话题描述,然后将该话题描述输入话题描述特征生成模型,提取话题描述的特征,作为当前文本的话题描述特征,基于该特征,对文本进行聚类,相较于直接使用原始文本提取的特征进行聚类,使用生成的话题描述特征进行聚类,减少了文本内容形式多样导致的噪声干扰,提高了聚类准确性。聚类后,基于文本和话题的特征向量之间的相似度以及文本和话题的话题描述特征向量之间的相似度,对聚类结果进行清洗和合并,最后得到聚类结果和每个话题的话题描述,能够使得聚类结果更加准确。
-
公开(公告)号:CN113496118A
公开(公告)日:2021-10-12
申请号:CN202010266045.9
申请日:2020-04-07
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F40/242 , G06F40/279 , G06N20/10
Abstract: 本发明公开了一种新闻主体识别方法、设备和计算机可读存储介质。该方法包括:获取待识别新闻文本,并对新闻文本进行预处理;利用预设的分词词典,对预处理后的新闻文本执行带词性标注的分词处理,得到多个被标注词性的分词;在词性被标注为主体的分词中查询预设的目标主体,并在新闻文本中提取目标主体对应的多种主体特征;将目标主体对应的多种主体特征输入预先训练的主体识别模型中,获取主体识别模型输出的识别结果。在本发明中,将目标主体对应的多种主体特征作为主体识别模型的输入,使主体识别模型根据目标主体对应的多种主体特征识别新闻文本的主体是否为目标主体,弥补了新闻主体识别的技术空白。
-
公开(公告)号:CN111026866B
公开(公告)日:2020-10-23
申请号:CN201911019149.3
申请日:2019-10-24
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F16/35 , G06F40/289
Abstract: 本发明公开了一种面向领域的文本信息抽取聚类方法、设备和存储介质。该方法包括:获取文本信息集合;所述文本信息集合包括:目标领域内的多个文本信息和目标领域外的多个文本信息;将所述文本信息集合输入预先训练的抽取聚类模型;通过所述抽取聚类模型对所述文本信息集合执行抽取和聚类处理,得到所述目标领域内每个主题对应的代表性信息。本发明将抽取和聚类融合在一起,使得抽取和聚类相互支撑,在抽取聚类过程中,人工干预少且抽取和聚类高效。
-
公开(公告)号:CN119692335A
公开(公告)日:2025-03-25
申请号:CN202411760336.8
申请日:2024-12-03
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F40/205 , G06F18/2431 , G06V30/41
Abstract: 本发明提供了一种基于多模型的PDF解析方法、电子设备和存储介质,方法包括利用规则提取、版面分析、表格识别、公式检测、公式识别、多模态大模型chart2text、多模态大模型段落排序等方法获取复杂PDF中可能出现的所有元素类型。本发明能够实现复杂PDF的完整结构化解析以及支持扫描件和非扫描件。
-
公开(公告)号:CN113139116B
公开(公告)日:2024-03-01
申请号:CN202010060445.4
申请日:2020-01-19
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F16/9535 , G06F16/28
Abstract: 本发明公开了一种基于BERT的媒体信息观点抽取方法、装置、设备和存储介质。该方法包括:获取观点待抽取的语料信息;利用预设的命名实体识别算法,识别语料信息中的命名实体;将命名实体和语料信息输入预先训练的观点抽取模型中,并获取观点抽取模型输出的命名实体对应的观点信息;其中,观点抽取模型根据命名实体和语料信息,生成命名实体对应的字符序列;观点抽取模型的BERT模型根据命名实体对应的字符序列,生成命名实体对应的字符向量序列;观点抽取模型的softmax层根据命名实体对应的字符向量序列以及训练观点抽取模型时得到的片段开始向量和片段结束向量,确定命名实体对应的观点信息。本发明可以减轻人工抽取观
-
公开(公告)号:CN115828917A
公开(公告)日:2023-03-21
申请号:CN202211505312.9
申请日:2022-11-28
Applicant: 北京中科闻歌科技股份有限公司 , 中国科学院自动化研究所 , 航空工业信息中心
IPC: G06F40/295 , G06N3/045 , G06N3/042 , G06N3/096 , G06N5/02
Abstract: 本发明提供了一种融合知识的低资源语种实体抽取系统,包括:目标语种知识库、关联语种知识库、处理器和存储有计算机程序的存储器,当处理器执行计算机程序时,实现如下步骤:获取无标注语料目标语句中的目标实体,将目标实体与目标语种知识库、关联语种知识库进行实体链接,以预测掩码实体为目标获取第一损失函数,以预测实体的上下文为目标获取第二损失函数,以预测实体类型为目标获取第三损失函数,通过最小化三个损失函数的加权求和函数,获取XLM‑RK模型;从而根据XLM‑RK模型在预训练阶段获得的跨语言实体对齐能力,提升目标语种实体识别效果。
-
公开(公告)号:CN113553839A
公开(公告)日:2021-10-26
申请号:CN202010340711.9
申请日:2020-04-26
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F40/279 , G06F40/194
Abstract: 本申请涉及一种文本原创识别方法、装置、电子设备及存储介质,该方法包括:获取待识别的第一文本数据,以及与所述第一文本数据相关联的第二文本数据;确定所述第一文本数据的来源信息;当所述来源信息不满足于预设条件时,对所述第一文本数据和所述第二文本数据进行比较,得到相似度特征指标;将所述相似度特征指标输入训练好的识别模型,由所述识别模型根据所述相似度特征指标进行计算得到所述文本数据的原创识别结果。该技术方案一方面通过基于来源信息对文本进行初步原创判断,另一方面采用相似度指标对文本进行原创识别,以此种方式提高了原创识别的准确性和有效性,本申请采用的方法能够更好的服务于新闻工作的需求。
-
公开(公告)号:CN111026866A
公开(公告)日:2020-04-17
申请号:CN201911019149.3
申请日:2019-10-24
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F16/35 , G06F40/289
Abstract: 本发明公开了一种面向领域的文本信息抽取聚类方法、设备和存储介质。该方法包括:获取文本信息集合;所述文本信息集合包括:目标领域内的多个文本信息和目标领域外的多个文本信息;将所述文本信息集合输入预先训练的抽取聚类模型;通过所述抽取聚类模型对所述文本信息集合执行抽取和聚类处理,得到所述目标领域内每个主题对应的代表性信息。本发明将抽取和聚类融合在一起,使得抽取和聚类相互支撑,在抽取聚类过程中,人工干预少且抽取和聚类高效。
-
-
-
-
-
-
-
-