一种基于查询机制的抽取式文档摘要自动生成方法、装置及系统

    公开(公告)号:CN111177366B

    公开(公告)日:2023-06-27

    申请号:CN201911396046.9

    申请日:2019-12-30

    Abstract: 本发明通过深度学习的方法,构建训练数据与数据预处理;基于BERT模型预训练语言模型进行文档与查询内容编码;基于BERT模型的查询内容进行词编码;建立基于句子级别的层级结构(Hierarchical结构)模型,实现查询内容与文档关系语义建模;模型训练后封装,通过接口输出抽取式摘要五个步骤,使BERT模型学习词级别的特征向量表示,抽取代表文档的句子和查询的句子,并将上述特征导入Transformer模型进行句子级别的语义关系特征学习,结合查询模型的思想,学习查询内容与文档的关系,通过分类函数判定最终得到文本的摘要。

    一种话题标签自动生成方法、装置及系统

    公开(公告)号:CN111191023B

    公开(公告)日:2022-07-26

    申请号:CN201911395888.2

    申请日:2019-12-30

    Abstract: 一种话题标签自动生成方法、装置与系统,包括:步骤一:构建训练数据集合与数据预处理;步骤二:实现基于内容片段的内容选择机制的Transformer encoder特征编码器;步骤三:Transformer decoder的话题摘要生成器模型;步骤四:训练数据并根据交叉验证调优,并实现模型封装与装置的接口实现;本发明通过文本摘要生成技术实现话题标签的自动生成,提出了一种话题标签生成的新场景,本发明提出内容选择机制的Transformer编码并抽取重要的源文本片段,输入解码器用于文本生成,这种设计即捕捉了有效的核心语义片段,又减少了模型训练的开销。

    一种基于查询机制的抽取式文档摘要自动生成方法、装置及系统

    公开(公告)号:CN111177366A

    公开(公告)日:2020-05-19

    申请号:CN201911396046.9

    申请日:2019-12-30

    Abstract: 本发明通过深度学习的方法,构建训练数据与数据预处理;基于BERT模型预训练语言模型进行文档与查询内容编码;基于BERT模型的查询内容进行词编码;建立基于句子级别的层级结构(Hierarchical结构)模型,实现查询内容与文档关系语义建模;模型训练后封装,通过接口输出抽取式摘要五个步骤,使BERT模型学习词级别的特征向量表示,抽取代表文档的句子和查询的句子,并将上述特征导入Transformer模型进行句子级别的语义关系特征学习,结合查询模型的思想,学习查询内容与文档的关系,通过分类函数判定最终得到文本的摘要。

Patent Agency Ranking