一种多任务学习的商品评论标签自动生成方法、装置及系统

    公开(公告)号:CN111325571B

    公开(公告)日:2023-08-18

    申请号:CN201911396009.8

    申请日:2019-12-30

    Abstract: 一种多任务学习的商品评论标签自动生成方法、装置与系统,包括:步骤一:构建训练数据集合与数据预处理;步骤二:实现基于Transformer encoder的评论源文本特征编码器;步骤三:提取代表评论源文本整体内容的[cls]标签对于的隐状态向量用于情感分类任务;步骤四:基于Transformer decoder实现多任务的评论摘要生成器模型;步骤五:训练数据并根据联合loss函数进行训练调优,并实现模型封装与装置的接口实现;本发明避免采用抽取式的方式去生成评论标签,即不需要依赖句法结构的人工的规则集不能适合多个领域场景的缺点,又能保证标签生成的高效性,即只需要输入源文本,本发明装置能够自动产生标签。

    一种基于查询机制的抽取式文档摘要自动生成方法、装置及系统

    公开(公告)号:CN111177366B

    公开(公告)日:2023-06-27

    申请号:CN201911396046.9

    申请日:2019-12-30

    Abstract: 本发明通过深度学习的方法,构建训练数据与数据预处理;基于BERT模型预训练语言模型进行文档与查询内容编码;基于BERT模型的查询内容进行词编码;建立基于句子级别的层级结构(Hierarchical结构)模型,实现查询内容与文档关系语义建模;模型训练后封装,通过接口输出抽取式摘要五个步骤,使BERT模型学习词级别的特征向量表示,抽取代表文档的句子和查询的句子,并将上述特征导入Transformer模型进行句子级别的语义关系特征学习,结合查询模型的思想,学习查询内容与文档的关系,通过分类函数判定最终得到文本的摘要。

    一种基于查询机制的抽取式文档摘要自动生成方法、装置及系统

    公开(公告)号:CN111177366A

    公开(公告)日:2020-05-19

    申请号:CN201911396046.9

    申请日:2019-12-30

    Abstract: 本发明通过深度学习的方法,构建训练数据与数据预处理;基于BERT模型预训练语言模型进行文档与查询内容编码;基于BERT模型的查询内容进行词编码;建立基于句子级别的层级结构(Hierarchical结构)模型,实现查询内容与文档关系语义建模;模型训练后封装,通过接口输出抽取式摘要五个步骤,使BERT模型学习词级别的特征向量表示,抽取代表文档的句子和查询的句子,并将上述特征导入Transformer模型进行句子级别的语义关系特征学习,结合查询模型的思想,学习查询内容与文档的关系,通过分类函数判定最终得到文本的摘要。

    一种多任务学习的商品评论标签自动生成方法、装置及系统

    公开(公告)号:CN111325571A

    公开(公告)日:2020-06-23

    申请号:CN201911396009.8

    申请日:2019-12-30

    Abstract: 一种多任务学习的商品评论标签自动生成方法、装置与系统,包括:步骤一:构建训练数据集合与数据预处理;步骤二:实现基于Transformer encoder的评论源文本特征编码器;步骤三:提取代表评论源文本整体内容的[cls]标签对于的隐状态向量用于情感分类任务;步骤四:基于Transformer decoder实现多任务的评论摘要生成器模型;步骤五:训练数据并根据联合loss函数进行训练调优,并实现模型封装与装置的接口实现;本发明避免采用抽取式的方式去生成评论标签,即不需要依赖句法结构的人工的规则集不能适合多个领域场景的缺点,又能保证标签生成的高效性,即只需要输入源文本,本发明装置能够自动产生标签。

Patent Agency Ranking