公开(公告)号：CN117610513B

公开(公告)日：2024-04-02

申请号：CN202410086840.8

申请日：2024-01-22

Applicant: 南开大学

Inventor： 宋春瑶 ,  王杰永 ,  吴依豪

IPC: G06F40/166 ,  G06F40/216 ,  G06F40/284 ,  G06N20/00

Abstract: 本发明涉及自然语言主题文本生成技术领域，提供一种基于知识保护及选择的主题文本生成方法。包括：采集待生成的主题文本数据；引入预训练的语言模型，冻结语言模型参数并构造可训练的动态前缀向量；通过语言模型编码器编码训练集，获得隐藏中间状态，作为解码器的初始状态进行解码，获得训练集对应的词表概率分布；通过包含知识选择的拷贝机制，计算获得解码器的解码状态与主题文本数据的相似度及未表达主题对应的拷贝概率分布；计算预测结果分布，计算获得负对数似然损失；更新动态前缀向量后，生成主题文本。本发明通过带有知识选择的拷贝机制同时考虑输入的主题信息与已生成文本中未表达的主题语义，保持了较高的主题一致性。

公开(公告)号：CN117610513A

公开(公告)日：2024-02-27

申请号：CN202410086840.8

申请日：2024-01-22

Applicant: 南开大学

Inventor： 宋春瑶 ,  王杰永 ,  吴依豪

IPC: G06F40/166 ,  G06F40/216 ,  G06F40/284 ,  G06N20/00

Abstract: 本发明涉及自然语言主题文本生成技术领域，提供一种基于知识保护及选择的主题文本生成方法。包括：采集待生成的主题文本数据；引入预训练的语言模型，冻结语言模型参数并构造可训练的动态前缀向量；通过语言模型编码器编码训练集，获得隐藏中间状态，作为解码器的初始状态进行解码，获得训练集对应的词表概率分布；通过包含知识选择的拷贝机制，计算获得解码器的解码状态与主题文本数据的相似度及未表达主题对应的拷贝概率分布；计算预测结果分布，计算获得负对数似然损失；更新动态前缀向量后，生成主题文本。本发明通过带有知识选择的拷贝机制同时考虑输入的主题信息与已生成文本中未表达的主题语义，保持了较高的主题一致性。