公开(公告)号：CN114510924B

公开(公告)日：2022-09-20

申请号：CN202210133050.1

申请日：2022-02-14

Applicant: 哈尔滨工业大学

Inventor： 冯骁骋 ,  秦兵 ,  顾宇轩 ,  刘挺 ,  马思成

IPC: G06F40/216 ,  G06F40/289 ,  G06F40/30 ,  G06F16/35

Abstract: 一种基于预训练语言模型的文本生成方法，它属于自然语言处理技术领域。本发明解决了现有加权解码的可控生成方法无法在保证生成文本质量的前提下达到理想风格强度的问题。本发明提出了能够动态调节控制器权重的加权解码框架，该框架使用了一个规整模块，能够根据当前解码位置的语言模型信息对控制器的行为进行约束。如果当前解码位置不适合生成包含目标风格的词语时，规整模块会抑制控制器并使其失效；如果当前解码位置可以生成与目标风格相关的词语时，规整模块会增强控制器并确保在该解码位置生成的词语包含目标风格。本发明方法可以应用于可控文本生成。

公开(公告)号：CN114510924A

公开(公告)日：2022-05-17

申请号：CN202210133050.1

申请日：2022-02-14

Applicant: 哈尔滨工业大学

Inventor： 冯骁骋 ,  秦兵 ,  顾宇轩 ,  刘挺 ,  马思成

IPC: G06F40/216 ,  G06F40/289 ,  G06F40/30 ,  G06F16/35

Abstract: 一种基于预训练语言模型的文本生成方法，它属于自然语言处理技术领域。本发明解决了现有加权解码的可控生成方法无法在保证生成文本质量的前提下达到理想风格强度的问题。本发明提出了能够动态调节控制器权重的加权解码框架，该框架使用了一个规整模块，能够根据当前解码位置的语言模型信息对控制器的行为进行约束。如果当前解码位置不适合生成包含目标风格的词语时，规整模块会抑制控制器并使其失效；如果当前解码位置可以生成与目标风格相关的词语时，规整模块会增强控制器并确保在该解码位置生成的词语包含目标风格。本发明方法可以应用于可控文本生成。