一种基于预训练模型的完全生成式知识问答对生成方法

    公开(公告)号:CN116089576A

    公开(公告)日:2023-05-09

    申请号:CN202211398794.2

    申请日:2022-11-09

    Applicant: 南开大学

    Inventor: 刘杰 林绍鑫

    Abstract: 一种基于预训练模型的完全生成式知识问答对生成方法,包括:选择原始数据集,处理成 的格式;通过预训练模型学习文本中每个词的高层语义表示以及问题和答案的最终输出表示;结合答案的输出表达与学习到的文本高层语义表示,借助指针生成网络可以从源文本中复制单词,最终通过生成器最终的答案;在生成完答案之后,将已经生成的信息通过答案引导的多头注意力机制融入到问题的输出表示中,最后利用生成器生成问题。本发明考虑了答案和问题生成的语义兼容性,利用统一生成式的模型解决在训练过程中答案和问题之间跨任务交流,提高了答案生成的综合表达能力,缓解了由于任务难度引起了优化不平衡问题。

Patent Agency Ranking