公开(公告)号：CN117709467A

公开(公告)日：2024-03-15

申请号：CN202311826660.0

申请日：2023-12-28

Applicant: 重庆邮电大学

Inventor： 张璞 ,  郑思畅 ,  蔡泽坤 ,  黄霆宇 ,  黄柯

IPC: G06N5/04 ,  G06N5/022 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/084 ,  G06N3/0985 ,  G06F18/243 ,  G06F16/332 ,  G06F16/33

Abstract: 本发明属于自然语言处理技术与机器阅读理解领域，具体涉及一种基于生成式模型增强的多选式机器阅读理解方法，该方法包括：预处理数据，将包括问题和多个选项的数据组合为问题‑选项对；然后单独将问题和提示学习的模板拼接后输入到训练好的生成式模型的编码器中，得到对应的最终隐层表示，再将该隐层表示作为生成式模型解码器的输入，解码器利用在预训练中学习到的参数对问题进行推理并生成线索的最终隐层表示；将所有的问题‑选项对依次输入生成式模型的编码器中，得到每个问题‑选项对的最终隐层表示，然后分别将其与之前得到的线索的最终隐层表示进行双向注意力交互使问题‑选项对能够充分融合线索的语义信息，然后将经过双向注意力交互的隐层表示进行最大池化得到表示向量，对表示向量进行二分类任务预测每个问题‑选项对所对应的选项作为正确答案和错误答案的分数，选择正确分数最高的选项作为正确答案。