论辩知识图谱、文本图谱编码模型、基于图谱的预训练方法

    公开(公告)号:CN117252256A

    公开(公告)日:2023-12-19

    申请号:CN202311170792.2

    申请日:2023-09-12

    Applicant: 复旦大学

    Inventor: 魏忠钰 梁敬聪

    Abstract: 本发明的目的是提供一种论辩知识图谱及其自动化构建方法、一种同时编码文本与图谱的模型及其预训练方法,以及一种利用图谱信息二次预训练模型的方法。所述方法包括:将论点与论据句子组织为句子内语义图谱和句子间逻辑图谱,并能够从原始论辩语料自动化构建;结合预训练语言模型和图神经网络编码文本和图谱信息,并在其中实现两类信息的交互,相应模型通过多种自监督任务在论辩语料上预训练;通过图谱信息扩充预训练预料内容,并增加相应的预训练任务,应用于所述模型或其它预训练语言模型的二次预训练。本发明能够有效整合各类论辩语料的信息,并为语言模型提供清晰准确的论辩语义、逻辑信息,有助于模型完成需要复杂推理论证的论辩场景任务。

Patent Agency Ranking