公开(公告)号：CN110737769A

公开(公告)日：2020-01-31

申请号：CN201910999118.2

申请日：2019-10-21

Applicant: 南京信息工程大学

Inventor： 马廷淮 ,  潘倩 ,  金子龙 ,  田青

IPC: G06F16/34 ,  G06F40/289 ,  G06N3/04

Abstract: 本发明公开了一种基于神经主题记忆的预训练文本摘要生成方法，根据完整的输入序列，使用BERT预训练的上下文建模能力，对序列进行编码，完成文本嵌入；将输出的序列表示，使用主题记忆网络编码潜在的主题表示；根据主题表示、推理与经过编码的序列表示进行匹配，形成最终编码表示，再使用解码器来生成初步输出序列；将输出的序列中每一个单词进行掩码喂入BERT并结合输入序列，使用基于transformer和LSTM的解码器来预测每个掩码位置的细化单词，实现微调。本发明通过双向上下文的BERT和LSTM层进行特征的深层捕捉，喂入掩码后的摘要，对参数进行微调，细化每一个摘要单词，使得生成更加流畅、信息量高的文本摘要。

公开(公告)号：CN116595953A

公开(公告)日：2023-08-15

申请号：CN202310596388.5

申请日：2023-05-24

Applicant: 南京信息工程大学

Inventor： 马廷淮 ,  贾莉 ,  潘倩 ,  荣欢

IPC: G06F40/166 ,  G06F40/30 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/092

Abstract: 本发明公开了一种基于知识和语义信息增强的摘要生成方法，步骤如下：S1构建上下文知识图G；S2更新上下文知识图G中节点i的特征向量，得到上下文知识特征表示Rg；S3通过语言模型得到文本文档特征表示Rt；S4利用改进的Transformer解码器解码，得到摘要序列向量St；S5对摘要序列向量St和文本文档特征表示Rt进行计算，获取权重分布Ct；S6将位置信息编码成概率分布Pgen，重复步骤S4和S5得到完整的摘要序列y’；S7通过相似度指标得到奖励值，对指针网络和改进的Transformer解码器进行梯度优化。本发明对传统的Transformer解码器进行改进，更好地将文本知识和语义信息进行交互。

公开(公告)号：CN110737769B

公开(公告)日：2023-07-25

申请号：CN201910999118.2

申请日：2019-10-21

Applicant: 南京信息工程大学

Inventor： 马廷淮 ,  潘倩 ,  金子龙 ,  田青

IPC: G06F16/34 ,  G06F40/289 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/047

Abstract: 本发明公开了一种基于神经主题记忆的预训练文本摘要生成方法，根据完整的输入序列，使用BERT预训练的上下文建模能力，对序列进行编码，完成文本嵌入；将输出的序列表示，使用主题记忆网络编码潜在的主题表示；根据主题表示、推理与经过编码的序列表示进行匹配，形成最终编码表示，再使用解码器来生成初步输出序列；将输出的序列中每一个单词进行掩码喂入BERT并结合输入序列，使用基于transformer和LSTM的解码器来预测每个掩码位置的细化单词，实现微调。本发明通过双向上下文的BERT和LSTM层进行特征的深层捕捉，喂入掩码后的摘要，对参数进行微调，细化每一个摘要单词，使得生成更加流畅、信息量高的文本摘要。