-
公开(公告)号:CN112464658B
公开(公告)日:2022-08-09
申请号:CN202011430762.7
申请日:2020-12-07
Applicant: 上海交通大学
IPC: G06F40/284 , G06F40/211 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于语句融合的文本摘要生成方法、系统、终端及介质,对输入文本进行分句和分词,并记录每个词语所在句子的索引;对分句和分词的结果先后进行词语和句子的表征,获得句子向量,并在句子向量的末尾添加分割符和结束符;使用指针网络提取重要的句子,并根据分割符进行组别划分,形成多个句子组;对每个句子组进行融合修饰,获得文本摘要;使用合作强化学习对抽取网络和融合网络进行交替训练,完成参数的梯度更新。通过一种协作强化学习方法,利用最大二人博弈来逼近全局优化。本发明可以增强基于深度学习的文本摘要技术的可解释性,更多的中间决策和结果可以展示给用户。并且通过融合句子,提高了生成文本的简洁性。
-
公开(公告)号:CN112528598B
公开(公告)日:2022-04-05
申请号:CN202011429809.8
申请日:2020-12-07
Applicant: 上海交通大学
IPC: G06F40/126 , G06F40/216 , G06F40/30
Abstract: 本发明提供了一种基于预训练语言模型和信息论的自动化文本摘要评测方法,包括:基于输入文本和生成摘要使用预训练语言模型计算语义单元概率;对语义单元使用信息论计算信息含量;将所有语义单元信息进行加和获得文本摘要总信息量;使用互信息计算输入文本与摘要之间的相关性;用最大信息含量减去摘要总信息量对摘要冗余度进行建模;对总信息量、相关性、冗余度进行加权平均作为综合评测指标。同时提供一种相应的系统、终端及存储介质。本发明使用预训练语言模型辅助信息论可以更加准确地估计文本概率计算文本信息量,所创建的信息量、相关性、冗余度三个自动化指标更加贴合人类评测标准,可以用来代替人工评测,降低自动化摘要系统的评价成本。
-
公开(公告)号:CN112528598A
公开(公告)日:2021-03-19
申请号:CN202011429809.8
申请日:2020-12-07
Applicant: 上海交通大学
IPC: G06F40/126 , G06F40/216 , G06F40/30
Abstract: 本发明提供了一种基于预训练语言模型和信息论的自动化文本摘要评测方法,包括:基于输入文本和生成摘要使用预训练语言模型计算语义单元概率;对语义单元使用信息论计算信息含量;将所有语义单元信息进行加和获得文本摘要总信息量;使用互信息计算输入文本与摘要之间的相关性;用最大信息含量减去摘要总信息量对摘要冗余度进行建模;对总信息量、相关性、冗余度进行加权平均作为综合评测指标。同时提供一种相应的系统、终端及存储介质。本发明使用预训练语言模型辅助信息论可以更加准确地估计文本概率计算文本信息量,所创建的信息量、相关性、冗余度三个自动化指标更加贴合人类评测标准,可以用来代替人工评测,降低自动化摘要系统的评价成本。
-
公开(公告)号:CN112464657A
公开(公告)日:2021-03-09
申请号:CN202011429791.1
申请日:2020-12-07
Applicant: 上海交通大学
IPC: G06F40/284 , G06F40/211 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种混合式文本摘要生成方法、系统,对输入文本进行分句和分词,记录每一个词语所在句子的索引;对分句和分词的结果先后进行词语和句子的表征,获得句子向量;将每一个句子向量进行复制,并对两个向量分别打上拷贝和重写的向量标记;提取重要的句子向量,并根据向量标记做出拷贝或重写的决策;对需要重写的句子进行编辑修改,获得文本摘要;对采用的神经网络进行训练,完成参数的梯度更新。同时提供了相应的终端及存储介质。本发明首次将抽取的句子和抽象的句子混合在摘要中,通过复制或重写机制区分直接用于摘要的句子和重写的句子;分层强化学习方法训练方法,以抽取的句子作为管理者到工人的任务,提高了两个网络之间的协作性。
-
公开(公告)号:CN112464657B
公开(公告)日:2022-07-08
申请号:CN202011429791.1
申请日:2020-12-07
Applicant: 上海交通大学
IPC: G06F40/284 , G06F40/211 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种混合式文本摘要生成方法、系统,对输入文本进行分句和分词,记录每一个词语所在句子的索引;对分句和分词的结果先后进行词语和句子的表征,获得句子向量;将每一个句子向量进行复制,并对两个向量分别打上拷贝和重写的向量标记;提取重要的句子向量,并根据向量标记做出拷贝或重写的决策;对需要重写的句子进行编辑修改,获得文本摘要;对采用的神经网络进行训练,完成参数的梯度更新。同时提供了相应的终端及存储介质。本发明首次将抽取的句子和抽象的句子混合在摘要中,通过复制或重写机制区分直接用于摘要的句子和重写的句子;分层强化学习方法训练方法,以抽取的句子作为管理者到工人的任务,提高了两个网络之间的协作性。
-
公开(公告)号:CN112464658A
公开(公告)日:2021-03-09
申请号:CN202011430762.7
申请日:2020-12-07
Applicant: 上海交通大学
IPC: G06F40/284 , G06F40/211 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于语句融合的文本摘要生成方法、系统、终端及介质,对输入文本进行分句和分词,并记录每个词语所在句子的索引;对分句和分词的结果先后进行词语和句子的表征,获得句子向量,并在句子向量的末尾添加分割符和结束符;使用指针网络提取重要的句子,并根据分割符进行组别划分,形成多个句子组;对每个句子组进行融合修饰,获得文本摘要;使用合作强化学习对抽取网络和融合网络进行交替训练,完成参数的梯度更新。通过一种协作强化学习方法,利用最大二人博弈来逼近全局优化。本发明可以增强基于深度学习的文本摘要技术的可解释性,更多的中间决策和结果可以展示给用户。并且通过融合句子,提高了生成文本的简洁性。
-
-
-
-
-