-
公开(公告)号：CN108804611B
公开(公告)日：2021-11-19
申请号：CN201810538126.2
申请日：2018-05-30
Applicant: 浙江大学
IPC: G06F16/332
Abstract: 本发明公开了一种基于自我评论序列学习的对话回复生成方法及系统，其中，对话回复生成方法包括以下步骤：(1)对当前对话的上下文语境进行建模，获得上下文语义向量；(2)根据上下文语义向量，建立基于自我评论序列学习的对话模型；(3)对对话模型进行训练和测试，分别得到训练奖励值和测试奖励值；(4)计算两个奖励值之间的差，通过计算策略梯度，优化对话模型；(5)对话模型训练完毕，输出对话回复。利用本发明，可以使得对话生成模型在训练过程中，能够朝着优化评判指标的方向生成更加有实质意义的回复，大幅度降低生成对话的不稳定性。
-
公开(公告)号：CN109992669B
公开(公告)日：2020-12-15
申请号：CN201910274243.7
申请日：2019-04-08
Applicant: 浙江大学
IPC: G06F16/35 , G06F16/332 , G06N3/04
Abstract: 本发明公开了一种基于语言模型和强化学习的关键词问答方法，包括以下步骤：(1)用关键词问题句和自然语言问题句的混合数据集来训练一个关键词问题分类器；(2)在自然语言问题句的数据集上预训练一个语言模型；(3)将步骤(2)中的语言模型高层网络提取，并用关键词问题句和其对应的自然语言问题句来训练一个含语言模型网络的问题重构模型来重构由步骤(1)判断为关键词问题句的问题；(4)将重构的问题句送入一个训练好的问答模型中，得到答案；(5)利用强化学习，以步骤(4)中预测答案和标准答案的相似度作为奖励函数来优化步骤(3)中的重构模型。利用本发明，可以大大提升了在大规模数据集上关键词问答任务的准确率。
-
公开(公告)号：CN111767701B
公开(公告)日：2023-03-07
申请号：CN202010560164.5
申请日：2020-06-18
Applicant: 浙江大学
IPC: G06F40/166 , G06F40/237 , G06F40/30
Abstract: 本发明公开了一种基于对抗性互信息的文本生成方法，包括：(1)预训练前向模型和后向模型；(2)将源文本输入前向模型，生成目标文本；(3)以生成的目标文本为后向模型的输入，生成伪源文本；(4)以原目标函数为后向模型的输入，生成另一个伪源文本；(5)构造训练的目标函数，训练目标为：最大化利用原目标文本生成源文本的概率，利用源文本生成原目标文本的概率，和能生成使得后向模型生成源文本的伪目标文本的概率；同时最小化利用伪目标文本生成源文本的概率；(6)重复步骤(2)～(5)，直到目标函数收敛。本发明将最大化互信息算法改进为对抗性互信息，训练完毕后，最终提升生成文本的准确率。
-
公开(公告)号：CN110457483B
公开(公告)日：2022-02-18
申请号：CN201910542965.6
申请日：2019-06-21
Applicant: 浙江大学
Abstract: 本发明公开了一种基于神经主题模型的长文本生成方法，包括：(1)利用长文本训练集对神经主题模型进行训练，每篇文章分解为一个对应的低维主题分布和一个公用的解码器；(2)使用步骤(1)中的低维主题分布作为标签训练一个多层感知机，使用训练完的多层感知机将短文本映射到主题分布；(3)使用步骤(1)得到的解码器对步骤(2)中得到的主题分布解码，得到高维的词分布；(4)训练一个语言模型，以短文本作为初始输入，从步骤(3)得到的词分布中采样出一定数量的主题词；(5)将短文本与步骤(4)中得到的主题词合并，输入一个通用的文本生成模型框架，输出长文本。利用本发明，大大提升了在大规模数据集上进行长文本生成的质量。
-
公开(公告)号：CN109992657A
公开(公告)日：2019-07-09
申请号：CN201910267076.3
申请日：2019-04-03
Applicant: 浙江大学
IPC: G06F16/332 , G06N3/04
Abstract: 一种基于强化动态推理的对话式问题生成方法，包括：(1)在给定文章中利用规则方法找出一段参考文本；(2)构建包含编码器和解码器的问题生成模型，输入对话历史和参考文本，利用编码器对对话历史和参考文本进行编码，得到表达矩阵；(3)将得到的表达矩阵进行动态推理，得到推理矩阵；(4)将步骤(3)得到的推理矩阵作为解码器中长短时记忆网络隐藏单元的初始参数，使用解码器逐字输出问题句的单词；(5)训练一个机器阅读理解模型，根据问题句生成答案，并以答案的正确率为奖励函数，用强化学习来微调以上问题生成模型。利用本发明，可以大大提升在大规模数据集上进行对话式问题生成的质量。
-
Patent Agency Ranking
公开(公告)号：CN111767701A
公开(公告)日：2020-10-13
申请号：CN202010560164.5
申请日：2020-06-18
Applicant: 浙江大学
IPC: G06F40/166 , G06F40/237 , G06F40/30
Abstract: 本发明公开了一种基于对抗性互信息的文本生成方法，包括：(1)预训练前向模型和后向模型；(2)将源文本输入前向模型，生成目标文本；(3)以生成的目标文本为后向模型的输入，生成伪源文本；(4)以原目标函数为后向模型的输入，生成另一个伪源文本；(5)构造训练的目标函数，训练目标为：最大化利用原目标文本生成源文本的概率，利用源文本生成原目标文本的概率，和能生成使得后向模型生成源文本的伪目标文本的概率；同时最小化利用伪目标文本生成源文本的概率；(6)重复步骤(2)～(5)，直到目标函数收敛。本发明将最大化互信息算法改进为对抗性互信息，训练完毕后，最终提升生成文本的准确率。
-
公开(公告)号：CN108804611A
公开(公告)日：2018-11-13
申请号：CN201810538126.2
申请日：2018-05-30
Applicant: 浙江大学
IPC: G06F17/30
Abstract: 本发明公开了一种基于自我评论序列学习的对话回复生成方法及系统，其中，对话回复生成方法包括以下步骤：(1)对当前对话的上下文语境进行建模，获得上下文语义向量；(2)根据上下文语义向量，建立基于自我评论序列学习的对话模型；(3)对对话模型进行训练和测试，分别得到训练奖励值和测试奖励值；(4)计算两个奖励值之间的差，通过计算策略梯度，优化对话模型；(5)对话模型训练完毕，输出对话回复。利用本发明，可以使得对话生成模型在训练过程中，能够朝着优化评判指标的方向生成更加有实质意义的回复，大幅度降低生成对话的不稳定性。
-
公开(公告)号：CN108717574B
公开(公告)日：2021-09-21
申请号：CN201810252473.9
申请日：2018-03-26
Applicant: 浙江大学
Abstract: 本发明提供了一种基于连词标记和强化学习的自然语言推理方法，包括以下步骤：(1)在连词预测任务上训练一个连词预测模型；(2)在自然语言推理模型中，输入前提和猜想文本并使用编码器对其编码，得到表达矩阵；(3)将连词预测模型的编码器嵌入到自然语言推理模型中，将步骤(2)编码过程中得到的前提和猜想的词向量送入预训练好的编码器并输出表达向量；(4)将自然语言推理模型的编码器和嵌入的连词预测模型中的编码器在注意力机制中交互，得到一个注意力向量；(5)将注意力向量转化为概率分布并输出结果。利用本发明，通过迁移其他监督学习任务所学到的知识，大大提升了在大规模数据集上进行自然语言推理任务的准确率。
-
公开(公告)号：CN109992657B
公开(公告)日：2021-03-30
申请号：CN201910267076.3
申请日：2019-04-03
Applicant: 浙江大学
IPC: G06F16/332 , G06N3/04
Abstract: 一种基于强化动态推理的对话式问题生成方法，包括：(1)在给定文章中利用规则方法找出一段参考文本；(2)构建包含编码器和解码器的问题生成模型，输入对话历史和参考文本，利用编码器对对话历史和参考文本进行编码，得到表达矩阵；(3)将得到的表达矩阵进行动态推理，得到推理矩阵；(4)将步骤(3)得到的推理矩阵作为解码器中长短时记忆网络隐藏单元的初始参数，使用解码器逐字输出问题句的单词；(5)训练一个机器阅读理解模型，根据问题句生成答案，并以答案的正确率为奖励函数，用强化学习来微调以上问题生成模型。利用本发明，可以大大提升在大规模数据集上进行对话式问题生成的质量。
-
公开(公告)号：CN109992775B
公开(公告)日：2021-01-12
申请号：CN201910227914.4
申请日：2019-03-25
Applicant: 浙江大学
IPC: G06F40/284 , G06F40/30 , G06N3/04
Abstract: 本发明公开了一种基于高级语义的文本摘要生成方法，包括：(1)将文本语料进行分词并转化为与词汇一一对应的语义标签序列；(2)在文本摘要模型上，使用双向循环网络作为编码器对词汇序列和语义标签序列进行编码，得到词汇上的抽象表征和语义上的抽象表征；(3)将词汇上的抽象表征和语义上的抽象表征进行合并；(4)将合并后的抽象表征送入解码器，分别计算词汇注意力权重和语义注意力权重，同时预测序列每一步在词表上的概率分布；(5)将注意力权重分布和词表概率分布合并，得到最终的输出概率分布，将最终的概率分布转化为可读的词汇，并串连成句进行输出。本发明可以提高模型在预测低频词以及进行无标签数据上的文本摘要的准确率。
-
-
-
-
-
-
-
-
-
Search Results
18
records
(took 0.01 seconds)
