-
公开(公告)号：CN109508457A
公开(公告)日：2019-03-22
申请号：CN201811284309.2
申请日：2018-10-31
Applicant: 浙江大学
IPC: G06F17/27 , G06F16/332 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于机器阅读到序列模型的迁移学习方法，包括以下步骤：(1)预训练一个机器阅读模型，所述机器阅读模型包含基于循环神经网络的编码层和模型层；(2)建立一个序列模型，所述序列模型包含基于循环神经网络的编码器和解码器；(3)提取训练好的机器阅读模型中编码层和模型层的参数，迁移到待训练的序列模型中，作为训练序列模型时的部分初始化参数；(4)训练序列模型，直到模型收敛；(5)使用训练好的序列模型进行文本序列预测任务。利用本发明，能够更加深入地挖掘文本蕴含信息，提升生成文本序列的质量。
-
公开(公告)号：CN108717574A
公开(公告)日：2018-10-30
申请号：CN201810252473.9
申请日：2018-03-26
Applicant: 浙江大学
Abstract: 本发明提供了一种基于连词标记和强化学习的自然语言推理方法，包括以下步骤：(1)在连词预测任务上训练一个连词预测模型；(2)在自然语言推理模型中，输入前提和猜想文本并使用编码器对其编码，得到表达矩阵；(3)将连词预测模型的编码器嵌入到自然语言推理模型中，将步骤(2)编码过程中得到的前提和猜想的词向量送入预训练好的编码器并输出表达向量；(4)将自然语言推理模型的编码器和嵌入的连词预测模型中的编码器在注意力机制中交互，得到一个注意力向量；(5)将注意力向量转化为概率分布并输出结果。利用本发明，通过迁移其他监督学习任务所学到的知识，大大提升了在大规模数据集上进行自然语言推理任务的准确率。
-
公开(公告)号：CN108717413B
公开(公告)日：2021-10-08
申请号：CN201810253156.9
申请日：2018-03-26
Applicant: 浙江大学
IPC: G06F16/332 , G06N3/08
Abstract: 本发明公开了一种基于假设性半监督学习的开放领域问答方法，包括：(1)使用信息检索技术从语料库中将与问题相关的文章抽取出来；(2)假设给定问答训练集自带的文章是唯一的正标签，从语料库中抽取的所有文章都是负标签；(3)构建深度学习模型，通过训练一个文章打分器学习正标签的特征，训练一个阅读器从文章中选择正确答案；(4)进行文章相关性排序，将相关性高的前n个文章送入打分器内打分并根据分数重新标签；(5)重复步骤3和步骤4，直到模型收敛；(6)模型训练完毕，进行开放领域问答应用。利用本发明可以在不依赖额外人工标注和外部知识的情况下大幅提升现有开放领域问答系统的文章抽取质量和答案的准确率。
-
Patent Agency Ranking
公开(公告)号：CN109508457B
公开(公告)日：2020-05-29
申请号：CN201811284309.2
申请日：2018-10-31
Applicant: 浙江大学
IPC: G06F40/30 , G06F16/332 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于机器阅读到序列模型的迁移学习方法，包括以下步骤：(1)预训练一个机器阅读模型，所述机器阅读模型包含基于循环神经网络的编码层和模型层；(2)建立一个序列模型，所述序列模型包含基于循环神经网络的编码器和解码器；(3)提取训练好的机器阅读模型中编码层和模型层的参数，迁移到待训练的序列模型中，作为训练序列模型时的部分初始化参数；(4)训练序列模型，直到模型收敛；(5)使用训练好的序列模型进行文本序列预测任务。利用本发明，能够更加深入地挖掘文本蕴含信息，提升生成文本序列的质量。
-
公开(公告)号：CN110457483A
公开(公告)日：2019-11-15
申请号：CN201910542965.6
申请日：2019-06-21
Applicant: 浙江大学
Abstract: 本发明公开了一种基于神经主题模型的长文本生成方法，包括：(1)利用长文本训练集对神经主题模型进行训练，每篇文章分解为一个对应的低维主题分布和一个公用的解码器；(2)使用步骤(1)中的低维主题分布作为标签训练一个多层感知机，使用训练完的多层感知机将短文本映射到主题分布；(3)使用步骤(1)得到的解码器对步骤(2)中得到的主题分布解码，得到高维的词分布；(4)训练一个语言模型，以短文本作为初始输入，从步骤(3)得到的词分布中采样出一定数量的主题词；(5)将短文本与步骤(4)中得到的主题词合并，输入一个通用的文本生成模型框架，输出长文本。利用本发明，大大提升了在大规模数据集上进行长文本生成的质量。
-
公开(公告)号：CN109992775A
公开(公告)日：2019-07-09
申请号：CN201910227914.4
申请日：2019-03-25
Applicant: 浙江大学
Abstract: 本发明公开了一种基于高级语义的文本摘要生成方法，包括：(1)将文本语料进行分词并转化为与词汇一一对应的语义标签序列；(2)在文本摘要模型上，使用双向循环网络作为编码器对词汇序列和语义标签序列进行编码，得到词汇上的抽象表征和语义上的抽象表征；(3)将词汇上的抽象表征和语义上的抽象表征进行合并；(4)将合并后的抽象表征送入解码器，分别计算词汇注意力权重和语义注意力权重，同时预测序列每一步在词表上的概率分布；(5)将注意力权重分布和词表概率分布合并，得到最终的输出概率分布，将最终的概率分布转化为可读的词汇，并串连成句进行输出。本发明可以提高模型在预测低频词以及进行无标签数据上的文本摘要的准确率。
-
公开(公告)号：CN109992669A
公开(公告)日：2019-07-09
申请号：CN201910274243.7
申请日：2019-04-08
Applicant: 浙江大学
IPC: G06F16/35 , G06F16/332 , G06N3/04
Abstract: 本发明公开了一种基于语言模型和强化学习的关键词问答方法，包括以下步骤：(1)用关键词问题句和自然语言问题句的混合数据集来训练一个关键词问题分类器；(2)在自然语言问题句的数据集上预训练一个语言模型；(3)将步骤(2)中的语言模型高层网络提取，并用关键词问题句和其对应的自然语言问题句来训练一个含语言模型网络的问题重构模型来重构由步骤(1)判断为关键词问题句的问题；(4)将重构的问题句送入一个训练好的问答模型中，得到答案；(5)利用强化学习，以步骤(4)中预测答案和标准答案的相似度作为奖励函数来优化步骤(3)中的重构模型。利用本发明，可以大大提升了在大规模数据集上关键词问答任务的准确率。
-
公开(公告)号：CN108717413A
公开(公告)日：2018-10-30
申请号：CN201810253156.9
申请日：2018-03-26
Applicant: 浙江大学
Abstract: 本发明公开了一种基于假设性半监督学习的开放领域问答方法，包括：(1)使用信息检索技术从语料库中将与问题相关的文章抽取出来；(2)假设给定问答训练集自带的文章是唯一的正标签，从语料库中抽取的所有文章都是负标签；(3)构建深度学习模型，通过训练一个文章打分器学习正标签的特征，训练一个阅读器从文章中选择正确答案；(4)进行文章相关性排序，将相关性高的前n个文章送入打分器内打分并根据分数重新标签；(5)重复步骤3和步骤4，直到模型收敛；(6)模型训练完毕，进行开放领域问答应用。利用本发明可以在不依赖额外人工标注和外部知识的情况下大幅提升现有开放领域问答系统的文章抽取质量和答案的准确率。
-
-
-
-
-
-
-
Search Results
18
records
(took 0.01 seconds)
