一种基于语法分析树上注意力机制的深度学习视频问答方法及系统

    公开(公告)号:CN108549658B

    公开(公告)日:2021-11-30

    申请号:CN201810201163.4

    申请日:2018-03-12

    Applicant: 浙江大学

    Inventor: 薛弘扬 蔡登 赵洲

    Abstract: 本发明公开了一种基于语法分析树上注意力机制的深度学习视频问答方法及系统,包括以下步骤:(1)对输入的视频序列进行采样,得到一系列视频帧,然后用预训练的卷积神经网络抽取并保存每帧视频的特征;(2)对输入的自然语言问句,利用语法树分析工具建立语法树;(3)根据语法树的结构,确定深度神经网络的结构;(4)对深度神经网络进行自底向上的计算得到最终的输出结果;(5)将建立的深度神经网络在数据集上进行训练;(6)利用训练好的模型,按步骤1至4输入数据得到输出结果,在答案库中选择问题的答案作为输出。利用本发明可以大大提高视频问答结果的准确率,尤其可以提升在复杂及较长问句上的结果。

    一种基于自我评论序列学习的对话回复生成方法及系统

    公开(公告)号:CN108804611B

    公开(公告)日:2021-11-19

    申请号:CN201810538126.2

    申请日:2018-05-30

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于自我评论序列学习的对话回复生成方法及系统,其中,对话回复生成方法包括以下步骤:(1)对当前对话的上下文语境进行建模,获得上下文语义向量;(2)根据上下文语义向量,建立基于自我评论序列学习的对话模型;(3)对对话模型进行训练和测试,分别得到训练奖励值和测试奖励值;(4)计算两个奖励值之间的差,通过计算策略梯度,优化对话模型;(5)对话模型训练完毕,输出对话回复。利用本发明,可以使得对话生成模型在训练过程中,能够朝着优化评判指标的方向生成更加有实质意义的回复,大幅度降低生成对话的不稳定性。

    一种基于最大化区域互信息的语义分割方法

    公开(公告)号:CN110472653B

    公开(公告)日:2021-09-21

    申请号:CN201910585061.1

    申请日:2019-07-01

    Applicant: 浙江大学

    Inventor: 赵帅 蔡登 王阳

    Abstract: 本发明公开了一种基于最大化区域互信息的语义分割方法,包括:(1)将真实场景图片输入分割模型,获得预测分割图片;(2)构造预测图片与标签图片的高维分布;(3)计算给定预测图片高维分布的情况下,标签图片高维分布的后验方差的近似值;(4)计算预测图片和标签图片的两个高维分布的互信息的下界;(5)根据得到的互信息的下界,更新分割模型的权重参数,最大化两个高维分布的互信息以最大化预测图片和标签图片的相似性;(6)重复上述步骤(1)至步骤(5),达到预设训练次数后结束训练,并将训练完毕的模型进行语义分割的应用。本发明通过最大化模型分割图片和标签图片间的区域互信息,可以增强分割模型的分割效果。

    一种基于关系网络的少样本图像分类方法

    公开(公告)号:CN113326892A

    公开(公告)日:2021-08-31

    申请号:CN202110691161.X

    申请日:2021-06-22

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于关系网络的少样本图像分类方法,包括:(1)神经网络模型前向推导查询图像和支持图像的局部视觉特征表示;(2)构建双向附属关系网络挖掘查询图像和支持图像集中的局部特征的深层关联性;(3)根据关系网络的图网络中心性进行查询图像的分类概率预测;(4)使用带有标签的图像数据集进行少样本任务划分后训练神经网络模型(5)根据与支持图像集中各类之间的分类概率进行排序,选取最大分类概率的类作为该图像的类预测。利用本发明,可以使得少样本图像分类在训练过程中的局部特征的关联性得到充分挖掘,使得分类的结果更加准确。

    一种利用包含社会地理信息的多媒体网络学习最大边界多媒体网络表达的方法

    公开(公告)号:CN108170712B

    公开(公告)日:2021-08-10

    申请号:CN201711230595.X

    申请日:2017-11-29

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法。主要包括如下步骤:1)针对于一组社交网络用户及感兴趣地点和感兴趣地点的类别信息,构建包含用户、感兴趣地点和感兴趣地点类别信息之间相互关系的网络。2)卷积神经网络及单词映射网络获取感兴趣地点的综合表达,之后利用最大边界网络训练的方法结合用户及感兴趣地点的映射表达进行训练,得到令损失函数最小的用户及感兴趣地点的表达。相比于一般的用户可能感兴趣地点推荐解决方案,本发明利用了多媒体网络的特性及用户之间的相互关系与感兴趣地点的种类信息。本发明在用户可能感兴趣的地点的预测问题中所取得的效果相比于传统的方法更好。

    一种利用用户倾向性学习解决社区项目推荐任务的方法

    公开(公告)号:CN108228833B

    公开(公告)日:2021-08-03

    申请号:CN201810008053.6

    申请日:2018-01-04

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用用户倾向性学习解决社区项目推荐任务的方法。主要包括如下步骤:1)针对于社交网络中的项目,用户,生成项目的表达矩阵与拉普拉斯矩阵。利用每次收集的用户项目排名信息,迭代产生用户倾向性矩阵2)对于生成的用户倾向性矩阵与项目表达矩阵,产生对于用户的项目推荐。相比于一般的项目推荐解决方案,本发明使用了项目特征及用户之间的相互关系,同时迭代地使用多次用户对于项目的排序信息,则能够更准确地反映用户对于项目的排序特点,同时时间消耗低。本发明在社区项目推荐问题中所取得的效果相比于传统的方法更好。

    一种基于互近邻的少样本图像分类方法及系统

    公开(公告)号:CN112633382A

    公开(公告)日:2021-04-09

    申请号:CN202011561516.5

    申请日:2020-12-25

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于互近邻的少样本图像分类方法及系统,其中,少样本图像分类方法包括:(1)神经网络模型前向推导查询图像和支持图像的视觉特征表示;(2)使用互近邻算法筛选少样本分类中与任务相关的局部特征描述符;(3)使用筛选得到的描述符计算查询图像和支持图像集中各类之间的相似度;(4)使用带有标签的图像数据集进行少样本任务划分后训练神经网络模型;(5)根据与支持图像集中各类之间的相似度进行排序,选取最大相似度的类作为该图像的类预测。利用本发明,可以使得少样本图像分类在训练过程中,排除大量来自背景的局部特征描述符对相似度计算的干扰,使得分类的结果更加鲁棒。

    一种基于对偶记忆模块的视频异常检测方法及系统

    公开(公告)号:CN112633180A

    公开(公告)日:2021-04-09

    申请号:CN202011561521.6

    申请日:2020-12-25

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于对偶记忆模块的视频异常检测方法及系统,其中,方法的步骤如下:(1)使用连续帧作为输入,利用卷积神经网络提取特征,获得问询向量;(2)使用正常/异常询向量和记忆向量作为输入,利用对偶记忆模块“读操作”,生成新的正常/异常特征;(3)利用判别器生成判别特征,利用生成器生成未来帧;(4)利用未来帧的预测损失和对偶记忆模块的稀疏程度计算异常得分。利用本发明,可以有效的解决视频异常检测中正负样本量极其不均衡的问题,并且能够生成具有判别性的特征空间。

    一种基于向量标准化和知识蒸馏的图像分类方法

    公开(公告)号:CN112116030A

    公开(公告)日:2020-12-22

    申请号:CN202011091695.0

    申请日:2020-10-13

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于向量标准化和知识蒸馏的图像分类方法,包括以下步骤:(1)构建并训练一个教师模型,所述教师模型采用深度卷积神经网络;(2)构建一个比教师模型小的学生模型,所述学生模型也采用深度卷积神经网络;(3)使用蒸馏损失函数对学生模型进行训练,在训练过程中,对学生模型和教师模型输出的概率编码向量进行标准化;(4)将待分类的图像输入训练好的学生模型,进行分类预测。利用本发明,能够在不引入额外参数及计算开销的情况下,提升学生网络的性能,提高图像分类精度。

    一种基于语言模型和强化学习的关键词问答方法

    公开(公告)号:CN109992669B

    公开(公告)日:2020-12-15

    申请号:CN201910274243.7

    申请日:2019-04-08

    Applicant: 浙江大学

    Inventor: 潘博远 蔡登

    Abstract: 本发明公开了一种基于语言模型和强化学习的关键词问答方法,包括以下步骤:(1)用关键词问题句和自然语言问题句的混合数据集来训练一个关键词问题分类器;(2)在自然语言问题句的数据集上预训练一个语言模型;(3)将步骤(2)中的语言模型高层网络提取,并用关键词问题句和其对应的自然语言问题句来训练一个含语言模型网络的问题重构模型来重构由步骤(1)判断为关键词问题句的问题;(4)将重构的问题句送入一个训练好的问答模型中,得到答案;(5)利用强化学习,以步骤(4)中预测答案和标准答案的相似度作为奖励函数来优化步骤(3)中的重构模型。利用本发明,可以大大提升了在大规模数据集上关键词问答任务的准确率。

Patent Agency Ranking