基于最大化预测和标签间相关性损失函数的语义分割方法

    公开(公告)号:CN110322445B

    公开(公告)日:2021-06-22

    申请号:CN201910505928.8

    申请日:2019-06-12

    Applicant: 浙江大学

    Inventor: 赵帅 蔡登 武伯熹

    Abstract: 本发明公开了一种基于最大化预测和标签间相关性损失函数的语义分割方法,包括:(1)将真实场景图片输入分割模型,获得预测图片;(2)用一个高斯核函数在预测图片和标签图片上进行滑动卷积,获得局部统计特征;(3)根据得到的局部统计特征,计算预测图片和标签图片中对应区域间的线性相关性强弱;(4)将线性相关性强弱的指标作为权重,调整图片中像素点的交叉熵损失的值并进行困难样本挖掘;(5)根据获得的损失值更新分割模型中的权重参数;(6)重复上述步骤直到训练结束,并进行语义分割的应用。利用本发明,可以使得分割模型在训练过程中,更多的关注那些导致预测和标签间低相关性的点,从而提升分割模型的图像分割效果。

    一种基于卷积长短时记忆网络的渐进迁移学习方法

    公开(公告)号:CN110334743B

    公开(公告)日:2021-05-04

    申请号:CN201910496327.5

    申请日:2019-06-10

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于卷积长短时记忆网络的渐进迁移学习方法,包括:(1)选择经过预训练后的基础网络模型;(2)基于批相关卷积单元构建一个旁枝网络,将旁枝网络与预训练后的基础网络相结合构成渐进迁移学习网络;所述旁枝网络中的每一层批相关卷积单元对应于基础网络中的一个卷积单元;基础网络中的卷积单元的输出在输入到下一层卷积单元的同时输入到旁枝网络中的批相关卷积单元中;(3)对渐进迁移学习网络进行训练,训练过程使用随机梯度下降算法和交叉熵损失函数;(4)训练结束,对训练得到的模型进行行人重识别应用。利用本发明,可以缓解批数据数据分布与数据集整体分布差异导致的模型微调效果不佳的问题。

    一种基于强化动态推理的对话式问题生成方法

    公开(公告)号:CN109992657B

    公开(公告)日:2021-03-30

    申请号:CN201910267076.3

    申请日:2019-04-03

    Applicant: 浙江大学

    Inventor: 潘博远 蔡登 李昊

    Abstract: 一种基于强化动态推理的对话式问题生成方法,包括:(1)在给定文章中利用规则方法找出一段参考文本;(2)构建包含编码器和解码器的问题生成模型,输入对话历史和参考文本,利用编码器对对话历史和参考文本进行编码,得到表达矩阵;(3)将得到的表达矩阵进行动态推理,得到推理矩阵;(4)将步骤(3)得到的推理矩阵作为解码器中长短时记忆网络隐藏单元的初始参数,使用解码器逐字输出问题句的单词;(5)训练一个机器阅读理解模型,根据问题句生成答案,并以答案的正确率为奖励函数,用强化学习来微调以上问题生成模型。利用本发明,可以大大提升在大规模数据集上进行对话式问题生成的质量。

    一种基于双层锚点图投影优化的高维向量数据可视化方法及系统

    公开(公告)号:CN110188098B

    公开(公告)日:2021-02-19

    申请号:CN201910343325.2

    申请日:2019-04-26

    Applicant: 浙江大学

    Inventor: 付聪 张永辉 蔡登

    Abstract: 本发明公开了一种基于双层锚点图投影优化的高维向量数据可视化方法及系统,其中,具体方法包括:(1)对原始高维向量数据集D进行K‑means聚类,将得到的聚类中心作为锚点集合A;(2)根据锚点集合A建立高维向量数据的倒排索引;(3)使用倒排索引建立数据集D的近似kD近邻图GD;(4)针对数据集D中的每个点d,暴力搜索距离d最近的c个锚点,并将这c个锚点作为d的邻居更新到近邻图GD;(5)在锚点集合A上用暴力检索方式构建kA近邻图GA;(6)基于GD和GA所表示成的高维空间数据结构信息,使用双层投影优化算法产生低维空间可视化投影。利用本发明,可以将高维空间中的全局宏观和局部微观结构信息一并保留,得到高质量的布局信息。

    一种基于高级语义的文本摘要生成方法

    公开(公告)号:CN109992775B

    公开(公告)日:2021-01-12

    申请号:CN201910227914.4

    申请日:2019-03-25

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于高级语义的文本摘要生成方法,包括:(1)将文本语料进行分词并转化为与词汇一一对应的语义标签序列;(2)在文本摘要模型上,使用双向循环网络作为编码器对词汇序列和语义标签序列进行编码,得到词汇上的抽象表征和语义上的抽象表征;(3)将词汇上的抽象表征和语义上的抽象表征进行合并;(4)将合并后的抽象表征送入解码器,分别计算词汇注意力权重和语义注意力权重,同时预测序列每一步在词表上的概率分布;(5)将注意力权重分布和词表概率分布合并,得到最终的输出概率分布,将最终的概率分布转化为可读的词汇,并串连成句进行输出。本发明可以提高模型在预测低频词以及进行无标签数据上的文本摘要的准确率。

    一种文本引导的图像修复方法和系统

    公开(公告)号:CN111861945A

    公开(公告)日:2020-10-30

    申请号:CN202010993094.2

    申请日:2020-09-21

    Applicant: 浙江大学

    Abstract: 本发明公开了一种文本引导的图像修复技术方法和系统,属于计算机视觉的图像修复领域。主要包括如下步骤:1)针对于一组图像、引导文本训练集,通过一个由粗到精的图像修复模块,学习图像信息与文本信息的联合表征并生成合理的修复图像。2)对于图像修复模块生成的图像,通过一个文本重构模块,学习修复图像与引导文本间的语义相关性,推测引导文本的蒙版部分。本发明采用引导文本指导模型生成语义一致,视觉连贯且可控的图像,采用一个由粗到细的跨模态生成网络以及一种新型监督信号指导模型逐步修复图像,采用一个文本重构模块指导模型根据生成的修复图像对引导文本的蒙版部分进行预测,提高视觉文本一致性。

    一种基于解耦自适应判别性特征学习的行人重识别方法

    公开(公告)号:CN110443174A

    公开(公告)日:2019-11-12

    申请号:CN201910683172.6

    申请日:2019-07-26

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于解耦自适应判别性特征学习的行人重识别方法,包括:(1)选取已有的行人重识别模型,将模型分为特征抽取层和分类器层;(2)在训练阶段,每训练完N遍数据后对分类器层的参数进行随机初始化,特征抽取层的学习率随数据的迭代不断降低,分类器层的学习率保持不变;训练直到目标函数收敛;(3)在测试阶段,只保留特征抽取层,作为训练好的网络模型;(4)在行人检索阶段,用训练好的网络模型抽取图片库中每张图片的特征向量,将待查询行人图片特征向量和图片库中每张图片特征向量进行相似度排序并选择排序最靠前的图片的身份作为最终识别结果。利用本发明,可以很好地解决了现在行人特征学习网络优化不充分的问题。

    通过影像查询定位视频中未预习的活动的方法

    公开(公告)号:CN110378269A

    公开(公告)日:2019-10-25

    申请号:CN201910621444.X

    申请日:2019-07-10

    Applicant: 浙江大学

    Abstract: 本发明公开了一种通过影像查询定位视频中未预习的活动的方法。该方法通过相对位置编码设计了一种新颖的区域自注意力方法来学习细粒度图像的区域表示,从而可以消除在影像查询中语义上不必要内容的影响;使用了一种多层堆叠的转换器编码器,建立了影像与视频内容的多步融合与推理,从而处理了不精确的影像查询的模糊定位;使用了一个顺序敏感定位器去直接检索时间的边界,从而可以精确确定目标片段的边界;相比于一般的动作定位方法,本方法突破了预定义动作的限制,并且可通过影像查询定位到视频中未经预习的活动。本发明在对未修饰视频进行动作定位中所取得的效果相比于传统方法更好。

    一种基于最大化预测和标签间相关性损失函数的语义分割方法

    公开(公告)号:CN110322445A

    公开(公告)日:2019-10-11

    申请号:CN201910505928.8

    申请日:2019-06-12

    Applicant: 浙江大学

    Inventor: 赵帅 蔡登 武伯熹

    Abstract: 本发明公开了一种基于最大化预测和标签间相关性损失函数的语义分割方法,包括:(1)将真实场景图片输入分割模型,获得预测图片;(2)用一个高斯核函数在预测图片和标签图片上进行滑动卷积,获得局部统计特征;(3)根据得到的局部统计特征,计算预测图片和标签图片中对应区域间的线性相关性强弱;(4)将线性相关性强弱的指标作为权重,调整图片中像素点的交叉熵损失的值并进行困难样本挖掘;(5)根据获得的损失值更新分割模型中的权重参数;(6)重复上述步骤直到训练结束,并进行语义分割的应用。利用本发明,可以使得分割模型在训练过程中,更多的关注那些导致预测和标签间低相关性的点,从而提升分割模型的图像分割效果。

    一种基于语义属性注意力重分配机制的零样本学习方法及系统

    公开(公告)号:CN110163258A

    公开(公告)日:2019-08-23

    申请号:CN201910335801.6

    申请日:2019-04-24

    Applicant: 浙江大学

    Inventor: 刘洋 蔡登

    Abstract: 本发明公开了一种基于语义属性注意力重分配机制的零样本学习方法及系统,其中,零样本学习方法包括:(1)建立基于语义属性注意力重分配机制的神经网络模型;(2)使用语义属性空间的注意力重新分配语义特征之间的权重;(3)使用带有标签的图像数据集训练神经网络模型;(4)计算图像加权后的语义特征与未知类的语义原型的相似度,计算隐层特征与未知类的隐层特征原型的相似度,将两种相似度相加得到测试图像与各未知类的相似度;(5)根据与各类之间的相似度进行排序,选取最大相似度的类作为该图像的类预测。本发明可以使零样本学习在训练过程中,能够更加紧密地联系语义空间和隐层空间,使得结合两种空间的联合分类的结果更加鲁棒。

Patent Agency Ranking