可集成到神经网络架构中的图像多尺度信息提取方法

    公开(公告)号:CN109934241B

    公开(公告)日:2022-12-09

    申请号:CN201910242489.6

    申请日:2019-03-28

    Applicant: 南开大学

    Abstract: 可集成到神经网络架构中的图像多尺度信息特征方法及应用。本发明从更细粒度的层面提升了神经网络的多尺度表达能力。本发明方法将进入提取器的特征图按照通道数量被分成几个特征图子集;然后将各特征图子集的送入依照层级递进的结构排布连接的卷积核组中,完成不同尺度信息的提取;再经过另一个融合卷积层进行信息融合,实现对不同尺度信息的融合。该方法可集成到现有的绝大多数神经网络结构中,大幅提升原有神经网络的性能。此外,基于该方法的神经网络能为包括但不限于图像分类、物体检测、注意力预测、目标跟踪、动作识别、语义分割、显著物体检测和骨架提取等视觉任务提供高质量的语义特征信息。

    一种基于多维度关系建模的视觉Transformer自监督学习方法及系统

    公开(公告)号:CN115424288A

    公开(公告)日:2022-12-02

    申请号:CN202210645115.0

    申请日:2022-06-09

    Applicant: 南开大学

    Abstract: 本发明属于计算机视觉技术领域,提供了一种基于多维度关系建模的视觉Transformer自监督学习方法及系统,该方法利用空间维度和通道维度上的自关系建模,使用不同的图像变换处理图像得到图像的不同视图;图像的不同视图分别由教师网络和学生网络处理,得到特征图;学生网络提取的特征图进一步通过卷积层处理;通过点积计算特征图在空间维度与通道维度的自关系矩阵,计算教师网络与学生网络提取的关系矩阵的差异作为损失函数,并利用其关于网络参数的导数更新网络参数,相较于现有的自监督学习方法只考虑视觉模式的特征,该方法同时考虑了视觉模式在空间和通道维度的相关性,可以显著提升图像识别、语义分割、目标检测、实例检测等任务的准确性。

    基于全局到局部的感受野搜索的动作分割模型获取方法

    公开(公告)号:CN112883776B

    公开(公告)日:2022-09-16

    申请号:CN202110004845.8

    申请日:2021-01-04

    Applicant: 南开大学

    Abstract: 本公开提出了基于全局到局部的感受野搜索的动作分割模型获取方法,包括:获取分割视频数据集,针对分割视频数据集,基于分割网络拓扑结构及随机初始化感受野膨胀率进行全局搜索,获得粗略的网络感受野组合;利用粗略的网络感受野组合从新初始化分割网络拓扑结构;基于分割视频数据集与重新初始化的分割网络拓扑结构,进行局部搜索,得到性能更优的感受野组合;利用局部搜索得到的感受野组合重新初始化分割网络拓扑结构,利用分割视频数据集进行完整的分割网络训练,获得训练后的分割网络模型。通过迭代搜索过程,局部搜索逐渐找到了更有效的低成本细粒度感受野组合。

    基于增强表现力神经网络批归一化的图像表征方法及系统

    公开(公告)号:CN112541857A

    公开(公告)日:2021-03-23

    申请号:CN202011551847.0

    申请日:2020-12-24

    Applicant: 南开大学

    Abstract: 本发明公开了基于增强表现力神经网络批归一化的图像表征方法及系统,包括:获取目标图像;提取目标图像的特征;对目标图像的特征进行居中校准,得到居中校准后的结果;对居中校准后的结果进行居中归一化处理,得到居中归一化结果;对居中归一化结果进行缩放归一化处理,得到缩放归一化结果;对缩放归一化结果进行缩放校准,得到缩放校准结果;对缩放校准结果进行仿射变换,得到输出特征;基于输出特征对图像进行表征。本申请通过对神经网络模型采用改进的批归一化方式,实现对图像的精确表征。

    超小参数量的分割模型的实现方法

    公开(公告)号:CN111260662A

    公开(公告)日:2020-06-09

    申请号:CN202010045961.X

    申请日:2020-01-16

    Applicant: 南开大学

    Abstract: 超小参数量的分割模型的实现方法,属于计算机视觉技术领域。本发明利用可同时处理多种尺寸特征图的卷积构建超轻量级的神经网络主干结构,能够在提取多尺度特征信息的同时减少计算量;提出一种特征融合模块将来源于主干网络结构中不同阶段的特征进行融合,以较小的计算成本充分提取不同尺度的特征信息,从而输出具有高分辨率的高质量图像分割结果。为进一步压缩网络参数量,本发明提出一种动态权重衰减辅助的神经网络训练策略,在训练过程中依照当前输入图像产生的特征对不同参数进行不同程度的稀疏化约束;通过剔除训练完成模型中数值为零的参数,可以在保持性能不变的情况下压缩轻量级模型的参数量,从而获取一个具有极低参数量的分割模型。

    一种基于点的迭代式遥感图像道路提取方法

    公开(公告)号:CN111259797A

    公开(公告)日:2020-06-09

    申请号:CN202010046338.6

    申请日:2020-01-16

    Applicant: 南开大学

    Abstract: 一种基于点的迭代式遥感图像道路提取方法。从遥感图像中自动提取道路中心线图较实地采集效率更高,成本更低。为了提高道路连通性,同时保持道路图和真实道路中心线之间的精确对齐,本发明提出了一种基于点的,使用分割线索指导、可变步长和轨迹探索的,迭代式道路图探索方法。其中,分割线索体现为中心线分割和交点分割在神经网络中作为监督信息,可变步长体现为在道路交点、道路终点以及连接点处使用可调整的步长训练神经网络,轨迹探索方法体现为利用一次遥感图像输入得到从图像中心点出发的按照时间顺序的下一步落点集合。

    一种基于异构网络的自监督学习方法及系统

    公开(公告)号:CN117036854A

    公开(公告)日:2023-11-10

    申请号:CN202310962712.0

    申请日:2023-08-01

    Applicant: 南开大学

    Abstract: 本发明提出了一种基于异构网络的自监督学习方法及系统,涉及计算机视觉技术领域,具体方案包括:串联异构的基础网络和辅助网络,构建结构相同的教师模型和学生模型;对无标注图像数据集进行预处理,得到每张图像对应的两张不同视图;基于预处理后的无标注图像数据集,对教师模型和学生模型进行自监督学习,将学习后的基础网络作为自监督模型,用于待处理图像的特征提取;本发明利用异构的辅助网络指导基础网络的表征学习,使基础网络学习不同网络架构的优点,提高基础网络高质量图像特征的表征能力。

    超小参数量的分割模型的实现方法

    公开(公告)号:CN111260662B

    公开(公告)日:2023-05-26

    申请号:CN202010045961.X

    申请日:2020-01-16

    Applicant: 南开大学

    Abstract: 超小参数量的分割模型的实现方法,属于计算机视觉技术领域。本发明利用可同时处理多种尺寸特征图的卷积构建超轻量级的神经网络主干结构,能够在提取多尺度特征信息的同时减少计算量;提出一种特征融合模块将来源于主干网络结构中不同阶段的特征进行融合,以较小的计算成本充分提取不同尺度的特征信息,从而输出具有高分辨率的高质量图像分割结果。为进一步压缩网络参数量,本发明提出一种动态权重衰减辅助的神经网络训练策略,在训练过程中依照当前输入图像产生的特征对不同参数进行不同程度的稀疏化约束;通过剔除训练完成模型中数值为零的参数,可以在保持性能不变的情况下压缩轻量级模型的参数量,从而获取一个具有极低参数量的分割模型。

    一种面向大规模数据的无监督语义分割方法及系统

    公开(公告)号:CN113223037B

    公开(公告)日:2023-04-07

    申请号:CN202110600887.8

    申请日:2021-05-31

    Applicant: 南开大学

    Abstract: 本公开提供了一种面向大规模数据的无监督语义分割方法及系统,获取待分割的多张图像;将获取的图像输入到分割网络模型中,得到语义分割结果;其中,分割网络模型采用无监督方式训练,训练过程为:对获取的训练图像进行基于像素注意力机制的表征学习,得到图像表征结果;根据得到的图像表征结果进行聚类,得到多个伪标签;根据得到的伪标签进行分割网络模型的训练;本公开通过像素注意力机制和像素对齐机制,使用基于无监督方法生成的前景显著性信息监督像素注意力机制的学习,提高了语义分割的效率和精度。

    一种面向大规模数据的无监督语义分割方法及系统

    公开(公告)号:CN113223037A

    公开(公告)日:2021-08-06

    申请号:CN202110600887.8

    申请日:2021-05-31

    Applicant: 南开大学

    Abstract: 本公开提供了一种面向大规模数据的无监督语义分割方法及系统,获取待分割的多张图像;将获取的图像输入到分割网络模型中,得到语义分割结果;其中,分割网络模型采用无监督方式训练,训练过程为:对获取的训练图像进行基于像素注意力机制的表征学习,得到图像表征结果;根据得到的图像表征结果进行聚类,得到多个伪标签;根据得到的伪标签进行分割网络模型的训练;本公开通过像素注意力机制和像素对齐机制,使用基于无监督方法生成的前景显著性信息监督像素注意力机制的学习,提高了语义分割的效率和精度。

Patent Agency Ranking