基于多空间分解的镜面反射场景渲染方法

    公开(公告)号:CN116524093A

    公开(公告)日:2023-08-01

    申请号:CN202310386988.9

    申请日:2023-04-12

    Applicant: 南开大学

    Abstract: 本发明涉及计算机视觉技术领域,提供了一种基于多空间分解的镜面反射场景渲染方法,可以对含有镜面反射干扰的场景进行高质量的新视角渲染,通过神经网络隐式地将三维真实场景分解为多个平行的子空间,并通过渲染得到特征图,最后通过解码网络和门控网络将各子空间特征图映射为RGB图和权重图,最终通过加权求和得到场景在指定视角下的图像,并用对应视角的RGB图进行监督,不但可以渲染出更高质量的图像,还避免了镜面反射引起的多视角不一致干扰模型拟合过程。

    基于掩码可分离注意力机制的伪装目标分割方法及系统

    公开(公告)号:CN116452798A

    公开(公告)日:2023-07-18

    申请号:CN202211545955.6

    申请日:2022-12-05

    Applicant: 南开大学

    Abstract: 本发明提出了基于掩码可分离注意力机制的伪装目标分割方法及系统,涉及图像处理技术领域,具体方案包括:构建伪装目标分割模型,并对伪装目标分割模型进行训练;利用编码器对输入图像进行编码,得到初始特征;将初始特征输入到解码器中解码,生成伪装目标的初始分割;基于掩码可分离注意力机制,对初始分割进行渐进式地优化分割,得到最终的伪装目标分割结果;本发明设置掩码可分离注意力机制,利用掩码将注意力机制分为前景注意力、背景注意力以及全局注意力,前景和背景注意力分别关注前景和背景区域,全局注意力机制提取全局信息,再利用前景注意力分数在全局信息中发现伪装对象,利用背景注意力确定背景,进而分割出精确的伪装目标。

    一种基于正交元空间的多模态图像增强方法

    公开(公告)号:CN110415184B

    公开(公告)日:2022-12-20

    申请号:CN201910571058.4

    申请日:2019-06-28

    Applicant: 南开大学

    Abstract: 一种基于正交元空间的多模态图像增强方法,属于计算机视觉领域。包括以下特点:1、使用编码‑解码器及互信息最优化策略提取高美学质量图像的样式和内容编码;2、将参考图像的样式编码映射到由一组正交基张成的样式元空间中;3、利用自适应的实例标准化模块以及互信息优化的特征解耦方法提高参考图像的样式和内容编码解耦,构建基于编码‑解码的生成对抗网络进行模型训练;4、在测试阶段,将任意一张普通图像输入训练好的模型,由内容编码器提取内容编码,同时在样式元空间中随机采样多个样式编码,将内容编码与样式编码融合后,送入生成器得到多模态增强图像。通过本发明可以得到在亮度、对比度、颜色等美学特性方面样式多样的增强图像。

    可集成到神经网络架构中的图像多尺度信息提取方法

    公开(公告)号:CN109934241B

    公开(公告)日:2022-12-09

    申请号:CN201910242489.6

    申请日:2019-03-28

    Applicant: 南开大学

    Abstract: 可集成到神经网络架构中的图像多尺度信息特征方法及应用。本发明从更细粒度的层面提升了神经网络的多尺度表达能力。本发明方法将进入提取器的特征图按照通道数量被分成几个特征图子集;然后将各特征图子集的送入依照层级递进的结构排布连接的卷积核组中,完成不同尺度信息的提取;再经过另一个融合卷积层进行信息融合,实现对不同尺度信息的融合。该方法可集成到现有的绝大多数神经网络结构中,大幅提升原有神经网络的性能。此外,基于该方法的神经网络能为包括但不限于图像分类、物体检测、注意力预测、目标跟踪、动作识别、语义分割、显著物体检测和骨架提取等视觉任务提供高质量的语义特征信息。

    一种基于多维度关系建模的视觉Transformer自监督学习方法及系统

    公开(公告)号:CN115424288A

    公开(公告)日:2022-12-02

    申请号:CN202210645115.0

    申请日:2022-06-09

    Applicant: 南开大学

    Abstract: 本发明属于计算机视觉技术领域,提供了一种基于多维度关系建模的视觉Transformer自监督学习方法及系统,该方法利用空间维度和通道维度上的自关系建模,使用不同的图像变换处理图像得到图像的不同视图;图像的不同视图分别由教师网络和学生网络处理,得到特征图;学生网络提取的特征图进一步通过卷积层处理;通过点积计算特征图在空间维度与通道维度的自关系矩阵,计算教师网络与学生网络提取的关系矩阵的差异作为损失函数,并利用其关于网络参数的导数更新网络参数,相较于现有的自监督学习方法只考虑视觉模式的特征,该方法同时考虑了视觉模式在空间和通道维度的相关性,可以显著提升图像识别、语义分割、目标检测、实例检测等任务的准确性。

    基于全局到局部的感受野搜索的动作分割模型获取方法

    公开(公告)号:CN112883776B

    公开(公告)日:2022-09-16

    申请号:CN202110004845.8

    申请日:2021-01-04

    Applicant: 南开大学

    Abstract: 本公开提出了基于全局到局部的感受野搜索的动作分割模型获取方法,包括:获取分割视频数据集,针对分割视频数据集,基于分割网络拓扑结构及随机初始化感受野膨胀率进行全局搜索,获得粗略的网络感受野组合;利用粗略的网络感受野组合从新初始化分割网络拓扑结构;基于分割视频数据集与重新初始化的分割网络拓扑结构,进行局部搜索,得到性能更优的感受野组合;利用局部搜索得到的感受野组合重新初始化分割网络拓扑结构,利用分割视频数据集进行完整的分割网络训练,获得训练后的分割网络模型。通过迭代搜索过程,局部搜索逐渐找到了更有效的低成本细粒度感受野组合。

    基于极致下采样的图像显著性物体检测方法及系统

    公开(公告)号:CN112528900B

    公开(公告)日:2022-09-16

    申请号:CN202011500724.4

    申请日:2020-12-17

    Applicant: 南开大学

    Abstract: 本申请公开了基于极致下采样的图像显著性物体检测方法及系统,包括:获取待检测的目标图像;将待检测的目标图像,输入到训练后的基于极致下采样的神经网络模型中,输出目标图像中的显著性物体。基于本申请的新极致下采样技术设计了一个极致下采样模块,通过逐渐地更深层次地下采样,使得下采样后提取的特征变得更小和全局化,特征的空间大小逐渐变小直至变成特征向量,从而得到对整个自然图像的显著性物体的全局建模,也使得深度卷积神经网络可以更好地定位显著性物体的位置,从而不易漏检显著性物体,并在此基础上大大提升显著性物体检测的精度。

    一种基于特征动态选择的多任务联合检测方法

    公开(公告)号:CN111598107B

    公开(公告)日:2022-06-14

    申请号:CN202010303705.6

    申请日:2020-04-17

    Applicant: 南开大学

    Abstract: 本发明公开了一种基于特征动态选择的多任务联合检测方法,属于图像处理技术领域。大多数现有的检测模型都是每个不同的任务独立设计一个不同的模型来分别进行处理,需要花费大量的人工精力。本发明创造性地提出一种基于特征动态选择的多任务联合检测模型,该模型能够根据不同任务的特点自适应且动态地从共享的特征集合中选择各任务合适的特征;此外,该模型能够能够被端到端的训练,并且能够一次计算同时输出得到待检测图像的显著性物体检测结果图像、边缘检测结果图像以及骨架检测结果图像。本方法在一个网络模型中同时并且快速地完成了三种不同的图像处理任务,此方法具有结构简单、参数量小和运行速度快的优点,并且具有良好的检测准确率。

    一种基于分组梯度学习策略的伪装物体检测方法及系统

    公开(公告)号:CN114549982A

    公开(公告)日:2022-05-27

    申请号:CN202210134042.9

    申请日:2022-02-14

    Applicant: 南开大学

    Abstract: 本发明公开一种基于分组梯度学习策略的伪装物体检测方法及系统,包括:对伪装物体图像提取不同特征维度的语义特征;以目标级别梯度为学习监督信号,对伪装物体图像提取纹理特征;将语义特征和纹理特征沿通道进行切割,并对语义特征子组和纹理特征子组根据不同的分组尺度进行重排列,得到多组重组特征;对重组特征进行注意力映射得到多组注意力特征,根据语义特征与多组注意力特征得到梯度诱导特征,根据梯度诱导特征采用伪装目标检测模型得到伪装物体的检测结果。解决传统特征聚合策略存在的忽略语义表征和纹理表征之间的相关性或者差异性的问题,大幅提升对伪装物体的识别能力。

Patent Agency Ranking