一种基于多尺度和非局部的轻量去雨方法

    公开(公告)号:CN112241939A

    公开(公告)日:2021-01-19

    申请号:CN202011102598.7

    申请日:2020-10-15

    Applicant: 天津大学

    Inventor: 庞彦伟 张雪岩

    Abstract: 本发明公开了一种基于多尺度和非局部的轻量去雨方法,所述方法包括:构建由初始模块和ConvLSTM模块组成的粗融合网络;构建由基于纵横交错关注技术的特征提取模块和重构模块组成的精融合网络;通过有雨图像数据库训练粗融合网络和精融合网络,使用均方差误差损失和感知损失对预测出的去雨图像计算损失值;利用反向传播机制更新网络参数,获取基于多尺度和非局部的轻量去雨模型,基于轻量去雨模型对有雨图像进行处理。本发明通过构建多尺度特征金字塔结构和ConvLSTM模块实现雨线特征信息的粗提取和融合;同时利用基于纵横交错关注技术的特征提取模块从远程依赖中捕获上下文信息,使得残差图像R更为高效和准确地生成,以取得高质量的去雨图像。

    一种基于信息无损池化的深度神经网络方法

    公开(公告)号:CN107480707B

    公开(公告)日:2020-08-07

    申请号:CN201710619823.6

    申请日:2017-07-26

    Applicant: 天津大学

    Inventor: 李亚钊 庞彦伟

    Abstract: 本发明涉及一种基于信息无损池化的深度卷积神经网络方法,用于图像分类,包括下列步骤:收集各种不同类别的图像,并标注图像类别,作为图像标签信息;图像集划分,将收集的图像划分为训练集,验证集和测试集;设计基于信息无损池化的卷积神经网络结构,包括所用的卷积层层数和信息无损池化层的层数,设计卷积层中滤波器的个数,设计信息无损池化层的高斯平滑滤波器参数,池化窗口尺寸以及用于特征融合的卷积滤波器结构,设计网络训练循环迭代的次数和网络最终收敛条件,并初始化网络参数;将训练数据批量的输入到该网络中,进行计算和训练。

    一种基于局部特征投影的表情识别方法

    公开(公告)号:CN108009478B

    公开(公告)日:2020-03-06

    申请号:CN201711146208.4

    申请日:2017-11-17

    Applicant: 天津大学

    Inventor: 庞彦伟 周博

    Abstract: 本发明涉及一种基于局部特征投影的表情识别方法,包括:首先对人脸表情图像数据进行预处理,即对每一个人脸图像样本分别提取眉毛、眼睛部位局部图像和嘴巴部位局部图像,每个样本中提取的图像大小相同。采用一阶梯度算子计算局部图像中每个点的梯度幅值和方向,并将图像分成细胞单元,然后对每一个细胞单元独立进行梯度方向统计,根据每个梯度方向将幅值累加到直方图中,得到每个细胞单元的梯度方向直方图。):取相邻的细胞单元组成多个图像块进行相互之间的成对组合,利用调和平均值计算其成对关系值,将每个图像块的关系值串联起来得到局部图像的二阶HOG特征;得到测试表情样本的类别标签。

    一种基于三模态对抗网络的图文匹配方法

    公开(公告)号:CN110298395A

    公开(公告)日:2019-10-01

    申请号:CN201910528838.0

    申请日:2019-06-18

    Applicant: 天津大学

    Abstract: 一种基于三模态对抗网络的图文匹配方法,在图文两模态的基础上,将高层图片特征和底层文本特征串联得到融合模态,以融合模态作为第三种模态,依次进行各个模态的分类约束和进行模态两两之间的对抗匹配约束,构成三模态对抗网络。本发明能够有效地进行图文匹配,能够有效提高图文匹配的性能,对于百度,谷歌等搜索引擎公司优化图文互搜精度起到积极作用。同时对于其他模态也有借鉴意义,比如对提高语音文本匹配性能,起到了重要的推动作用。

    基于多尺度感受野特征融合的深度神经网络目标检测方法

    公开(公告)号:CN110298266A

    公开(公告)日:2019-10-01

    申请号:CN201910498679.4

    申请日:2019-06-10

    Applicant: 天津大学

    Inventor: 宋雅麟 庞彦伟

    Abstract: 本发明涉及一种基于多尺度感受野特征融合的深度神经网络目标检测方法,包括:收集训练样本图片,要求图像包含RGB三通道,并附有物体检测框标注和每个物体的类别标注信息;将收集到的图像数据集中的图像数据和标签数据通过预处理转为训练深度卷积神经网络所要求的格式;设计基于多尺度感受野特征融合的深度卷积神经网络结构;设计应用于目标检测的深度神经网络结构,设计时要根据输入输出数据的结构来确定网络的输入层和输出层,并确定神经网络中多尺度感受野特征融合模块的个数及卷积层的个数,确定网络训练循环迭代的次数和网络最终收敛条件。根据训练的目标和模型的结构,定义所需的损失函数,训练阶段对目标的类别和检测框偏移量进行回归。

    一种基于分布一致性的自注意力视频摘要方法

    公开(公告)号:CN110287374A

    公开(公告)日:2019-09-27

    申请号:CN201910514548.0

    申请日:2019-06-14

    Applicant: 天津大学

    Abstract: 一种基于分布一致性的自注意力视频摘要方法:将视频以帧的形式输入到卷积神经网络中提取视频帧的特征向量;将视频帧的特征向量输入到双向长短期记忆网络中进行编码训练,得到初始的编码特征序列;将初始的编码特征序列中的编码向量输入到自注意力机制中,得到编码特征序列;将编码特征序列中加权后的编码特征向量依次输入到长短期记忆网络中进行训练解码,生成对应的重要性分数向量;将重要性分数向量输入到用于衡量编解码器网络模型的MK损失函数中,在标签向量的约束和监督下,不断地反馈并调整个网络的参数,得到最终的帧级重要性分数,选取相应视频的关键镜头和关键帧集合并输出视频摘要的结果。本发明得到的重要性分数与标签具有分布一致性。

    一种用语义分割辅助物体检测的方法

    公开(公告)号:CN109784386A

    公开(公告)日:2019-05-21

    申请号:CN201811634761.7

    申请日:2018-12-29

    Applicant: 天津大学

    Inventor: 庞彦伟 聂晶

    Abstract: 本发明涉及一种用语义分割辅助物体检测的方法,包括下列步骤:选取主干网络并设定参数:语义分割和物体检测共用主干网络;设计空间信息反馈模块:将语义分割分支后两个模块Block4’,Block5’输出特征与物体检测分支Block4,Block5的输出特征融合,语义分割分支输出特征反馈至物体检测分支,增强物体检测的特征;设计全局注意力机制模块。基于选取的主干网络和设计的空间信息反馈模块和全局注意力机制模块设计语义分割辅助物体检测的结构。

    基于最优池化卷积神经网络的物体识别方法

    公开(公告)号:CN105913087B

    公开(公告)日:2019-05-21

    申请号:CN201610225818.2

    申请日:2016-04-11

    Applicant: 天津大学

    Inventor: 孙满利 庞彦伟

    Abstract: 本发明涉及一种基于最优池化卷积神经网络的物体识别方法,包括:构建训练集与测试集;搭建卷积神经网络架构,在最后一层加上softmax分类器,设置目标函数;在池化层采用最优池化操作;按经验设置学习率参数,采用后向传播算法,使用整体训练集训练网络模型一次,使用得到的模型去识别测试集数据,统计整体识别率,在此过程中最优池化的模板数值得到最优值,直到目标函数值完全收敛,识别率不再变好为止,此时网络参数训练完毕,最优池化模板得到最终值,得到最优池化卷积神经网络模型,即物体识别系统。本发明可以提升物体识别的性能。

    基于自适应权重哈希循环对抗网络的零样本图像分类方法

    公开(公告)号:CN109558890A

    公开(公告)日:2019-04-02

    申请号:CN201811158795.3

    申请日:2018-09-30

    Applicant: 天津大学

    Abstract: 一种基于自适应权重哈希循环对抗网络的零样本图像分类方法:将训练样本的视觉特征和文本语义类别特征分别进行循环对抗网络映射,得到对应的哈希码;将各特征的哈希码进行权重分配,建立自适应权重哈希模型;对自适应权重哈希模型进行训练和测试;为拟合函数,对编码函数进行重新参数化;将视觉特征和文本语义类别特征的哈希码分别进行映射,得到对应的编码;将伯努利变量变量重新参数化;通过映射将哈希码转换为另一模态特征,再由循环一致性对抗网络的生成器,转换为原模态视觉或者语义特征,使得循环一致性损失达到最小,从而实现跨模态零样本分类。本发明实现了不同模态的特征和对应类别进行知识迁移,提高了信息嵌入特征的表征能力。

    一种用于物体检测的深度分割引导网络

    公开(公告)号:CN109543519A

    公开(公告)日:2019-03-29

    申请号:CN201811205606.3

    申请日:2018-10-15

    Applicant: 天津大学

    Inventor: 庞彦伟 曹家乐

    Abstract: 本发明涉及一种用于物体检测的深度分割引导网络,包括:确定基础网络:包括多个卷积块,每个卷积块由多个卷积层构成,不同卷积块之间由池化层连接。设计用于提取语义分割上下文信息的深度语义分割引导模块:对于基础网络中每一个卷积块输出的特征图,首先利用卷积层提取语义分割特征,然后利用卷积层提取语义分割的预测逻辑图,最后利用卷积层和sigmoid函数对预测逻辑图进行上采样输出检测引导特征图,语义分割的预测逻辑图在训练过程中由语义分割任务进行监督。利用分割引导模块引导物体检测特征学习。输出物体检测结果。

Patent Agency Ranking