一种基于时序掩码蒸馏的视频情感分析方法

    公开(公告)号:CN118135449A

    公开(公告)日:2024-06-04

    申请号:CN202410097597.X

    申请日:2024-01-24

    Applicant: 南开大学

    Abstract: 本发明涉及视频处理技术领域,尤其涉及一种基于时序掩码蒸馏的视频情感分析方法,包括通过手工创建情感词典,获取视频情感数据,提取音频数据和视觉图像,通过多模态编码器将音频数据和视觉图像映射到联合编码空间,通过情感分类器从所述联合编码空间中识别情感,根据情感计算时间维度的情感得分,分析视频情感数据,获得情绪类别、情感类别和情感程度,设计时序情感互补学习方案以及构建掩码重建任务,预测视频情感。本发明提出了一种新颖的掩码情感建模方案,以利用多模态之间的时间情感特征,时间维度的情感得分为目标,学习鉴别情感表征,提高了现有视频情感分析方法的性能。

    一种基于多粒度自监督的少样本分割方法

    公开(公告)号:CN117975016A

    公开(公告)日:2024-05-03

    申请号:CN202410196744.9

    申请日:2024-02-22

    Applicant: 南开大学

    Inventor: 杨巨峰 文长崧

    Abstract: 本发明涉及计算机视觉处理技术领域,尤其涉及一种基于多粒度自监督的少样本分割方法,包括如下步骤:S1:分割新类别数据,S2:建立自监督学习模型,S3:建立图像块级的自监督学习模型,S4:建立超像素级的自监督学习模型,S5:建立少样本语义分割基线模型,S6:联合训练少样本语义分割基线模型、图像块级的自监督学习模型和超像素级的自监督学习模型;本发明提出了基于图像块的自监督学习方法,提出了基于超像素的自监督学习方法,在少样本分割数据集上表现出了优秀的预测性能,可以精确的对查询图像指定类别进行分割。

    一种基于渐进式邻居一致性挖掘的图像匹配方法

    公开(公告)号:CN116778200A

    公开(公告)日:2023-09-19

    申请号:CN202310554674.5

    申请日:2023-05-16

    Applicant: 南开大学

    Inventor: 杨巨峰 刘鑫

    Abstract: 本发明公开了一种基于渐进式邻居一致性挖掘的图像特征匹配方法,步骤1:将所有特征构建为初始图像特征匹配集S;步骤2:对初始图像特征匹配集S进行剪枝,获得可靠的候选图像特征匹配集#imgabs0#和对应的内点权重#imgabs1#步骤3:根据候选图像特征匹配集#imgabs2#以及对应的内点权重#imgabs3#预测对应的本质矩阵#imgabs4#步骤4:根据本质矩阵#imgabs5#得到所有输入的初始图像特征匹配的内点概率w,最后,估计两张匹配图像的本质矩阵以及正确匹配内点的概率。本发明在图像匹配方面获得了显著的性能提升。

    基于自动估计的视觉情感标签分布预测方法

    公开(公告)号:CN110188791B

    公开(公告)日:2023-07-07

    申请号:CN201910311129.7

    申请日:2019-04-18

    Applicant: 南开大学

    Abstract: 本发明公开了基于自动估计的视觉情感标签分布预测方法,属于计算机视觉技术领域。该方法通过标签分布学习解决了视觉情感中存在的模糊性的问题,同时,该方法提出了一个可以同时进行情感标签分类和标签分布预测的深度框架。除此之外,由于大部分视觉情感数据集只提供了单个类别标签,为了提高该框架的实用性,本发明利用一种弱先验知识即标签之间的相似性信息,根据情感类别生成对应的情感标签分布。在框架学习的过程中,对于分类任务,用Softmax函数进行约束,对于分布任务,用Kullback‑Leibler(KL)损失进行约束。将两个损失赋权值相加得到最后的损失函数,实现框架端到端的标签分布预测。

    基于优质邻接点的子空间聚类方法

    公开(公告)号:CN110110781B

    公开(公告)日:2023-07-04

    申请号:CN201910358106.1

    申请日:2019-04-30

    Applicant: 南开大学

    Inventor: 杨巨峰 梁杰

    Abstract: 本发明公开了一种基于优质邻接点的子空间聚类方法。该方法可以与现有的多数自表示优化方法相结合,对相应的邻接矩阵进行后处理,从而使该邻接矩阵同时满足稀疏性和子空间内连通性。该方法最终在优化后的邻接矩阵上运行谱聚类方法得到最终的类簇归属。另外,本发明引入的优质邻接点可以使系统在处理多个子空间临界处的样本时更加鲁棒,从而提升聚类性能。具体的,本发明首先使用原始样本数据计算一个初始的邻接矩阵;然后,本方法根据样本系数间的相关关系,为每个样本找到其优质邻接点;接下来,本方法利用邻接点关系更新邻接矩阵,在删除非优质连接的同时保持子空间内样本的连通性;最后,本方法调用谱聚类方法得到最终的聚类结果。

    表情识别模型的训练方法、人脸表情识别方法及装置

    公开(公告)号:CN116152881A

    公开(公告)日:2023-05-23

    申请号:CN202211228039.X

    申请日:2022-10-09

    Abstract: 本申请公开了一种表情识别模型的训练方法、人脸表情识别方法及装置,属于图像处理技术领域。所述表情识别模型的训练方法包括:获取干净训练样本和冲突训练样本,其中,所述干净训练样本为在第一识别模型和第二识别模型中的损失均小于第一阈值的训练样本,所述冲突训练样本为在所述第一识别模型和所述第二识别模型中的一者的损失小于所述第一阈值,在所述第一识别模型和所述第二识别模型中的另一者中的损失大于第二阈值的训练样本;基于所述冲突训练样本中所包含的人脸表情的情绪极性,从所述冲突训练样本中获取模糊训练样本;基于所述干净训练样本和所述模糊训练样本,对用于表情识别的协同模型进行迭代训练,得到目标表情识别模型。

    一种基于深度度量学习的图像情感分类与检索算法

    公开(公告)号:CN108427740B

    公开(公告)日:2022-02-18

    申请号:CN201810173303.1

    申请日:2018-03-02

    Applicant: 南开大学

    Abstract: 本发明公开了一种基于深度度量学习的图像情感分类与检索方法,属于图像处理技术领域。该方法的目的是结合情感标签间的相互关系进行图像情感的分类及检索。该方法设计了一种多任务的卷积神经网络架构,用于同时优化分类及检索两个任务。这种卷积神经网络架构利用基于多层卷积层的情感向量来作为图像的纹理信息表达,用于区别不同图像中的情感,并提出新型的情感约束考虑不同情感间的关系。最终将得到的模型用于图像情感分类,得到的情感向量作为嵌入特征用于图像情感检索。

    一种基于正交元空间的多模态图像增强方法

    公开(公告)号:CN110415184A

    公开(公告)日:2019-11-05

    申请号:CN201910571058.4

    申请日:2019-06-28

    Applicant: 南开大学

    Abstract: 一种基于正交元空间的多模态图像增强方法,属于计算机视觉领域。包括以下特点:1、使用编码-解码器及互信息最优化策略提取高美学质量图像的样式和内容编码;2、将参考图像的样式编码映射到由一组正交基张成的样式元空间中;3、利用自适应的实例标准化模块以及互信息优化的特征解耦方法提高参考图像的样式和内容编码解耦,构建基于编码-解码的生成对抗网络进行模型训练;4、在测试阶段,将任意一张普通图像输入训练好的模型,由内容编码器提取内容编码,同时在样式元空间中随机采样多个样式编码,将内容编码与样式编码融合后,送入生成器得到多模态增强图像。通过本发明可以得到在亮度、对比度、颜色等美学特性方面样式多样的增强图像。

    基于自动估计的视觉情感标签分布预测方法

    公开(公告)号:CN110188791A

    公开(公告)日:2019-08-30

    申请号:CN201910311129.7

    申请日:2019-04-18

    Applicant: 南开大学

    Abstract: 本发明公开了基于自动估计的视觉情感标签分布预测方法,属于计算机视觉技术领域。该方法通过标签分布学习解决了视觉情感中存在的模糊性的问题,同时,该方法提出了一个可以同时进行情感标签分类和标签分布预测的深度框架。除此之外,由于大部分视觉情感数据集只提供了单个类别标签,为了提高该框架的实用性,本发明利用一种弱先验知识即标签之间的相似性信息,根据情感类别生成对应的情感标签分布。在框架学习的过程中,对于分类任务,用Softmax函数进行约束,对于分布任务,用Kullback-Leibler(KL)损失进行约束。将两个损失赋权值相加得到最后的损失函数,实现框架端到端的标签分布预测。

Patent Agency Ranking