公开(公告)号：CN118052899A

公开(公告)日：2024-05-17

申请号：CN202410199987.8

申请日：2024-02-23

Applicant: 南开大学

Inventor： 杨巨峰 ,  赵攀诚

IPC: G06T11/00 ,  G06F16/242 ,  G06V10/25 ,  G06V10/26 ,  G06V10/762

Abstract: 本发明涉及图像恢复技术领域，尤其涉及一种基于知识检索和推理增强的伪装图像生成方法，S1、提取前景区域图像和获得前景区域隐空间的特征表示；S2、提取前景区域的隐空间表示，提取前景物体局部特征的集合；S3、通过检索得到与前景物体高度相关的背景特征表示；S4、通过重建损失约束重建的背景与真实背景区域一致，构建背景重建任务对背景特征进行推理增强；S5、将重建的背景特征注入到原始条件输入的背景区域，得到增强后的条件输入；S6、将增强后的条件输入扩散模型中，迭代执行去噪过程，最终生成伪装图像。本发明提出输入前景生成背景的生成方式，并针对该方式提出了基于知识检索和推理增强的改进方案，提高了伪装图像生成的效果。

公开(公告)号：CN118135449A

公开(公告)日：2024-06-04

申请号：CN202410097597.X

申请日：2024-01-24

Applicant: 南开大学

Inventor： 杨巨峰 ,  张知诚 ,  赵攀诚

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06V10/77 ,  G06V10/764 ,  G06N3/0455 ,  G06N3/08 ,  G10L15/02 ,  G10L15/26 ,  G10L15/16 ,  G10L15/18

Abstract: 本发明涉及视频处理技术领域，尤其涉及一种基于时序掩码蒸馏的视频情感分析方法，包括通过手工创建情感词典，获取视频情感数据，提取音频数据和视觉图像，通过多模态编码器将音频数据和视觉图像映射到联合编码空间，通过情感分类器从所述联合编码空间中识别情感，根据情感计算时间维度的情感得分，分析视频情感数据，获得情绪类别、情感类别和情感程度，设计时序情感互补学习方案以及构建掩码重建任务，预测视频情感。本发明提出了一种新颖的掩码情感建模方案，以利用多模态之间的时间情感特征，时间维度的情感得分为目标，学习鉴别情感表征，提高了现有视频情感分析方法的性能。