公开(公告)号：CN117437139A

公开(公告)日：2024-01-23

申请号：CN202311371569.4

申请日：2023-10-23

Applicant: 上海交通大学

Inventor： 翟广涛 ,  张楷伟 ,  闵雄阔 ,  孙亦楠 ,  段慧煜

IPC: G06T5/50 ,  G06V10/80 ,  G06T7/90 ,  G06V10/46 ,  G06T7/73

Abstract: 本公开提供一种基于合成图像的视觉显著性预测方法及系统，其中，基于合成图像的视觉显著性预测方法，包括：对合成图像的RGB图像进行特征提取处理，确定合成图像的多尺度特征；将合成图像的像素位置坐标进行编码处理，确定合成图像的空间位置坐标的正弦编码；采用信道对准方式和渐进求和方式对合成图像的多尺度特征和空间位置坐标的正弦编码进行融合处理，确定预测的合成图像的显著性图像。通过本公开，能够显著提高表示细粒度细节的性能，提高模型的表征能力，还提高合成人脸显著性预测的性能，有效预测合成人脸图像的显著性分布。

公开(公告)号：CN119622421A

公开(公告)日：2025-03-14

申请号：CN202411835582.5

申请日：2024-12-13

Applicant: 上海交通大学

Inventor： 孙亦楠 ,  舒炜良 ,  龚维维 ,  胡林 ,  刘美华 ,  黄河

IPC: G06F18/24 ,  G06F18/214 ,  G06F18/21 ,  G06F18/25 ,  G06N3/045 ,  G06N3/08 ,  G06F18/213

Abstract: 本发明公开了一种基于多模态情感分析模型的多模态情感分析方法，包括以下步骤：获取真实场景数据集，提取所述真实场景数据集中的有效内容，获得包含文本、视频和音频三种模态内容的多模态数据集；提取所述多模态数据集的数据特征，获得多模态特征向量；根据所述多模态特征向量构建多模态情感分析模型；将待测的真实场景数据集输入到所述多模态情感分析模型中，获得情感分析结果。本发明通过构造的多模态情感分析模型，大幅度减少了跨模态无关和冲突信息的干扰和注意力机制所带来的混淆效应，大幅度提升了对多模态数据情感识别的准确性，为部署在相关服务上奠定了良好基础。

公开(公告)号：CN117351231A

公开(公告)日：2024-01-05

申请号：CN202311384877.0

申请日：2023-10-24

Applicant: 上海交通大学

Inventor： 闵雄阔 ,  孙亦楠 ,  段慧煜 ,  张楷伟 ,  翟广涛

IPC: G06V10/46 ,  G06V10/42 ,  G06V10/80 ,  G06F18/213

Abstract: 本发明提供一种文本引导下的视觉显著性预测方法、系统、终端及介质，包括：提取图像的图像特征和图像对应的文本特征，其中文本特征包括全局文本特征和局部文本特征，利用全局特征融合模块融合全局文本特征和图像特征，通过局部特征融合模块将局部文本特征和图像特征进行融合，得到文本引导下视觉显著性预测图。在图像特征提取时，图像特征将转换为多尺度特征，之后局部特征融合模块利用这些特征融合得到多尺度信息。本发明可有效地预测文本引导下的视觉显著性图。