公开(公告)号：CN115601772A

公开(公告)日：2023-01-13

申请号：CN202211611537.2

申请日：2022-12-15

Applicant: 南京邮电大学(CN)

Inventor： 亓晋 ,  苏灿 ,  胡筱旋 ,  孙莹 ,  孙雁飞 ,  董振江 ,  许斌

IPC: G06V30/41 ,  G06V30/18 ,  G06V30/19 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于图像处理技术领域，公开了一种基于多模态学习的美学质量评价模型和方法，其根据文本信息和图像信息，在图像特征和文本特征提取后，基于跨越注意力机制，动态融合图像与文本之间的信息；在多模态学习的基础上使用Transformer作为骨干网络，不考虑传统的CNN方法，通过视觉和文本Transformer分别提取图像特征和高级语义，从而实现基于多模态学习的纯Transformer美学质量评价模型和方法。本发明有效提高了美学质量评价的准确率和其他评价指标；有利于促进美学应用，加快深度学习在未来美学领域的发展。