公开(公告)号：CN113763391A

公开(公告)日：2021-12-07

申请号：CN202111125764.X

申请日：2021-09-24

Applicant: 华中科技大学

Inventor： 潘治宇 ,  陆昊 ,  曹治国

IPC: G06T7/10 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于视觉元素关系的智能化图像剪裁方法和系统，属于数字图像处理与模式识别技术领域。包括：利用深度卷积网络提取框内和框外的视觉单词内容特征以表达各视觉元素，结合可学习的位置嵌入表达，将输入图像转化为具有图像空间位置信息的框内和框外视觉单词序列；利用多层多头注意力模块，建模框内单词之间的引性美学关系和框内与框外单词之间的斥性美学关系，得到引性和斥性美学关系特征；融合内容特征、引性美学关系特征和斥性美学关系特征，预测每一个候选裁剪框的美学评分并排序，得到裁剪结果。本发明挖掘了视觉元素之间的关系模式，可更泛化、更鲁棒地应用于各种类别的图像，且通过裁剪得到的重构图结果更加符合真实用户偏好。

公开(公告)号：CN113763391B

公开(公告)日：2024-03-19

申请号：CN202111125764.X

申请日：2021-09-24

Applicant: 华中科技大学

Inventor： 潘治宇 ,  陆昊 ,  曹治国

IPC: G06T7/10 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明公开了一种基于视觉元素关系的智能化图像剪裁方法和系统，属于数字图像处理与模式识别技术领域。包括：利用深度卷积网络提取框内和框外的视觉单词内容特征以表达各视觉元素，结合可学习的位置嵌入表达，将输入图像转化为具有图像空间位置信息的框内和框外视觉单词序列；利用多层多头注意力模块，建模框内单词之间的引性美学关系和框内与框外单词之间的斥性美学关系，得到引性和斥性美学关系特征；融合内容特征、引性美学关系特征和斥性美学关系特征，预测每一个候选裁剪框的美学评分并排序，得到裁剪结果。本发明挖掘了视觉元素之间的关系模式，可更泛化、更鲁棒地应用于各种类别的图像，且通过裁剪得到的重构图结果更加符合真实用户偏好。