公开(公告)号：CN114140545A

公开(公告)日：2022-03-04

申请号：CN202111358038.2

申请日：2021-11-16

Applicant: 上海大学

Inventor： 刘思维 ,  谢志峰 ,  孙郁州

IPC: G06T11/00 ,  G06T11/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于宽度注意力和图卷积优化的卡通线稿上色方法。(1)使用预训练的VGG16模型提取卡通图像的特征并进行余弦相似度比对，选取相似度前三的图像组成一一匹配的原图‑参考图像对；(2)构建卡通线稿‑上色图特征匹配模型：首先，U‑Net网络分别提取卡通线稿和上色图的多尺度深度特征；其次，上采样阶段各个尺度的线稿和上色图特征输入宽度注意力特征匹配网络进行特征匹配，再使用图卷积模块进行整体优化。(3)将匹配后的特征和线稿图像输入到生成模型，得到最终的上色结果。本方法使用端到端的网络模型，不仅减少了工程的复杂度，且有效地解决了原图和参考图之间色彩特征和语义特征的匹配问题，生成精美高分辨率的上色卡通图像。

公开(公告)号：CN114140545B

公开(公告)日：2025-04-18

申请号：CN202111358038.2

申请日：2021-11-16

Applicant: 上海大学

Inventor： 刘思维 ,  谢志峰 ,  孙郁州

IPC: G06T11/00 ,  G06T11/40 ,  G06N3/0464 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明涉及一种基于宽度注意力和图卷积优化的卡通线稿上色方法。(1)使用预训练的VGG16模型提取卡通图像的特征并进行余弦相似度比对，选取相似度前三的图像组成一一匹配的原图‑参考图像对；(2)构建卡通线稿‑上色图特征匹配模型：首先，U‑Net网络分别提取卡通线稿和上色图的多尺度深度特征；其次，上采样阶段各个尺度的线稿和上色图特征输入宽度注意力特征匹配网络进行特征匹配，再使用图卷积模块进行整体优化。(3)将匹配后的特征和线稿图像输入到生成模型，得到最终的上色结果。本方法使用端到端的网络模型，不仅减少了工程的复杂度，且有效地解决了原图和参考图之间色彩特征和语义特征的匹配问题，生成精美高分辨率的上色卡通图像。