公开(公告)号：CN119251357B

公开(公告)日：2025-03-25

申请号：CN202411788202.7

申请日：2024-12-06

Applicant: 南京信息工程大学

Inventor： 金哲栋 ,  夏贵羽 ,  杨派克 ,  王梦祥 ,  孙玉宝

IPC: G06T11/60 ,  G06T11/00 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了计算机视觉领域的一种文本驱动的人体姿态与纹理编辑方法及装置。方法包括：首先从关于姿态信息的文本描述中提取特征，转换为骨架节点坐标并绘制成骨架图；再从服饰形状文本提取特征，结合骨架图通过编解码网络得到人体解析图；训练纹理感知的FSQ，学习不同纹理特征向量表示，将纹理文本描述与人体解析图输入FSQ进行采样，填充纹理并生成较粗糙但符合文本描述的人体图像。接着微调用于姿态迁移的扩散模型，用于对生成的人体图像质量进行进一步优化。该方法克服现有模型生成能力不稳定、对图像控制不足的问题，保证生成的人体图像逼真且与输入文本语义一致，为人体图像生成提供了新的有效途径。

公开(公告)号：CN119251357A

公开(公告)日：2025-01-03

申请号：CN202411788202.7

申请日：2024-12-06

Applicant: 南京信息工程大学

Inventor： 金哲栋 ,  夏贵羽 ,  杨派克 ,  王梦祥 ,  孙玉宝

IPC: G06T11/60 ,  G06T11/00 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了计算机视觉领域的一种文本驱动的人体姿态与纹理编辑方法及装置。方法包括：首先从关于姿态信息的文本描述中提取特征，转换为骨架节点坐标并绘制成骨架图；再从服饰形状文本提取特征，结合骨架图通过编解码网络得到人体解析图；训练纹理感知的FSQ，学习不同纹理特征向量表示，将纹理文本描述与人体解析图输入FSQ进行采样，填充纹理并生成较粗糙但符合文本描述的人体图像。接着微调用于姿态迁移的扩散模型，用于对生成的人体图像质量进行进一步优化。该方法克服现有模型生成能力不稳定、对图像控制不足的问题，保证生成的人体图像逼真且与输入文本语义一致，为人体图像生成提供了新的有效途径。