公开(公告)号：CN119676532A

公开(公告)日：2025-03-21

申请号：CN202411822988.X

申请日：2024-12-10

Applicant: 浙江大学

Inventor： 青木乡师 ,  罗泽楷 ,  刘自得 ,  刘明宇 ,  陈昊

IPC: H04N21/854 ,  H04N21/81 ,  H04N21/234 ,  H04N21/44 ,  G06T5/70 ,  G06V10/70

Abstract: 本发明公开了一种多扩散模型融合的图像及视频定制化方法和系统，基于预训练模块、融合模块及生成模块，通过选择融合策略对多个预训练的扩散模型的权重进行融合，基于融合权重生成输出目标内容，相比于现有方法而言，该方法支持融合具有不同架构、训练过程和采样调度器的扩散模型，从而实现无需训练或架构修改即可融合扩散模型；并基于各个扩散模型的互补优势，使得生成的图像和视频在视觉真实感、身份保持和风格一致性方面具有更高质量，并且能为不同场景和用户需求提供定制化解决方案，适用于基于扩散理论的复杂现实场景的应用；本发明还提供了一种多扩散模型融合的图像及视频定制化装置，实现多扩散模型融合的图像及视频定制化方法。