一种直接基于对话的图像生成方法和系统

    公开(公告)号:CN118279421A

    公开(公告)日:2024-07-02

    申请号:CN202410208792.5

    申请日:2024-02-26

    Applicant: 北京大学

    Abstract: 本发明涉及一种直接基于对话的图像生成方法和系统。该方法的步骤包括:在每轮对话之前通过添加分隔符进行文本连接;对连接后的文本进行文本编码,得到文本嵌入层向量;对输入图像进行图像编码,得到图像嵌入层向量;利用文本嵌入层向量和图像嵌入层向量,采用训练算法对联合噪声预测网络进行微调训练;将给定的对话内容输入微调训练后得到的联合噪声预测网络,联合噪声预测网络利用采样算法得到最终的图像。本发明针对现有技术中存在的问题,在原有文本生成图像模型基础上进行针对性微调,实现直接基于对话的图像生成,并在分辨率、真实性等维度上,较原有的文本生成图像模型,提升了生成图片的质量。

Patent Agency Ranking