公开(公告)号：CN118710533A

公开(公告)日：2024-09-27

申请号：CN202410812633.6

申请日：2024-06-22

Applicant: 北京大学

Inventor： 施柏鑫 ,  钟灏峰 ,  洪雨辰 ,  翁书晨 ,  梁锦秀

IPC: G06T5/70 ,  G06N3/0464 ,  G06N3/08 ,  G06T7/194 ,  G06N3/0442 ,  G06T3/4038

Abstract: 本发明提供一种文本辅助的反光去除方法，包括：输入数据编码、迭代优化控制条件、多条件引导机制和去噪过程4个步骤，每个步骤均通过神经网络中相应设计的模块来实现；通过文本辅助提供语义信息进行反光去除，大大提升实际使用的便利性，并使反光去除的效果超过以往的单张图像的方法；对于扩散模型中遇到的不准确的初始控制条件，能在迭代中进行优化，让扩散模型去除反光后恢复出的背景层保证颜色和结构上的准确性，并且能处理复杂困难的反光场景，如低背景可见度或饱和反光的情况；构建的带有文本提示的数据集，适用文本辅助的反光去除方法的训练和测试，本方法设计科学合理，简单可靠，适合推广。

公开(公告)号：CN118429530A

公开(公告)日：2024-08-02

申请号：CN202410503645.0

申请日：2024-04-25

Applicant: 北京大学

Inventor： 施柏鑫 ,  汤佳骏 ,  钟灏峰 ,  翁书晨

IPC: G06T17/00 ,  G06T15/50

Abstract: 本发明公开了一种带光照感知的具有光照真实感的图像条件重绘制方法。提出了带光照感知能力的具有光照真实感图像条件重绘制任务及相应算法，旨在解决当前图像条件重绘制方法在保持图像整体光照真实感和和谐性方面存在的不足。通过从用户给定的背景图像中提取场景光照信息并从用户给定的前景物体语义分割掩码中预测前景物体区域在三维世界中的形状表示，随后计算前景物体对应的照明图作为二维图像上的光照表示，可以根据用户指定的属性重新绘制具有正确光照效果的图像前景物体，同时对应地修改图像背景区域以实现整体光照和谐观感。为了支持数据驱动的训练，采用图形学渲染合成的方法获取了大量成对的参考图像数据，并以此构建包含完整标注的室外场景光照下的多样化数据集。相较于现有图像重绘制方法，本发明的主客观性能大幅提升，重绘制的图像体现出真实且和谐的光照效果。