公开(公告)号：CN117437120A

公开(公告)日：2024-01-23

申请号：CN202210799973.0

申请日：2022-07-08

Applicant: 哈尔滨工业大学(威海)

Inventor： 周洪飞 ,  张盛平

IPC: G06T3/4038 ,  G06T3/4046 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/084 ,  G06V10/44 ,  G06V10/766 ,  G06V10/82

Abstract: 本发明公开了一种端到端的基于深度学习的图像拼接方法，包括以下训练步骤：在第一阶段，预先训练好一个深度单应性变换网络。在第二阶段，将一组多视角图像输入到图像对齐变换模块，由深度单应性基线网络接收，并输出单应性变换矩阵；将单一性变换矩阵与输入的原始图像输入到空间转换器层中，该层允许对网络内的数据进行空间操作，从而将单应性变换后的图像进行最小空余的对齐，得到对齐后的图像；将变换后的一组图像先进行下采样，然后利用编解码器网络对拼接图像进行重构，学习图像拼接的变形规则，输出拼接图像；将对齐变换后的拼接图像输入到图像矩形化模块中，处理不规则的边界，首先通过一个编码器来提取图像特征，即堆栈简单的卷积池块，从输入中提取高级语义特征；输入到一个完全卷积结构的网格运动回归器，以基于规则网格预测每个顶点的水平和垂直运动；扭曲中间特征映射和网格运动，输入到残差渐进回归器，进而渐进地估计精确的网格运动；将最后将逐步迭代得到的精细网格运动指导原图进行扭曲，最终得到矩形图像。

公开(公告)号：CN117422634A

公开(公告)日：2024-01-19

申请号：CN202210801100.9

申请日：2022-07-08

Applicant: 哈尔滨工业大学(威海)

Inventor： 周洪飞 ,  张盛平

IPC: G06T5/70 ,  G06T7/40 ,  G06T7/10 ,  G06T7/194 ,  G06T5/50 ,  G06N3/08

Abstract: 本发明公开了一种基于去噪扩散概率模型的视频修复模型方法，包括以下步骤：首先，将视频流分成参考帧和目标帧，其中目标帧迭代式地在视频流中选取；对当前目标帧进行加噪声处理，噪声为高斯噪声，由网络建模产生，产生的新的目标帧服从分布P；对于服从分布P的新目标帧和取反后的掩膜进行掩膜化操作，提取出非修复的背景区域；利用上下文编码网络对参考帧进行特征编码，提取参考帧的上下文C；对编码的上下文张量C和当前帧Xt进行去噪处理，去除高斯噪声由网络模型进行建模，是添加噪声的逆过程，得到分布Q；对于服从分布Q的当前帧进行掩膜处理，提取出待修复的前景区域；将待修复区域和非修复的区域进行融合，得到的当前目标帧即为此轮处理的输出；将当前轮的输出作为下一轮的输入进行迭代。最后重新选取目标帧，将当前得到的目标帧作为下一个目标帧的参考帧进行迭代。