公开(公告)号：CN117392250A

公开(公告)日：2024-01-12

申请号：CN202311480532.5

申请日：2023-11-08

Applicant: 南京信息工程大学

Inventor： 孙玉宝 ,  温佳璇 ,  栾鸿康 ,  顾全 ,  黄凯宣

IPC: G06T9/00 ,  G06N3/0455 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明公开了多假设运动补偿增强的视频压缩快照成像重建方法及系统，涉及图像处理技术领域，将初始重建值输入到训练好的多假设运动补偿增强的Transformer重建网络中，由多个阶段级联计算；每个阶段中由整体重建分支利用基于掩码指导的多尺度Transformer编解码网络，提取深度特征，输出整体重建结果；由运动补偿增强分支，用多假设预测模块对参考帧进行运动估计，生成预测帧；计算掩码调制后的预测帧与原始测量值的残差，残差重构模块对计算得到的残差进行重构；通过跳跃连接，利用重构信息对预测帧结果进行优化，以获取运动补偿值；将运动补偿值与整体重建结果求和，获取当前阶段的重建结果；输出重建后的高质量视频。

公开(公告)号：CN116091916A

公开(公告)日：2023-05-09

申请号：CN202211469458.2

申请日：2022-11-22

Applicant: 南京信息工程大学

Inventor： 栾鸿康 ,  孙玉宝

IPC: G06V20/10 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开一种多尺度从RGB图像重建对应的高光谱图像算法及系统，属于计算机视觉高光谱图像领域；算法包括：将原始RGB图像经由多尺度处理模块处理，输出特征图Y'i；将特征图Y'i与原始RGB图像自身在光谱通道维度相加堆叠，得到带有多尺度预处理信息的特征图像；将带有多尺度预处理信息的特征图像依次通过3个空间‑光谱Transformer联合处理模块，对空间‑光谱维度联合处理，处理得到带有空间‑光谱特征信息的特征图像；将带有空间‑光谱特征信息的特征图像通过光谱维度Transformer处理，得到经过Transformer充分提取光谱维度特征信息的特征图像；将经过Transformer充分提取光谱维度特征信息的特征图像通过一个3×3的卷积层将通道维度调整到目标31通道输出，最终得到高光谱图像。