一种基于卷积神经网络和Transformer混合网络结构的图像超分辨率方法

    公开(公告)号:CN119693236A

    公开(公告)日:2025-03-25

    申请号:CN202411873358.5

    申请日:2024-12-18

    Abstract: 基于卷积神经网络和Transformer混合网络结构的图像超分辨率方法属于计算机视觉领域。首先搭建卷积神经网络和Transformer混合结构的图像超分辨率网络,利用简单卷积实现对浅层特征的提取;然后联合多个残差组实现对深度特征的提取,其中残差组由多个提出的双路协同模块构成,该模块包括双注意力Transformer模块、多尺度卷积模块和选择性融合模块;利用双注意力Transformer模块将通道注意力与空间注意力相结合,使特征能够捕获更广泛的全局信息;多尺度卷积模块用来增强特征的局部表示;选择融合模块根据全局和局部特征之间的相似性自适应的融合或者交互,有效保留全局轮廓和局部细节;最后利用上采样模块实现对深层特征的空间特征转换,得到对低分辨率图像超分辨率的结果。

    一种基于空间通道混合上下文模型的点云几何压缩方法

    公开(公告)号:CN117974818A

    公开(公告)日:2024-05-03

    申请号:CN202410194374.5

    申请日:2024-02-21

    Abstract: 一种基于空间通道混合上下文模型的点云几何压缩方法属于点云压缩技术领域。本发明设计基于稀疏卷积的特征变换模块,该模块结合稀疏卷积与残差结构用于对特征聚集并增强以提升重建点云质量;为利用空间相关性准确估计概率,本发明设计了空间频率分解模块,该模块将点云划分为多个空间频率分量并建立由低频到高频的空间依赖,实现码率消耗权衡;此外,为联合利用通道间相关性,本发明设计了分组通道上下文模块,该模块基于通道熵对特征通道进行分组,并将基于空间依赖构建的上下文模型嵌入每个通道组中实现码率显著节省。构成点云几何压缩网络,通过率失真损失不断优化以实现高效编码。

    一种基于深度学习的结构感知的点云上采样方法

    公开(公告)号:CN116934962A

    公开(公告)日:2023-10-24

    申请号:CN202310821544.3

    申请日:2023-07-06

    Abstract: 本发明提供了一种基于深度学习的点云上采样方法,包括:频率感知的注意力模块,该模块结合图滤波与通道注意力,用于突出高频点的特征;为了更好的保持几何结构与局部细节,本发明设计了集合内与集合间特征聚合模块和结构感知的特征变换模块;一方面通过聚合集合内与集合间特征用来创建每个点完整的局部表示;另一方面结构感知的特征变换模块通过捕获全局几何结构和精细局部细节来提高扩展点特征的质量;此外,为了提高粗输稠密点云的质量,本发明设计了多尺度空间修正单元,该单元利用了注意力特征融合和多尺度注意力;基于目标数值优化初始点云上采样网络,得到点云上采样网络。

    一种多视角深度图引导的跨模态蒸馏点云上采样方法

    公开(公告)号:CN120071074A

    公开(公告)日:2025-05-30

    申请号:CN202411941584.2

    申请日:2024-12-26

    Abstract: 本发明提供了一种多视角深度图引导的跨模态蒸馏点云上采样方法,包括跨模态特征提取模块和细节估计的蒸馏结构;为了提取稀疏点云充分的跨模态表征,提出了一种双分支的跨模态特征提取模块,分别提取点云特征和多视角深度图特征;为了更好的融合这两种模态的特征,设计了多视角深度图到点特征融合模块,作用在特征提取模块的不同层,以细粒度的方式将像素特征融合到每个点特征当中;为利用稠密点云深度图的细节信息,构建蒸馏结构:教师网络输入稠密点云深度图并提取多层次细节表征,学生网络在教师网络引导下仅利用稀疏点云深度图预测这些表征,提升重建质量;基于目标数值优化初始点云上采样网络,得到点云上采样网络。

Patent Agency Ranking