一种基于改进循环生成对抗网络的光流无监督估计方法

    公开(公告)号:CN114693744A

    公开(公告)日:2022-07-01

    申请号:CN202210150329.0

    申请日:2022-02-18

    Applicant: 东南大学

    Inventor: 张涛 刘晓晨

    Abstract: 一种基于改进循环生成对抗网络的光流无监督估计方法,首先,改进生成器结构,引入空洞卷积在不降低特征图尺寸的情况下增加网络的感受野,同时引入通道‑空间注意力模块使生成器更加专注于输入图片中的运动物体,其次,引入Spynet作为教师网络对生成器进行指导。最后,引入光流一致性损失和轮廓一致性损失。将改进之处放入循环生成对抗网络框架中,生成器负责利用生成的图像蒙骗判别器。生成器与判别器以此种方式进行对抗训练,当判别器无法区分图像来源时,完成训练,而后即可利用两幅连续图像实现光流的估计。此方法可用于以无人机、无人车以及水下无人潜器等为载体的,易受光照变化、阴雨天等恶劣条件影响的基于光流的自主导航任务。

    基于Transformer的单目光流、深度和位姿无监督联合估计方法

    公开(公告)号:CN115810045A

    公开(公告)日:2023-03-17

    申请号:CN202211473988.4

    申请日:2022-11-23

    Applicant: 东南大学

    Inventor: 张涛 刘晓晨

    Abstract: 基于Transformer的单目光流、深度和位姿无监督联合估计方法,具体来说,为降低网络参数和结构的冗余,同时考虑光流、深度和位姿无监督联合估计的任务在时序上的连续性,本发明采用具有全局感受野的Transformer作为唯一的特征编码器为三个任务同时提供统一的、具有一致性的特征描述。此外,为实现光流、深度和位姿估计之间的精度提升,考虑到联合估计任务之间的相似性。本发明在网络的训练过程中,提出了互引机制来为网络引入几何先验,实现对光流与位姿、深度的双向迭代优化。此方法可以用于以无人机、无人车或机器人等为载体的,面向单目视觉的光流、深度和位姿的联合估计任务。

    一种基于Transformer的光流无监督估计方法

    公开(公告)号:CN115018888B

    公开(公告)日:2024-08-06

    申请号:CN202210777017.2

    申请日:2022-07-04

    Applicant: 东南大学

    Inventor: 张涛 刘晓晨

    Abstract: 本发明公开了一种基于Transformer的光流无监督估计方法。具体来说,本发明引入Transformer作为光流估计的特征编码器,利用其完全的自注意力机制,实现具有全局感受野的特征编码,有利于光流估计精度的提升。其次,在基于特征金字塔的光流解码器中,提出归一化互相关模块来计算两幅特征图之间的相关性,以使网络更加关注前景运动物体,弱化背景噪声对光流的干扰。同时,引入基于注意力的中间光流估计模块,对物体边界光流进行细化,进一步提升光流估计精度。最后,在光度一致损失和平滑损失函数的基础上,引入静态光流损失函数作为网络无监督的伪标签,为网络提供更加明确的训练方向。此方法可用于视觉导航、运动估计和图像分割等计算机视觉领域。

    一种基于改进循环生成对抗网络的光流无监督估计方法

    公开(公告)号:CN114693744B

    公开(公告)日:2025-04-29

    申请号:CN202210150329.0

    申请日:2022-02-18

    Applicant: 东南大学

    Inventor: 张涛 刘晓晨

    Abstract: 一种基于改进循环生成对抗网络的光流无监督估计方法,首先,改进生成器结构,引入空洞卷积在不降低特征图尺寸的情况下增加网络的感受野,同时引入通道‑空间注意力模块使生成器更加专注于输入图片中的运动物体,其次,引入Spynet作为教师网络对生成器进行指导。最后,引入光流一致性损失和轮廓一致性损失。将改进之处放入循环生成对抗网络框架中,生成器负责利用生成的图像蒙骗判别器。生成器与判别器以此种方式进行对抗训练,当判别器无法区分图像来源时,完成训练,而后即可利用两幅连续图像实现光流的估计。此方法可用于以无人机、无人车以及水下无人潜器等为载体的,易受光照变化、阴雨天等恶劣条件影响的基于光流的自主导航任务。

    基于双判别器与改进损失函数的对抗网络图像去雾方法

    公开(公告)号:CN113362251B

    公开(公告)日:2024-03-26

    申请号:CN202110715304.6

    申请日:2021-06-27

    Applicant: 东南大学

    Abstract: 基于双判别器与改进损失函数的对抗网络图像去雾方法。首先,在生成器中引入两层由Inception网络组成的细节生成模块以生成包含更加准确和逼真细节的图像,其次,引入双判别器结构,判别器D1网络结构较为简单,负责对生成器生成的图片Ifake的底层特征进行判别,D2网络结构较为复杂,负责对生成器生成的图片Ifake的高层特征进行判别,当生成器G生成的图片成功同时地欺骗过判别器D1和D2时,训练结束。最后,为了针对去雾任务完成针对性优化,将暗通道先验理论引入生成器的损失函数中,提升去雾效果。本发明可用于以无人机、无人车以及无人船等为载体的,易受大雾、雨天等恶劣条件影响的基于视觉的导航、目标识别和辅助驾驶等任务。

    一种基于Transformer的光流无监督估计方法

    公开(公告)号:CN115018888A

    公开(公告)日:2022-09-06

    申请号:CN202210777017.2

    申请日:2022-07-04

    Applicant: 东南大学

    Inventor: 张涛 刘晓晨

    Abstract: 本发明公开了一种基于Transformer的光流无监督估计方法。具体来说,本发明引入Transformer作为光流估计的特征编码器,利用其完全的自注意力机制,实现具有全局感受野的特征编码,有利于光流估计精度的提升。其次,在基于特征金字塔的光流解码器中,提出归一化互相关模块来计算两幅特征图之间的相关性,以使网络更加关注前景运动物体,弱化背景噪声对光流的干扰。同时,引入基于注意力的中间光流估计模块,对物体边界光流进行细化,进一步提升光流估计精度。最后,在光度一致损失和平滑损失函数的基础上,引入静态光流损失函数作为网络无监督的伪标签,为网络提供更加明确的训练方向。此方法可用于视觉导航、运动估计和图像分割等计算机视觉领域。

    基于双判别器与改进损失函数的对抗网络图像去雾方法

    公开(公告)号:CN113362251A

    公开(公告)日:2021-09-07

    申请号:CN202110715304.6

    申请日:2021-06-27

    Applicant: 东南大学

    Abstract: 基于双判别器与改进损失函数的对抗网络图像去雾方法。首先,在生成器中引入两层由Inception网络组成的细节生成模块以生成包含更加准确和逼真细节的图像,其次,引入双判别器结构,判别器D1网络结构较为简单,负责对生成器生成的图片Ifake的底层特征进行判别,D2网络结构较为复杂,负责对生成器生成的图片Ifake的高层特征进行判别,当生成器G生成的图片成功同时地欺骗过判别器D1和D2时,训练结束。最后,为了针对去雾任务完成针对性优化,将暗通道先验理论引入生成器的损失函数中,提升去雾效果。本发明可用于以无人机、无人车以及无人船等为载体的,易受大雾、雨天等恶劣条件影响的基于视觉的导航、目标识别和辅助驾驶等任务。

Patent Agency Ranking