一种光流估计的方法、装置以及设备

    公开(公告)号:CN114677412B

    公开(公告)日:2023-05-12

    申请号:CN202210270582.X

    申请日:2022-03-18

    Applicant: 苏州大学

    Inventor: 钟宝江 李牧

    Abstract: 本发明公开了一种光流估计的方法、装置、设备以及计算机可读存储介质,包括:提取相邻两帧图像的特征,构建每一帧图像的特征矩阵;将每一帧图像的浅层特征矩阵输入多尺度通道注意力网络和多尺度空间注意力网络中进行处理,得到高鲁棒的每一帧图像的空间特征矩阵;计算相邻两帧图像的空间特征矩阵的相似度编码,根据相似度编码进行Encoder操作得到运动特征;利用上下文编码器提取第一帧图像的上下文特征;将运动特征和上下文特征进行融合输入GRU模块中得到光流残差;基于光流残差进行迭代运算,输出光流估计结果。本发明引入多尺度通道和空间注意力网络,增强网络的鲁棒性和对小物体的表征能力,提高小物体的光流估计结果。

    一种针对不同尺度目标自适应的光流估计的方法及系统

    公开(公告)号:CN115690170A

    公开(公告)日:2023-02-03

    申请号:CN202211221511.7

    申请日:2022-10-08

    Applicant: 苏州大学

    Inventor: 钟宝江 李牧

    Abstract: 本发明实施例提供一种针对不同尺度目标自适应的光流估计的方法及系统,该方法包括将相邻两帧图像输入卷积神经网络,并对两帧图像进行特征提取,得到两帧图像的浅层特征;对两帧图像的浅层特征进行处理,获得两帧图像的多尺度特征;利用两帧图像的粗糙尺度特征、中等尺度特征及精细尺度特征之间的信息交互获得多尺度成本量;对两帧图像中的第一帧图像进行上下文编码,并联合所述多尺度成本量计算光流估计结果;利用光流的端点误差作为损失函数,对光流估计结果进行拟合。本发明解决了由成本量单一导致丢失不同尺度对象的精细细节,从而导致较差的估计性能的问题,提高了光流估计的准确性。

    一种针对不同尺度目标自适应的光流估计的方法及系统

    公开(公告)号:CN115690170B

    公开(公告)日:2024-10-15

    申请号:CN202211221511.7

    申请日:2022-10-08

    Applicant: 苏州大学

    Inventor: 钟宝江 李牧

    Abstract: 本发明实施例提供一种针对不同尺度目标自适应的光流估计的方法及系统,该方法包括将相邻两帧图像输入卷积神经网络,并对两帧图像进行特征提取,得到两帧图像的浅层特征;对两帧图像的浅层特征进行处理,获得两帧图像的多尺度特征;利用两帧图像的粗糙尺度特征、中等尺度特征及精细尺度特征之间的信息交互获得多尺度成本量;对两帧图像中的第一帧图像进行上下文编码,并联合所述多尺度成本量计算光流估计结果;利用光流的端点误差作为损失函数,对光流估计结果进行拟合。本发明解决了由成本量单一导致丢失不同尺度对象的精细细节,从而导致较差的估计性能的问题,提高了光流估计的准确性。

    一种光流估计的方法、装置以及设备

    公开(公告)号:CN114677412A

    公开(公告)日:2022-06-28

    申请号:CN202210270582.X

    申请日:2022-03-18

    Applicant: 苏州大学

    Inventor: 钟宝江 李牧

    Abstract: 本发明公开了一种光流估计的方法、装置、设备以及计算机可读存储介质,包括:提取相邻两帧图像的特征,构建每一帧图像的特征矩阵;将每一帧图像的浅层特征矩阵输入多尺度通道注意力网络和多尺度空间注意力网络中进行处理,得到高鲁棒的每一帧图像的空间特征矩阵;计算相邻两帧图像的空间特征矩阵的相似度编码,根据相似度编码进行Encoder操作得到运动特征;利用上下文编码器提取第一帧图像的上下文特征;将运动特征和上下文特征进行融合输入GRU模块中得到光流残差;基于光流残差进行迭代运算,输出光流估计结果。本发明引入多尺度通道和空间注意力网络,增强网络的鲁棒性和对小物体的表征能力,提高小物体的光流估计结果。

Patent Agency Ranking