一种基于事件相机的多模态光流估计方法

    公开(公告)号:CN117274321A

    公开(公告)日:2023-12-22

    申请号:CN202311252300.4

    申请日:2023-09-26

    Abstract: 本发明公开的一种基于事件相机的多模态光流估计方法,属于光流估计领域。将事件、图像两种模态数据作为输入,利用事件的高时间分辨率、低延迟、高动态范围的优势提升光流估计算法在低光、高速场景下的性能。通过将事件数据流转化为事件体素,神经网络能被用于事件数据的处理;通过循环神经网络和特征残差连接,实现事件特征和图像特征的融合增强;通过关联层和基于流的特征查询机制,完成对相邻帧的运动信息编码;通过光流的迭代细化,减少最终估计结果的误差。本发明适用于光流估计领域,能够充分利用事件、图像两种模态的数据,准确预测相邻帧间的光流,提升光流估计在低光、高速等极端场景下的鲁棒性。

    基于特征相似度匹配的事件相机多任务统一方法与系统

    公开(公告)号:CN119006855A

    公开(公告)日:2024-11-22

    申请号:CN202410891619.X

    申请日:2024-07-04

    Abstract: 本发明公开的基于特征相似度匹配的事件相机多任务统一方法与系统,属于计算机视觉领域。本发明利用立体视觉系统记录高时间分辨率的、异步的事件脉冲流;根据该事件脉冲流生成同步的、矩阵形式的、能够输入神经网络的事件体素;确定特征匹配的参考矩阵、目标矩阵,利用神经网络对事件体素的每个像素进行特征编码,生成像素间具有辨别性的参考特征图、目标特征图;根据特征的相似度匹配,计算参考特征图和目标特征图两两像素之间的相似度,获得参考特征图和目标特征图之间的像素偏移矩阵;对像素偏移矩阵细化微调,将细化微调后的像素偏移矩阵转化为光流、视差、深度;通过引入特征相似度匹配策略,实现光流估计、视差估计和深度估计的多任务方法统一。

    一种基于脉冲神经网络的目标分割方法与系统

    公开(公告)号:CN117253039A

    公开(公告)日:2023-12-19

    申请号:CN202311242487.X

    申请日:2023-09-25

    Abstract: 本发明公开一种基于脉冲神经网络的目标分割方法与系统,属于目标分割领域。本发明通过事件脉冲转换关系将连续的事件脉冲流转化为适配脉冲神经网络的输入表示;通过脉冲神经元提取信息并记忆过去特征,提高目标分割模型对连续事件脉冲输入的特征提取能力,并降低能量消耗;通过时空特征聚合模块融合多时间步长特征,提高目标分割模型对特征的利用率;通过多尺度特征融合模块提高目标分割模型对粗粒度和细粒度语义信息的融合能力,并使用多时间步长损失约束目标分割模型收敛,降低目标分割模型对时间步长的依赖,提高目标分割模型的鲁棒性。本发明不仅能够以较低的功耗处理连续的时空事件脉冲流,还能够在低光、高速场景下取得准确的分割结果。

    一种面向通用光照条件的神经形态相机去噪方法

    公开(公告)号:CN117132490A

    公开(公告)日:2023-11-28

    申请号:CN202311029207.7

    申请日:2023-08-15

    Abstract: 一种面向通用光照条件的神经形态相机去噪方法,属于视频去噪领域。依据脉冲流噪声强度与场景光照的关系,将连续的时空脉冲流转化为特定窗口下的图片特征表示,适配传统神经网络的输入;通过标定的暗电流矩阵和响应非一致性矩阵,去除暗电流噪声和响应非一致性噪声;通过二维离散小波变换将图像特征转换为频域特征,利用频域噪声分离的特性实现低成本的噪声去除;通过融合相邻窗口的频域特征,去除散粒噪声和截断噪声;通过深度自注意力网络对频域上的残留噪声进行彻底的去除;最后,为抑制去噪带来的过度平滑,利用频域上的融合特征来精炼去噪结果。本发明适用于视频去噪领域,用于重建干净图像,降低图像中的噪声,减少噪声对下游任务的影响。

    一种面向时空事件脉冲流的目标区域分割方法及系统

    公开(公告)号:CN116416258A

    公开(公告)日:2023-07-11

    申请号:CN202310376811.0

    申请日:2023-04-11

    Abstract: 本发明公开一种面向时空事件脉冲流的目标区域分割方法及系统,属于视频分割领域。本发明通过将连续的事件脉冲流转化为特定的输入表示,有效的适配传统神经网络的输入;通过循环神经网络提取信息并记忆过去特征,提高模型对连续事件脉冲输入的特征提取能力;通过循环特征编码器匹配目标,同时更新的隐藏状态,建模时空关系,提高模型对目标的查询匹配能力;通过特征解码器获取目标在当前与过去时刻的注意力关系矩阵,提高模型对特征匹配的鲁棒性;通过跳跃连接将中间特征输入分割头,提高目标区域分割模型对粗粒度和细粒度信息的特征融合能力,进而提高预测目标区域的准确性。本发明适配低光、高速场景,且能够分割任意时刻的目标区域。

Patent Agency Ranking