一种基于多模态多级特征聚合的显著目标检测方法及装置

    公开(公告)号:CN116503618B

    公开(公告)日:2024-02-02

    申请号:CN202310454178.2

    申请日:2023-04-25

    Abstract: 本申请公开了一种基于多模态多级特征聚合的显著目标检测方法及装置,包括:对彩色图像和热度图执行逐级多层特征提取,得到五层图像特征和五层热度特征;将五层热度特征分别进行热度信息提取,得到五层细化热度特征;将五层图像特征与相同层的细化热度特征进行融合,得到五层融合特征;将第三到五层的融合特征进行多级特征聚合处理,得到高层聚合特征;将高层聚合特征分别与第一到三层的融合特征进行指导与多级特征聚合处理,得到低层聚合特征;利用低层聚合特征检测彩色图像和热度图中的显著目标。本申请提出了一种新的热度信息提取模块,采用多级特征聚合策略,将各层特征图分(56)对比文件毕洪波等“.多层次特征融合的视频显著目标检测系统设计”《.实验宝研究与探索》.2022,第41卷(第3期),第94-98页.

    一种基于联合注意力的RGB-T显著目标检测方法

    公开(公告)号:CN115661482B

    公开(公告)日:2023-07-14

    申请号:CN202211414420.5

    申请日:2022-11-11

    Abstract: 本发明公开一种基于联合注意力的RGB‑T显著目标检测方法,包括以下步骤:分别获取RGB图像和热图像的若干层初始特征;基于若干层所述初始特征,提取若干层通道显著特征和像素位置显著特征;基于同层的所述通道显著特征和像素位置显著特征,获取联合特征;对所述联合特征进行增强表达,获得若干级多尺度增强显著特征;根据每一级所述多尺度增强显著特征的特点,将若干级所述多尺度增强显著特征进行聚合,获得RGB‑T显著目标。本发明采用编码‑解码结构,将跨模态特征交互及多尺度特征融合充分合作,构成一个统一网络,可以高效并精准地完成显著目标检测任务。

    一种基于联合注意力的RGB-T显著目标检测方法

    公开(公告)号:CN115661482A

    公开(公告)日:2023-01-31

    申请号:CN202211414420.5

    申请日:2022-11-11

    Abstract: 本发明公开一种基于联合注意力的RGB‑T显著目标检测方法,包括以下步骤:分别获取RGB图像和热图像的若干层初始特征;基于若干层所述初始特征,提取若干层通道显著特征和像素位置显著特征;基于同层的所述通道显著特征和像素位置显著特征,获取联合特征;对所述联合特征进行增强表达,获得若干级多尺度增强显著特征;根据每一级所述多尺度增强显著特征的特点,将若干级所述多尺度增强显著特征进行聚合,获得RGB‑T显著目标。本发明采用编码‑解码结构,将跨模态特征交互及多尺度特征融合充分合作,构成一个统一网络,可以高效并精准地完成显著目标检测任务。

Patent Agency Ranking