公开(公告)号：CN113822855A

公开(公告)日：2021-12-21

申请号：CN202110933152.7

申请日：2021-08-11

Applicant: 安徽大学

Inventor： 刘政怡 ,  张志立 ,  谭亚诚 ,  唐彬 ,  姚晟 ,  李炜

IPC: G06T7/00 ,  G06N3/04 ,  G06N3/08 ,  G06T5/50 ,  G06T9/00

Abstract: 本发明公开了一种RGB‑T图像显著目标检测方法，包括以下步骤：从RGB‑T图像中提取RGB特征和Thermal特征，产生对应初始显著图，利用初始显著图增强所述RGB特征和Thermal特征后，实施独立解码，产生RGB和Thermal独立解码特征、独立解码显著图；融合所述RGB和Thermal独立解码特征，形成RGB‑T融合特征后，实施联合解码，产生联合解码显著图；利用显著图真值监督独立解码显著图、联合解码显著图，通过训练数据集的训练，形成RGB‑T图像显著目标检测模型，所述模型检测任意一张RGB‑T图像，输出联合解码显著图。所述方法通过独立解码兼顾RGB颜色图像和Thermal热红外图像各自的独特性，通过联合编码减少RGB颜色图像和Thermal热红外图像二者之间的差异，提高检测性能。

公开(公告)号：CN113822855B

公开(公告)日：2024-10-15

申请号：CN202110933152.7

申请日：2021-08-11

Applicant: 安徽大学

Inventor： 刘政怡 ,  张志立 ,  谭亚诚 ,  唐彬 ,  姚晟 ,  李炜

IPC: G06T7/00 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06T5/50 ,  G06T9/00

Abstract: 本发明公开了一种RGB‑T图像显著目标检测方法，包括以下步骤：从RGB‑T图像中提取RGB特征和Thermal特征，产生对应初始显著图，利用初始显著图增强所述RGB特征和Thermal特征后，实施独立解码，产生RGB和Thermal独立解码特征、独立解码显著图；融合所述RGB和Thermal独立解码特征，形成RGB‑T融合特征后，实施联合解码，产生联合解码显著图；利用显著图真值监督独立解码显著图、联合解码显著图，通过训练数据集的训练，形成RGB‑T图像显著目标检测模型，所述模型检测任意一张RGB‑T图像，输出联合解码显著图。所述方法通过独立解码兼顾RGB颜色图像和Thermal热红外图像各自的独特性，通过联合编码减少RGB颜色图像和Thermal热红外图像二者之间的差异，提高检测性能。

公开(公告)号：CN115359428A

公开(公告)日：2022-11-18

申请号：CN202211048694.7

申请日：2022-08-29

Applicant: 安徽大学

Inventor： 刘政怡 ,  吴伟 ,  檀亚诚 ,  唐彬 ,  方贤勇 ,  汪粼波

IPC: G06V20/52 ,  G06V10/56 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04

Abstract: 本发明公开了一种多模态人群计数模型，包括以下步骤：利用编码器从多模态源信号中提取多模态特征；设置一个可学习的计数特征；级联多模态特征和计数特征，形成计数指导的融合特征；通过一个多头自注意力块，对计数指导的融合特征进行增强，形成增强特征；拆分增强特征，形成增强的多模态特征和增强的计数特征；将增强的多模态特征进行通道级联，利用预测头进行密度图的预测；使用多层感知机对增强的计数特征进行降通道操作，形成计数值；利用密度图真值对密度图进行监督，利用计数真值对密度图统计的计数值进行监督，利用计数真值对计数值进行监督；通过训练集的训练形成多模态人群计数模型。所述模型通过计数信息的指导，由多头自注意力实施多模态融合，提高人群计数精度。