公开(公告)号：CN117423053A

公开(公告)日：2024-01-19

申请号：CN202311397189.8

申请日：2023-10-26

Applicant: 燕山大学

Inventor： 李贺 ,  洪尧 ,  刘嘉宇 ,  孔维航 ,  佟连刚 ,  沈洁男

IPC: G06V20/52 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06V10/766 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0499

Abstract: 本发明公开了一种基于Transformer的跨模态人群计数系统及方法，步骤如下：输入红外热图像和可见光图像至一阶特征提取模块，获得一阶特征；经过一阶模态混合器得到一阶跨模态特征和注意力权重；通过逐元素相乘和相加操作，得到一阶增强特征；将增强的可见光与红外热特征输入二阶特征提取模块，获得二阶特征；将二阶特征输入二阶模态混合器得到二阶跨模态特征和注意力权重；通过逐元素相乘和相加操作，得到二阶增强特征；将增强的可见光与红外热特征输入三阶特征提取模块，获得三阶特征；将增强的可见光与红外热特征输入三阶模态混合器，得到三阶跨模态特征；输入三个阶段的跨模态特征到回归头得到估计密度图。