公开(公告)号：CN120032280A

公开(公告)日：2025-05-23

申请号：CN202510113505.7

申请日：2025-01-24

Applicant: 南京工业大学

Inventor： 沈航 ,  吴华峰 ,  刘宇 ,  王天荆 ,  白光伟

IPC: G06V20/17 ,  G06V10/143 ,  G06V10/80 ,  G06F18/25 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/094

Abstract: 一种基于多模态动态神经网络的无人机在线目标计数方法，步骤包括：首先，由无人机采用机载的可见光摄像头和热红外摄像头分别航拍可见光图像和热红外图像；然后，经分割后的图像作为目标计数模型的输入。目标计数模型是基于多模态动态神经网络的目标计数模型；在无法获取热红外图像时，基于由模态转换网络把可见光图像转换成热红外图像；多模态门控分析图像所在场景光照；如果光照良好，则仅选择目标计数模型的中可见光模态分支，如果光照不足，则选择可见光模态分支和热红外模态分支，热红外图像作为辅助数据；特征提取网络提取所选模态分支的模态特征，并融合多模态推理流的特征；步骤S3得到的特征经解码器后得到目标计数模型的输出。