公开(公告)号：CN114626476B

公开(公告)日：2024-12-24

申请号：CN202210279684.8

申请日：2022-03-21

Applicant: 北京信息科技大学

Inventor： 张海苗 ,  刘畅 ,  邱钧 ,  阮涛

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于Transformer和部件特征融合的鸟类细粒度图像识别方法及装置，该方法包括：步骤1，通过将预处理后的图像输入基于Transformer架构网络的特征编码器，提取出基础特征图，并将所述基础特征图输入注意力模块，生成部件注意力图；步骤2，将所述基础特征图和所述部件注意力图进行双线性注意力池化操作，获得判别性部件特征；步骤3，通过将判别性部件特征在通道维度上进行拼接，得到融合了判别性部件信息的增强特征表示；步骤4，通过将增强特征表示输入全连接层，完成类别的映射，并通过交叉熵损失和中心损失对模型参数进行优化。本发明能够实现在弱监督下对鸟类图像进行高精度识别。

公开(公告)号：CN114626476A

公开(公告)日：2022-06-14

申请号：CN202210279684.8

申请日：2022-03-21

Applicant: 北京信息科技大学

Inventor： 阮涛 ,  张海苗 ,  刘畅 ,  邱钧

IPC: G06K9/62 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于Transformer和部件特征融合的鸟类细粒度图像识别方法及装置，该方法包括：步骤1，通过将预处理后的图像输入基于Transformer架构网络的特征编码器，提取出基础特征图，并将所述基础特征图输入注意力模块，生成部件注意力图；步骤2，将所述基础特征图和所述部件注意力图进行双线性注意力池化操作，获得判别性部件特征；步骤3，通过将判别性部件特征在通道维度上进行拼接，得到融合了判别性部件信息的增强特征表示；步骤4，通过将增强特征表示输入全连接层，完成类别的映射，并通过交叉熵损失和中心损失对模型参数进行优化。本发明能够实现在弱监督下对鸟类图像进行高精度识别。