公开(公告)号：CN114882488B

公开(公告)日：2024-06-28

申请号：CN202210547679.0

申请日：2022-05-18

Applicant: 北京理工大学

Inventor： 党迎旭 ,  王树良 ,  李燈杰 ,  王奕 ,  李明 ,  袁汉宁 ,  耿晶 ,  潘新宇

IPC: G06V20/62 ,  G06V20/10 ,  G06V10/82 ,  G06V30/18 ,  G06V30/19 ,  G06F16/36 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出一种基于深度学习与注意力机制的多源遥感图像信息处理方法，包括：步骤1，构建图像描述生成器，所述图像描述生成器基于自上而下图像描述模型构建而成；该自上而下图像描述模型包括顺序连接的注意力LSTM模型和语句生成LSTM模型；步骤2：采用融入词性特征的文本图像匹配的POS‑SCAN模型对图形描述生成器进行训练，得到所述图形描述生成器的损失函数；步骤3：将所述图像描述生成器进行自序列训练后，将所述多源遥感图像进行区域特征提取，并将区域特征提取结果输入所述图像描述生成器，得到所述图像对应的文字标签；步骤4：将所述区域特征提取结果、所述文字标签及候选语句输入相似性评分模块，得到相似度评分结果。

公开(公告)号：CN114882488A

公开(公告)日：2022-08-09

申请号：CN202210547679.0

申请日：2022-05-18

Applicant: 北京理工大学

Inventor： 党迎旭 ,  王树良 ,  李燈杰 ,  王奕 ,  李明 ,  袁汉宁 ,  耿晶 ,  潘新宇

IPC: G06V20/62 ,  G06V30/18 ,  G06V30/19 ,  G06F16/36 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出一种基于深度学习与注意力机制的多源遥感图像信息处理方法，包括：步骤1，构建图像描述生成器，所述图像描述生成器基于自上而下图像描述模型构建而成；该自上而下图像描述模型包括顺序连接的注意力LSTM模型和语句生成LSTM模型；步骤2：采用融入词性特征的文本图像匹配的POS‑SCAN模型对图形描述生成器进行训练，得到所述图形描述生成器的损失函数；步骤3：将所述图像描述生成器进行自序列训练后，将所述多源遥感图像进行区域特征提取，并将区域特征提取结果输入所述图像描述生成器，得到所述图像对应的文字标签；步骤4：将所述区域特征提取结果、所述文字标签及候选语句输入相似性评分模块，得到相似度评分结果。