公开(公告)号：CN116028662A

公开(公告)日：2023-04-28

申请号：CN202310114265.3

申请日：2023-02-15

Applicant: 武汉理工大学三亚科教创新园

Inventor： 陈亚雄 ,  黄景灏 ,  赵怡晨 ,  魏志程 ,  熊盛武

IPC: G06F16/583 ,  G06F16/683 ,  G06V10/30 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0499 ,  G06N3/084 ,  G06N3/088

Abstract: 本发明公开了一种基于无监督交互式对齐的海洋遥感图像音频检索方法，包括步骤：收集海洋遥感图像和遥感相关音频，构建海洋遥感图像音频检索数据集；提取遥感相关音频的音频特征FA和海洋遥感图像的图像特征FI；将其对齐得到音频检索特征向量FA’和图像检索特征向量FI’；计算整个模型的损失函数值，进行反向传播，训练多轮后得到海洋遥感图像音频检索模型；输入待检索的音频或图像，输出与其相关的海洋遥感图像或者音频数据。本发明利用大量未标记的样本学习显著语义信息和海洋遥感图像和音频间的相似性；抑制图像噪声，捕获图像的显著信息；引入交互式对齐模块探索遥感图像和音频间的精细对应关系，最终提高了海洋遥感图像音频检索的效率和准确率。

公开(公告)号：CN116028662B

公开(公告)日：2023-06-13

申请号：CN202310114265.3

申请日：2023-02-15

Applicant: 武汉理工大学三亚科教创新园

Inventor： 陈亚雄 ,  黄景灏 ,  赵怡晨 ,  魏志程 ,  熊盛武

IPC: G06F16/583 ,  G06F16/683 ,  G06V10/30 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0499 ,  G06N3/084 ,  G06N3/088

Abstract: 本发明公开了一种基于无监督交互式对齐的海洋遥感图像音频检索方法，包括步骤：收集海洋遥感图像和遥感相关音频，构建海洋遥感图像音频检索数据集；提取遥感相关音频的音频特征FA和海洋遥感图像的图像特征FI；将其对齐得到音频检索特征向量FA’和图像检索特征向量FI’；计算整个模型的损失函数值，进行反向传播，训练多轮后得到海洋遥感图像音频检索模型；输入待检索的音频或图像，输出与其相关的海洋遥感图像或者音频数据。本发明利用大量未标记的样本学习显著语义信息和海洋遥感图像和音频间的相似性；抑制图像噪声，捕获图像的显著信息；引入交互式对齐模块探索遥感图像和音频间的精细对应关系，最终提高了海洋遥感图像音频检索的效率和准确率。

公开(公告)号：CN118628919A

公开(公告)日：2024-09-10

申请号：CN202410932161.8

申请日：2024-07-12

Applicant: 武汉理工大学三亚科教创新园

Inventor： 陈亚雄 ,  魏志程 ,  龚腾飞 ,  熊盛武

IPC: G06V20/10 ,  G06N3/045 ,  G06N3/0464 ,  G06V10/42 ,  G06V10/44 ,  G06V10/56 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

Abstract: 本申请提出了一种基于注意力机制和联合损失函数的海岸带变化检测方法，属于海岸带变化检测的技术领域，本发明利用非线性变换注意力机制和联合损失函数来解决光学遥感影像中的海岸带变化检测的问题，并对双时相特征进行像素级减法操作，使模型有效地定位了海岸带变化的具体位置，减小了因亮度差异导致的误差，提高了变化检测的准确度；联合损失函数联合交叉熵损失函数和边缘提取损失函数，提高了变化检测模型在处理复杂场景的表现，同时减小了目标域背景之间的混淆，提升了边缘明显区域的变化检测。

公开(公告)号：CN116257609A

公开(公告)日：2023-06-13

申请号：CN202310037420.6

申请日：2023-01-09

Applicant: 武汉理工大学三亚科教创新园

Inventor： 陈亚雄 ,  杨锴 ,  黄景灏 ,  魏志程 ,  熊盛武

IPC: G06F16/332 ,  G06F16/583 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/0442 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明提出了基于多尺度文本对齐的跨模态检索方法及系统，首先构建包括图像表示模块、文本表示模块和文本对齐模块的整体网络模型，通过图像表示模块和文本表示模块能有效地捕捉不同小目标之间的细微差异，有效地捕获图像与文本之间的细粒度对应关系；通过文本对齐模块对文本与自然的处理，保留了有效文本信息；整体网络模型的目标函数包括三元组损失函数与InfoNCE损失函数，考虑到了文本与图像之间的先验相似性，大大优化了图像与文本的目标函数，增加了跨模态检索的泛化性，使其特别适合应用于遥感图像与文本的跨模态检索。