公开(公告)号：CN115080699B

公开(公告)日：2025-01-07

申请号：CN202210787446.8

申请日：2022-07-04

Applicant: 福州大学

Inventor： 柯逍 ,  陈柏涛 ,  蔡宇航

IPC: G06F16/3331 ,  G06F16/338 ,  G06F16/53 ,  G06F16/538 ,  G06V10/40 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/042 ,  G06N3/084

Abstract: 本发明涉及一种基于模态特异自适应缩放与注意力网络的跨模态检索方法。首先对图像模态采用带残差空间缩减的Transformer编码器，对文本模态采用单词级特征注意力模块，分别进行模态不变特征的提取。然后使用模态嵌入级特征注意力模块进行模态干扰特征的过滤。接着采用融合先验知识的自适应缩放网络将特征映射到一个多模态公共子空间进行模态公共特征学习。最后利用表现最好的网络权重计算新的待查询、待检索数据的多模态公共子空间特征，进行类别级重排序，返回最终的跨模态数据检索。本发明能够有效的对多模态数据进行建模，高效准确地完成多模态场景下的跨模态检索任务。

公开(公告)号：CN116910287A

公开(公告)日：2023-10-20

申请号：CN202310867102.2

申请日：2023-07-14

Applicant: 福州大学

Inventor： 柯逍 ,  陈柏涛 ,  蔡宇航

IPC: G06F16/532 ,  G06F16/58 ,  G06F18/25 ,  G06F18/22 ,  G06F40/289 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出令牌压缩与双向非对称匹配的多模态查询图像检索方法，包括以下步骤；步骤S1：将输入图像分块并分别编码，将输入文本利用词嵌入转化为令牌序列；对序列化的数据进行令牌压缩与编码；步骤S2：对得到的融合上下文的图像模态和文本模态令牌序列加上额外的融合令牌，并再次进行令牌压缩与编码；步骤S3：对使用步骤S2得到的单模态与融合模态特征表示进行正向的精确匹配与反向的模糊匹配，利用匹配结果指导神经网络学习过程。步骤S4：进行神经网络的训练，保留最好的模型权重用于计算测试集数据的特征表示，实现组合查询图像检索；本发明能够对多模态查询语义进行充分融合，充分利用多模态数据的相关性和互补性实现更全面更精细的图像检索。

公开(公告)号：CN116883748A

公开(公告)日：2023-10-13

申请号：CN202310867063.6

申请日：2023-07-14

Applicant: 福州大学

Inventor： 柯逍 ,  蔡宇航 ,  陈柏涛

IPC: G06V10/764 ,  G06V10/40 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提出一种基于多粒度交互与特征重组网络的细粒度分类方法，包括以下步骤：步骤S1：通过基于Swin‑Transformer的骨干网络提取细粒度全局图像的特征，然后通过自注意力权值引导局部图像定位，并以权重共享的形式提取局部特征；步骤S2：通过嵌入多粒度特征增强模块来增强粒度感知特征，同时结合跨注意力特征交互来进一步丰富区域级特征描述；步骤S3：利用动态的类级中心表示指导高差异通道重组交换，以保留潜在的类别不变特征，并探索多样化的特征模式组合；步骤S4：按照指定训练参数进行迭代训练，通过优化组合损失更新模型参数，根据验证准确率不断保存最优模型，利用最终模型得到的组合预测结果；本发明能在计算机视觉应用中准确有效地进行细粒度分类。

公开(公告)号：CN116881416A

公开(公告)日：2023-10-13

申请号：CN202310867080.X

申请日：2023-07-14

Applicant: 福州大学

Inventor： 柯逍 ,  陈柏涛 ,  蔡宇航

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/38 ,  G06F16/532 ,  G06F16/58 ,  G06F18/213 ,  G06F18/22 ,  G06F18/214 ,  G06N3/0464 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明提出关系推理与跨模态独立匹配网络的实例级跨模态检索方法，首先利用模态特征提取器将输入的原始图片转化为区域特征，将输入的文本转化为词序列。然后分别对图像和文本模态进行模态特征关系推理，以挖掘局部特征之间的相互作用关系。接着采用基于图网络的图池化方法对重排特征进行模态全局语义聚合。最后计算多模态特征之间的相似性，按照相似性返回跨模态检索结果。在神经网络训练过程中利用引力损失函数对模态内与模态间匹配关系的学习过程进行指导与修正；本发明能够有效地对多模态数据进行局部关系推理与全局语义聚合，高效准确地完成多模态场景下细粒度的实例级跨模态检索任务。