公开(公告)号：CN113837233A

公开(公告)日：2021-12-24

申请号：CN202111005897.3

申请日：2021-08-30

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  纪家沂 ,  李毅男

IPC: G06K9/62 ,  G06F40/284 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 基于样本自适应语义引导的自注意力机制的图像描述方法，属于人工智能技术领域。针对传统采用自注意力机制的方法对于每个样本参数固定的缺点，包括以下步骤：1)采用目标检测器提取待描述图像的若干个候选区对应的特征；2)采用语义概念检测器针对待描述图像提取若干个语义概念；3)将步骤1)和2)提取的特征分别通过不同的自注意力网络进行特征强化；4)利用步骤3)强化过后的语义概念特征和一个参数生成网络，生成一个的自注意网络的参数；5)将步骤3)强化过的视觉特征输入到生成的自注意力网络中，通过语义生成的自注意力网络来实现更好的视觉表达；6)将步骤5)输出的视觉特征输入到解码器中，生成图像的描述语句，并定义损失函数。

公开(公告)号：CN113837231B

公开(公告)日：2024-02-27

申请号：CN202111005885.0

申请日：2021-08-30

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  李毅男 ,  纪家沂

IPC: G06V10/774 ,  G06V10/86 ,  G06F40/211 ,  G06F40/289 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于混合样本与标签的数据增强的图像描述方法，涉及人工智能。1)采用目标检测器提取待描述图像的若干个候选区对应的特征；2)将步骤1)提取的图像特征按照服从beta分布的权值进行线性混合；3)将输入的语言数据以词嵌入的形式进行和步骤2)权值一样的线性混合；4)将混合后的图像特征和词嵌入输入到模型中，得到生成的句子；5)将生成的句子和被混合的两个图像的对应真实句子进行损失计算，采用一个混合的损失函数将两个损失值混合，并更新模型参数，实现数据增强，并用混合的输入和对应的混

公开(公告)号：CN113837231A

公开(公告)日：2021-12-24

申请号：CN202111005885.0

申请日：2021-08-30

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  李毅男 ,  纪家沂

IPC: G06K9/62 ,  G06F40/211 ,  G06F40/289 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于混合样本与标签的数据增强的图像描述方法，涉及人工智能。1)采用目标检测器提取待描述图像的若干个候选区对应的特征；2)将步骤1)提取的图像特征按照服从beta分布的权值进行线性混合；3)将输入的语言数据以词嵌入的形式进行和步骤2)权值一样的线性混合；4)将混合后的图像特征和词嵌入输入到模型中，得到生成的句子；5)将生成的句子和被混合的两个图像的对应真实句子进行损失计算，采用一个混合的损失函数将两个损失值混合，并更新模型参数，实现数据增强，并用混合的输入和对应的混合的目标来强化图像描述方法生成句子的多样性和判别性。具有很强的迁移性，能适用于现有大多数的图像描述模型，并都取得性能提升。

公开(公告)号：CN115982629A

公开(公告)日：2023-04-18

申请号：CN202310098344.X

申请日：2023-02-10

Applicant: 厦门大学

Inventor： 孙晓帅 ,  李毅男 ,  纪荣嵘 ,  纪家沂

IPC: G06F18/24 ,  G06F18/214 ,  G06F40/30 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 一种基于语义引导的特征选择的图像描述方法，涉及人工智能技术。针对使用网格特征的方法导致的特征零散化的缺点，步骤：1)采用卷积神经网络提取图像的网格特征；2)使用传统的自注意力编码器强化图像的网格特征；3)将步骤2)提取的网格特征通过空间关系和通道关系可感知的特征挑选层进行特征挑选；4)将步骤3)挑选得到的图像网格特征进行平均池化操作得到全局特征；5)对步骤4)的得到的全局特征进行多标签分类，判断图像中的物体是否出现在对应的描述语句中；6)将步骤4)输出的视觉特征输入到解码器中，生成图像的描述语句；7)结合分类损失和图像描述生成损失定义损失函数。充分利用文本概念，将细粒度的语义知识纳入选择过程。

公开(公告)号：CN113837233B

公开(公告)日：2023-11-17

申请号：CN202111005897.3

申请日：2021-08-30

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  纪家沂 ,  李毅男

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/25 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0895 ,  G06F40/284 ,  G06F40/30

Abstract: 基于样本自适应语义引导的自注意力机制的图像描述方法，属于人工智能技术领域。针对传统采用自注意力机制的方法对于每个样本参数固定的缺点，包括以下步骤：1)采用目标检测器提取待描述图像的若干个候选区对应的特征；2)采用语义概念检测器针对待描述图像提取若干个语义概念；3)将步骤1)和2)提取的特征分别通过不同的自注意力网络进行特征强化；4)利用步骤3)强化过后的语义概念特征和一个参数生成网络，生成一个的自注意网络的参数；5)将步骤3)强化过的视觉特征输入到生成的自注意力网络中，通过语义生成的自注意力网络来实现更好的视觉表达；6)将步骤5)输出的视觉特征输入到解码器中，生成图像的描述语句，并定义损失函数。