-
公开(公告)号：CN115439729A
公开(公告)日：2022-12-06
申请号：CN202210944619.2
申请日：2022-08-08
Applicant: 之江实验室 , 中国科学院信息工程研究所
IPC: G06V10/82 , G06V10/774 , G06V10/764 , G06N3/04 , G06N3/08
Abstract: 本发明属于计算机视觉技术领域，公开了一种基于交替迭代优化的场景图生成装置和方法，包括图像物体检测模块、场景图物体识别模块和场景图关系识别模块。该方法通过设计关系敏感的消息传递网络，充分利用图像中的上下文信息优化物体特征，并交替迭代优化模型的物体识别与关系识别能力，实现高精度场景图生成。相比传统方法，该方法解决了上下文信息缺失的问题并缓解了模型架构的错误传递问题。同时，由于避免了对物体与物体、物体与关系的共同出现频率的统计信息的利用，降低了模型训练后对特定数据集的依赖性。综上所述，对于自然场景图像，本发明通过对上下文的充分利用与对模型中不同部分的交替迭代优化，生成高精度的场景图预测结果。
-
公开(公告)号：CN114723935A
公开(公告)日：2022-07-08
申请号：CN202210227954.0
申请日：2022-03-08
Applicant: 之江实验室 , 中国科学院信息工程研究所
Abstract: 本发明公开一种基于自适应数量的辨别性区域定位与表示方法，主要流程包括提取输入图像的深度特征；对特征进行自注意力变换得到自注意力图，与提取的类别激活图进行融合得到显著性图；对显著性图提取候选采样点，进一步扩展为自适应数量的辨别性区域。本发明用于细粒度图像识别，可以自适应数量地对辨别性区域进行定位和表示，可以取得很高的识别准确率。
-
公开(公告)号：CN114677569A
公开(公告)日：2022-06-28
申请号：CN202210148651.X
申请日：2022-02-17
Applicant: 之江实验室 , 中国科学院信息工程研究所
Abstract: 本发明公开一种基于特征解耦合的文字‑图像对生成方法和装置，该方法首先利用带标注的文字‑图像对数据训练编码器，将文字和图像两种模态映射到同一个隐空间；然后利用无标注的图像数据训练图像编码器和解码器，同时利用无标注的文字数据训练文字编码器与解码器；利用训练好的文字‑图像特征编码器网络提取文字‑图像初始特征，在隐空间加入随机采样的噪声后进行解耦合，利用解码器生成多样化的文字‑图像对。本发明在自然场景中，例如改变纹理、颜色等高层语义属性，都可以实现较好的文本‑图像数据编辑。
-
公开(公告)号：CN114022687B
公开(公告)日：2024-05-10
申请号：CN202111120908.2
申请日：2021-09-24
Applicant: 之江实验室 , 中国科学院信息工程研究所
IPC: G06V10/74 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08 , G06N3/049
Abstract: 本发明公开了一种基于增强学习的图像描述对抗生成方法，包括如下步骤：S1，根据待描述图像检索相似图像及其文本描述；S2，构建基于注意力机制的图像描述生成网络，在待描述图像生成文本时，引入注意力机制和长短期记忆网络，将长短期记忆网络的输出，结合提取的图像特征，经过注意力机制，计算损失，得到生成的文本描述；S3，构建图像描述相似性配对判别网络；S4，利用待描述图像及其标注配对的文本描述、生成网络生成的文本描述，及其相似图像的文本描述，通过判别网络进行配对判别，根据判别网络输出的奖励值，对生成网络和判别网络进行联合迭代优化；S5，将待生成描述的图像，输入训练后的生成网络，生成文本描述。
-
公开(公告)号：CN114022687A
公开(公告)日：2022-02-08
申请号：CN202111120908.2
申请日：2021-09-24
Applicant: 之江实验室 , 中国科学院信息工程研究所
Abstract: 本发明公开了一种基于增强学习的图像描述对抗生成方法，包括如下步骤：S1，根据待描述图像检索相似图像及其文本描述；S2，构建基于注意力机制的图像描述生成网络，在待描述图像生成文本时，引入注意力机制和长短期记忆网络，将长短期记忆网络的输出，结合提取的图像特征，经过注意力机制，计算损失，得到生成的文本描述；S3，构建图像描述相似性配对判别网络；S4，利用待描述图像及其标注配对的文本描述、生成网络生成的文本描述，及其相似图像的文本描述，通过判别网络进行配对判别，根据判别网络输出的奖励值，对生成网络和判别网络进行联合迭代优化；S5，将待生成描述的图像，输入训练后的生成网络，生成文本描述。
-
Patent Agency Ranking
公开(公告)号：CN114677569B
公开(公告)日：2024-05-10
申请号：CN202210148651.X
申请日：2022-02-17
Applicant: 之江实验室 , 中国科学院信息工程研究所
IPC: G06F18/25 , G06V10/80 , G06V10/44 , G06V30/18 , G06V10/82 , G06N3/0455 , G06N3/0475 , G06N3/0442 , G06N3/094
Abstract: 本发明公开一种基于特征解耦合的文字‑图像对生成方法和装置，该方法首先利用带标注的文字‑图像对数据训练编码器，将文字和图像两种模态映射到同一个隐空间；然后利用无标注的图像数据训练图像编码器和解码器，同时利用无标注的文字数据训练文字编码器与解码器；利用训练好的文字‑图像特征编码器网络提取文字‑图像初始特征，在隐空间加入随机采样的噪声后进行解耦合，利用解码器生成多样化的文字‑图像对。本发明在自然场景中，例如改变纹理、颜色等高层语义属性，都可以实现较好的文本‑图像数据编辑。
-
公开(公告)号：CN118918336A
公开(公告)日：2024-11-08
申请号：CN202310507784.6
申请日：2023-05-08
Applicant: 中国科学院信息工程研究所
IPC: G06V10/40 , G06V10/774 , G06V10/74 , G06V10/82 , G06N3/0455 , G06N3/047 , G06N3/0464 , G06N3/0895
Abstract: 本发明公开了一种基于视觉语言模型的图像变化描述方法，包括以下步骤：1)网络输入为变化前图像、变化后图像以及描述该变化的一段文本，将该文本转化为特征向量作为视觉语言模型的第一个输入；2)变化前图像和变化后图像经过特征提取初步提取特征，并将两幅图像对应的特征输入视点编码模块；3)经过视点编码模块的图像特征随后输入变化编码模块，得到不同点增强后的图像特征；4)两幅图像不同点增强后的图像特征作为视觉语言模型的第二、三个输入，训练视觉语言模型；5)对于一对待处理图像A、B，依次经所述视点编码模块、变化编码模块处理得到图像A、B不同点增强后的图像特征并输入视觉语言模型，预测输出图像A、B的变化描述信息。
-
公开(公告)号：CN117372690A
公开(公告)日：2024-01-09
申请号：CN202311174501.7
申请日：2023-09-12
Applicant: 中国科学院信息工程研究所
IPC: G06V10/26 , G06V10/44 , G06V40/10 , G06V10/764
Abstract: 本发明公开了一种基于边缘检测的快速梯度下降生成对抗样本的方法及系统，属于计算机视觉领域。本发明结合快速梯度下降法和边缘信息检测，除了在每个像素上添加扰动之外，还在边缘位置多添加了一份扰动，通过多次迭代，生成性能更强的对抗样本，从而提高语义分割模型的鲁棒性。
-
公开(公告)号：CN112257766B
公开(公告)日：2023-09-29
申请号：CN202011109331.0
申请日：2020-10-16
Applicant: 中国科学院信息工程研究所
IPC: G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于频域滤波处理的自然场景下阴影识别检测方法，其步骤包括：1)频域选择模块对数据集中的图片进行处理，为对应图片构造频域范围内的人工特征低频图；所述数据集包含多个图片及其二值掩模图；2)基于UNet网络构造阴影检测网络，所述阴影检测网络的损失函数包含用于计算生成图片与对应二值掩膜图的相似度的Dice损失函数；3)利用各图片及其对应的人工特征低频图、二值掩膜图对所述阴影检测网络进行训练；4)将待检测图片输入训练后的阴影检测网络，检测得到该待检测图片的阴影。本发明大大提高了阴影检测的准确性。
-
公开(公告)号：CN109635808B
公开(公告)日：2023-01-17
申请号：CN201811294643.6
申请日：2018-11-01
Applicant: 中国科学院信息工程研究所
IPC: G06V30/19 , G06V10/82 , G06V30/148
Abstract: 本发明公开一种在自然场景图像中对中文关键词及上下文的提取方法，步骤包括：准备一个合适的中文数据集及物体检测分类模型，调整现有标注，对中文逐一文字进行标注；对图片进行中文文字检测，基于物体检测分类模型，将中文文字作为不同类别进行检测分类将；通过计算自定义的匹配系数，从物体检测分类结果中提取关键词，通过不断更新锚点关键词和生成候选直线的方式提取上下文信息。本发明在中文文字关键词及上下文识别上有高精度高召回的效果。
-
-
-
-
-
-
-
-
-
Search Results
65
records
(took 0.065 seconds)
