-
公开(公告)号：CN112883229B
公开(公告)日：2022-11-15
申请号：CN202110256218.3
申请日：2021-03-09
Applicant: 中国科学院信息工程研究所
IPC: G06F16/75 , G06F16/78 , G06F16/783 , G06V10/774
Abstract: 本发明涉及一种基于多特征图注意网络模型的视频‑文本跨模态检索方法和装置。该方法的步骤包括：建立多特征图注意网络模型，用于挖掘视频不同模态特征之间的结构关系，通过不同视频特征之间的高级语义信息交换获得高效的视频特征表示；采用双重约束排序损失函数训练所述多特征图注意网络模型，所述双重约束排序损失函数包含视频‑文本对之间的排序约束函数和单类数据内部的结构约束函数，不仅可以让语义相似的文本和视频在嵌入空间相近，而且能够在嵌入空间中保持原始的结构特性；利用训练完成的所述多特征图注意网络模型进行视频‑文本的跨模态检索。本发明使视频‑文本检索的检索性能得到了显著提升。
-
公开(公告)号：CN114219017A
公开(公告)日：2022-03-22
申请号：CN202111459333.7
申请日：2021-12-02
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种隐式语义数据增强方法。本发明第一阶段利用原始数据训练特征提取器和分类器，然后利用分类器构建知识图谱，并基于提取的特征计算每个类别的类中心和协方差矩阵；第二阶段利用构建的知识图谱识别出尾部类别的相似类别，然后将相似类别的特征变换方向迁移到每个尾部样本上进行特征变化。通过挖掘类别之间的相关关系，极大地丰富了尾部类别多样性。最后，对每个样本沿着迁移的协方差矩阵进行变化方向的无限次高斯分布采样可以获得无穷样本，通过优化无限样本损失函数的上界，得到一个新的基于推理的隐式语义数据增强损失进行模型训练。
-
公开(公告)号：CN112883216A
公开(公告)日：2021-06-01
申请号：CN202110226266.8
申请日：2021-03-01
Applicant: 中国科学院信息工程研究所
IPC: G06F16/55 , G06F16/583 , G06K9/62 , G06N3/08
Abstract: 本发明公开了一种基于扰动一致性自集成的半监督图像检索方法及装置，包括将图像输入训练后的半监督图像特征提取模型，得到该图像的特征，其中所述半监督图像特征提取模型包括：一卷积神经网络、一哈希层和一扰动一致性自集成模块；将图像的特征转换为图像离散的二值哈希码；依据二值哈希码进行检索，得到图像检索结果。本发明通过集成同一个样本在不同数据增强条件下的特征，能够发现每个类别的判别特征；通过设计的扰动一致性损失函数最大化无标记数据的哈希层输出与对应的集成特征的相似性，充分的利用了无标记数据提升网络的泛化能力；能够取得更好的检索效果。
-
公开(公告)号：CN111753827A
公开(公告)日：2020-10-09
申请号：CN202010416704.2
申请日：2020-05-15
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提供一种基于语义强化编码器解码器框架的场景文字识别方法及系统，将目标图像上的任意形状的文本矫正为水平文本，得到矫正后的图像；将矫正后的图像输入到卷积神经网络中提取视觉特征，利用循环神经网络从该视觉特征中提取序列信息；根据序列信息预测全局语义信息；利用上述全局语义信息初始化一基于注意力机制的门控循环单元GRU的状态，根据上述视觉特征与GRU每一个解码时间的隐状态计算注意力权重，根据该注意力权重对上述视觉特征进行加权，预测出图像上的每一个字符。能够有效地利用全局信息填补现有方法使用局部信息的不足，同时减小视觉信息与语义信息之间的鸿沟，从而使模型能够更好地处理低质量的图像。
-
公开(公告)号：CN114219017B
公开(公告)日：2025-04-22
申请号：CN202111459333.7
申请日：2021-12-02
Applicant: 中国科学院信息工程研究所
IPC: G06F18/214 , G06F16/36 , G06F18/24 , G06N5/022 , G06N3/096
Abstract: 本发明公开了一种隐式语义数据增强方法。本发明第一阶段利用原始数据训练特征提取器和分类器，然后利用分类器构建知识图谱，并基于提取的特征计算每个类别的类中心和协方差矩阵；第二阶段利用构建的知识图谱识别出尾部类别的相似类别，然后将相似类别的特征变换方向迁移到每个尾部样本上进行特征变化。通过挖掘类别之间的相关关系，极大地丰富了尾部类别多样性。最后，对每个样本沿着迁移的协方差矩阵进行变化方向的无限次高斯分布采样可以获得无穷样本，通过优化无限样本损失函数的上界，得到一个新的基于推理的隐式语义数据增强损失进行模型训练。
-
Patent Agency Ranking
公开(公告)号：CN118350480A
公开(公告)日：2024-07-16
申请号：CN202410394143.9
申请日：2024-04-02
Applicant: 中国科学院信息工程研究所
IPC: G06N20/00 , G06F18/213 , G06F18/214 , G06F18/24 , G06F21/62
Abstract: 本发明公开一种基于元知识进行数据增强的联邦学习方法及系统，属于联邦学习技术领域。所述方法包括第一阶段执行传统的联邦学习训练以及第二阶段的利用特征协方差矩阵来捕获类语义特征变换并据此进行数据增强的联邦学习训练。本发明可以减小联邦学习中不同客户端之间的特征差异，得到性能更优的模型。
-
公开(公告)号：CN117540770A
公开(公告)日：2024-02-09
申请号：CN202311546499.1
申请日：2023-11-20
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种用来提升低度顶点上链路预测性能的损失函数赋权方法和系统。该方法包括：定量分析顶点级正负样本数量上的差异；以平衡顶点级正负样本数量上的差异和保持整体上正负样本数量的均衡为目标进行加权操作，并对权重进行平滑操作以降低加权操作对高度顶点的影响，得到加权方法；采用所述加权方法对损失函数中每一个负样本项进行加权，得到链路预测损失函数；将所述链路预测损失函数应用于链路预测任务，通过训练图神经网络实现链路预测。本发明以一种普遍存在于基于图神经网络的链路预测模型上的性能问题为出发点，提出了一种非参数且一般化的损失函数赋权方案，能够明显的提升低度顶点上的链路预测性能。
-
公开(公告)号：CN114926676A
公开(公告)日：2022-08-19
申请号：CN202210425626.1
申请日：2022-04-21
Applicant: 中国科学院信息工程研究所
IPC: G06V10/764 , G06K9/62 , G06V10/774 , G06F17/16 , G06V10/40 , G06V10/74
Abstract: 本发明公开了一种基于特征空间有效面积的自适应加权长尾分类方法及装置，所述方法包括：在原始数据的分布上训练特征提取器与分类器，得到基本分类模型；基于训练后的特征提取器，抽取所述原始数据的特征表示，并根据每一类别中所述特征表示之间的相关系数，构建该类别的相关系数矩阵；基于所述相关系数矩阵，计算每一类别在特征空间中的有效面积，并通过所述有效面积给各类别分配权重，训练所述基本分类模型，以得到分类模型；基于所述分类模型，获取待检测数据的分类结果。本发明通过估计特征空间中的有效面积从而给予不同的类别不同的权重损失，更好的划分特征空间，以对长尾数据进行更有效地分类。
-
公开(公告)号：CN112883229A
公开(公告)日：2021-06-01
申请号：CN202110256218.3
申请日：2021-03-09
Applicant: 中国科学院信息工程研究所
IPC: G06F16/75 , G06F16/78 , G06F16/783 , G06K9/62
Abstract: 本发明涉及一种基于多特征图注意网络模型的视频‑文本跨模态检索方法和装置。该方法的步骤包括：建立多特征图注意网络模型，用于挖掘视频不同模态特征之间的结构关系，通过不同视频特征之间的高级语义信息交换获得高效的视频特征表示；采用双重约束排序损失函数训练所述多特征图注意网络模型，所述双重约束排序损失函数包含视频‑文本对之间的排序约束函数和单类数据内部的结构约束函数，不仅可以让语义相似的文本和视频在嵌入空间相近，而且能够在嵌入空间中保持原始的结构特性；利用训练完成的所述多特征图注意网络模型进行视频‑文本的跨模态检索。本发明使视频‑文本检索的检索性能得到了显著提升。
-
公开(公告)号：CN114926676B
公开(公告)日：2025-05-02
申请号：CN202210425626.1
申请日：2022-04-21
Applicant: 中国科学院信息工程研究所
IPC: G06V10/764 , G06V10/774 , G06F17/16 , G06V10/40 , G06V10/74
Abstract: 本发明公开了一种基于特征空间有效面积的自适应加权长尾分类方法及装置，所述方法包括：在原始数据的分布上训练特征提取器与分类器，得到基本分类模型；基于训练后的特征提取器，抽取所述原始数据的特征表示，并根据每一类别中所述特征表示之间的相关系数，构建该类别的相关系数矩阵；基于所述相关系数矩阵，计算每一类别在特征空间中的有效面积，并通过所述有效面积给各类别分配权重，训练所述基本分类模型，以得到分类模型；基于所述分类模型，获取待检测数据的分类结果。本发明通过估计特征空间中的有效面积从而给予不同的类别不同的权重损失，更好的划分特征空间，以对长尾数据进行更有效地分类。
-
-
-
-
-
-
-
-
-
Search Results
15
records
(took 0.058 seconds)
