-
公开(公告)号：CN116993976B
公开(公告)日：2024-06-14
申请号：CN202310877057.9
申请日：2023-07-17
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及计算机视觉技术领域，提供一种引用图像分割模型训练方法及引用图像分割方法，首先将图像样本中每个目标实例对应的文本描述输入至初始引用图像分割模型中，由文本编码器对文本描述进行特征提取，得到初始文本特征；然后由图像编码器提取图像样本的图像特征，并采用交叉注意力机制运算进行迭代优化与融合，分别得到优化后的目标文本特征和目标跨模态图像融合特征；最后将目标跨模态图像融合特征通过解码器得到分割结果，并借助于计算得到的训练损失进行模型训练。该方法可以有效提升目标引用图像分割模型对于低质量文本描述的分割能力，减少混淆目标错误匹配的情况发生。
-
公开(公告)号：CN116993976A
公开(公告)日：2023-11-03
申请号：CN202310877057.9
申请日：2023-07-17
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及计算机视觉技术领域，提供一种引用图像分割模型训练方法及引用图像分割方法，首先将图像样本中每个目标实例对应的文本描述输入至初始引用图像分割模型中，由文本编码器对文本描述进行特征提取，得到初始文本特征；然后由图像编码器提取图像样本的图像特征，并采用交叉注意力机制运算进行迭代优化与融合，分别得到优化后的目标文本特征和目标跨模态图像融合特征；最后将目标跨模态图像融合特征通过解码器得到分割结果，并借助于计算得到的训练损失进行模型训练。该方法可以有效提升目标引用图像分割模型对于低质量文本描述的分割能力，减少混淆目标错误匹配的情况发生。
-
Search Results
2
records
(took 0.018 seconds)
