-
公开(公告)号:CN111723814A
公开(公告)日:2020-09-29
申请号:CN202010507843.6
申请日:2020-06-05
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于深度学习、计算机视觉及模式识别领域,具体涉及了一种基于跨图像关联的弱监督图像语义分割方法、系统、装置,旨在解决弱监督采用的粗略标注带来的语义分割目标不完整、定位不准确、语义类别判断不准确的问题。本发明包括:通过跨图像间关联关系模块从多张同类别物体的图像间获取互补信息,得到融合特征;基于融合特征进行图像语义分割模型的训练;通过训练好的模型,获取单张输入图像或多张同类别物体图像组的语义分割结果。本发明从粗略的弱图像标注生成像素级的伪图像标注,并在模型训练过程中,从不同图像间获取互补信息,来弥补伪图像标注不全的不足,能够在仅依赖图像级标注的情况下,显著地提高弱监督语义分割模型的性能。
-
公开(公告)号:CN116977635B
公开(公告)日:2024-04-16
申请号:CN202310890134.4
申请日:2023-07-19
Applicant: 中国科学院自动化研究所
IPC: G06V10/26 , G06V10/764 , G06V10/82 , G06N3/096 , G06N3/09
Abstract: 本发明涉及计算机视觉技术领域,提供一种类别增量语义分割学习方法及语义分割方法,通过将当前阶段的图像样本输入至当前阶段的主网络模型,得到第一结果,通过图像样本中的类别标签与对第一结果进行划分得到的第三结果,采用二分类约束方法计算增量学习损失,通过将当前阶段的图像样本输入至前一阶段的语义分割模型,得到第二结果,并通过第二结果与对第一结果进行划分得到的第四结果计算知识蒸馏损失。通过采用二分类约束方法,可以对增量学习过程中保持前阶段所学习旧知识和学习现阶段新知识两个目标进行解耦,从而使第三结果的有监督学习以及对第四结果的知识蒸馏这两个过程的独立进行,加强语义分割模型最终对所有已知类别的语义分割效果。
-
公开(公告)号:CN114463335A
公开(公告)日:2022-05-10
申请号:CN202111602397.8
申请日:2021-12-24
Applicant: 中国科学院自动化研究所
IPC: G06T7/10 , G06K9/62 , G06N3/04 , G06N3/08 , G06V10/774 , G06V10/764
Abstract: 本申请实施例公开了一种弱监督语义分割方法、装置、电子设备及存储介质,方法包括:获取待识别图片,将待识别图片输入至语义分割模型中,得到语义分割结果;语义分割模型是基于训练伪标签,对基础语义分割模型进行训练后得到的;训练伪标签是由双分支模型对图片进行识别后得到的;双分支模型是基于第一训练标签和第二训练标签,进行迭代训练后得到的;第一训练标签是由CAM生成的初始标签;第二训练标签是双分支模型输出的在线标签。本申请通过迭代优化的方式训练一个双分支模型,使它可以预测更高质量的物体边界和分割结果,最后根据物体边界和分割结果生成用于训练基础语义分割模型的高质量伪标签,从而训练高精度的语义分割模型。
-
公开(公告)号:CN113569852A
公开(公告)日:2021-10-29
申请号:CN202110643779.9
申请日:2021-06-09
Applicant: 中国科学院自动化研究所
Abstract: 本申请实施例公开了一种语义分割模型的训练方法、装置、电子设备及存储介质,方法包括:在语义分割结果中的稀疏点标注位置,基于语义分割模型的第一损失函数,第一次更新所述语义分割模型的模型参数;基于语义分割结果以及图像对应的稀疏点标签,得到图像对应的稠密像素级伪标签,并基于稠密像素级伪标签和语义分割模型的第二损失函数,第二次更新语义分割模型的模型参数;基于图像的特征数据、稠密像素级伪标签和语义分割模型的第三损失函数,第三次更新语义分割模型的模型参数。本申请实施例充分利用稀疏点标注中所隐含的信息来训练深度模型,从而在尽量小的标注代价下,取得较好的弱监督模型性能。
-
公开(公告)号:CN119206457A
公开(公告)日:2024-12-27
申请号:CN202411078524.2
申请日:2024-08-07
Applicant: 中国科学院香港创新研究院人工智能与机器人创新中心 , 中国科学院自动化研究所
Abstract: 本发明提供一种基于语义可知的3D高斯点的场景理解方法及装置,该方法包括:获取同一场景多个相机视角的图片信息;将所述图片信息输入至预训练的场景理解模型中,获取所述场景理解模型输出的语义可知的3D高斯点,所述语义可知的3D高斯点用于确定3D场景中的语义类别,所述场景理解模型是基于语义呈现损失函数和几何连续性损失函数训练得到的。本发明提供的基于语义可知的3D高斯点的场景理解方法及装置,将同一场景多个相机视角的图片信息输入至预训练的场景理解模型中,通过给每个3D高斯点添加额外的语义属性用于记录该高斯点所属的语义类别,可以提高3D场景理解时语义标签的准确性。
-
公开(公告)号:CN111723813B
公开(公告)日:2021-07-06
申请号:CN202010506805.9
申请日:2020-06-05
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于深度学习、计算机视觉及模式识别领域,具体涉及了一种基于类内判别器的弱监督图像语义分割方法、系统、装置,旨在解决弱监督采用的粗略标注带来的语义分割不准确的问题。本发明包括:为每个图像级的类别构建两级类内判别器,用以判断所属该图像类别的各像素点属于目标前景或是背景,并使用弱监督的数据进行训练;基于该类内判别器生成像素级的图像类别标签,生成语义分割结果并输出;还可以使用该标签进行图像语义分割模块或网络的训练,得到最终用于无标签输入图像的语义分割的模型。本发明充分挖掘隐含在特征编码中的类内图像信息,准确区分前景与背景像素,在仅依赖图像级标注的情况下,显著地提高弱监督语义分割模型的性能。
-
公开(公告)号:CN111723813A
公开(公告)日:2020-09-29
申请号:CN202010506805.9
申请日:2020-06-05
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于深度学习、计算机视觉及模式识别领域,具体涉及了一种基于类内判别器的弱监督图像语义分割方法、系统、装置,旨在解决弱监督采用的粗略标注带来的语义分割不准确的问题。本发明包括:为每个图像级的类别构建两级类内判别器,用以判断所属该图像类别的各像素点属于目标前景或是背景,并使用弱监督的数据进行训练;基于该类内判别器生成像素级的图像类别标签,生成语义分割结果并输出;还可以使用该标签进行图像语义分割模块或网络的训练,得到最终用于无标签输入图像的语义分割的模型。本发明充分挖掘隐含在特征编码中的类内图像信息,准确区分前景与背景像素,在仅依赖图像级标注的情况下,显著地提高弱监督语义分割模型的性能。
-
公开(公告)号:CN119379901A
公开(公告)日:2025-01-28
申请号:CN202411331865.6
申请日:2024-09-24
Applicant: 中国科学院香港创新研究院人工智能与机器人创新中心 , 中国科学院自动化研究所
IPC: G06T17/00
Abstract: 本发明提供一种基于几何结构的通用3D边界框生成方法及装置,该方法包括:基于预训练的实例分割检测器和2D边界框数据生成初始3D边界框数据;将所述初始3D边界框数据输入至预训练的3D边界框生成模型中,获取所述3D边界框生成模型生成的目标3D边界框数据。本发明提供的基于几何结构的通用3D边界框生成方法及装置,通过将根据2D边界框数据生成的初始3D边界框数据输入到预训练的3D边界框生成模型中,可以得到生成的目标3D边界框数据,能够通过长宽比语义损失函数,边界投影损失函数,点云与边界框对齐损失函数来监督普通3D边界框模型带来的信息丢失问题,可以提高目标3D边界框数据的精确度。
-
公开(公告)号:CN117576390A
公开(公告)日:2024-02-20
申请号:CN202311490143.0
申请日:2023-11-09
Applicant: 中国科学院香港创新研究院人工智能与机器人创新中心有限公司 , 中国科学院自动化研究所
IPC: G06V10/26 , G06V10/774 , G06V10/46
Abstract: 本发明提供一种语义分割模型的训练方法、装置、电子设备和存储介质,其中方法包括:基于采样时间戳和样本分割图像,确定带噪分割图像;基于初始分割模型,确定样本图像的图像特征,并基于图像特征,以及采样时间戳和带噪分割图像,确定样本图像对应的预测分割图像;基于样本分割图像和预测分割图像,对初始分割模型进行参数迭代,得到语义分割模型;初始分割模型是在判别式语义分割模型的基础上,结合扩散适配器构建得到的,克服了传统方案中对细节处缺少优化,以及模型参数过大无法与已有的分割模型兼容,导致的模型性能较差的缺陷,能够在不显著增加模型参数的同时,实现对细节处的优化,以及模型性能的提升。
-
公开(公告)号:CN117095163A
公开(公告)日:2023-11-21
申请号:CN202310941607.9
申请日:2023-07-28
Applicant: 中国科学院自动化研究所 , 北京工业大学
Abstract: 本发明提供一种基于元对齐与元掩码的小样本图像语义分割方法和装置,其中方法包括:确定查询图像、支持图像,以及支持图像的像素类别信息,查询图像和支持图像的图像类别相同;基于像素类别信息,对支持图像的支持特征和查询图像的查询特征进行原型对齐,得到原型对齐特征;基于支持特征和查询特征之间的相关性,对支持特征和所述查询特征进行特征对齐,得到对齐特征;基于原型对齐特征和所述对齐特征,对查询图像进行语义分割,得到查询图像的语义分割结果,克服了传统方案中小样本语义分割中类内偏差严重,以致语义分割的准确性低下的缺陷,利用支持图像和查询图像之间的语义一致性信息有效缓解了类内偏差,提升了语义分割的准确性和精确度。
-
-
-
-
-
-
-
-
-