-
公开(公告)号:CN117911690A
公开(公告)日:2024-04-19
申请号:CN202311797596.8
申请日:2023-12-25
Applicant: 中国科学院香港创新研究院人工智能与机器人创新中心有限公司 , 中国科学院自动化研究所
IPC: G06V10/26 , G06V10/774 , G06V10/778
Abstract: 本发明提供一种类别增量式语义分割模型的训练方法和装置,其中方法包括:将样本旧类图像的边缘图像、词嵌入和样本类别文本输入至对偶生成器,得到对偶生成器输出的与样本旧类图像分布一致的第一旧类图像,以及与样本旧类图像结构一致的第二旧类图像;基于原始分割模型,确定第一旧类图像的预测分割图像;基于样本新类图像及其分割图像,以及旧类图像、预测分割图像和样本分割图像,进行模型训练,得到语义分割模型,实现了高质量的旧类图像的生成,减小了生成的旧类图像与样本旧类图像之间的分布差异和结构差异,提升了伪标签的质量,在保护隐私的情况下生成丰富的旧类数据用于数据回放,减轻了灾难性遗忘问题,改善了模型性能。
-
公开(公告)号:CN113221903A
公开(公告)日:2021-08-06
申请号:CN202110511242.7
申请日:2021-05-11
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及一种跨域自适应语义分割方法及系统,所述方法包括获取不同域训练数据集;对训练数据集进行迭代训练,建立熵值预测模型:根据熵值预测模型,计算目标域数据的熵值;对各熵值进行多元高斯拟合,通过最大期望算法,得到两个峰值的高斯分布;根据所述高斯分布,确定伪标签;根据伪标签,重新训练目标域数据,构造语义分割模型;基于所述语义分割模型,对待处理数据进行语义分割。本发明通过对不同域训练数据集进行迭代训练,建立熵值预测模型,进而计算熵值,通过多元高斯拟合,最大期望算法,得到高斯分布,确定目标域数据的伪标签,排除手工阈值的干扰,以便于准确构造基于伪标签的语义分割模型,从而实现对待处理数据的自动语义分割。
-
公开(公告)号:CN119166236B
公开(公告)日:2025-05-09
申请号:CN202411230607.9
申请日:2024-09-03
Applicant: 中国科学院自动化研究所
Abstract: 本公开涉及计算机领域和人工智能领域,提供一种虚拟场景生成方法及系统,所述虚拟场景生成方法包括:规划智能体接收用户输入的场景生成指令;所述规划智能体根据预设资源库中的插件注释信息,从所述预设资源库中选择用于生成所述目标场景的程序化内容生成插件,生成用于生成所述目标场景的任务计划;执行智能体利用从所述预设资源库中选择的程序化内容生成插件,执行所述任务计划,以生成所述目标场景。本公开可以解决难以提升生成虚拟场景的工作效率的问题,可以自动化地生成目标场景,而无需用户深度参与PCG插件的选择、应用、调整等场景生成过程,提升工作效率。
-
公开(公告)号:CN117095163A
公开(公告)日:2023-11-21
申请号:CN202310941607.9
申请日:2023-07-28
Applicant: 中国科学院自动化研究所 , 北京工业大学
Abstract: 本发明提供一种基于元对齐与元掩码的小样本图像语义分割方法和装置,其中方法包括:确定查询图像、支持图像,以及支持图像的像素类别信息,查询图像和支持图像的图像类别相同;基于像素类别信息,对支持图像的支持特征和查询图像的查询特征进行原型对齐,得到原型对齐特征;基于支持特征和查询特征之间的相关性,对支持特征和所述查询特征进行特征对齐,得到对齐特征;基于原型对齐特征和所述对齐特征,对查询图像进行语义分割,得到查询图像的语义分割结果,克服了传统方案中小样本语义分割中类内偏差严重,以致语义分割的准确性低下的缺陷,利用支持图像和查询图像之间的语义一致性信息有效缓解了类内偏差,提升了语义分割的准确性和精确度。
-
公开(公告)号:CN116861978A
公开(公告)日:2023-10-10
申请号:CN202310748273.3
申请日:2023-06-21
Applicant: 中国科学院自动化研究所 , 中国科学院大学
Abstract: 本发明提供一种脉冲神经网络训练方法、装置、电子设备及存储介质,其中方法包括:构建输入脉冲序列和输出脉冲序列之间的关系;基于关系得到稳定脉冲输入流、稳定脉冲输出流和平均脉冲电量;脉冲编码器将样本数据转换为样本脉冲序列编码;将样本脉冲序列编码输入至脉冲神经网络进行前向传播,得到每一层的输入与输出和前向传播的输出;基于前向传播的输出与真实标签,确定全局误差;基于梯度和稳定脉冲输出流,得到稳定脉冲输出流的梯度;基于稳定脉冲输出流的梯度,确定反向传播梯度;进行梯度反传,直至全局误差小于预设阈值,由此,能够越过时间维度上的误差反传过程,从而减小训练开销,并且在极大降低训练开销的同时获得表现优异的模型。
-
公开(公告)号:CN113221903B
公开(公告)日:2021-10-15
申请号:CN202110511242.7
申请日:2021-05-11
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及一种跨域自适应语义分割方法及系统,所述方法包括获取不同域训练数据集;对训练数据集进行迭代训练,建立熵值预测模型:根据熵值预测模型,计算目标域数据的熵值;对各熵值进行多元高斯拟合,通过最大期望算法,得到两个峰值的高斯分布;根据所述高斯分布,确定伪标签;根据伪标签,重新训练目标域数据,构造语义分割模型;基于所述语义分割模型,对待处理数据进行语义分割。本发明通过对不同域训练数据集进行迭代训练,建立熵值预测模型,进而计算熵值,通过多元高斯拟合,最大期望算法,得到高斯分布,确定目标域数据的伪标签,排除手工阈值的干扰,以便于准确构造基于伪标签的语义分割模型,从而实现对待处理数据的自动语义分割。
-
公开(公告)号:CN119182953A
公开(公告)日:2024-12-24
申请号:CN202411064734.6
申请日:2024-08-05
Applicant: 中国科学院香港创新研究院人工智能与机器人创新中心 , 中国科学院自动化研究所
IPC: H04N21/44 , H04N21/472 , H04N21/81 , G06V20/40 , G06V40/20 , G06V10/26 , G06V10/34 , G06V20/70 , G06V10/44 , G06V10/766 , G06V10/82
Abstract: 本发明提供一种将视频中的人物替换为三维虚拟角色的方法、装置,包括:获取待处理视频,将待处理视频切割为视频帧序列;对视频帧序列进行图像分割处理,得到背景图像帧序列;对视频帧序列中的人物进行动作估计处理,得到视频帧序列中的人物的动作数据;基于动作数据与预设的三维虚拟角色进行动作重定向处理,得到三维虚拟角色运动图像序列,并将三维虚拟角色运动图像序列与背景图像帧序列进行叠加,根据叠加得到目标视频帧序列生成替换人物后的目标视频。通过快速消除前景得到一致的背景图像,并基于视频中人物的动作数据与预设的三维虚拟角色进行动作重定向,从而确保生成的目标视频中人物的外形始终保持一致,提升了生成的目标视频的精度。
-
公开(公告)号:CN119169188A
公开(公告)日:2024-12-20
申请号:CN202411230543.2
申请日:2024-09-03
Applicant: 中国科学院自动化研究所
Abstract: 本公开涉及一种场景生成方法、装置、电子设备、存储介质和计算机程序产品,所述场景生成方法包括:获取针对目标场景的描述文本;基于描述文本通过调度代理确定第一计划,其中,第一计划包括用于生成目标场景的对象;基于对象以及预设资源库中与对象对应的预定义知识文档,通过专业代理确定包含子任务的第二计划,其中,子任务与预定义知识文档对应;基于第二计划中的子任务,通过检索代理在预设资源库中进行检索,得到与子任务对应的对象或对象操作接口;基于与子任务对应的对象或对象操作接口,通过执行代理生成目标场景。解决了场景生成的效果不佳问题。
-
公开(公告)号:CN116958668A
公开(公告)日:2023-10-27
申请号:CN202310856207.8
申请日:2023-07-12
Applicant: 中国科学院自动化研究所
IPC: G06V10/764 , G06V10/40 , G06V10/74 , G06F16/35 , G06V10/82 , G06N3/0455 , G06N3/08
Abstract: 本发明涉及计算机视觉领域,提供一种领域泛化方法、装置、电子设备和存储介质,其中方法包括:获取源域样本图像和目标域图像;基于文本提示模板,生成包括领域信息和图像类别信息的领域相关文本;基于图像编码器,提取源域样本图像的视觉特征,并基于文本编码器,提取领域相关文本的文本特征;基于分类器,应用视觉特征对源域样本图像进行图像分类,并应用文本特征对领域相关文本进行文本分类;基于图像分类损失和文本分类损失,对图像编码器和分类器进行参数迭代,参数迭代完成后的图像编码器和分类器用于对目标域图像进行分类。本发明提供的领域泛化方法、装置、电子设备和存储介质,有效地提升了模型的泛化性。
-
公开(公告)号:CN116977635B
公开(公告)日:2024-04-16
申请号:CN202310890134.4
申请日:2023-07-19
Applicant: 中国科学院自动化研究所
IPC: G06V10/26 , G06V10/764 , G06V10/82 , G06N3/096 , G06N3/09
Abstract: 本发明涉及计算机视觉技术领域,提供一种类别增量语义分割学习方法及语义分割方法,通过将当前阶段的图像样本输入至当前阶段的主网络模型,得到第一结果,通过图像样本中的类别标签与对第一结果进行划分得到的第三结果,采用二分类约束方法计算增量学习损失,通过将当前阶段的图像样本输入至前一阶段的语义分割模型,得到第二结果,并通过第二结果与对第一结果进行划分得到的第四结果计算知识蒸馏损失。通过采用二分类约束方法,可以对增量学习过程中保持前阶段所学习旧知识和学习现阶段新知识两个目标进行解耦,从而使第三结果的有监督学习以及对第四结果的知识蒸馏这两个过程的独立进行,加强语义分割模型最终对所有已知类别的语义分割效果。
-
-
-
-
-
-
-
-
-