联合对比损失和重建损失的自监督视觉表征学习方法

    公开(公告)号:CN116310667B

    公开(公告)日:2023-08-22

    申请号:CN202310542990.0

    申请日:2023-05-15

    Abstract: 本申请实施例提供了联合对比损失和重建损失的自监督视觉表征学习方法及装置、存储介质,通过深度编码教师网络和深度编码学生网络根据原始输入图像构建蒸馏损失,以学习具有判别特性的特征;在深度编码学生网络的输出特征之上,添加解码网络用于重建原始输入图像,并构建了重建损失,以学习具有复原特性的特征;深度编码教师网络使用最后一层原始特征的自注意力图,计算自适应权重以调整蒸馏损失与重建损失的作用。本申请实施例中,通过构建蒸馏损失和重建损失以实现对于两种类型损失的联合优化,使得在相同的训练代价下所训练得到的深度编码教师网络和深度编码学生网络兼具良好判别能力和信息表征能力,有利于提高图像表征的全面性和泛化性。

    视频图像的对象分割方法、装置、设备和存储介质

    公开(公告)号:CN119091361A

    公开(公告)日:2024-12-06

    申请号:CN202411572401.4

    申请日:2024-11-06

    Abstract: 本申请实施例提供视频图像的对象分割方法、装置、设备和存储介质,涉及图像处理技术领域。该方法计算测试特征向量和参考特征向量,再从时间特征数据库中得到目标特征向量,利用级联的多个多层次特征关联模块对目标特征向量、参考特征向量和测试特征向量进行特征提取,得到对象特征矩阵,基于时间特征数据库,确定对象特征矩阵在每个对象特征下的目标特征值,对目标特征值进行解码处理得到目标掩码结果。将自注意力过程解耦为三个子流,能够捕捉到微小目标,避免在特征提取过程中忽略重要特征。通过时间特征数据库关联历史视频帧中提取的信息,基于时序进行长期建模,更好地捕捉时空交互信息,增强对象特征的分割结果准确性。

    图像生成方法、装置、存储介质及计算机设备

    公开(公告)号:CN118898664A

    公开(公告)日:2024-11-05

    申请号:CN202411389339.5

    申请日:2024-10-08

    Abstract: 本申请实施例提供一种图像生成方法、装置、存储介质及计算机设备,包括:通过将表征目标对象不同部位的第一分割掩码以及目标对象在第二视角下的第一姿态图像输入至训练后的姿态编码器,以提取包含有每一部位的姿态的姿态特征。并通过分别将每个所述外观特征以及所述姿态特征输入至不同的训练后的部位特征生成器,以使不同的训练后的部位特征生成器分别处理不同部位在第二视角下的细节变化,使得最终生成的第二对象图像中的目标对象与第一对象图像中的目标对象在外观上的一致性更高,提高对象在不同的视角下的外观的精确性以及一致性。

    图像分类方法、装置、设备和存储介质

    公开(公告)号:CN117636014A

    公开(公告)日:2024-03-01

    申请号:CN202311549911.5

    申请日:2023-11-20

    Abstract: 本申请实施例提供图像分类方法、装置、设备和存储介质,涉及人工智能技术领域。该方法将目标图像转化成二维图像序列输入脉冲卷积采样模块,依次经过脉冲卷积处理单元进行脉冲转换得到脉冲特征向量;再将脉冲特征向量输入脉冲编码器进行脉冲编码,得到编码特征向量;最后将编码特征向量输入分类头进行图像分类,得到目标图像的目标分类结果。本申请实施例利用脉冲卷积处理单元对第一输入数据依次进行卷积操作、第一批归一化操作和第一脉冲叠加操作,不会降低空间分辨率以及感受野,能够捕捉较多的细节信息,避免信息丢失导致的特征模糊,从而提升后续脉冲编码和图像分类的精度,最终提升图像分类的准确率。

    一种基于先验信息的跟踪器黑盒攻击方法及系统

    公开(公告)号:CN116501649B

    公开(公告)日:2023-10-03

    申请号:CN202310754941.3

    申请日:2023-06-26

    Abstract: 本发明公开了一种基于先验信息的跟踪器黑盒攻击方法及系统,方法包括:基于跟踪器预测的包围框坐标,确定模拟攻击区域;基于Encoder‑Decoder模型中的Encoder计算模拟攻击区域的特征通道;根据特征通道的重要性策略交换若干个特征通道,并基于Encoder‑Decoder模型中的Decoder对交换后的特征通道进行重建,生成模拟对抗攻击区域;基于模拟对抗攻击区域替换图像区域得到对抗帧,根据跟踪器在对抗帧上的预测结果评估跟踪器性能。本发明利用Encoder‑Decoder模型对帧中的区域进行编码重建,并提出特征通道替换策略,仅需交换若干特征通道,就能使攻击后得到的视频帧图像具有对抗攻击能力。

    联合对比损失和重建损失的自监督视觉表征学习方法

    公开(公告)号:CN116310667A

    公开(公告)日:2023-06-23

    申请号:CN202310542990.0

    申请日:2023-05-15

    Abstract: 本申请实施例提供了联合对比损失和重建损失的自监督视觉表征学习方法及装置、存储介质,通过深度编码教师网络和深度编码学生网络根据原始输入图像构建蒸馏损失,以学习具有判别特性的特征;在深度编码学生网络的输出特征之上,添加解码网络用于重建原始输入图像,并构建了重建损失,以学习具有复原特性的特征;深度编码教师网络使用最后一层原始特征的自注意力图,计算自适应权重以调整蒸馏损失与重建损失的作用。本申请实施例中,通过构建蒸馏损失和重建损失以实现对于两种类型损失的联合优化,使得在相同的训练代价下所训练得到的深度编码教师网络和深度编码学生网络兼具良好判别能力和信息表征能力,有利于提高图像表征的全面性和泛化性。

    图像生成方法、装置、存储介质及计算机设备

    公开(公告)号:CN118898664B

    公开(公告)日:2025-02-18

    申请号:CN202411389339.5

    申请日:2024-10-08

    Abstract: 本申请实施例提供一种图像生成方法、装置、存储介质及计算机设备,包括:通过将表征目标对象不同部位的第一分割掩码以及目标对象在第二视角下的第一姿态图像输入至训练后的姿态编码器,以提取包含有每一部位的姿态的姿态特征。并通过分别将每个所述外观特征以及所述姿态特征输入至不同的训练后的部位特征生成器,以使不同的训练后的部位特征生成器分别处理不同部位在第二视角下的细节变化,使得最终生成的第二对象图像中的目标对象与第一对象图像中的目标对象在外观上的一致性更高,提高对象在不同的视角下的外观的精确性以及一致性。

    视频图像的对象分割方法、装置、设备和存储介质

    公开(公告)号:CN119091361B

    公开(公告)日:2025-02-11

    申请号:CN202411572401.4

    申请日:2024-11-06

    Abstract: 本申请实施例提供视频图像的对象分割方法、装置、设备和存储介质,涉及图像处理技术领域。该方法计算测试特征向量和参考特征向量,再从时间特征数据库中得到目标特征向量,利用级联的多个多层次特征关联模块对目标特征向量、参考特征向量和测试特征向量进行特征提取,得到对象特征矩阵,基于时间特征数据库,确定对象特征矩阵在每个对象特征下的目标特征值,对目标特征值进行解码处理得到目标掩码结果。将自注意力过程解耦为三个子流,能够捕捉到微小目标,避免在特征提取过程中忽略重要特征。通过时间特征数据库关联历史视频帧中提取的信息,基于时序进行长期建模,更好地捕捉时空交互信息,增强对象特征的分割结果准确性。

    一种基于先验信息的跟踪器黑盒攻击方法及系统

    公开(公告)号:CN116501649A

    公开(公告)日:2023-07-28

    申请号:CN202310754941.3

    申请日:2023-06-26

    Abstract: 本发明公开了一种基于先验信息的跟踪器黑盒攻击方法及系统,方法包括:基于跟踪器预测的包围框坐标,确定模拟攻击区域;基于Encoder‑Decoder模型中的Encoder计算模拟攻击区域的特征通道;根据特征通道的重要性策略交换若干个特征通道,并基于Encoder‑Decoder模型中的Decoder对交换后的特征通道进行重建,生成模拟对抗攻击区域;基于模拟对抗攻击区域替换图像区域得到对抗帧,根据跟踪器在对抗帧上的预测结果评估跟踪器性能。本发明利用Encoder‑Decoder模型对帧中的区域进行编码重建,并提出特征通道替换策略,仅需交换若干特征通道,就能使攻击后得到的视频帧图像具有对抗攻击能力。

Patent Agency Ranking