-
公开(公告)号:CN116824438A
公开(公告)日:2023-09-29
申请号:CN202310638743.0
申请日:2023-06-01
Applicant: 北京工业大学
IPC: G06V20/40 , G06V10/26 , G06V10/44 , G06V10/762 , G06V10/82 , G06N3/045 , G06N3/0442 , G06N3/0464 , G06N3/042 , G06N3/0895
Abstract: 一种基于边缘注意门控图卷积网络的半监督视频分割方法,用于解决复杂场景中的无法准确分割出目标物体的问题。本发明将整个视频分割成若干超像素,并在视频第一帧生成若干种子点;将第一帧的种子点逐帧传播到后续帧,并将视频序列转化为时空图。之后,提出边缘注意力门控图卷积网络,实现对超像素前景、背景标签的划分,实现视频预分割。最后,基于目标在帧间形变的规律,对目标构造全局外观模型,优化分割,减缓相似物体或复杂背景干扰时的分割挑战。本发明基于超像素提取目标底层特征和边界轮廓,基于图卷积网络提取图像的深度特征,挖掘帧内和帧间的相关性,提升了捕获视频中蕴含的关联关系和潜在语义信息的能力,在多种分割挑战中表现良好。
-
公开(公告)号:CN114065861A
公开(公告)日:2022-02-18
申请号:CN202111363731.9
申请日:2021-11-17
Applicant: 北京工业大学
Abstract: 基于对比对抗学习的领域自适应方法及装置,在源域数据上使用损失函数Lcls(xs,ys)训练整个网络模型,固定特征提取器中参数,仅更新分类器C1和C2,最小化分类器分类损失以及最大化分类器对目标域样本判别差异,固定分类器C1和C2中的参数,使用Ldis更新特征提取器中的参数,在这一步骤中保留了自适应损失项。分类器C1和C2分别使用不同的数据增强方式的特征,因此保障了分类器的多样性,使得双分类器能够更高效的找出处于分类边界的样本,使得模型学习到的特征含有更多有效信息,从而较好地解决无监督领域自适应问题,在传统基于双分类器对抗方法的基础上,不仅考虑分类器在目标域上的决策边界,同时也进一步关注域间差异。
-
公开(公告)号:CN113850856A
公开(公告)日:2021-12-28
申请号:CN202111009283.2
申请日:2021-08-31
Applicant: 北京工业大学
Abstract: 一种RGB‑D信息互补的语义分割方法属于图像分割技术领域。本发明针对已有利用RGB和深度信息的方法只考虑单向补充的问题,提出一种RGB和深度信息交叉互补的RGB‑D语义分割网络结构,旨在对RGB和深度信息进行双向的逐层信息补充,达到提高语义分割效果的目的。
-
公开(公告)号:CN108154104B
公开(公告)日:2021-10-15
申请号:CN201711395472.1
申请日:2017-12-21
Applicant: 北京工业大学
Abstract: 本发明公开一种基于深度图像超像素联合特征的人体姿态估计方法,以单幅包含人体的深度图像为输入数据,对深度图像进行人体姿态特征提取,应用特征对人体部位进行分割,对分割后的部位进行聚类操作,并应用于稀疏回归进行人体骨架点的位置估计。采用本发明的技术方案,提高人体姿态估计的准确率,并提升姿态估计方法的实时性。
-
公开(公告)号:CN112734915A
公开(公告)日:2021-04-30
申请号:CN202110072362.1
申请日:2021-01-19
Applicant: 北京工业大学
Abstract: 本发明涉及一种基于深度学习的多视角立体视觉三维场景重建方法,现有的基于深度学习的重建方法,通过提取图像最后一层的特征以生成3D代价体,没有很好地利用浅层特征,这将丢失不同尺度的信息。而且,这些方法在深度图细化时,只考虑了参考图像本身对深度细化的效果,忽略了相邻图像的深度对深度图预测的贡献。为了解决上述问题,我们提出了多尺度特征提取与融合网络以及基于帧间相关性的深度图细化网络,来提升场景的预测精度和完整性。与现有的基于深度学习的方法相比,我们的方法能够更好地学习输入图像的上下文特征,重建出目标场景被遮挡和缺失的区域,能够更完整地恢复场景的三维信息,实现高精度的三维场景重建。
-
公开(公告)号:CN112699892A
公开(公告)日:2021-04-23
申请号:CN202110026447.6
申请日:2021-01-08
Applicant: 北京工业大学
Abstract: 本发明公开了一种无监督领域自适应语义分割方法,基于源域图像训练神经网络;利用已训练网络计算目标域图像伪标签;利用源域图像和有伪标签的目标域图像重训练网络,进一步提高伪标签准确性,优化网络的泛化能力。本方法通过利用自训练方法,利用已训练网络提取高置信度的目标域伪标签,弥补了目标域缺少监督信息的缺点,与其他方法相比,丰富了目标域数据的信息,提升网络对目标域数据的学习能力;本方法着重考虑了基于类别的域间差异,针对源域和目标域的预测进行类相关性度量,约束两个域的类相关性一致,减小了两个域类级别的域间差异,提高了网络的泛化能力,本发明的性能优于其他无监督领域自适应语义分割方法。
-
公开(公告)号:CN112560954A
公开(公告)日:2021-03-26
申请号:CN202011489924.4
申请日:2020-12-14
Applicant: 北京工业大学
Abstract: 利用局部及全局信息的几何模型非刚性匹配方法及装置,能够区分形状的左右对称部位,明显提高点匹配的准确度。方法包括:(1)输入为表示同一物体的不同姿势的一对几何模型,模型的数据类型为网格类型或点云类型;(2)计算模型内每个点的密度,依据点密度切割几何模型;(3)对于分割得到的段,利用段间误差和段内误差进行匹配,得到段匹配结果;(4)通过局部‑全局交换性保持模型,该模型包含几何对象的段相关描述符约束和段相关算子交换性约束,利用段匹配信息,输出点匹配结果。
-
公开(公告)号:CN110096961B
公开(公告)日:2021-03-02
申请号:CN201910269599.1
申请日:2019-04-04
Applicant: 北京工业大学
Abstract: 公开一种超像素级别的室内场景语义标注方法,其能够避免深度网络应用于像素级室内场景标注计算成本巨大的问题,而且能够使深度网络接受超像素集合作为输入。这种超像素级别的室内场景语义标注方法,包括以下步骤:(1)使用简单线性迭代聚类分割算法对室内场景彩色图像进行超像素分割;(2)结合室内场景深度图像对步骤(1)获得的超像素,提取超像素核描述子特征(初级特征);(3)构建超像素的邻域;(4)构建超像素深度网络SuperPixelNet,学习超像素多模态特征;对待标注超像素,结合该超像素及其邻域超像素的多模态特征,对室内场景RGB‑D图像给出超像素级语义标注。
-
公开(公告)号:CN111967513A
公开(公告)日:2020-11-20
申请号:CN202010809547.1
申请日:2020-08-12
Applicant: 北京工业大学
Abstract: 本发明涉及一种基于注意力的零样本图像分类方法,包括特征提取阶段和分类阶段,特征提取阶段包括:利用CNN对训练集图像提取特征,特征经过多个网络分支得到语义向量每一维的表示,按序拼接每一维得到最终的语义向量表示。每个分支的结构相同,特征通过两个全连接层得到每个样本特征的注意力向量,将该注意力向量与特征逐元素再通过两个全连接层得到一个属性值。本发明将上述网络命名为面向零样本图像分类的基于注意力的属性学习网络AALN。分类阶段:将待分类的图像通过CNN提取特征,通过AALN计算每个分支的输出并拼接得到最终的语义向量,最后基于与未知类的语义向量的余弦相似度进行分类。
-
公开(公告)号:CN111402405A
公开(公告)日:2020-07-10
申请号:CN202010205875.0
申请日:2020-03-23
Applicant: 北京工业大学
Abstract: 本发明涉及一种基于注意力机制的多视角图像三维重建方法,用于解决多视角重建时特征采样局限于规则格点,且融合时无法有效融合互补视角中的特征的问题。本发明分为编码层,重心约束距离的注意力聚合模块以及解码层,具体为:将含有N张图片的图像集通过编码层得到N个元素的深度特征集P;将该特征集输入重心约束距离的注意力聚合模块,输出融合特征y′,y′经解码层的反卷积运算即生成预测的三维模型Y′,通过最小化总的重建损失得到最接近真实三维模型(GT)的预测结果。本发明采用可变形卷积的思想,使用带有偏移量的卷积核进行卷积操作,实现动态自适应地调整卷积运算的感受野,具有提升特征提取质量的优点;同时,在注意力聚集模块里引入重心约束项,使聚集特征以重心距离约束的形式保持输入特征集中权重各异特征的权相关影响,平衡融合特征与各输入特征的偏差,从而得到更好的多视图融合特征,进一步提升模型重建结果。
-
-
-
-
-
-
-
-
-