-
公开(公告)号:CN116485699A
公开(公告)日:2023-07-25
申请号:CN202210022520.7
申请日:2022-01-10
Applicant: 哈尔滨工业大学
IPC: G06T7/00 , G06N3/0464 , G06N3/08 , G06V10/80 , G06V10/82 , G06V10/774
Abstract: 本发明公开了一种基于深度自适应的反向细化网络架构的RGB‑D显著性物体检测装置及其检测方法。采用双流架构即RGB流和深度流,分别提取RGB相关特征和深度特征,采用交叉融合方法实现多模态特征融合;判断融合特征是否为高层特征,若是高层特征则去获得中间显著性检测结果;若不是高层特征则归为低层特征并等待生成的中间显著性结果经过反向细化模块进行低层特征的反向细化特征;最后生成显著性预测结果。本发明用以解决如何实现跨层级多模态间的学习,充分地探索RGB图像和深度图多模态间的相关性和互补性的问题。
-
公开(公告)号:CN116206132A
公开(公告)日:2023-06-02
申请号:CN202310273383.9
申请日:2023-03-21
Applicant: 哈尔滨工业大学
Abstract: 本发明提出一种基于动态稀疏标记的Transformer架构的RGB‑D视觉显著性物体检测方法及系统。所述方法可解决简单标记RGB‑D图像引起的特征丰富度受限问题及计算效率低下的问题,并显式地提取全局上下文多模态依赖关系。此外,本发明深入研究了跨模态的差异性和一致性以集成不同阶段的多模态特征,最终生成高分辨率的显著性检测区域,进一步提升RGB‑D显著性物体检测性能。
-
公开(公告)号:CN115063352B
公开(公告)日:2025-03-28
申请号:CN202210569783.X
申请日:2022-05-24
Applicant: 哈尔滨工业大学
IPC: G06V10/25 , G06V10/44 , G06V10/46 , G06V10/80 , G06V10/82 , G06N3/042 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明是一种基于多图神经网络协同学习架构的显著性物体检测装置及方法。本发明涉及计算机视觉技术领域,确定显著性边缘特征与显著性区域特征,将显著性边缘特征与显著性区域特征分别通过图投影操作转化为边缘图节点与区域图节点;进行初始图交互,实现图间信息的传递;将交互之后的送入动态信息增强图卷积层,完成图节点信息的充分挖掘;将经过动态信息增强图卷积层处理之后的边缘图节点与区域图节点送入注意力感知融合模块,完成两种特征的互补融合,为显著性边缘特征与显著性区域特征的学习过程提供互补线索。本发明提升显著性物体检测性能,弥补传统卷积神经网络的关系学习能力不足的问题。
-
公开(公告)号:CN115063352A
公开(公告)日:2022-09-16
申请号:CN202210569783.X
申请日:2022-05-24
Applicant: 哈尔滨工业大学
Abstract: 本发明是一种基于多图神经网络协同学习架构的显著性物体检测装置及方法。本发明涉及计算机视觉技术领域,确定显著性边缘特征与显著性区域特征,将显著性边缘特征与显著性区域特征分别通过图投影操作转化为边缘图节点与区域图节点;进行初始图交互,实现图间信息的传递;将交互之后的送入动态信息增强图卷积层,完成图节点信息的充分挖掘;将经过动态信息增强图卷积层处理之后的边缘图节点与区域图节点送入注意力感知融合模块,完成两种特征的互补融合,为显著性边缘特征与显著性区域特征的学习过程提供互补线索。本发明提升显著性物体检测性能,弥补传统卷积神经网络的关系学习能力不足的问题。
-
公开(公告)号:CN116363388A
公开(公告)日:2023-06-30
申请号:CN202310232745.X
申请日:2023-03-13
Applicant: 哈尔滨工业大学
Abstract: 本发明提出一种基于双模态交叉融合与多图交互式学习的视频显著性物体检测方法与系统。所述方法可以通过对空间特征与运动特征进行相互约束,实现时空跨模态特征的有效融合,并利用图神经网络的优势有效学习、推理子区域之间存在的复杂逻辑关系,捕获丰富的时空上下文结构信息,最终实现提升视频显著性物体检测的整体性能。
-
-
-
-