-
公开(公告)号：CN116363388A
公开(公告)日：2023-06-30
申请号：CN202310232745.X
申请日：2023-03-13
Applicant: 哈尔滨工业大学
Abstract: 本发明提出一种基于双模态交叉融合与多图交互式学习的视频显著性物体检测方法与系统。所述方法可以通过对空间特征与运动特征进行相互约束，实现时空跨模态特征的有效融合，并利用图神经网络的优势有效学习、推理子区域之间存在的复杂逻辑关系，捕获丰富的时空上下文结构信息，最终实现提升视频显著性物体检测的整体性能。
-
公开(公告)号：CN111523410B
公开(公告)日：2022-08-26
申请号：CN202010273756.9
申请日：2020-04-09
Applicant: 哈尔滨工业大学
Abstract: 本发明是一种基于注意力机制的视频显著性目标检测方法。所述方法为通过静态卷积网络提取静态特征，对多帧的视频图像进行初步的空间上的特征提取；将提取到的特征送入到嵌入注意力机制的双向convLSTM模块，学习时空一致性特征的同时保持特征的结构和空间结构；在网络深层提取的特征中加入通道注意力CA模块，在网络浅层提取的不同尺度的特征中加入空间注意力SA模块；通过通道注意力CA模块指导空间注意力SA模块学习，生成检测结果，得到网络检测视频帧中的显著图像；根据生成的检测结果和真值计算损失函数，反向传递误差，更新网络参数。本发明在基于注意力机制的视频显著性目标检测方法为视频的显著性检测提供了一种新的思路。
-
公开(公告)号：CN115063352B
公开(公告)日：2025-03-28
申请号：CN202210569783.X
申请日：2022-05-24
Applicant: 哈尔滨工业大学
IPC: G06V10/25 , G06V10/44 , G06V10/46 , G06V10/80 , G06V10/82 , G06N3/042 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明是一种基于多图神经网络协同学习架构的显著性物体检测装置及方法。本发明涉及计算机视觉技术领域，确定显著性边缘特征与显著性区域特征，将显著性边缘特征与显著性区域特征分别通过图投影操作转化为边缘图节点与区域图节点；进行初始图交互，实现图间信息的传递；将交互之后的送入动态信息增强图卷积层，完成图节点信息的充分挖掘；将经过动态信息增强图卷积层处理之后的边缘图节点与区域图节点送入注意力感知融合模块，完成两种特征的互补融合，为显著性边缘特征与显著性区域特征的学习过程提供互补线索。本发明提升显著性物体检测性能，弥补传统卷积神经网络的关系学习能力不足的问题。
-
公开(公告)号：CN112306951B
公开(公告)日：2022-03-22
申请号：CN202011252879.0
申请日：2020-11-11
Applicant: 哈尔滨工业大学
Abstract: 本发明是一种基于FPGA的CNN‑SVM资源高效型加速架构。本发明涉及嵌入式目标分类、检测技术领域，本发明所述架构包括处理器系统和可编程逻辑系统；所述CNN‑SVM流式架构加速器基于通用的加速算子结构，所述加速算子结构为多个乘累加MAC节点组成的二维阵列，该加速架构可以充分利用数据重用特性，并适用于CNN‑SVM混合算法中包括CNN，FC全连接层和SVM在内的不同类型的层。此外，加速架构中设计的通用算子的流水线间隔可以保持在单个时钟周期从而可以提高加速器的计算效率。
-
Patent Agency Ranking
公开(公告)号：CN115063352A
公开(公告)日：2022-09-16
申请号：CN202210569783.X
申请日：2022-05-24
Applicant: 哈尔滨工业大学
Abstract: 本发明是一种基于多图神经网络协同学习架构的显著性物体检测装置及方法。本发明涉及计算机视觉技术领域，确定显著性边缘特征与显著性区域特征，将显著性边缘特征与显著性区域特征分别通过图投影操作转化为边缘图节点与区域图节点；进行初始图交互，实现图间信息的传递；将交互之后的送入动态信息增强图卷积层，完成图节点信息的充分挖掘；将经过动态信息增强图卷积层处理之后的边缘图节点与区域图节点送入注意力感知融合模块，完成两种特征的互补融合，为显著性边缘特征与显著性区域特征的学习过程提供互补线索。本发明提升显著性物体检测性能，弥补传统卷积神经网络的关系学习能力不足的问题。
-
公开(公告)号：CN112306951A
公开(公告)日：2021-02-02
申请号：CN202011252879.0
申请日：2020-11-11
Applicant: 哈尔滨工业大学
Abstract: 本发明是一种基于FPGA的CNN‑SVM资源高效型加速架构。本发明涉及嵌入式目标分类、检测技术领域，本发明所述架构包括处理器系统和可编程逻辑系统；所述CNN‑SVM流式架构加速器基于通用的加速算子结构，所述加速算子结构为多个乘累加MAC节点组成的二维阵列，该加速架构可以充分利用数据重用特性，并适用于CNN‑SVM混合算法中包括CNN，FC全连接层和SVM在内的不同类型的层。此外，加速架构中设计的通用算子的流水线间隔可以保持在单个时钟周期从而可以提高加速器的计算效率。
-
公开(公告)号：CN111523410A
公开(公告)日：2020-08-11
申请号：CN202010273756.9
申请日：2020-04-09
Applicant: 哈尔滨工业大学
Abstract: 本发明是一种基于注意力机制的视频显著性目标检测方法。所述方法为通过静态卷积网络提取静态特征，对多帧的视频图像进行初步的空间上的特征提取；将提取到的特征送入到嵌入注意力机制的双向convLSTM模块，学习时空一致性特征的同时保持特征的结构和空间结构；在网络深层提取的特征中加入通道注意力CA模块，在网络浅层提取的不同尺度的特征中加入空间注意力SA模块；通过通道注意力CA模块指导空间注意力SA模块学习，生成检测结果，得到网络检测视频帧中的显著图像；根据生成的检测结果和真值计算损失函数，反向传递误差，更新网络参数。本发明在基于注意力机制的视频显著性目标检测方法为视频的显著性检测提供了一种新的思路。
-
公开(公告)号：CN116485699A
公开(公告)日：2023-07-25
申请号：CN202210022520.7
申请日：2022-01-10
Applicant: 哈尔滨工业大学
IPC: G06T7/00 , G06N3/0464 , G06N3/08 , G06V10/80 , G06V10/82 , G06V10/774
Abstract: 本发明公开了一种基于深度自适应的反向细化网络架构的RGB‑D显著性物体检测装置及其检测方法。采用双流架构即RGB流和深度流，分别提取RGB相关特征和深度特征，采用交叉融合方法实现多模态特征融合；判断融合特征是否为高层特征，若是高层特征则去获得中间显著性检测结果；若不是高层特征则归为低层特征并等待生成的中间显著性结果经过反向细化模块进行低层特征的反向细化特征；最后生成显著性预测结果。本发明用以解决如何实现跨层级多模态间的学习，充分地探索RGB图像和深度图多模态间的相关性和互补性的问题。
-
公开(公告)号：CN116206132A
公开(公告)日：2023-06-02
申请号：CN202310273383.9
申请日：2023-03-21
Applicant: 哈尔滨工业大学
Abstract: 本发明提出一种基于动态稀疏标记的Transformer架构的RGB‑D视觉显著性物体检测方法及系统。所述方法可解决简单标记RGB‑D图像引起的特征丰富度受限问题及计算效率低下的问题，并显式地提取全局上下文多模态依赖关系。此外，本发明深入研究了跨模态的差异性和一致性以集成不同阶段的多模态特征，最终生成高分辨率的显著性检测区域，进一步提升RGB‑D显著性物体检测性能。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.023 seconds)
