一种基于跨模态与多尺度感知的RGB-T人群计数方法

    公开(公告)号:CN118918531A

    公开(公告)日:2024-11-08

    申请号:CN202411031906.X

    申请日:2024-07-30

    Applicant: 燕山大学

    Abstract: 本发明公开了一种基于跨模态与多尺度感知的RGB‑T人群计数方法,属于计算机视觉领域,包括:将成对的RGB和热度图像输入由Swin Transformer组成的双流网络中,提取各个模态的特定特征图;跨模态特征融合模块接收双流网络的第2,3,4阶段的输出,在各个模态间共享特征并有效去噪;多尺度特征汇聚模块接收来自跨模态特征融合模块的跨模态融合特征图,通过空间上下文感知图卷积单元建模各个尺度的人群空间结构,随后整合不同尺度的特征图;将多尺度特征汇聚模块整合的多尺度特征图送入回归头得到密度图;将密度图逐像素相加得到人群计数结果。本发明解决了跨模态特征融合过程引入噪音信息及人群分布不均匀所致的计数难题。

    一种基于类编解码结构的草图语义分割方法

    公开(公告)号:CN114998904B

    公开(公告)日:2024-08-27

    申请号:CN202210655278.7

    申请日:2022-06-10

    Applicant: 燕山大学

    Abstract: 本发明涉及一种基于类编解码结构的草图语义分割方法,属于计算机视觉技术领域。具体地,将草图视为二维点集合,通过利用笔画内部结构和采样点的空间位置关系开发了新颖的局部特征聚集模块,该模块编码了丰富的局部特征,并定义了笔画距离,用于兼顾草图的二维空间分布和笔画结构;设计了线段层次自注意力模块用于建立和增强草图线段之间的关系,线段层次自注意力模块更好地描述了草图的内部结构;基于全局注意力机制,提出了末尾具有两个子分支的类编解码结构,包括:点层次子分支和线段层次子分支;最终,两个子分支的输出融合在一起生成语义分割结果。本发明相对于已存在的方法,具有更精准的分割结果和较高的鲁棒性。

    一种基于密度估计的人群计数方法及系统

    公开(公告)号:CN113538402B

    公开(公告)日:2022-06-07

    申请号:CN202110865293.X

    申请日:2021-07-29

    Applicant: 燕山大学

    Abstract: 本发明公开一种基于密度估计的人群计数方法及系统,涉及图像处理领域,方法包括:利用第一尺度感知金字塔注意力层对低层语义特征图提取尺度感知信息特征,得到低层多尺度语义特征图;利用第二尺度感知金字塔注意力层对中层语义特征图提取尺度感知信息特征,得到中层多尺度语义特征图;利用第三尺度感知金字塔注意力层对高层语义特征图提取尺度感知信息特征,得到高层多尺度语义特征图;利用特征融合层对低层多尺度语义特征图、中层多尺度语义特征图和高层多尺度语义特征图进行融合,得到多层次多尺度的融合特征图;利用人群密度图估计层对多层次多尺度的融合特征图进行人群密度估计,得到估计的人群密度图。本发明能快速准确得到人群计数结果。

    基于信念攻击和显著区域扰动限制的对抗样本生成方法

    公开(公告)号:CN114399630A

    公开(公告)日:2022-04-26

    申请号:CN202111655287.8

    申请日:2021-12-31

    Applicant: 燕山大学

    Abstract: 本发明提供了一种基于信念攻击和显著区域扰动限制的对抗样本生成方法,涉及深度神经网络技术领域和计算机视觉领域,本发明包含以下步骤:提供原始图像和白盒目标模型,使用包含原始图像的数据集作为数据集,利用类激活映射技术生成关于原始图像的显著区域二进制掩码,利用基于信念的攻击方法融合迭代的快速梯度方法生成全局对抗扰动;将生成的全局对抗扰动和显著区域二进制掩码融合生成显著区域对抗扰动;将显著区域对抗扰动添加到输入图像,并迭代地进行更新直到达到预设的终止条件,输出最后的一次迭代的图像对抗样本作为生成的对抗样本。该发明生成的对抗样本具备低扰动、高迁移性。

    一种复杂场景下结合跨模态信息的人群计数方法及系统

    公开(公告)号:CN113538401B

    公开(公告)日:2022-04-05

    申请号:CN202110865267.7

    申请日:2021-07-29

    Applicant: 燕山大学

    Inventor: 张世辉 李贺 王威

    Abstract: 本发明公开一种复杂场景下结合跨模态信息的人群计数方法及系统,涉及计算机视觉技术领域,包括:获取待计数复杂场景下人群的RGB图像和深度图像;将RGB图像和深度图像输入优化后的深度神经网络模型中,得到估计的人群密度图;其中,深度神经网络模型包括依次连接的低层特征提取层、第一跨模态循环注意力融合层、中层特征提取层、第二跨模态循环注意力融合层、高层特征提取层、第三跨模态循环注意力融合层和人群密度图估计层;将估计的人群密度图进行逐像素相加,得到人群中人数的估计值。本发明能够避免现有人群计数方法在人群任意分布的复杂场景中准确率下降的问题。

    一种物理对抗样本生成方法及系统

    公开(公告)号:CN113674140A

    公开(公告)日:2021-11-19

    申请号:CN202110960092.8

    申请日:2021-08-20

    Applicant: 燕山大学

    Abstract: 本发明公开了一种物理对抗样本生成方法及系统。该方法包括:获取原始图像集、风格图像集以及图像集的攻击蒙版图像;采用原始图像集作为训练样本,采用模型窃取法,确定黑盒目标模型的替代模型;基于图像集、对应的攻击蒙版图像和替代模型,采用风格迁移技术思想和基于梯度的对抗样本生成方法生成原始图像集中各图像的攻击区域的风格扰动;对原始图像集进行仿射变换生成变换图像集,并基于替代模型,采用基于梯度的对抗样本生成方法生成变换图像集的自适应扰动;将风格扰动和自适应扰动添加到原始图像集的攻击区域,生成每一张原始图像的物理对抗样本。本发明针对黑盒目标模型生成一种扰动不可察的对抗样本,以准确评估黑盒目标模型的安全性。

    一种复杂场景下结合跨模态信息的人群计数方法及系统

    公开(公告)号:CN113538401A

    公开(公告)日:2021-10-22

    申请号:CN202110865267.7

    申请日:2021-07-29

    Applicant: 燕山大学

    Inventor: 张世辉 李贺 王威

    Abstract: 本发明公开一种复杂场景下结合跨模态信息的人群计数方法及系统,涉及计算机视觉技术领域,包括:获取待计数复杂场景下人群的RGB图像和深度图像;将RGB图像和深度图像输入优化后的深度神经网络模型中,得到估计的人群密度图;其中,深度神经网络模型包括依次连接的低层特征提取层、第一跨模态循环注意力融合层、中层特征提取层、第二跨模态循环注意力融合层、高层特征提取层、第三跨模态循环注意力融合层和人群密度图估计层;将估计的人群密度图进行逐像素相加,得到人群中人数的估计值。本发明能够避免现有人群计数方法在人群任意分布的复杂场景中准确率下降的问题。

    一种基于多层残差学习的草图识别方法及系统

    公开(公告)号:CN112818926A

    公开(公告)日:2021-05-18

    申请号:CN202110216842.0

    申请日:2021-02-26

    Applicant: 燕山大学

    Abstract: 本发明公开了一种基于多层残差学习的草图识别方法及系统。该方法包括:获取草图样本;所述样图样本包括训练样本和测试样本;对所述草图样本进行数量增强处理;构建多层残差网络;通过所述训练样本对所述多层残差网络进行训练,得到草图识别模型;通过草图训练模型对草图进行识别。本发明将草图作为静态图处理,因此训练时无需要求草图训练集含有笔画序列信息,且训练输入为样本而非样本对,降低了人工标注成本,训练方法简单,草图识别率高。

    一种利用特征图融合的目标检测方法

    公开(公告)号:CN109034245B

    公开(公告)日:2021-02-05

    申请号:CN201810843493.3

    申请日:2018-07-27

    Applicant: 燕山大学

    Abstract: 本发明公开了一种利用特征图融合的目标检测方法,包括以下步骤:首先利用ZF网络提取图像特征并得到一系列处于不同层次的特征图;其次将ZF网络提取的图像特征图中的最深层特征图和浅层特征图相融合得到新特征图;再次将新特征图输入到RPN网络中得到区域建议;最后将新特征图和区域建议输入到ROIPooling层中得到区域建议的特征并同时对特征进行分类和对区域建议进行边框回归得到目标检测结果。本发明可以检测出图像中多种类别的目标,且所用的图像无需特定的图像采集设备采集。

    一种基于流量的抽油机冲次及动液面信息监测方法及系统

    公开(公告)号:CN111027638A

    公开(公告)日:2020-04-17

    申请号:CN201911336515.8

    申请日:2019-12-23

    Applicant: 燕山大学

    Abstract: 本发明公开一种基于流量的抽油机冲次及动液面信息监测方法及系统,涉及油井监测技术领域。对现场油井综测获取的标定数据进行预处理,得到以固定n个流量周期为基本处理单元的包括时域内特征信号、频域内特征信号及符号化序列特征信号的动液面特征数据,并基于动液面特征数据和BP神经网络模型,构建动液面预警模型;获取实时流量响应信号并处理,确定根据实时流量响应信号中的流量响应峰值和流量响应谷值计算的抽油机冲次;对实时流量响应信号进行预处理,得到一组实时动液面特征数据,并基于实时动液面特征数据和动液面预警模型,确定抽油机实时埋深。本发明不仅实现对油井抽油机冲次的准确监测,而且能够对油井井下动液面信息进行监测。

Patent Agency Ranking