公开(公告)号：CN118486086A

公开(公告)日：2024-08-13

申请号：CN202410712696.4

申请日：2024-06-04

Applicant: 华南农业大学

Inventor： 王国华 ,  宋升平 ,  何悟春 ,  郑永森 ,  邓丽诗

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/44 ,  G06V10/42 ,  G06V10/80 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/048

Abstract: 本发明公开了一种基于TR‑SlowFast的人体跌倒检测方法，该方法包括：通过摄像头获取含跌倒行为的可见光视频数据，对图像帧进行数据增强、剪裁和抽帧；将预处理得到的图像帧序列输入到由SlowFast修改得到的TR‑SlowFast网络中获得跌倒检测结果。TR‑SlowFast网络模型具体指将SlowFast网络的fast支路的ResNet模块替换为F‑Res2Net模块，F‑Res2Net改进了Res2Net对于分组特征的处理方式，使用跳跃连接实现fast支路的不同模块的连接，在每个F‑Res2Net模块之后增加CA注意力模块，在最后一个CA注意力模块之后增加通道混洗模块；将slow支路的ResNet模块替换为S‑GhostNet模块，其中S‑GhostNet为通过特征融合和增加EGC注意力模块修改GhostNet所得，EGC注意力模块为修改的GC注意力模块。

公开(公告)号：CN118485947A

公开(公告)日：2024-08-13

申请号：CN202410712382.4

申请日：2024-06-04

Applicant: 华南农业大学

Inventor： 王国华 ,  何悟春 ,  宋升平 ,  郑永森 ,  邓丽诗

IPC: G06V20/40 ,  G06V20/52 ,  G06V10/44 ,  G06V10/42 ,  G06V10/62 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0985 ,  G06N3/0895 ,  G06N3/048

Abstract: 本发明公开了一种基于特征解耦的弱监督视频异常检测方法。该方法首先采集正常和异常视频构建训练数据集，然后利用预训练的视觉‑语言模型获取视频和文本标签的嵌入表示。接着，通过构建局部‑全局时间模块，将视频特征分别从局部和全局的时间依赖性进行建模，以更好地捕获视频中的时间信息。此外，通过特征解耦模块将视频特征和文本标签的共享特征有效地解耦，并将文本标签的共享特征融入到视频特征中，以增强视频特征的表示能力。最后，通过构建分类网络和使用多实例学习方法训练整个神经网络，实现对视频异常事件的准确检测。本发明通过局部‑全局时间模块的设计，有效地捕获了视频数据中的时间依赖，并通过特征解耦模块将视频特征与文本标签特征进行有效地解耦，通过将视频特征和文本标签共享特征的有效融合，提高了视频特征的表示能力。

公开(公告)号：CN118982843A

公开(公告)日：2024-11-19

申请号：CN202411062312.5

申请日：2024-08-05

Applicant: 华南农业大学

Inventor： 王国华 ,  王勋 ,  陈斯洁 ,  郑永森 ,  邓丽诗 ,  吴贤栋

IPC: G06V40/10 ,  G06V10/26 ,  G06T5/50 ,  G06V10/764 ,  G06V10/774 ,  G06T5/77 ,  G06T3/4007 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开一种基于深度学习的轻量型恶劣环境下行人检测方法，该方法包括以下步骤：(1)采集复杂道路场景下的多模态数据进行预处理和标注；(2)通过DIVFusion对采集的多模态数据进行融合以得到融合数据；(3)对融合数据进行曝光校正与降噪；(4)改进YOLO‑MS检测网络；(5)利用训练出的改进YOLO‑MS检测模型完成行人检测；该方法采用可见光与红外融合的技术，设计了语义分割模块、降噪模块和轻量型的检测模块，对于恶劣环境下的行人检测有较大的提升，尤其是对于黑暗环境和如雨、雪、雾等复杂环境下的行人检测。

公开(公告)号：CN118710931A

公开(公告)日：2024-09-27

申请号：CN202410713133.7

申请日：2024-06-04

Applicant: 华南农业大学

Inventor： 王国华 ,  邓丽诗 ,  吴嘉东 ,  郑永森

IPC: G06V10/62 ,  G06V10/25 ,  G06V40/20 ,  G06V20/40 ,  G06V10/26 ,  G06V20/70 ,  G06V10/44 ,  G06V10/42 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/084 ,  G06N3/094 ,  G06N3/048

Abstract: 本发明公开一种基于基于改进SiamFC的人体头肩小目标跟踪方法，该方法对数据集通过背景差分算法完成半自动标注，并使用LabelImage进行手动标注获得丰富的训练样本；引入改进的通道注意力机制SE模块改进特征提取，从而构建SEMC特征提取模块；构建ASPP‑M多尺度空洞卷积模块，基于ASPP模块增加LEDIO模块进行多尺度卷积的预处理，引入SURF‑PCA模块和拉普拉斯滤波器与多尺度特征图进行特征融合；改进SiamFC主干网络AlexNet特征提取模块，引入混合高斯模型进行背景建模,引入SEMC模块和ASPP‑M模块，引入激活函数Relu和LRN局部归一，并增加残差连接。该方法增强了在复杂场景下人体头肩目标的跟踪能力；缓解网络训练时可能出现的梯度消失情形。

公开(公告)号：CN118506245A

公开(公告)日：2024-08-16

申请号：CN202410712244.6

申请日：2024-06-04

Applicant: 华南农业大学

Inventor： 王国华 ,  何悟春 ,  宋升平 ,  郑永森 ,  邓丽诗

IPC: G06V20/40 ,  G06V10/44 ,  G06V10/42 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开了一种基于STMUnet的视频异常检测算法。本发明针对基于帧预测的视频异常检测算法的时间和空间的强相关性提出了STMUnet网络，该网络利用了Unet网络优秀的重构能力又结合了本发明时空转换模块的时空建模能力；为了加强网络对正常视频帧的重构能力而又抑制异常视频帧的重构能力，本发明在Unet网络的原始解码器D的倒数第二个上采样后插入了一个自监督掩码卷积Transformer方差模块SSMCTVB(Self‑Supervised Masked Convolutional Transformer Variance Block for Anomaly Detection)，该模块使用掩码卷积将局部特征信息整合为全局特征信息，同时融合方差注意力与Transformer通道注意力，以加强网络对异常帧的区分能力。本发明基于STMUnet的视频异常检测算法具有泛化性强、精度高的特点。

公开(公告)号：CN118486083A

公开(公告)日：2024-08-13

申请号：CN202410712601.9

申请日：2024-06-04

Applicant: 华南农业大学

Inventor： 王国华 ,  宋升平 ,  何悟春 ,  郑永森 ,  邓丽诗

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/25 ,  G06V10/44 ,  G06V10/42 ,  G06V10/52 ,  G06V10/54 ,  G06V10/80 ,  G06V10/764 ,  G06V10/766 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0985 ,  G06N3/048

Abstract: 本发明公开了一种基于MS‑YOWOv2的人体行为识别方法，该方法包括：使用RGB摄像头采集RGB视频数据，对RGB视频数据进行预处理，将获取得到的视频帧和关键帧输入到MS‑YOWOv2模型中获得人体行为识别结果。MS‑YOWOv2模型具体指将YOWOv2的2D主干网络CSPDarknet53网络替换为MS‑ResNeSt网络，其中MS‑ResNeSt网络是指将ResNeSt中的SA模块替换为DP‑SA模块、在网络末端增加PSA‑PPM模块、增加可变形卷积层和与特征金字塔结合所得，其中DP‑SA模块是通过将ResNeSt中的SA模块的单支路全局平均池化替换为并行的全局最大池化和全局平均池化双分支结构并进一步通过5×5卷积处理所得；PSA‑PPM模块是通过在PPM模块中增加PSA模块和替换STM模块所得。