-
公开(公告)号:CN114677704B
公开(公告)日:2024-03-26
申请号:CN202210166930.9
申请日:2022-02-23
Applicant: 西北大学
IPC: G06V40/10 , G06V40/20 , G06V10/44 , G06V10/764 , G06V10/82 , G06V10/80 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于三维卷积的时空特征多层次融合的行为识别方法,该方法针对行为识别任务中视频能够提供更加丰富特征信息,采用三维卷积核以及时间和空间双流框架作为网络主干,其中一个分支提取视频时间特征,另外一个分支提取视频的空间特征。在不同的行为中,考虑到视频中的行为小目标在识别网络中的高层网络部分容易特征丢失,快节奏的行为不容易被网络感受,提出了将不同感受野上的时间和空间区域的特征均考虑进网络。以多层特征融合模块来均衡空间特征和时间特征对于最后行为分类结果的影响,充分利用提取到的多层次特征。该方法提取视频中的时间和空间特征,并对其进行融合和行为识别,相较于现有相关行为识别方法,具有更高的准确性。
-
公开(公告)号:CN113569913B
公开(公告)日:2023-04-25
申请号:CN202110727273.6
申请日:2021-06-29
Applicant: 西北大学
IPC: G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明属于计算机视觉技术领域,公开了一种基于分层选择性Adaboost‑DNNs的图像分类模型建立、分类方法及系统。方法包括:步骤1:获取图像数据集,标注图像数据集中的每张图像的类别,将图像分为训练集和验证集并设定训练集中每张图像的初始权重;步骤2:建立HS Adaboost‑DNNs模型,所述的HS Adaboost‑DNNs模型包括M个子网络,M为正整数,将图像数据集的所有类别作为真实标签,采用训练集、验证集和真实标签对HSAdaboost‑DNNs模型进行训练,至模型收敛后训练结束,将训练好的HSAdaboost‑DNNs模型作为图像识别预测模型。本发明可以用更少的网络层对容易识别的图像快速识别,对难以识别的图像需要通过更复杂的子模块,提高了图像分类的精度与速度。
-
公开(公告)号:CN114783054A
公开(公告)日:2022-07-22
申请号:CN202210300680.3
申请日:2022-03-24
Applicant: 西北大学
Abstract: 本发明公开了一种基于的无线和视频特征融合的步态识别方法,该方法包括:使用视频采集设备获取行人步态识别视频数据,对视频帧利用分割网络获得高质量的行人轮廓图序列,对轮廓图进行标准化裁剪操作处理成统一格式,然后使用基于时间空间的深度神经网络获取行人的视频特征;使用普通商用无线信号设备,一端发送物理层信道状态信息CSI数据,另外一端接收,对CSI数据进行去噪以及归一化预处理,用多尺度卷积神经网络对预处理之后的CSI数据进行行人的无线特征提取;最后将提取到的无线和视频的特征进行融合,进行身份预测。该方法结合了无线和视频两个模态的数据进行步态识别,相对于现有的相关技术,具有更好的鲁棒性,更加适合多变的复杂场景。
-
公开(公告)号:CN114741507A
公开(公告)日:2022-07-12
申请号:CN202210306043.7
申请日:2022-03-25
Applicant: 西北大学
Abstract: 本发明公开了一种基于Transformer的图卷积网络的引文网络分类模型建立方法,首先获取引文网络数据,引文网络数据包括确定节点的主体身份(论文、作者),收集结点的语料特征,确定节点的标签,确定节点间的关系,然后建立基于Transformer的图卷积网络模型,包括一个K层的简化图卷积网络模块,一个经过改造的Transformer编码器;然后利用简化图卷积网络对所有节点进行特征的卷积传播,利用Transformer编码器对训练集的所有节点的每层特征学习一个全局特征用以分类,最后利用训练好的Transformer编码器对测试结点进行分类。
-
公开(公告)号:CN114677704A
公开(公告)日:2022-06-28
申请号:CN202210166930.9
申请日:2022-02-23
Applicant: 西北大学
IPC: G06V40/10 , G06V40/20 , G06V10/44 , G06V10/764 , G06V10/82 , G06V10/80 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于三维卷积的时空特征多层次融合的行为识别方法,该方法针对行为识别任务中视频能够提供更加丰富特征信息,采用三维卷积核以及时间和空间双流框架作为网络主干,其中一个分支提取视频时间特征,另外一个分支提取视频的空间特征。在不同的行为中,考虑到视频中的行为小目标在识别网络中的高层网络部分容易特征丢失,快节奏的行为不容易被网络感受,提出了将不同感受野上的时间和空间区域的特征均考虑进网络。以多层特征融合模块来均衡空间特征和时间特征对于最后行为分类结果的影响,充分利用提取到的多层次特征。该方法提取视频中的时间和空间特征,并对其进行融合和行为识别,相较于现有相关行为识别方法,具有更高的准确性。
-
公开(公告)号:CN114783054B
公开(公告)日:2024-03-26
申请号:CN202210300680.3
申请日:2022-03-24
Applicant: 西北大学
IPC: G06V40/20 , G06V10/26 , G06V20/40 , G06V10/82 , G06N3/0464 , G06N3/084 , H04B17/309
Abstract: 本发明公开了一种基于的无线和视频特征融合的步态识别方法,该方法包括:使用视频采集设备获取行人步态识别视频数据,对视频帧利用分割网络获得高质量的行人轮廓图序列,对轮廓图进行标准化裁剪操作处理成统一格式,然后使用基于时间空间的深度神经网络获取行人的视频特征;使用普通商用无线信号设备,一端发送物理层信道状态信息CSI数据,另外一端接收,对CSI数据进行去噪以及归一化预处理,用多尺度卷积神经网络对预处理之后的CSI数据进行行人的无线特征提取;最后将提取到的无线和视频的特征进行融合,进行身份预测。该方法结合了无线和视频两个模态的数据进行步态识别,相对于现有的相关技术,具有更好的鲁棒性,更加适合多变的复杂场景。
-
公开(公告)号:CN113569913A
公开(公告)日:2021-10-29
申请号:CN202110727273.6
申请日:2021-06-29
Applicant: 西北大学
Abstract: 本发明属于计算机视觉技术领域,公开了一种基于分层选择性Adaboost‑DNNs的图像分类模型建立、分类方法及系统。方法包括:步骤1:获取图像数据集,标注图像数据集中的每张图像的类别,将图像分为训练集和验证集并设定训练集中每张图像的初始权重;步骤2:建立HS Adaboost‑DNNs模型,所述的HS Adaboost‑DNNs模型包括M个子网络,M为正整数,将图像数据集的所有类别作为真实标签,采用训练集、验证集和真实标签对HSAdaboost‑DNNs模型进行训练,至模型收敛后训练结束,将训练好的HSAdaboost‑DNNs模型作为图像识别预测模型。本发明可以用更少的网络层对容易识别的图像快速识别,对难以识别的图像需要通过更复杂的子模块,提高了图像分类的精度与速度。
-
公开(公告)号:CN114741507B
公开(公告)日:2024-02-13
申请号:CN202210306043.7
申请日:2022-03-25
Applicant: 西北大学
IPC: G06F16/35 , G06F18/241 , G06N3/0455 , G06N3/042 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种基于Transformer的图卷积网络的引文网络分类模型建立方法,首先获取引文网络数据,引文网络数据包括确定节点的主体身份(论文、作者),收集结点的语料特征,确定节点的标签,确定节点间的关系,然后建立基于Transformer的图卷积网络模型,包括一个K层的简化图卷积网络模块,一个经过改造的Transformer编码器;然后利用简化图卷积网络对所有节点进行特征的卷积传播,利用Transformer编码器对训练集的所有节点的每层特征学习一个全局特征用以分类,最后利用训练好的Transformer编码器对测试结点进行分类。
-
公开(公告)号:CN115035595A
公开(公告)日:2022-09-09
申请号:CN202210624609.0
申请日:2022-06-02
Applicant: 西北大学
IPC: G06V40/20 , G06N3/04 , G06N3/08 , G06V10/764 , G06V10/77 , G06V10/774 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于时空信息转移知识蒸馏技术的3D模型压缩方法,该方法采用多层特征蒸馏模块MFDM作为3D模型的核心元件,对行为识别网络进行模型压缩,采用包含多种动作类和多视频段公开数据集作为实验数据集,从数据集中的各个行为视频片段等间隔的取出部分帧分别作为时空特征蒸馏方法中教师模型和学生模型的输入进行特征提取;提取出每一层的特征,对每一层特征进行多层次特征蒸馏算法,并算出多层时空特征转移损失;将最后一层的特征放入分类其中,进行分类,得出logistic回归概率,分别将其与教师模型生成的软标签和真实标签算出损失函数;最后根据总体的损失函数,通过反向传播更新学生模型的所有参数,同时更新多层特征蒸馏模块的参数。
-
-
-
-
-
-
-
-