-
公开(公告)号:CN114842247B
公开(公告)日:2024-02-27
申请号:CN202210412198.9
申请日:2022-04-19
Applicant: 西北大学
IPC: G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/042 , G06N3/045 , G06N3/0464 , G06N3/0895
Abstract: 本发明公开了一种基于特征累加的图卷积网络半监督节点分类方法,该方法利用图卷积和K阶邻近性来获得更大的感受野,以获取更高层次邻域的节点特征,而后将不同邻域获得的节点信息进行融合,保全节点特征信息,具体包括:提出一个由不同层次图卷积网络组成的模型,每个层次提供不同的传播效率,第K个层次包含图上随机游走的第K步的节点特征信息;根据概率转移矩阵定义高次邻接矩阵,作为不同阶层的邻接矩阵来聚合不同邻域的节点特征信息,将不同步长的节点分别进行卷积操作,得到卷积后新的输出表示;将不同邻域范围的节点卷积后得到的新的特征表示利用融合函数进行混合,得到混合邻域的特征表示,利用分类器进行分类,得到最终的输出。
-
公开(公告)号:CN115035595A
公开(公告)日:2022-09-09
申请号:CN202210624609.0
申请日:2022-06-02
Applicant: 西北大学
IPC: G06V40/20 , G06N3/04 , G06N3/08 , G06V10/764 , G06V10/77 , G06V10/774 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于时空信息转移知识蒸馏技术的3D模型压缩方法,该方法采用多层特征蒸馏模块MFDM作为3D模型的核心元件,对行为识别网络进行模型压缩,采用包含多种动作类和多视频段公开数据集作为实验数据集,从数据集中的各个行为视频片段等间隔的取出部分帧分别作为时空特征蒸馏方法中教师模型和学生模型的输入进行特征提取;提取出每一层的特征,对每一层特征进行多层次特征蒸馏算法,并算出多层时空特征转移损失;将最后一层的特征放入分类其中,进行分类,得出logistic回归概率,分别将其与教师模型生成的软标签和真实标签算出损失函数;最后根据总体的损失函数,通过反向传播更新学生模型的所有参数,同时更新多层特征蒸馏模块的参数。
-
公开(公告)号:CN116363555A
公开(公告)日:2023-06-30
申请号:CN202310239350.2
申请日:2023-03-14
Applicant: 西北大学
IPC: G06V20/40 , G06V40/20 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种基于Transformer的语义信息增强的行为识别方法,本申请采样光流法和聚类方法提取视频关键帧作为输入,并利用卷积神经网络提取低水平信息;然后利用空洞卷积捕获相邻键向量之间的局部信息,进一步利用局部信息来触发挖掘全局信息的自注意力,最后将局部和全局的上下文信息进行融合;相比较于传统的自注意力机制,该方法能同时学习位置方面的局部特征和基于内容的全局交互,从而增强了视觉表示能力;此外,本申请在保证计算成本的前提下,有效提高了行为识别的准确率。
-
公开(公告)号:CN114842247A
公开(公告)日:2022-08-02
申请号:CN202210412198.9
申请日:2022-04-19
Applicant: 西北大学
IPC: G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于特征累加的图卷积网络半监督节点分类方法,该方法利用图卷积和K阶邻近性来获得更大的感受野,以获取更高层次邻域的节点特征,而后将不同邻域获得的节点信息进行融合,保全节点特征信息,具体包括:提出一个由不同层次图卷积网络组成的模型,每个层次提供不同的传播效率,第K个层次包含图上随机游走的第K步的节点特征信息;根据概率转移矩阵定义高次邻接矩阵,作为不同阶层的邻接矩阵来聚合不同邻域的节点特征信息,将不同步长的节点分别进行卷积操作,得到卷积后新的输出表示;将不同邻域范围的节点卷积后得到的新的特征表示利用融合函数进行混合,得到混合邻域的特征表示,利用分类器进行分类,得到最终的输出。
-
公开(公告)号:CN114554084A
公开(公告)日:2022-05-27
申请号:CN202210101402.5
申请日:2022-01-27
Applicant: 西北大学
IPC: H04N5/232 , H04R1/10 , G05B19/042
Abstract: 本发明公开了一种基于STM32单片机的多设备协同拍照系统,包括CH340在线下载的最小系统模块、单片机模块、USB串口模块、按键输入模块和手机设备,所述CH340在线下载的最小系统模块与单片机连接,所述的单片机设置有48个引脚,通过引脚与分别与按键输入模块和USB串口模块连接,USB串口模块通过USB耳机线和按键输入模块相连,按键输入模块与手机设备连接;其中,所述按键输入模块为单片机传输拍摄信号,单片机模块接收按键输入模块的输入信号改变电压,控制引脚电压跳变,使所述的USB串口模块电压跳变,实现手机设备的拍照功能。该系统能够实现使不同设备同时进行拍照的能力。
-
公开(公告)号:CN114554084B
公开(公告)日:2023-04-07
申请号:CN202210101402.5
申请日:2022-01-27
Applicant: 西北大学
IPC: H04N23/66 , H04R1/10 , G05B19/042
Abstract: 本发明公开了一种基于STM32单片机的多设备协同拍照系统,包括CH340在线下载的最小系统模块、单片机模块、USB串口模块、按键输入模块和手机设备,所述CH340在线下载的最小系统模块与单片机连接,所述的单片机设置有48个引脚,通过引脚与分别与按键输入模块和USB串口模块连接,USB串口模块通过USB耳机线和按键输入模块相连,按键输入模块与手机设备连接;其中,所述按键输入模块为单片机传输拍摄信号,单片机模块接收按键输入模块的输入信号改变电压,控制引脚电压跳变,使所述的USB串口模块电压跳变,实现手机设备的拍照功能。该系统能够实现使不同设备同时进行拍照的能力。
-
公开(公告)号:CN114783054A
公开(公告)日:2022-07-22
申请号:CN202210300680.3
申请日:2022-03-24
Applicant: 西北大学
Abstract: 本发明公开了一种基于的无线和视频特征融合的步态识别方法,该方法包括:使用视频采集设备获取行人步态识别视频数据,对视频帧利用分割网络获得高质量的行人轮廓图序列,对轮廓图进行标准化裁剪操作处理成统一格式,然后使用基于时间空间的深度神经网络获取行人的视频特征;使用普通商用无线信号设备,一端发送物理层信道状态信息CSI数据,另外一端接收,对CSI数据进行去噪以及归一化预处理,用多尺度卷积神经网络对预处理之后的CSI数据进行行人的无线特征提取;最后将提取到的无线和视频的特征进行融合,进行身份预测。该方法结合了无线和视频两个模态的数据进行步态识别,相对于现有的相关技术,具有更好的鲁棒性,更加适合多变的复杂场景。
-
公开(公告)号:CN114783054B
公开(公告)日:2024-03-26
申请号:CN202210300680.3
申请日:2022-03-24
Applicant: 西北大学
IPC: G06V40/20 , G06V10/26 , G06V20/40 , G06V10/82 , G06N3/0464 , G06N3/084 , H04B17/309
Abstract: 本发明公开了一种基于的无线和视频特征融合的步态识别方法,该方法包括:使用视频采集设备获取行人步态识别视频数据,对视频帧利用分割网络获得高质量的行人轮廓图序列,对轮廓图进行标准化裁剪操作处理成统一格式,然后使用基于时间空间的深度神经网络获取行人的视频特征;使用普通商用无线信号设备,一端发送物理层信道状态信息CSI数据,另外一端接收,对CSI数据进行去噪以及归一化预处理,用多尺度卷积神经网络对预处理之后的CSI数据进行行人的无线特征提取;最后将提取到的无线和视频的特征进行融合,进行身份预测。该方法结合了无线和视频两个模态的数据进行步态识别,相对于现有的相关技术,具有更好的鲁棒性,更加适合多变的复杂场景。
-
-
-
-
-
-
-