-
公开(公告)号:CN116665300A
公开(公告)日:2023-08-29
申请号:CN202310609183.6
申请日:2023-05-29
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
IPC: G06V40/20 , G06V10/80 , G06V10/82 , G06V10/774 , G06V10/764 , G06N3/0464 , G06N3/048 , G06N3/045 , G06N3/082
Abstract: 本发明公开了一种基于时空自适应特征融合图卷积网络的骨架动作识别方法,包括如下步骤:S1、获取人体的骨架动作序列的原始数据集并进行数据预处理和数据增强;S2、对预处理和数据增强后得到的骨架数据进行处理,得到骨架数据的二阶骨骼信息;S3、将关节运动流态和骨骼运动流态整合形成肢体流;S4、构建时空自适应特征融合图卷积网络;S5、分别将关节流态、骨骼流态和肢体流数据输入到时空自适应特征融合图卷积网络中进行训练,获取对应的初始预测结果和softmax分数,最终通过权重相加的方式融合输出最后的预测结果。该方法可更充分地提取不同尺度上下文信息,结合数量更多、特征更明显的关节数据以实现人体行为预测,有助于提高人体行为的预测精确度。
-
公开(公告)号:CN114821640A
公开(公告)日:2022-07-29
申请号:CN202210381360.5
申请日:2022-04-12
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
Abstract: 本发明公开了基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法,包括:获取人体行为视频并预处理;从预处理后的视频中提取每帧图像的人体骨架数据形成骨架序列;填充骨架序列形成新的骨架序列;基于新的骨架序列获取每帧图像的二阶信息数据;基于二阶信息数据的类别和新的骨架序列分别对应建立训练集和标签;建立膨胀时空图卷积网络模型;将各类训练集和标签输入膨胀时空图卷积网络模型进行训练;将待识别的视频建立训练集后输入预训练好的模型,获取的融合结果即为最终预测结果。该方法可更好地获取网络不同层的语义信息,并在不增加计算量的情况下结合数量更多、特征更明显的关节数据实现人体行为预测,大大提高人体行为的预测精确度。
-
公开(公告)号:CN118155283A
公开(公告)日:2024-06-07
申请号:CN202410288694.7
申请日:2024-03-14
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
IPC: G06V40/20 , G06V10/46 , G06N3/0464 , G06V10/82 , G06V10/80 , G06N3/045 , G06V10/764
Abstract: 本发明公开了一种基于多中心多模态的图卷积网络的骨架动作识别方法,包括如下步骤:步骤1、获取骨架数据并进行数据预处理和数据增强;步骤2、经步骤1处理后的骨架数据的关节流态作为一阶骨骼数据;步骤3、对关节流态进行处理得到二阶骨架数据,所述二阶骨骼数据包括骨骼流态;步骤4、应用GPT‑3模型,将人体动作识别数据作为输入生成离线动作的文本描述数据;步骤5、构建并训练多中心多模态图卷积网络模型;步骤6、分别将关节流态数据、骨骼流态数据以及文本描述数据输入输出最后的预测结果。该方法方便网络在极端尺度变化下识别和检测对象,实现注意特征融合。有助于提高人体行为的预测精确度。
-
公开(公告)号:CN114821640B
公开(公告)日:2023-07-18
申请号:CN202210381360.5
申请日:2022-04-12
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
Abstract: 本发明公开了基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法,包括:获取人体行为视频并预处理;从预处理后的视频中提取每帧图像的人体骨架数据形成骨架序列;填充骨架序列形成新的骨架序列;基于新的骨架序列获取每帧图像的二阶信息数据;基于二阶信息数据的类别和新的骨架序列分别对应建立训练集和标签;建立膨胀时空图卷积网络模型;将各类训练集和标签输入膨胀时空图卷积网络模型进行训练;将待识别的视频建立训练集后输入预训练好的模型,获取的融合结果即为最终预测结果。该方法可更好地获取网络不同层的语义信息,并在不增加计算量的情况下结合数量更多、特征更明显的关节数据实现人体行为预测,大大提高人体行为的预测精确度。
-
公开(公告)号:CN114648722B
公开(公告)日:2023-07-18
申请号:CN202210362715.6
申请日:2022-04-07
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
IPC: G06V20/40 , G06V40/20 , G06V10/44 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于视频多路径时空特征网络的动作识别方法,包括:获取待识别的视频,根据帧率从视频中抽取若干张图像并对图像进行预处理;按照不同的采样率分别从预处理后的若干个图像中抽取不同数量的图像,形成多个图像序列;建立时空特征网络模型,时空特征网络模型包括多个特征提取模块,各图像序列一一对应输入至特征提取模块获取时空特征矩阵;将各特征提取模块输出的时空特征矩阵聚合,输出特征向量;利用分类器对特征向量进行分类检测,以概率最高的类别作为检测结果。该方法能够大幅提升动作视频分类的准确度,并有助于增强网络模型对动作视频的理解,显著提升鲁棒性,从而能够应对现实生活中的复杂场景。
-
公开(公告)号:CN116678370A
公开(公告)日:2023-09-01
申请号:CN202310663492.1
申请日:2023-06-06
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
Abstract: 本发明公开了一种基于矩形信息的单目视觉平面测距方法,包括如下步骤:在玻璃移动所在的待测平面上放置一已知的矩形物体,通过拍摄相机获得图片,并取得拍摄相机的参数;取得已知矩形四个顶点在图片上的坐标以及矩形的实际对角长;根据获取的矩形顶点坐标、对角长以及拍摄相机的参数,得到预设参数并保存;读取玻璃上第一待测点在图片上的坐标,并根据得到的预设参数得到第一待测点对应的向量;读取玻璃上第二待测点在图片上的坐标,并根据得到的预设参数得到第二待测点对应的向量,可得到两个待测点之间的真实距离。该方法相比传统的单目视觉计算方案具有更少的计算量,解决透明物体难测的问题,同时保证足够的精度。
-
公开(公告)号:CN114821420B
公开(公告)日:2023-07-25
申请号:CN202210448080.1
申请日:2022-04-26
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
IPC: G06V20/40 , G06V10/44 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多时间分辨率时态语义聚合网络的时序动作定位方法,包括:获取原始视频并进行预处理,预处理为从原始视频中提取特征序列并注释标签;复制特征序列为N'份,并通过卷积层将复制后的各特征序列的时间分辨率调整为不同值;建立多时间分辨率时态语义聚合网络;将时间分辨率调整后的各特征序列一一对应输入子模块,采用分类损失和回归损失训练多时间分辨率时态语义聚合网络;利用训练好的多时间分辨率时态语义聚合网络预测待识别视频的动作开始时间、动作结束时间、动作种类和置信分数。该方法可获得更灵活更具鲁棒性的上下文关系表达,并大大提高计算能力和时序动作定位的准确性。
-
公开(公告)号:CN114821420A
公开(公告)日:2022-07-29
申请号:CN202210448080.1
申请日:2022-04-26
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
Abstract: 本发明公开了一种基于多时间分辨率时态语义聚合网络的时序动作定位方法,包括:获取原始视频并进行预处理,预处理为从原始视频中提取特征序列并注释标签;复制特征序列为N'份,并通过卷积层将复制后的各特征序列的时间分辨率调整为不同值;建立多时间分辨率时态语义聚合网络;将时间分辨率调整后的各特征序列一一对应输入子模块,采用分类损失和回归损失训练多时间分辨率时态语义聚合网络;利用训练好的多时间分辨率时态语义聚合网络预测待识别视频的动作开始时间、动作结束时间、动作种类和置信分数。该方法可获得更灵活更具鲁棒性的上下文关系表达,并大大提高计算能力和时序动作定位的准确性。
-
公开(公告)号:CN114648722A
公开(公告)日:2022-06-21
申请号:CN202210362715.6
申请日:2022-04-07
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
Abstract: 本发明公开了一种基于视频多路径时空特征网络的动作识别方法,包括:获取待识别的视频,根据帧率从视频中抽取若干张图像并对图像进行预处理;按照不同的采样率分别从预处理后的若干个图像中抽取不同数量的图像,形成多个图像序列;建立时空特征网络模型,时空特征网络模型包括多个特征提取模块,各图像序列一一对应输入至特征提取模块获取时空特征矩阵;将各特征提取模块输出的时空特征矩阵聚合,输出特征向量;利用分类器对特征向量进行分类检测,以概率最高的类别作为检测结果。该方法能够大幅提升动作视频分类的准确度,并有助于增强网络模型对动作视频的理解,显著提升鲁棒性,从而能够应对现实生活中的复杂场景。
-
公开(公告)号:CN118606628B
公开(公告)日:2025-03-25
申请号:CN202410756981.6
申请日:2024-06-13
Applicant: 杭州电子科技大学
IPC: G06F18/10 , G06F18/213 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于小型注意力机制的卷积网络的短期降水预测方法。包括以下步骤:步骤1、获取往年的雷达降水图数据并进行数据处理与数据增强,作为模型的输入数据;步骤2、构建并训练所述小型注意力机制的卷积网络模型,所述基于小型注意力机制的卷积网络模型设计为4层卷积网络;步骤3、将处理完的雷达降水图输入到基于小型注意力机制的卷积网络模型之中,得到对应的预测结果;步骤4、分析输入数据与预测数据之间的误差,计算误差指标与正确率指标,根据输入数据与预测数据分析模型性能,计算性能指标。该方法实现了对雷达降水图特征的高效提取与识别,有助于提高降水预测任务中降水空间分布预测的清晰度、降水强度预测的准确度。
-
-
-
-
-
-
-
-
-