-
公开(公告)号:CN116503945B
公开(公告)日:2025-04-08
申请号:CN202310471308.3
申请日:2023-04-27
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
Abstract: 本发明公开了一种基于Transformer和错位对齐策略的小样本动作识别方法,包括:获取查询集视频和支持集视频;获得对应的第一图像集和第二图像集;对图像集进行采样并裁剪,裁剪后的第一图像集形成第一图像序列,每个裁剪后的第二图像集形成一个第二图像序列,将第一图像序列和一个第二图像序列视为一组;建立动作识别模型,动作识别模型包括依次连接的改进ResNet网络模型、时空特征编码器和多粒度特征对齐模块,并获取每组第一图像序列和第二图像序列对应的多粒度动作概率;采用分类器获取全部多粒度动作概率中概率最高的动作类别作为对应待识别动作类别视频的动作识别结果。该方法能够提升小样本动作视频分类的准确度和效率。
-
公开(公告)号:CN118155283A
公开(公告)日:2024-06-07
申请号:CN202410288694.7
申请日:2024-03-14
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
IPC: G06V40/20 , G06V10/46 , G06N3/0464 , G06V10/82 , G06V10/80 , G06N3/045 , G06V10/764
Abstract: 本发明公开了一种基于多中心多模态的图卷积网络的骨架动作识别方法,包括如下步骤:步骤1、获取骨架数据并进行数据预处理和数据增强;步骤2、经步骤1处理后的骨架数据的关节流态作为一阶骨骼数据;步骤3、对关节流态进行处理得到二阶骨架数据,所述二阶骨骼数据包括骨骼流态;步骤4、应用GPT‑3模型,将人体动作识别数据作为输入生成离线动作的文本描述数据;步骤5、构建并训练多中心多模态图卷积网络模型;步骤6、分别将关节流态数据、骨骼流态数据以及文本描述数据输入输出最后的预测结果。该方法方便网络在极端尺度变化下识别和检测对象,实现注意特征融合。有助于提高人体行为的预测精确度。
-
公开(公告)号:CN116503945A
公开(公告)日:2023-07-28
申请号:CN202310471308.3
申请日:2023-04-27
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
Abstract: 本发明公开了一种基于Transformer和错位对齐策略的小样本动作识别方法,包括:获取查询集视频和支持集视频;获得对应的第一图像集和第二图像集;对图像集进行采样并裁剪,裁剪后的第一图像集形成第一图像序列,每个裁剪后的第二图像集形成一个第二图像序列,将第一图像序列和一个第二图像序列视为一组;建立动作识别模型,动作识别模型包括依次连接的改进ResNet网络模型、时空特征编码器和多粒度特征对齐模块,并获取每组第一图像序列和第二图像序列对应的多粒度动作概率;采用分类器获取全部多粒度动作概率中概率最高的动作类别作为对应待识别动作类别视频的动作识别结果。该方法能够提升小样本动作视频分类的准确度和效率。
-
公开(公告)号:CN116012950A
公开(公告)日:2023-04-25
申请号:CN202310117822.7
申请日:2023-02-15
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
IPC: G06V40/20 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/047 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于多重心时空注意图卷积网络的骨架动作识别方法,包括:对预处理后的人体行为视频进行一阶骨骼信息提取并形成第一骨架序列;将第一骨架序列转换为第二骨架序列;获取每帧图像的二阶骨骼信息;根据四种流态数据对应建立四类训练集和标签;建立多重心时空注意图卷积网络模型并训练;将待识别的人体行为视频输入训练好的模型,获取对应的初始预测结果和softmax分数;根据初始预测结果利用多重心特征融合单元计算对应权重系数;采用特征融合模块将各softmax分数进行加权融合获得骨架动作识别结果。该方法可结合数量更多、特征更明显的关节数据以实现人体行为预测,提高预测精确度。
-
公开(公告)号:CN119992429A
公开(公告)日:2025-05-13
申请号:CN202510471124.6
申请日:2025-04-15
Applicant: 杭州电子科技大学信息工程学院
IPC: G06V20/40 , G06V40/20 , G06V10/82 , G06V10/44 , G06V10/776 , G06V10/80 , G06V10/62 , G06V10/774 , G06N3/045 , G06N3/0464
Abstract: 本发明公开了一种基于双阶段神经网络的点监督时序动作定位方法及系统。该方法包括:首先针对点监督标注的时序动作定位数据集,通过I3D视频特征提取网络提取每个动作视频的视频特征;然后对候选提案生成模块进行第一阶段的帧级原型学习,以及对边界定位模块进行第二阶段的实例级边界学习;最后,针对目标动作视频,将其通过I3D视频特征提取网络提取视频特征后输入经过学习的候选提案生成模块,生成所有候选提案后输入经过学习的边界定位模块,对得到的所有修正后提案计算提案分数并执行soft‑NMS算法,获得最终提案。本发明可有效区分视频中的背景和动作,同时提取视频全局的动作特征。以实现人体时序动作定位,提高定位精确度。
-
公开(公告)号:CN116678370A
公开(公告)日:2023-09-01
申请号:CN202310663492.1
申请日:2023-06-06
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
Abstract: 本发明公开了一种基于矩形信息的单目视觉平面测距方法,包括如下步骤:在玻璃移动所在的待测平面上放置一已知的矩形物体,通过拍摄相机获得图片,并取得拍摄相机的参数;取得已知矩形四个顶点在图片上的坐标以及矩形的实际对角长;根据获取的矩形顶点坐标、对角长以及拍摄相机的参数,得到预设参数并保存;读取玻璃上第一待测点在图片上的坐标,并根据得到的预设参数得到第一待测点对应的向量;读取玻璃上第二待测点在图片上的坐标,并根据得到的预设参数得到第二待测点对应的向量,可得到两个待测点之间的真实距离。该方法相比传统的单目视觉计算方案具有更少的计算量,解决透明物体难测的问题,同时保证足够的精度。
-
公开(公告)号:CN116012950B
公开(公告)日:2023-06-30
申请号:CN202310117822.7
申请日:2023-02-15
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
IPC: G06V40/20 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/047 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于多重心时空注意图卷积网络的骨架动作识别方法,包括:对预处理后的人体行为视频进行一阶骨骼信息提取并形成第一骨架序列;将第一骨架序列转换为第二骨架序列;获取每帧图像的二阶骨骼信息;根据四种流态数据对应建立四类训练集和标签;建立多重心时空注意图卷积网络模型并训练;将待识别的人体行为视频输入训练好的模型,获取对应的初始预测结果和softmax分数;根据初始预测结果利用多重心特征融合单元计算对应权重系数;采用特征融合模块将各softmax分数进行加权融合获得骨架动作识别结果。该方法可结合数量更多、特征更明显的关节数据以实现人体行为预测,提高预测精确度。
-
公开(公告)号:CN116524402A
公开(公告)日:2023-08-01
申请号:CN202310471296.4
申请日:2023-04-27
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
Abstract: 本发明公开了基于多头自注意力的多时间跨度上下文建模动作识别方法,包括:获取待识别视频并提取视频帧形成第一特征序列;对第一特征序列进行采样获得高频时间轴采样流和低频时间轴采样流;分别通过第一多时间跨度上下文聚合模块和数据增强模块对高频时间轴采样流进行特征提取,对应形成第一上下文提取特征和第一增强特征,并通过第二多时间跨度上下文聚合模块对低频时间轴采样流进行特征提取,形成第二上下文提取特征;将两个上下文提取特征进行相加平均后再与第一增强特征进行相加聚合,形成第一聚合特征;将第一聚合特征输入后处理模块获取动作识别结果。该方法能具有优秀的时序动作定位性能,动作识别准确率高。
-
公开(公告)号:CN217484740U
公开(公告)日:2022-09-23
申请号:CN202221350074.4
申请日:2022-05-27
Applicant: 杭州电子科技大学信息工程学院
IPC: G05B19/042
Abstract: 本实用新型公开一种智能电源管理控制系统。本实用新型包括RC522时频读卡器、控制模块、电源模块、通信模块;本实用新型摒弃了传统交流电源转换直流电源中,使用阻容降压电路的危险性,或使用ACDC降压芯片导致外围电路复杂性的弊端,通过隔离型阻容降压电路以低成本,稳定,安全地从220V获取5V直流电源,有效缩小了电路体积。本实用新型的电流采样通过电流互感器连接放大电路得以实现。相比以往并联电阻差分放大电流信号的方法,电流互感器的使用降低了电路功耗。
-
-
-
-
-
-
-
-