-
公开(公告)号:CN118155283A
公开(公告)日:2024-06-07
申请号:CN202410288694.7
申请日:2024-03-14
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
IPC: G06V40/20 , G06V10/46 , G06N3/0464 , G06V10/82 , G06V10/80 , G06N3/045 , G06V10/764
Abstract: 本发明公开了一种基于多中心多模态的图卷积网络的骨架动作识别方法,包括如下步骤:步骤1、获取骨架数据并进行数据预处理和数据增强;步骤2、经步骤1处理后的骨架数据的关节流态作为一阶骨骼数据;步骤3、对关节流态进行处理得到二阶骨架数据,所述二阶骨骼数据包括骨骼流态;步骤4、应用GPT‑3模型,将人体动作识别数据作为输入生成离线动作的文本描述数据;步骤5、构建并训练多中心多模态图卷积网络模型;步骤6、分别将关节流态数据、骨骼流态数据以及文本描述数据输入输出最后的预测结果。该方法方便网络在极端尺度变化下识别和检测对象,实现注意特征融合。有助于提高人体行为的预测精确度。
-
公开(公告)号:CN114821640B
公开(公告)日:2023-07-18
申请号:CN202210381360.5
申请日:2022-04-12
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
Abstract: 本发明公开了基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法,包括:获取人体行为视频并预处理;从预处理后的视频中提取每帧图像的人体骨架数据形成骨架序列;填充骨架序列形成新的骨架序列;基于新的骨架序列获取每帧图像的二阶信息数据;基于二阶信息数据的类别和新的骨架序列分别对应建立训练集和标签;建立膨胀时空图卷积网络模型;将各类训练集和标签输入膨胀时空图卷积网络模型进行训练;将待识别的视频建立训练集后输入预训练好的模型,获取的融合结果即为最终预测结果。该方法可更好地获取网络不同层的语义信息,并在不增加计算量的情况下结合数量更多、特征更明显的关节数据实现人体行为预测,大大提高人体行为的预测精确度。
-
公开(公告)号:CN119992429A
公开(公告)日:2025-05-13
申请号:CN202510471124.6
申请日:2025-04-15
Applicant: 杭州电子科技大学信息工程学院
IPC: G06V20/40 , G06V40/20 , G06V10/82 , G06V10/44 , G06V10/776 , G06V10/80 , G06V10/62 , G06V10/774 , G06N3/045 , G06N3/0464
Abstract: 本发明公开了一种基于双阶段神经网络的点监督时序动作定位方法及系统。该方法包括:首先针对点监督标注的时序动作定位数据集,通过I3D视频特征提取网络提取每个动作视频的视频特征;然后对候选提案生成模块进行第一阶段的帧级原型学习,以及对边界定位模块进行第二阶段的实例级边界学习;最后,针对目标动作视频,将其通过I3D视频特征提取网络提取视频特征后输入经过学习的候选提案生成模块,生成所有候选提案后输入经过学习的边界定位模块,对得到的所有修正后提案计算提案分数并执行soft‑NMS算法,获得最终提案。本发明可有效区分视频中的背景和动作,同时提取视频全局的动作特征。以实现人体时序动作定位,提高定位精确度。
-
公开(公告)号:CN118446439A
公开(公告)日:2024-08-06
申请号:CN202410335702.9
申请日:2024-03-22
Applicant: 杭州电子科技大学信息工程学院
IPC: G06Q10/0631 , G06Q10/0637 , G06Q10/04 , G06Q30/0201 , G06Q30/0202 , G06N3/126 , G06N3/006
Abstract: 本发明公开了一种基于三层数据模型网络优化的企业资源配置决策方法及系统,方法包括如下步骤:第一步,识别和分析产品之间的基本属性关联;第二步,对第一步识别的产品属性关联进行量化分析;第三步:将产品数据与市场、业务因素相结合,形成全面的策略。本发明通过数据计算服务来优化决策过程,实现组织数字化变革。
-
公开(公告)号:CN117037039A
公开(公告)日:2023-11-10
申请号:CN202311045216.5
申请日:2023-08-18
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
IPC: G06V20/40 , G06V40/20 , G06V10/774 , G06V10/82 , G06V10/764 , G06V10/766 , G06N3/0464
Abstract: 本发明公开了一种基于Transformer的视频多注意力机制的时序动作检测方法,包括如下步骤:S1、获取待检测的视频图像,将视频帧经过预训练的视频模型提取初始视频特征;S2、将所述视频特征输入到一个浅层卷积网络进行投影得到视频片段特征嵌入;S3、将所有特征嵌入输入到局部自注意力的Transformer模块输出其局部样式特征;S4、将所述的局部样式特征输入到全局自注意力的Transformer模块对长期依赖进行建模;S5、最终每个Transformer层的输出构建为特征金字塔结构;S6、将特征金字塔的每一层输入到检测头中,检测头中包括回归头和分类头,分别输出最终动作的时序边界和类别。该方法能够提升动作检测的准确率,同时效率比传统的Transformer模型更高。
-
公开(公告)号:CN116678370A
公开(公告)日:2023-09-01
申请号:CN202310663492.1
申请日:2023-06-06
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
Abstract: 本发明公开了一种基于矩形信息的单目视觉平面测距方法,包括如下步骤:在玻璃移动所在的待测平面上放置一已知的矩形物体,通过拍摄相机获得图片,并取得拍摄相机的参数;取得已知矩形四个顶点在图片上的坐标以及矩形的实际对角长;根据获取的矩形顶点坐标、对角长以及拍摄相机的参数,得到预设参数并保存;读取玻璃上第一待测点在图片上的坐标,并根据得到的预设参数得到第一待测点对应的向量;读取玻璃上第二待测点在图片上的坐标,并根据得到的预设参数得到第二待测点对应的向量,可得到两个待测点之间的真实距离。该方法相比传统的单目视觉计算方案具有更少的计算量,解决透明物体难测的问题,同时保证足够的精度。
-
公开(公告)号:CN116582241A
公开(公告)日:2023-08-11
申请号:CN202310321412.4
申请日:2023-03-29
Applicant: 杭州电子科技大学信息工程学院
Abstract: 本发明涉及椭圆曲线图像加解密系统及方法,系统中,第一反射镜与第一分束器相连,第一分束器与主激光器、第二分束器相连,第二分束器连接第一至四从激光器,该四从激光器分别接第三至六分束器,第三至六分束器分别接第二至五反射镜及第一至四光电检测器,第一至四光电检测器分别接第一至四电混沌序列生成器;第一、二电混沌序列生成器连接至混沌置乱与椭圆曲线加密器,加密器连接异或加密器,随机数产生器连接深度学习优化器,异或加密器连接电光转换器;哈希序列生成器与偏置电流控制器连接,控制器与主激光器连接;第三、四电混沌序列生成器与椭圆曲线解密器相连,解密器与异或解密器连接,解密器通过第五光电检测器与电光转换器相连。
-
公开(公告)号:CN114821420B
公开(公告)日:2023-07-25
申请号:CN202210448080.1
申请日:2022-04-26
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
IPC: G06V20/40 , G06V10/44 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多时间分辨率时态语义聚合网络的时序动作定位方法,包括:获取原始视频并进行预处理,预处理为从原始视频中提取特征序列并注释标签;复制特征序列为N'份,并通过卷积层将复制后的各特征序列的时间分辨率调整为不同值;建立多时间分辨率时态语义聚合网络;将时间分辨率调整后的各特征序列一一对应输入子模块,采用分类损失和回归损失训练多时间分辨率时态语义聚合网络;利用训练好的多时间分辨率时态语义聚合网络预测待识别视频的动作开始时间、动作结束时间、动作种类和置信分数。该方法可获得更灵活更具鲁棒性的上下文关系表达,并大大提高计算能力和时序动作定位的准确性。
-
公开(公告)号:CN116012950B
公开(公告)日:2023-06-30
申请号:CN202310117822.7
申请日:2023-02-15
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
IPC: G06V40/20 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/047 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于多重心时空注意图卷积网络的骨架动作识别方法,包括:对预处理后的人体行为视频进行一阶骨骼信息提取并形成第一骨架序列;将第一骨架序列转换为第二骨架序列;获取每帧图像的二阶骨骼信息;根据四种流态数据对应建立四类训练集和标签;建立多重心时空注意图卷积网络模型并训练;将待识别的人体行为视频输入训练好的模型,获取对应的初始预测结果和softmax分数;根据初始预测结果利用多重心特征融合单元计算对应权重系数;采用特征融合模块将各softmax分数进行加权融合获得骨架动作识别结果。该方法可结合数量更多、特征更明显的关节数据以实现人体行为预测,提高预测精确度。
-
公开(公告)号:CN114821420A
公开(公告)日:2022-07-29
申请号:CN202210448080.1
申请日:2022-04-26
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
Abstract: 本发明公开了一种基于多时间分辨率时态语义聚合网络的时序动作定位方法,包括:获取原始视频并进行预处理,预处理为从原始视频中提取特征序列并注释标签;复制特征序列为N'份,并通过卷积层将复制后的各特征序列的时间分辨率调整为不同值;建立多时间分辨率时态语义聚合网络;将时间分辨率调整后的各特征序列一一对应输入子模块,采用分类损失和回归损失训练多时间分辨率时态语义聚合网络;利用训练好的多时间分辨率时态语义聚合网络预测待识别视频的动作开始时间、动作结束时间、动作种类和置信分数。该方法可获得更灵活更具鲁棒性的上下文关系表达,并大大提高计算能力和时序动作定位的准确性。
-
-
-
-
-
-
-
-
-