-
公开(公告)号:CN115861879A
公开(公告)日:2023-03-28
申请号:CN202211490319.8
申请日:2022-11-25
Applicant: 北京邮电大学
IPC: G06V20/40 , G06V10/764 , G06V10/80 , G06N3/048 , G06N3/08 , G10L25/51 , G10L25/57 , G10L25/30 , G10L25/03
Abstract: 本发明提出一种基于事件一致性的视听事件检测方法,包括:获取目标视频;将目标视频划分为N个不重叠的连续片段,获取图像流和音频流;对图像流和音频流进行特征提取,获取视听特征;通过视听联合学习将视听特征融合,其中,视听联合学习包括片段层面的特征编码以及视频层面的语义指导;将融合后的视听特征输入分类器中,得到目标视频的预测结果。本发明的方法利用事件的语义一致性来分别指导视觉和听觉模态的学习,可以确保模型更好地聚焦和定位发声对象。
-
公开(公告)号:CN113807321A
公开(公告)日:2021-12-17
申请号:CN202111212014.6
申请日:2021-10-18
Applicant: 北京邮电大学
Abstract: 本发明公开了基于关系建模的人体姿态估计方法,包括以下步骤:步骤一:给定一段包含N帧的视频,即RPSTN采用连续的T帧作为输入,给定由P生成的初始姿态,本发明相比于已有方法,本文提出的RPSTN对遮挡问题具有一定的鲁棒性,一方面JRE模块可以通过学习到的姿态结构信息,即关节点之间的关系,在空间上推理被遮挡关节点的位置,另一方面,JRPSP模块可以将未遮挡帧中的姿态信息传递到被遮挡帧中以帮助定位姿态,且避免了在生成关节点热图的过程中,已有方法都是单个关节点逐点定位,而忽略了关节点之间的联系,人体是一个有机的整体,在运动过程中各个关节点是相互关联的,已有方法逐点定位的方式会破坏人体的结构信息的问题。
-
公开(公告)号:CN112581499A
公开(公告)日:2021-03-30
申请号:CN202011500519.8
申请日:2020-12-17
Applicant: 北京邮电大学
Abstract: 本发明公开了一种基于深度状态空间模型的3D人体运动预测方法,先将人体运动的位置和速度作为观测,采用深度网络提取历史姿态序列的运动动力学规律来初始化状态空间模型的状态,通过状态到观测的转移递归地预测3D人体运动的多个未来姿态。本发明利用深度网络和状态空间模型的优点,将人体运动系统建模为深度状态空间模型,为各种人体运动系统提供了一个统一的描述,同时也能够对已有的模型进行分析。
-
公开(公告)号:CN119942638A
公开(公告)日:2025-05-06
申请号:CN202411949509.0
申请日:2024-12-27
Applicant: 北京邮电大学
IPC: G06V40/20 , G06V10/25 , G06V10/44 , G06V10/52 , G06V10/70 , G06V10/82 , G06N3/0455 , G06N3/0464
Abstract: 本申请提出一种基于Mamba的实时2D关键点检测方法及装置,涉及二维关键点检测领域,其中,方法包括:通过基于卷积神经网络的Stem网络接收输入图像,并提取初始姿态特征,获得初步特征;利用基于逐块递归特征提取模型的编码器处理所述初始特征,输出多级姿态特征,其中,所述编码器包括多个阶段,每个阶段都由上下文建模模块、二维选择性扫描模块和归一化层组成;使用解码器将所述编码器输出的多级姿态特征上采样为关键点热图,每个关键点的热图表示目标实例的关键点位置。本申请通过基于Mamba的轻量化网络结构设计,解决了传统方法中难以兼顾关键点检测实时性与高精度的技术问题,显著提升了关键点检测的实时性能和检测精度。
-
公开(公告)号:CN110598646A
公开(公告)日:2019-12-20
申请号:CN201910874723.7
申请日:2019-09-16
Applicant: 北京邮电大学
Abstract: 本发明公开了一种基于深度特征的无约束重复动作计数方法,其特征在于,具体步骤包括如下:构建BN-Inception网络,并进行深度特征提取;将提取的深度特征进行降维,得到降维后的周期图;利用傅里叶变换对所述周期图进行分段阈值滤波,得到光滑的频率图;根据滤波后的频率图进行计数。本发明提供了一种基于深度特征的无约束重复动作计数方法,为了捕获较鲁棒的运动特征并有效的避免相机移动的干扰,对捕获的视频提取RGB和光流图,在此基础上使用深度ConvNets进行特征提取,基于特征值寻找体现重复动作的运动规律,使用变周期的傅里叶变换来处理复杂场景的非静止的视频动态,获取明显的运动频率,更好的统计重复运动次数。
-
公开(公告)号:CN118196853A
公开(公告)日:2024-06-14
申请号:CN202410205230.5
申请日:2024-02-26
Applicant: 北京邮电大学
IPC: G06V40/16 , G06V10/774 , G06T7/246
Abstract: 本发明公开了一种基于深度图到点云的微表情识别方法,属于微表情识别技术领域,其包括:S1、准备工作:给定一个微表情数据集,以捕捉脸部的运动;S2、点云运动提取:通过深度图映射生成的密集点云可以保留完整的面部结构,同时点云在帧间高度对齐;S3、运动点云过滤:对运动点云过滤使得过滤后的点包含了最显著的运动幅度、方向和位置信息,充分表示面部动作特征;S4、点云模型验证:在多个点云模型上进行了验证,以评估运动点云有效性。本发明通过点与点之间的精确和全面的位置信息,它提供了更准确的面部运动信息,此外,通过去除静止点,完全保留面部运动信息,最大程度地减少了多余点的干扰。
-
公开(公告)号:CN110598646B
公开(公告)日:2022-07-12
申请号:CN201910874723.7
申请日:2019-09-16
Applicant: 北京邮电大学
IPC: G06V20/40 , G06V10/77 , G06V10/776 , G06K9/62
Abstract: 本发明公开了一种基于深度特征的无约束重复动作计数方法,其特征在于,具体步骤包括如下:构建BN‑Inception网络,并进行深度特征提取;将提取的深度特征进行降维,得到降维后的周期图;利用傅里叶变换对所述周期图进行分段阈值滤波,得到光滑的频率图;根据滤波后的频率图进行计数。本发明提供了一种基于深度特征的无约束重复动作计数方法,为了捕获较鲁棒的运动特征并有效的避免相机移动的干扰,对捕获的视频提取RGB和光流图,在此基础上使用深度ConvNets进行特征提取,基于特征值寻找体现重复动作的运动规律,使用变周期的傅里叶变换来处理复杂场景的非静止的视频动态,获取明显的运动频率,更好的统计重复运动次数。
-
公开(公告)号:CN111553276A
公开(公告)日:2020-08-18
申请号:CN202010349928.6
申请日:2020-04-28
Applicant: 北京邮电大学
Abstract: 本发明公开了一种基于自适应特征选择与信号趋势去除的动作计数方法,根据提取的深度特征使用主成分分析方法降维,并利用周期特征自适应的选择特征,确定代表特征;将代表特征使用多项式回归的方法拟合,去除信号趋势项;对去除信号趋势项后的代表特征,检测耦合动作;根据视频重复动作周期信号的峰值完成重复动作计数任务。本发明实现简单灵活,并取得了相当的检测效果。
-
公开(公告)号:CN119885861A
公开(公告)日:2025-04-25
申请号:CN202411929169.5
申请日:2024-12-25
Applicant: 国网湖北省电力有限公司信息通信公司 , 北京邮电大学 , 国网湖北省电力有限公司
Abstract: 本申请提出了一种基于高斯泼溅的电网设备CAD图纸三维重建方法,包括:对三视图草图进行噪声过滤与虚线去除,得到过滤后的草图;对过滤后的草图进行掩码提取,得到掩码图像,并对与掩码图像相对应的草图内部区域进行着色,得到上色的参考草图;以三视图相对位置关系为先验进行相机位姿定位,计算相机参数,实现在三维空间中定位三视图草图;通过相机参数和掩码图像构建视觉外壳,通过视觉外壳初始化3D高斯;对3D高斯进行优化,在优化过程中,将3D高斯渲染成2D草图,并将其与上色的参考草图计算损失,并通过梯度反传优化3D高斯;将重建的3D高斯曲面进行可视化展示,呈现3D CAD模型。采用上述方案的本发明实现了从CAD草图到3D CAD模型的稀疏视图重建。
-
公开(公告)号:CN111553276B
公开(公告)日:2023-06-20
申请号:CN202010349928.6
申请日:2020-04-28
Applicant: 北京邮电大学
Abstract: 本发明公开了一种基于自适应特征选择与信号趋势去除的动作计数方法,根据提取的深度特征使用主成分分析方法降维,并利用周期特征自适应的选择特征,确定代表特征;将代表特征使用多项式回归的方法拟合,去除信号趋势项;对去除信号趋势项后的代表特征,检测耦合动作;根据视频重复动作周期信号的峰值完成重复动作计数任务。本发明实现简单灵活,并取得了相当的检测效果。
-
-
-
-
-
-
-
-
-