公开(公告)号：CN114332723B

公开(公告)日：2024-03-22

申请号：CN202111669113.7

申请日：2021-12-31

Applicant: 北京工业大学

Inventor： 任柯燕 ,  张云路 ,  张淳 ,  闫桐 ,  赵虎

IPC: G06V20/40 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084 ,  G06V40/20

Abstract: 本发明公开了基于语义指导的视频行为检测方法，通过特征的下采样来扩大时间感受野，并将线性插值用于上采样环节，从而得到视频时序上的粗略语义信息，用于指导时间卷积模型的输出；同时对模型的主干网络使用参数共享结构，将网络分为了三部分：生成粗略预测、细化和最终预测，以实现网络层数与参数量的最佳搭配；针对模型的时间建模能力，本发明提供了一种不需人工标注的视频速度预测的自监督辅助任务，可通过随机采样率的变换来模拟视频的播放速度，以辅助主干网络生成质量更高的预测。本发明主要针对以人为主体的视频，具有参数量低、精度高，方便对长视频进行操作等特点；对于无人的视频，本发明根据转场对视频进行分割。

公开(公告)号：CN114332723A

公开(公告)日：2022-04-12

申请号：CN202111669113.7

申请日：2021-12-31

Applicant: 北京工业大学

Inventor： 任柯燕 ,  张云路 ,  张淳 ,  闫桐 ,  赵虎

IPC: G06V20/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于语义指导的视频行为检测方法，通过特征的下采样来扩大时间感受野，并将线性插值用于上采样环节，从而得到视频时序上的粗略语义信息，用于指导时间卷积模型的输出；同时对模型的主干网络使用参数共享结构，将网络分为了三部分：生成粗略预测、细化和最终预测，以实现网络层数与参数量的最佳搭配；针对模型的时间建模能力，本发明提供了一种不需人工标注的视频速度预测的自监督辅助任务，可通过随机采样率的变换来模拟视频的播放速度，以辅助主干网络生成质量更高的预测。本发明主要针对以人为主体的视频，具有参数量低、精度高，方便对长视频进行操作等特点；对于无人的视频，本发明根据转场对视频进行分割。

公开(公告)号：CN117934817A

公开(公告)日：2024-04-26

申请号：CN202410137581.7

申请日：2024-01-31

Applicant: 北京工业大学

Inventor： 任柯燕 ,  胡兆欣 ,  杨贺雄 ,  赵虎 ,  王世豪

IPC: G06V10/25 ,  G06V20/64 ,  G06V10/82 ,  G06V10/422 ,  G06V10/44 ,  G06N3/0455 ,  G06V10/80

Abstract: 本发明公开了一种基于点云密度信息的点云特征提取方法，通过利用高密度、低密度点云以及密度变化的趋势的特点设计特征提取网络，使得得到的点云特征带有形状倾向性和场景稳定性，可以适应3D弱监督检测条件下，缺乏精确标注框的指引的场景。该方法包括以下步骤：在密度下降阶段，利用差值Transformer进行局部邻域空间的位置编码和特征提取，并保存密度下降过程中的特征信息以及对应的密度变化趋势；在密度恢复阶段，根据保存的特征信息和密度变化趋势与原始的特征进行偏差注意力计算，将提取的最终特征连接相应的下游任务，得到最终的结果。

公开(公告)号：CN117854112A

公开(公告)日：2024-04-09

申请号：CN202410054481.8

申请日：2024-01-15

Applicant: 北京工业大学

Inventor： 任柯燕 ,  史禹 ,  赵虎 ,  刘海钰 ,  黄靖懿

IPC: G06V40/10 ,  G06V10/26 ,  G06V10/80 ,  G06V10/42 ,  G06V10/44 ,  G06V10/766 ,  G06V10/82

Abstract: 本发明公开一种基于自适应遮蔽的三维人体姿态估计方法，以单目无标注图像为输入估计人体的姿态和外形参数，通过多尺度的遮挡训练能够适应室外各种复杂的遮挡情况，且得到更加稳定且准确的姿态估计。本发明提出了一个全局重优化模块，利用全局特征作为人体的高级语义表征，来完善仅由局部特征预测出的人体姿态，这种局部特征和全局特征的结合，同时也确保了对遮挡区域回归的鲁棒性。从总体结果来看，本发明在遮挡条件下达到了最先进的人体姿态和外形估计的表现。所提出的人体姿态估计方法能有效提高实际部署场景下的人体估计精度，尤其在复杂的遮蔽环境中能够进行稳定的部署。

公开(公告)号：CN116612135A

公开(公告)日：2023-08-18

申请号：CN202310641115.8

申请日：2023-06-01

Applicant: 北京工业大学

Inventor： 任柯燕 ,  黄靖懿 ,  岳天一 ,  史禹 ,  赵虎

IPC: G06T7/11 ,  G06T7/136 ,  G06T5/00 ,  G06V10/774 ,  G06V10/764 ,  G06T7/40

Abstract: 本发明公开一种基于循环生成对抗网络的卫星图阴影去除方法，生成器分别实现图像的阴影去除和阴影生成工作，判别器分别判断生成图像是否属于有/无阴影图域，生成器和判别器共同促进阴影去除任务的实现。该发明首先分析自然场景的有/无阴影图像中的阴影亮度特征和纹理特点，以降低分辨率的高分辨率卫星图为无阴影卫星图像，并在此基础上构建含有模拟阴影的有阴影卫星图像。然后，通过循环生成对抗网络对配对的有/无阴影卫星图像的学习，从而泛化地解决真实卫星图像中阴影去除的问题。本发明主要针对卫星图像中没有配对的有/无阴影图像进行了数据集的模拟制作，提出了循环生成对抗网络以阴影生成任务辅助阴影去除，实现在有/无阴影卫星图域之间的图像迁移，并以视觉自注意力模型的非传统编码器模块辅助生成器进行更好的特征迁移。相比于传统模块，它对调了多头自注意力机制和层归一化，对调了多层感知机和层归一化，可以使得网络拥有更强的建模能力。