公开(公告)号：CN116091978A

公开(公告)日：2023-05-09

申请号：CN202310159288.6

申请日：2023-02-24

Applicant: 北京工业大学

Inventor： 任柯燕 ,  张淳 ,  黄靖懿 ,  边青云

IPC: G06V20/40 ,  G06V10/46 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种基于高级语义信息特征编码的视频描述方法。该发明包括：通过人工智能网络预测输入视频序列中包含的多个独立事件，并输出各事件的起止时间以及相应文字描述；通过解耦地提取原生视频的空间与时序特征，摒弃传统骨干网络，保留更完整的语义信息；通过高级语义信息编码器以及特征融合模块提炼视频特征，对高级语义信息进行解码以获得视频描述特征，取得更好的描述效果；通过时间戳预测模块以及描述内容预测模块分别处理视频描述特征获得最终描述结果。本发明主要针对包含多个事件的视频，具有参数量低、精度高，方便对视频操作等特点；对于生成的描述信息，可根据应用场景实现分类、检索、辅助视听等任务。

公开(公告)号：CN117854112A

公开(公告)日：2024-04-09

申请号：CN202410054481.8

申请日：2024-01-15

Applicant: 北京工业大学

Inventor： 任柯燕 ,  史禹 ,  赵虎 ,  刘海钰 ,  黄靖懿

IPC: G06V40/10 ,  G06V10/26 ,  G06V10/80 ,  G06V10/42 ,  G06V10/44 ,  G06V10/766 ,  G06V10/82

Abstract: 本发明公开一种基于自适应遮蔽的三维人体姿态估计方法，以单目无标注图像为输入估计人体的姿态和外形参数，通过多尺度的遮挡训练能够适应室外各种复杂的遮挡情况，且得到更加稳定且准确的姿态估计。本发明提出了一个全局重优化模块，利用全局特征作为人体的高级语义表征，来完善仅由局部特征预测出的人体姿态，这种局部特征和全局特征的结合，同时也确保了对遮挡区域回归的鲁棒性。从总体结果来看，本发明在遮挡条件下达到了最先进的人体姿态和外形估计的表现。所提出的人体姿态估计方法能有效提高实际部署场景下的人体估计精度，尤其在复杂的遮蔽环境中能够进行稳定的部署。

公开(公告)号：CN116612135A

公开(公告)日：2023-08-18

申请号：CN202310641115.8

申请日：2023-06-01

Applicant: 北京工业大学

Inventor： 任柯燕 ,  黄靖懿 ,  岳天一 ,  史禹 ,  赵虎

IPC: G06T7/11 ,  G06T7/136 ,  G06T5/00 ,  G06V10/774 ,  G06V10/764 ,  G06T7/40

Abstract: 本发明公开一种基于循环生成对抗网络的卫星图阴影去除方法，生成器分别实现图像的阴影去除和阴影生成工作，判别器分别判断生成图像是否属于有/无阴影图域，生成器和判别器共同促进阴影去除任务的实现。该发明首先分析自然场景的有/无阴影图像中的阴影亮度特征和纹理特点，以降低分辨率的高分辨率卫星图为无阴影卫星图像，并在此基础上构建含有模拟阴影的有阴影卫星图像。然后，通过循环生成对抗网络对配对的有/无阴影卫星图像的学习，从而泛化地解决真实卫星图像中阴影去除的问题。本发明主要针对卫星图像中没有配对的有/无阴影图像进行了数据集的模拟制作，提出了循环生成对抗网络以阴影生成任务辅助阴影去除，实现在有/无阴影卫星图域之间的图像迁移，并以视觉自注意力模型的非传统编码器模块辅助生成器进行更好的特征迁移。相比于传统模块，它对调了多头自注意力机制和层归一化，对调了多层感知机和层归一化，可以使得网络拥有更强的建模能力。