公开(公告)号：CN120014706A

公开(公告)日：2025-05-16

申请号：CN202510109511.5

申请日：2025-01-23

Applicant: 复旦大学

Inventor： 姜育刚 ,  吴祖煊 ,  王雨轩 ,  陈智能

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06T5/50 ,  G06T3/4038 ,  G06T5/00 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种跨场景的动作识别方法，属于计算机视觉视频理解任务技术领域。本发明的跨场景的动作识别方法本发明首先训练一个暗转亮的扩散模型，结合基于正常光照数据预训练的大规模扩散模型中获得的先验知识，将输入的黑暗视频帧转换成光亮视频帧。在恢复采样过程中，将一种特定的时空注意力机制集成到训练好的条件扩散模型中，从而缓解基于图像训练的低光照增强方法引起的视频帧间的不连续性。随后设计特定自蒸馏分支并配置到动作识别骨干网络中，提取骨干网络各层之间的加权时空特征，以提高动作识别网络的泛化能力。相比于业内主流方法，本发明在现有的黑暗视频识别数据集上都取得了最先进的结果，同时比基线结果有大幅度的效果提升。