公开(公告)号：CN118968612A

公开(公告)日：2024-11-15

申请号：CN202410955188.9

申请日：2024-07-17

Applicant: 北京理工大学

Inventor： 杨宗霖 ,  潘利源 ,  杨焱 ,  石语珩 ,  杨浩 ,  张睿堃 ,  刘流 ,  吴心筱

IPC: G06V40/20 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0499 ,  G06N3/08 ,  G06V10/40

Abstract: 本发明涉及一种基于事件相机的少样本细粒度动作识别方法，属于计算机视觉和人工智能技术领域。该方法包括步骤1、将RGB帧和异步事件流对齐；步骤2、将步骤1对齐后的数据同时进行运动和语义特征学习；步骤3、将步骤2训练完毕的事件特征提取器替换进现有的基于RGB的少样本算法进行细粒度动作识别。本发明达到了可以提高识别准确性，优化了复杂环境适应性，提高了少样本学习效率和效果，减少了数据需求和处理时间的效果。

公开(公告)号：CN118334461A

公开(公告)日：2024-07-12

申请号：CN202410047905.8

申请日：2024-01-12

Applicant: 北京理工大学

Inventor： 潘利源 ,  杨焱 ,  刘流 ,  杨宗霖 ,  杨浩 ,  刘恩齐 ,  张睿堃 ,  董静涛

IPC: G06V10/774 ,  G06T7/10 ,  G06N3/096 ,  G06N3/045 ,  G06V10/40 ,  G06V10/762 ,  G06V10/74 ,  G06N3/0895 ,  G06V10/82

Abstract: 一种用于密集预测任务的事件相机数据预训练方法，属于计算机视觉和人工智能技术领域。所述预训方法包括下列步骤：S1，生成事件图像并增强图像。将原始事件转换为事件帧；对χ+进行仿射变换、高斯模糊和颜色抖动，生成增强后扭曲的图像χ*。S2，构建教师#imgabs0#和学生网络#imgabs1#S3，将事件图像χ+和χ*割成若干小块，向教师网络中输入包含所有小块的完整χ+和χ*，向教师网络中输入包含所有小块的完整χ*和随机掩盖部分小块的χ+。S4，特征提取。按照步骤三的输入，使用教师和学生网络进行图像特征提取。S5，上下文分配和聚合。使用K‑means聚类对教师网络的图像块特征进行聚类，形成不同的上下文。聚合每个上下文中的特征，形成教师网络的上下文嵌入。应用相同的上下文聚类结果到学生网络的补丁特征上。对学生网络的特征进行同样的聚合，形成学生网络的上下文嵌入。S6，施加相似性损失。施加三种类型的特征相似性损失，包括块级损失、上下文级损失、图像级损失。S7，端到端训练与损失优化。使用预设的损失函数和超参数进行优化，进行网络的端到端训练。本发明提供了使用事件相机数据进行密集预测的方法，并把自监督方法用于事件相机数据进行编码器预训练，可以完成密集预测任务的编码器预训练任务。