公开(公告)号：CN118115395A

公开(公告)日：2024-05-31

申请号：CN202410048029.0

申请日：2024-01-12

Applicant: 北京理工大学

Inventor： 潘利源 ,  杨宗霖 ,  杨浩 ,  杨焱 ,  梁玮 ,  张睿堃 ,  刘恩齐 ,  董静涛

IPC: G06T5/77 ,  G06N3/0499 ,  G06N3/047 ,  G06N3/045 ,  G06N5/04

Abstract: 本发明涉及一种语言驱动的一体式图像恶劣天气去除方法，属于计算机视觉和人工智能技术领域，包括：获取输入图像的退化先验Pemb；查询PVL模型，以推理输入图像Id中的退化情况，产生文本描述Ptxt；将所述Ptxt投影到Pemb；将输入图像Id编码为特征X；从可训练的卷积滤波器中选择专家/参数，恢复每个像素的退化；通过Pemb和X计算得出退化图M；基于退化图M，为X的每个像素选择恢复专家，生成中间恢复特征#imgabs0#通过交叉注意力机制，逐像素聚合所述#imgabs1#根据退化图M改善特征的局部性；使用前馈网络处理聚合后的特征，生成最终的恢复特征#imgabs2#将#imgabs3#解码为恢复后的图像Ic。本发明具有计算复杂度低、资源需求少，适应性高、部署使用容易、实施效果好的特点。

公开(公告)号：CN118968612A

公开(公告)日：2024-11-15

申请号：CN202410955188.9

申请日：2024-07-17

Applicant: 北京理工大学

Inventor： 杨宗霖 ,  潘利源 ,  杨焱 ,  石语珩 ,  杨浩 ,  张睿堃 ,  刘流 ,  吴心筱

IPC: G06V40/20 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0499 ,  G06N3/08 ,  G06V10/40

Abstract: 本发明涉及一种基于事件相机的少样本细粒度动作识别方法，属于计算机视觉和人工智能技术领域。该方法包括步骤1、将RGB帧和异步事件流对齐；步骤2、将步骤1对齐后的数据同时进行运动和语义特征学习；步骤3、将步骤2训练完毕的事件特征提取器替换进现有的基于RGB的少样本算法进行细粒度动作识别。本发明达到了可以提高识别准确性，优化了复杂环境适应性，提高了少样本学习效率和效果，减少了数据需求和处理时间的效果。

公开(公告)号：CN117934329A

公开(公告)日：2024-04-26

申请号：CN202410100420.0

申请日：2024-01-24

Applicant: 北京理工大学

Inventor： 潘利源 ,  杨浩 ,  杨焱 ,  杨宗霖 ,  刘恩齐 ,  张睿堃 ,  董静涛

IPC: G06T5/73 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出的一种基于语言驱动的全像素双核图像散焦模糊去除方法，属于计算摄像与图像处理技术领域。本方法提出使用对比语言图像预训练模型作为双像素图像的模糊图估计模块，通过该模块给出估计的模糊图，然后在模糊先验注意力模块的引导下恢复清晰图像；其次，依托于模糊估计模块，提出了模糊加权损失和模糊感知损失，模糊加权损失利用模糊估计模块生成的模糊图，对图像中不同的区域采用不同的损失权重，这使得网络能够专注于修复模糊更严重的区域；模糊感知损失使用模糊估计模块检测去模糊图像中的残留模糊。本方法能够能够获得显式和准确的模糊图，从而更好地处理空间分布不均匀的模糊图像，同时能够保留模糊图像的清晰区域。

公开(公告)号：CN119693272A

公开(公告)日：2025-03-25

申请号：CN202411529461.8

申请日：2024-10-30

Applicant: 北京理工大学

Inventor： 张睿堃 ,  杨浩 ,  杨焱 ,  潘利源 ,  杨宗霖 ,  刘恩齐 ,  董静涛

IPC: G06T5/77 ,  G06T5/60

Abstract: 本发明公开的一种大型多模态模型引导的自适应图像雾气去除方法，属于视觉信息处理技术领域，适用于雾天场景图像处理方面。本发明实现方法为：1、用预训练的大型多模态模型获得退化先验；2、雾气图像与退化先验输入至MoE‑SSM模型中进行训练，用于动态调整模型参数，进而进行动态感知去雾；3、利用浅层特征Fs和优化特征#imgabs0#进行融合，重建干净无雾的图像；4、用干净无雾的图像与真值清晰图像利用如式(8)所示的Charbonnier损失函数训练神经网络，用于惩罚恢复图像与真值清晰图像的偏差，并鼓励一致的图像梯度；与现有技术相比，解决现有去雾模型图像处理中感受野与计算效率的折衷处理问题，同时减少大量标注数据的需求，进而提高了图像处理精准度与稳定性。

公开(公告)号：CN118334461A

公开(公告)日：2024-07-12

申请号：CN202410047905.8

申请日：2024-01-12

Applicant: 北京理工大学

Inventor： 潘利源 ,  杨焱 ,  刘流 ,  杨宗霖 ,  杨浩 ,  刘恩齐 ,  张睿堃 ,  董静涛

IPC: G06V10/774 ,  G06T7/10 ,  G06N3/096 ,  G06N3/045 ,  G06V10/40 ,  G06V10/762 ,  G06V10/74 ,  G06N3/0895 ,  G06V10/82

Abstract: 一种用于密集预测任务的事件相机数据预训练方法，属于计算机视觉和人工智能技术领域。所述预训方法包括下列步骤：S1，生成事件图像并增强图像。将原始事件转换为事件帧；对χ+进行仿射变换、高斯模糊和颜色抖动，生成增强后扭曲的图像χ*。S2，构建教师#imgabs0#和学生网络#imgabs1#S3，将事件图像χ+和χ*割成若干小块，向教师网络中输入包含所有小块的完整χ+和χ*，向教师网络中输入包含所有小块的完整χ*和随机掩盖部分小块的χ+。S4，特征提取。按照步骤三的输入，使用教师和学生网络进行图像特征提取。S5，上下文分配和聚合。使用K‑means聚类对教师网络的图像块特征进行聚类，形成不同的上下文。聚合每个上下文中的特征，形成教师网络的上下文嵌入。应用相同的上下文聚类结果到学生网络的补丁特征上。对学生网络的特征进行同样的聚合，形成学生网络的上下文嵌入。S6，施加相似性损失。施加三种类型的特征相似性损失，包括块级损失、上下文级损失、图像级损失。S7，端到端训练与损失优化。使用预设的损失函数和超参数进行优化，进行网络的端到端训练。本发明提供了使用事件相机数据进行密集预测的方法，并把自监督方法用于事件相机数据进行编码器预训练，可以完成密集预测任务的编码器预训练任务。

公开(公告)号：CN119964226A

公开(公告)日：2025-05-09

申请号：CN202411713132.9

申请日：2024-11-27

Applicant: 北京理工大学

Inventor： 刘恩齐 ,  潘利源 ,  杨浩 ,  杨宗霖 ,  张睿堃 ,  董静涛

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/40 ,  G06V10/74 ,  G06V10/75 ,  G06N3/045

Abstract: 本发明公开的一种基于多粒度框架的细粒度视频动作识别方法，属于计算机视觉技术领域。本发明实现方法为：1、利用LLM大语言模型进行细粒度文本获取；2、对细粒度文本进行过滤度量，获得优化细粒度文本；3、粗、细粒度视频特征获取；4、获取混合粒度视频特征；具体的，将细粒度视频特征与粗粒度视频特征采用FFN前馈传播进行特征融合得到混合视频特征；5、视频动作识别；与现有技术相比，在细粒度视频动作识别中，本发明提升了细粒度视频动作识别的精确性。