公开(公告)号：CN117788791A

公开(公告)日：2024-03-29

申请号：CN202311729189.3

申请日：2023-12-15

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 罗珊珊 ,  刘建坡 ,  孟方舟

IPC: G06V10/25 ,  G06V10/20 ,  G06V10/42 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06V20/10 ,  G06T5/94 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明涉及一种基于多尺度融合的野外小目标检测方法，包括：接收野外可见光图像，并对所述野外可见光图像进行对比度增强处理；将对比度增强处理后的野外可见光图像输入至多尺度融合小目标检测模型，得到目标检测结果；其中，多尺度融合小目标检测模型包括：骨干网络部分，用于从对比度增强处理后的野外可见光图像中提取出多尺度特征和包含局部特征和全局特征的深度特征信息；颈部网络部分，用于将提取到的多尺度特征和包含局部特征和全局特征的深度特征信息进行多尺度融合，并在融合时保留小目标的特征；头部网络部分，用于根据多尺度融合后的特征信息预测目标类别集坐标位置，得到目标检测结果。本发明能够有效提高小目标检测的抗干扰能力。

公开(公告)号：CN113807214B

公开(公告)日：2024-01-05

申请号：CN202111015756.X

申请日：2021-08-31

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 宋尧哲 ,  孟方舟 ,  舒子婷 ,  吴萌萌 ,  童官军

IPC: G06F30/27

Abstract: 本发明涉及一种基于deit附属网络知识蒸馏的小目标人脸识别方法，包括：构建deit网络作为学生网络，并构建教师网络并在其后增加残差连接模块，利用教师网络先在高像素人脸图像上训练学生网络；对训练好的学生网络输入小目标人脸图像，得到第二分类特征和第二蒸馏特征；对所述教师网络输入与训练好的deit网络相同身份但未降采样的图像，得到第二教师特征；根据所述第二分类特征与真实标签构建第三损失函数，根据所述第二蒸馏特征与第二教师特征构建第四损失函数，并将所述第三损失函数和第(56)对比文件姜慧明.“基于生成对抗网络与知识蒸馏的人脸修复与表情识别”《.中国硕士学位论文全文数据库》.2020,全文.Qianwei Zhou等.“A Seismic-BasedFeature Extraction Algorithm for RobustGround Target Classification”《.IEEESignal Processing Letters》.2012,第19卷全文.Ji Won Yoon等“.TutorNet: TowardsFlexible Knowledge Distillation for End-to-End Speech Recognition”《.IEEE/ACMTransactions on Audio, Speech, andLanguage Processing 》.2021,第29卷全文.Mengmeng Wu等“.Contact Angle of anEvaporating Droplet of Binary Solution ona Super Wetting Surface”《.ARXIV》.2021,全文.Nandan Kumar Jha等.“On theDemystification of KnowledgeDistillation: A Residual NetworkPerspective”《.ARXIV》.2020,全文.高新波;路文;查林;惠政;亓统帅;姜建德.超高清视频画质提升技术及其芯片化方案.重庆邮电大学学报(自然科学版).2020,(第05期),全文.QIU XiPeng;SUN TianXiang;XU YiGe;SHAOYunFan;DAI Ning;HUANG XuanJing.Pre-trained models for natural languageprocessing: A survey.Science China(Technological Sciences).2020,(第10期),全文.

公开(公告)号：CN119359559A

公开(公告)日：2025-01-24

申请号：CN202411233193.5

申请日：2024-09-04

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 孟方舟 ,  童官军 ,  李宝清

IPC: G06T5/50 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06V10/77 ,  G06N3/0464

Abstract: 本发明涉及一种基于语义感知的可见光与红外图像融合方法，包括以下步骤：获取成对的可见光图像和红外图像；将红外图像转化为单通道的灰度图像，将可见光图像转化为ycbcr格式并单独使用y通道，得到y通道图像；将所述灰度图像和y通道图像输入融合网络模型，得到单通道融合图像。本发明能够有效聚合局部和全局信息，赋予融合网络语义感知的能力。

公开(公告)号：CN117372271A

公开(公告)日：2024-01-09

申请号：CN202311207197.1

申请日：2023-09-19

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 孟方舟 ,  洪澳萍 ,  罗珊珊 ,  童官军

IPC: G06T5/50 ,  G06T3/4038 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084 ,  G06N3/0895 ,  G06N3/096

Abstract: 本发明涉及一种基于知识蒸馏的自监督可见光与红外图像融合方法，包括：接收待融合的可见光图像和红外图像；将可见光图像和红外图像进行拼接，得到拼接图像；将拼接图像输入图像融合模型中，得到融合图像；其中，图像融合模型包括教师网络部分和学生网络部分；教师网络部分包括：教师编码器，用于提取拼接图像的特征，得到第一特征信息；教师第一解码器和教师第二解码器，分别用于基于第一特征信息重构可见光图像和红外图像；学生网络部分包括：学生编码器，用于在教师编码器的指导下提取拼接图像的特征，得到第二特征信息；学生解码器，用于基于第二特征信息生成可见光图像和红外图像的融合图像。本发明能够充分融合两类图像的有用信息。

公开(公告)号：CN113807214A

公开(公告)日：2021-12-17

申请号：CN202111015756.X

申请日：2021-08-31

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 宋尧哲 ,  孟方舟 ,  舒子婷 ,  吴萌萌 ,  童官军

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明涉及一种基于deit附属网络知识蒸馏的小目标人脸识别方法，包括：构建deit网络作为学生网络，并构建教师网络并在其后增加残差连接模块，利用教师网络先在高像素人脸图像上训练学生网络；对训练好的学生网络输入小目标人脸图像，得到第二分类特征和第二蒸馏特征；对所述教师网络输入与训练好的deit网络相同身份但未降采样的图像，得到第二教师特征；根据所述第二分类特征与真实标签构建第三损失函数，根据所述第二蒸馏特征与第二教师特征构建第四损失函数，并将所述第三损失函数和第四损失函数相加得到第二总损失；在所述第二总损失下，对训练好的deit网络进行二次训练。本发明能够对小目标人脸图像进行有效识别。