-
公开(公告)号:CN113827234B
公开(公告)日:2022-03-18
申请号:CN202111412880.X
申请日:2021-11-25
Applicant: 之江实验室
IPC: A61B5/1455 , A61B5/00 , G06V40/16 , G06V10/77 , G06V10/774 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明属于非接触式生理信号检测领域,涉及一种基于高光谱人脸视频的远程脉搏波重建方法,首先利用高光谱相机录制人脸视频,将录制好的人脸视频输入到光谱通道选择网络中,经过处理得到降维之后的特征;进一步的,将上一步得到的降维之后的特征输入进特征提取网络,输出为一段特征向量,最终将特征向量输入到信号重建网络中,得到重建的脉搏波信号。本发明通过光谱通道选择网络对大量的高光谱数据进行降维,提高了之后的推理速度;其次,在特征提取网络中,通过在组合数据集上的预训练加速了模型的收敛,并且通过注意力机制提高了网络对重要特征的关注程度;最后,在信号重建网络中,利用多层LSTM提取到网络的时序特征并以此对信号进行重建。
-
公开(公告)号:CN113657561B
公开(公告)日:2022-03-18
申请号:CN202111220897.5
申请日:2021-10-20
Applicant: 之江实验室
IPC: G06K9/62 , G06V10/764 , G06V10/774 , G06N3/08
Abstract: 本发明公开了一种基于多任务解耦学习的半监督夜间图像分类方法,将白天带标签的样本与夜间无标签的样本,一同输入特征提取网络,其中白天样本提取的特征向量输入分类网络头,采用交叉熵损失函数进行监督;夜间样本提取的特征向量,首先输入分类网络头获得伪标签,再根据伪标签构造正负样本对后输入自监督网络头,采用角度对比损失函数进行监督训练;完成模型多任务训练后,将夜间数据集中少量带标签的样本输入特征提取网络与分类网络头,进行迭代自蒸馏学习,最终实现夜间数据集可以有效分类的效果。
-
公开(公告)号:CN114067294A
公开(公告)日:2022-02-18
申请号:CN202210052681.0
申请日:2022-01-18
Applicant: 之江实验室
IPC: G06V20/58 , G06V20/62 , G06V10/40 , G06V10/74 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于文本特征融合的细粒度车辆识别系统及方法,系统包括:特征提取模块、分类层、文本表示网络、相似度计算模块、融合标签计算模块、散度损失计算模块;方法包括:步骤S1,构建细粒度车辆图像分类数据集;步骤S2,将训练图像进行特征提取;步骤S3,对图像特征向量进行分类;步骤S4,将数据集各子类标签输入预先训练好的文本表示网络;步骤S5,通过图像特征向量与图像标签的词向量;将得到的强化标签分布与原标签向量进行加权融合;步骤S6,将预测标签分布与加权融合的标签分布的相似度作为损失,指导整个系统的训练;步骤S7,推理阶段,将待测图像进行特征提取与分类层,根据预测的标签分布确定图像类别。
-
公开(公告)号:CN113947766A
公开(公告)日:2022-01-18
申请号:CN202111567665.7
申请日:2021-12-21
Applicant: 之江实验室
Abstract: 本发明公开了一种基于卷积神经网络的实时车牌检测方法,包括如下步骤:获取包含车牌的车辆图像,作为训练集,设计keypoint‑Anchor,提取训练集的特征;使用基于深度卷积神经网络的检测模型,作为车牌检测的基线网络架构,并按keypoint‑Anchor方式修改检测模型;使用训练集、目标框坐标及角点坐标对修改后的检测模型进行训练,获得训练好的检测模型;使用训练好的检测模型对待检测的图像进行检测,获得不同角度拍摄图像中车牌的检测结果。本发明实现方法简单,可移植性强,能够实现对摄像头拍摄的公路上、停车场、小区出入口等场所中车牌的精准检测。
-
公开(公告)号:CN113379606B
公开(公告)日:2021-12-07
申请号:CN202110934749.3
申请日:2021-08-16
Applicant: 之江实验室
Abstract: 本发明属于计算机视觉、图像处理领域,涉及一种基于预训练生成模型的人脸超分辨方法,包括:步骤一、采集并将低分辨率图像输入至特征提取模块,提取特征信息;步骤二、将特征信息输入至编码器,得到通道数为输入尺寸8倍的隐式矩阵,隐式矩阵通过分离模块特征分解后获得隐式向量,与人脸标签数据通过级联方式,分别输入至预训练生成模型中,得到生成特征;步骤三、将生成特征传递给解码器,并融合特征提取模块提取的特征信息,经解码操作后输出目标高分辨率图像。本发明可以将低分辨率的人脸进行高倍率的放大,最高可以获得64倍的超分结果,并且超分辨结果保持较好的保真性,使放大的图像在保真度和纹理真实度方面有更好的改进。
-
公开(公告)号:CN113284051B
公开(公告)日:2021-12-07
申请号:CN202110834275.5
申请日:2021-07-23
Applicant: 之江实验室
IPC: G06T3/40
Abstract: 本发明属于计算机视觉、图像处理领域,涉及一种基于频率分解多注意力机制的人脸超分辨方法,利用小波变换及其逆变换均可逆的性质,将输入的低分辨率人脸图像进行频率分解,针对不同频率的特征,采用不同的核卷积构建基础模块,自适应集成不同感受野的特征,利用残差注意力模块,包含像素、空间和通道注意力机制,对不同频率的特征分别进行处理,低频部分纹理采用较少计算量的注意力,高频部分采用更多的残差注意力模块,在保持计算量的同时将更多的网络应用于高频部分,利用预训练的人脸关键点提取网络进行关键点提取并进行反馈,增强轮廓特征,利用生成抵抗网络增强纹理特征。
-
公开(公告)号:CN113673489A
公开(公告)日:2021-11-19
申请号:CN202111225547.8
申请日:2021-10-21
Applicant: 之江实验室
Abstract: 本发明涉及计算机视觉及深度学习领域,尤其涉及一种基于级联Transformer的视频群体行为识别方法,首先采集生成视频数据集,将视频数据集经过三维骨干网络提取三维时空特征,选取关键帧图像空间特征图;对关键帧图像空间特征图进行预处理后送入人体目标检测Transformer,输出关键帧图像中的人体目标框;然后,映射筛选后人体目标框在关键帧图像特征图上所对应的子特征图,结合关键帧图像周围帧特征图计算query/key/value,输入群体行为识别Transfomer,输出群体级别时空编码特征图;最后,经过多层感知机对群体行为进行分类。本发明具有有效提高群体行为识别准确率的效果。
-
公开(公告)号:CN113516240A
公开(公告)日:2021-10-19
申请号:CN202110697462.3
申请日:2021-06-23
Applicant: 之江实验室
Abstract: 本发明涉及计算机视觉领域,涉及一种神经网络结构化渐进剪枝方法和系统,该方法包括:步骤S1:设定神经网络每层的裁剪率、剪枝标准及神经网络训练周期数;步骤S2:输入图片以训练神经网络,在一定训练周期内,每层裁剪率从零逐渐增加到设定的裁剪率,根据剪枝标准,确定每层的冗余信息并置为0;步骤S3:达到设定的裁剪率后,移除神经网络中的冗余信息,并重构原始的网络层;步骤S4:神经网络重构后,继续进行训练,直至达到设定的神经网络训练周期。本发明操作简单,步骤少,在正常神经网络训练过程中就能到达剪枝的目的,而且无需剪枝后的精调过程,因此可以大幅减少处理时间,相比现有技术在达到较高的裁剪率的同时能获得较高的性能。
-
公开(公告)号:CN113298890A
公开(公告)日:2021-08-24
申请号:CN202110527552.8
申请日:2021-05-14
Abstract: 本发明公开了非尺度混叠及边缘保留的图像多尺度分解方法及调色方法,在图像中,通过定义新型局部均值包络像素点,采取三次插值算法,获取自适应局部均值曲面,从而迭代操作获得多尺度图像分解,可以实现同时具有边缘保留和非尺度混叠双特性的图像多尺度分解,以得到含有不同尺度信息的高精度的精准的图像解析,对解析的各分量采用设定的线性或非线性算子操作,进一步可以实现灰度图像和彩色图像的多尺度调色处理。本发明的效果和益处是,提供了一种有效的同时具有边缘保留和非尺度混叠双特性的图像多尺度分解算法,可以同时实现无振铃现象和非尺度混合的图像分解以及在此基础上的多尺度调色应用。
-
公开(公告)号:CN112528960A
公开(公告)日:2021-03-19
申请号:CN202011588312.0
申请日:2020-12-29
Applicant: 之江实验室
Abstract: 本发明属于视频行为分析技术领域,涉及一种基于人体姿态估计和图像分类的吸烟行为检测方法,首先读取检测区域监控视频,对视频帧进行预处理和归一化,然后采用YoloV3目标检测方法进行人体框检测,得到人体框位置坐标,在视频帧上面进行剪裁,得到需要进行人体姿态估计的子图,再以所述子图作为输入,使用改进后的人体姿态估计的方法AlphaPose进行人体关键点检测提取,通过定位嘴部和左、右手腕关键点,截取相应的局部图像块,制作分类网络数据集,设计图像分类网络模型,进行网络训练,得到吸烟分类模型,再采用训练好的模型对实时图像进行分类判断,得到视频的吸烟行为检测结果。本发明较好的弥补了两种方法的不足,同时改进算法,提升了检测效率。
-
-
-
-
-
-
-
-
-