-
公开(公告)号:CN112580614B
公开(公告)日:2021-06-08
申请号:CN202110210499.9
申请日:2021-02-25
Applicant: 之江实验室
Abstract: 本发明公开了一种基于注意力机制的手绘草图识别方法,该方法包括将原始手绘草图输入到一个深度卷积神经网络中,得到最后一个卷积层输出的特征图;将特征图输入到一个通道注意力模块中,得到基于通道注意力优化后的特征图;训练一个用于预测手绘草图垂直翻转的分类网络,将原始手绘草图输入到训练好的分类网络中,得到垂直翻转空间注意力图;联合基于通道注意力优化后的特征图和垂直翻转空间注意力图,计算得到垂直翻转空间注意力优化后的特征图;最后经过全连接层输出识别的结果。本发明的优点:采用通道注意力和垂直翻转空间注意力对卷积神经网络的特征进行优化,能够使网络关注于学习更有判别力的部分,从而有效提高手绘草图的识别精度。
-
公开(公告)号:CN112597979B
公开(公告)日:2021-06-01
申请号:CN202110236301.4
申请日:2021-03-03
Applicant: 之江实验室
Abstract: 本发明提出了一种实时更新余弦夹角损失函数参数的人脸识别方法,属于计算机视觉中的人脸识别领域。该方法包括:(1)收集人脸图像,并将人脸图像按个体分类,并对每个人脸图像进行数据标注;(2)对人脸图像进行图像预处理,得到人脸图像数据集;(3)初始化余弦夹角损失函数的的余弦值放大尺度和余弦夹角间隔;(4)将图像数据集送入卷积神经网络,实时计算更新余弦值放大尺度和余弦夹角间隔,直至完成对卷积神经网络的训练,(5)将需要进行比对判断的人脸图像输入训练好的卷积神经网络中,输出人脸特征向量,用于进行人脸识别匹配。本发明的人脸识别方法具有训练收敛速度快,识别准确率高的特点。
-
公开(公告)号:CN112507997B
公开(公告)日:2021-05-11
申请号:CN202110170037.9
申请日:2021-02-08
Applicant: 之江实验室
Abstract: 本发明公开了一种基于多尺度卷积和感受野特征融合的人脸超分辨系统,该系统包括依次连接的粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、精超分辨率模块、精上采样模块、第三度尺度卷积模块、图像增强模块和对抗网络;人脸关键点提取网络和高低频增强模块分别与融合模块连接,所述融合模块、粗超分辨率模块分别与精超分辨率模块连接。该系统适用于人脸的增强,尤其是小分辨率的人脸,通过高低频特征交互增强和人脸先验知识的利用,具有放大倍数高,高频细节还原度高的特点;采用感受野模块有助于提取细节特征并降低计算复杂度。
-
公开(公告)号:CN112597979A
公开(公告)日:2021-04-02
申请号:CN202110236301.4
申请日:2021-03-03
Applicant: 之江实验室
Abstract: 本发明提出了一种实时更新余弦夹角损失函数参数的人脸识别方法,属于计算机视觉中的人脸识别领域。该方法包括:(1)收集人脸图像,并将人脸图像按个体分类,并对每个人脸图像进行数据标注;(2)对人脸图像进行图像预处理,得到人脸图像数据集;(3)初始化余弦夹角损失函数的的余弦值放大尺度和余弦夹角间隔;(4)将图像数据集送入卷积神经网络,实时计算更新余弦值放大尺度和余弦夹角间隔,直至完成对卷积神经网络的训练,(5)将需要进行比对判断的人脸图像输入训练好的卷积神经网络中,输出人脸特征向量,用于进行人脸识别匹配。本发明的人脸识别方法具有训练收敛速度快,识别准确率高的特点。
-
公开(公告)号:CN112581626A
公开(公告)日:2021-03-30
申请号:CN202110198676.6
申请日:2021-02-23
Applicant: 之江实验室
Abstract: 本发明公开了一种基于非参数化和多注意力机制的复杂曲面测量系统,主要针对形貌随机复杂的2.5D连续曲面,该系统包括依次连接的基于被测对象几何形状的曲面特定核函数设计模块、高斯过程(GP)点云自适应采样模块、曲面配准和稀疏误差重建模块、像素化和归一化模块、多尺度多注意力超分辨模块、解归一化模块、点云空间映射模块,最终将稀疏的点云数据进行增强得到高质量高密度的点云数据。该系统针对接触式形貌测量传感器测量效率较低的问题,通过结合高斯过程和多注意力机制的超分辨技术,利用较少的测量点即可以完成对连续复杂的2.5D曲面的高精度测量和重建,具有测量效率高、点云上采样精度高和曲面细节还原性高的优点。
-
公开(公告)号:CN112070075B
公开(公告)日:2021-02-09
申请号:CN202011264121.9
申请日:2020-11-12
Applicant: 之江实验室
Abstract: 本发明公开一种基于协同回归的人体检测方法,该方法首先预训练深度卷积神经网络骨干模型;然后在模型的输出特征层分别预测人头中心点、人体中心点及对应人体宽高;同时在模型的输出特征层分别回归指向人体中心点的向量和指向人头中心点的向量;训练最小化损失函数,得到人体检测模型;最后将测试集图片输入训练好的模型,利用人头中心点、人体中心点预测值及两者互相指向的向量确定人体位置,结合人体宽高预测值得到人体检测结果。本发明通过充分考虑人群密集场景人体检出率低的问题,利用人群密集场景中人头相较于人体不易产生互相遮挡的特点,提出基于人头中心点、人体中心点协同回归的人体检测方法,在人群密集场景中的人体检出率高。
-
公开(公告)号:CN111768342B
公开(公告)日:2020-12-01
申请号:CN202010915168.0
申请日:2020-09-03
Applicant: 之江实验室
Abstract: 本发明涉及一种基于注意力机制和多级反馈监督的人脸超分辨方法,采用两个阶段学习极低分辨率的人脸图像到高分辨率图像的映射,并且学习一个额外的反馈回归映射,估计下采样核并重建低分辨率图像,形成一个闭环来提供额外的监督。首先利用残差网络和通道注意力机制对原始图像进行特征提取,利用亚像素卷积进行上采样,得到质量较好的图像并进行反馈监督,然后输入到精细超分辨网络中得到目标高分辨图像,并对其提取人脸五官解析图,将解析图和主网络图像特征融合后送到一个精细的超分辨解码器来恢复高分辨图像,并进行反馈监督。本发明针对原始图片无法提取较好的人脸几何形状,采用两级超分辨网络和反馈回归映射进一步增强人脸特征。
-
公开(公告)号:CN111768342A
公开(公告)日:2020-10-13
申请号:CN202010915168.0
申请日:2020-09-03
Applicant: 之江实验室
Abstract: 本发明涉及一种基于注意力机制和多级反馈监督的人脸超分辨方法,采用两个阶段学习极低分辨率的人脸图像到高分辨率图像的映射,并且学习一个额外的反馈回归映射,估计下采样核并重建低分辨率图像,形成一个闭环来提供额外的监督。首先利用残差网络和通道注意力机制对原始图像进行特征提取,利用亚像素卷积进行上采样,得到质量较好的图像并进行反馈监督,然后输入到精细超分辨网络中得到目标高分辨图像,并对其提取人脸五官解析图,将解析图和主网络图像特征融合后送到一个精细的超分辨解码器来恢复高分辨图像,并进行反馈监督。本发明针对原始图片无法提取较好的人脸几何形状,采用两级超分辨网络和反馈回归映射进一步增强人脸特征。
-
公开(公告)号:CN117851883B
公开(公告)日:2024-08-30
申请号:CN202410006211.X
申请日:2024-01-03
Applicant: 之江实验室
IPC: G06F18/241 , G06F18/213 , G06F18/25 , G06F18/27 , G06V10/764 , G06V10/82 , G06N3/0455
Abstract: 本发明公开了一种基于跨模态大语言模型的场景文本检测与识别方法,该方法包括:获取多组具有真值标注的图像‑文本数据集;利用图像编码器对数据集中的图像进行特征提取与学习,得到图像模态的特征嵌入;将图像模态特征嵌入与对应真值标注的文本特征嵌入融合构造为图像及自然语言的多模态特征序列;将融合后的多模态特征序列输入大语言模型当中进行跨模态编解码,再进行自回归机制下的网络微调;将文本图像输入上述训练好的图像编码器与大语言模型当中,通过线性分类与类目查表的方式将网络输出翻译为当前图片当中所包含的文本目标的内容及位置,从而完成文本检测与识别任务。本发明实现方法简便,灵活鲁棒,适用范围广。
-
公开(公告)号:CN118279610A
公开(公告)日:2024-07-02
申请号:CN202410704308.8
申请日:2024-06-03
Applicant: 之江实验室 , 中国科学院东北地理与农业生态研究所
Abstract: 本发明公开了一种基于图像表型匹配的大豆表型识别方法、电子设备、介质,包括:获取待识别的大豆图片;将其输入至预先训练好的图像编码器中提取得到图像特征,将图像特征输入至预先训练好的表型解码器中得到大豆图片获得表型结果;其中,图像编码器以及表型解码器的训练过程包括:获取大豆成熟期图像并对其设置表型标签和数组标签;将大豆成熟期图像及其对应的表型标签分别输入至图像编码器、表型编码器,从而训练图像编码器、表型编码器;固定表型编码器的网络权重;将表型标签输入至表型编码器提取得到表型特征,将表型特征输入至表型解码器提取得到表型结果识别特征,基于表型结果识别特征与数组标签间的差值从而反向传播优化表型解码器。
-
-
-
-
-
-
-
-
-