-
公开(公告)号:CN114821802B
公开(公告)日:2024-11-01
申请号:CN202210528751.5
申请日:2022-05-16
IPC: G06V40/20 , G06V40/10 , G06V40/16 , G06V20/40 , G06V10/40 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/047 , G06N3/0495 , G06N3/082 , G06N5/04
Abstract: 本发明为基于多线索相互蒸馏和自蒸馏的连续手语识别方法,包括获取手语视频,从手语视频中提取脸部、左手手部以及右手手部视频并进行预处理,从视频中提取空间特征,再从空间特征中提取具有短期时间联系的手语词级特征,从手语词级特征中提取具有长期时间联系的上下文级特征,再利用全连接层和激活函数,获得归一化的分类概率矩阵;基于获得的分类概率矩阵构建总损失函数,并训练神经网络;将训练后的神经网络用于预测手语,并输出手语标签。该方法利用了原始手语图像中的脸部信息和手部信息,通过相互蒸馏的方式充分利用脸部信息和手部信息的知识,解决了局部信息利用不充分的问题,提高了神经网络的泛化能力;通过自蒸馏的方式增加了神经网络中不同模块之间的协调性。
-
公开(公告)号:CN114863278B
公开(公告)日:2024-10-29
申请号:CN202210471953.0
申请日:2022-04-29
IPC: G06V20/10 , G06N3/0464 , G06N3/08 , G06V10/25 , G06V10/44 , G06V10/774 , G06V10/82
Abstract: 本发明为一种基于FCSA‑EfficientNetV2的农作物病害识别方法,该识别方法首先对农作物病害图像数据预处理,接着构建FCSA‑EfficientNetV2模型,然后将提取的特征输入到全连接层得到预测结果,最后使用带有标签平滑的交叉熵与成本敏感正则化相结合的损失函数更新模型参数并保存;所述FCSA‑EfficientNetV2模型以EfficientNetV2网络为基础,将注意力模块FCSA替换EfficientNetV2网络中MBConv模块的SE注意力模块。注意力模块FCSA先采用频域注意力获得特征在不同频域上的关注度,再使用空间注意力对频域注意力的特征进行空间上的关联,来对频域特征中需要关注的位置增强关注度,通过频域和空间注意力串联的方式构建FCSA模块,经过注意力增强的特征图输入到全连接层实现了不同作物病害及病害程度的识别。
-
公开(公告)号:CN114005096B
公开(公告)日:2024-05-10
申请号:CN202111317650.5
申请日:2021-11-09
Applicant: 河北工业大学
Abstract: 本发明为基于特征增强的车辆重识别方法,该方法以构建具有空间注意力引导的自适应特征擦除模块和多感受野残差注意力模块的基于多注意力引导的特征增强网络,通过多感受野残差注意力在不同大小的感受野下帮助主干网络获得丰富的车辆外观特征,利用空间注意力引导的自适应特征擦除模块有选择性的擦除车辆最显著特征,使多注意力引导的特征增强网络的局部分支能够挖掘潜在局部特征,融合全局分支的全局特征和擦除分支的潜在局部特征完成车辆重识别过程。本发明方法不仅能够克服复杂的环境变化,如光照剧烈变化、障碍物遮挡而造成局部显著信息丢失的问题,而且能够满足在安全监管、智能交通系统中高效、快速的查找目标车辆的需求。
-
公开(公告)号:CN114821802A
公开(公告)日:2022-07-29
申请号:CN202210528751.5
申请日:2022-05-16
IPC: G06V40/20 , G06V40/10 , G06V40/16 , G06V20/40 , G06V10/40 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08 , G06N5/04 , G06K9/62
Abstract: 本发明为基于多线索相互蒸馏和自蒸馏的连续手语识别方法,包括获取手语视频,从手语视频中提取脸部、左手手部以及右手手部视频并进行预处理,从视频中提取空间特征,再从空间特征中提取具有短期时间联系的手语词级特征,从手语词级特征中提取具有长期时间联系的上下文级特征,再利用全连接层和激活函数,获得归一化的分类概率矩阵;基于获得的分类概率矩阵构建总损失函数,并训练神经网络;将训练后的神经网络用于预测手语,并输出手语标签。该方法利用了原始手语图像中的脸部信息和手部信息,通过相互蒸馏的方式充分利用脸部信息和手部信息的知识,解决了局部信息利用不充分的问题,提高了神经网络的泛化能力;通过自蒸馏的方式增加了神经网络中不同模块之间的协调性。
-
公开(公告)号:CN113487481B
公开(公告)日:2022-04-12
申请号:CN202110746815.4
申请日:2021-07-02
Abstract: 本发明为基于信息构建和多密集残差块的循环视频超分辨率方法,该方法利用引入信息构建模块对初始的循环神经网络进行先验信息构建和填充,使得序数靠前的循环神经网络有足够的信息去重建靠前帧,同时利用多密集残差块提取代表深层次信息的特征,在循环神经网络中以隐藏状态的方式进行传播;包括以下内容:对视频数据进行预处理,获得对应的低分辨率帧序列;构建信息构建模块,输入为前m帧低分辨率帧序列,输出为初始的隐藏信息h0和初始的预输出信息o0;构建多密集残差块的循环神经网络,将信息构建模块的两个输出输入到多密集残差块的循环神经网络中,得到超分辨率帧序列。可以胜任在线超分辨率任务。
-
公开(公告)号:CN114202075A
公开(公告)日:2022-03-18
申请号:CN202111502748.8
申请日:2021-12-10
Applicant: 河北工业大学
Abstract: 本发明引导式多模态影像遗传学数据特征分析方法,同时考虑样本的多模态影像数据分析以及基因影像典型相关分析。采用权重分解方法将权重分为模态一致性权重和模态特异性权重,模态一致性权重表示模态之间共有的信息,模态特异性权重表示单个模态独有的信息。此外采用样本的标签这一先验信息,利用回归分析引导多模态影像数据的特征学习,同时利用机器学习中多任务学习框架将多模态数据与基因数据的典型相关分析作为多个学习任务,利用多任务学习所包含的有用信息帮助每个任务得到更准确的学习器并且找到任务之间的差别和联系。本发明公开的方法能够有效地进行特征选择和影像遗传学数据相关性分析。
-
公开(公告)号:CN113888399A
公开(公告)日:2022-01-04
申请号:CN202111240317.9
申请日:2021-10-25
Applicant: 河北工业大学
Abstract: 本发明为一种基于风格融合与域选结构的人脸年龄合成的方法,该方法包括以下内容:对人脸公开数据集进行预处理,每个人脸样本对应一个年龄标签,设置年龄域的数量;构建风格融合和多域判别的对抗网络,包括基于风格融合的生成器网络和域选判别器网络;域选判别器网络包括多个域选结构和一个全连接层,域选结构由两种类型的函数组成:基础函数和多个域函数;针对每一批次的输入图像只用基础函数和一个特定的域函数提取特征,其中域函数的个数与年龄域的个数保持一致。本发明能够有效地解决人脸身份信息丢失和训练不稳定的问题。
-
公开(公告)号:CN113723345A
公开(公告)日:2021-11-30
申请号:CN202111053962.X
申请日:2021-09-09
Applicant: 河北工业大学
Abstract: 本发明为一种基于风格转换和联合学习网络的域自适应行人再识别方法,包括一、利用源域数据集对神经网络模型进行预训练;二、对目标域数据集中的行人图像进行风格转换;三、对每张行人图像进行预处理;四、将同一张行人图像采用两种预处理方式得到的图像输入到两个神经网络模型中提取特征,将两个高阶特征保存至两个存储器中;两个高阶特征进行聚类,得到伪标签;将同一张行人图像的两个高阶特征进行融合,融合后的高阶特征存储在联合存储器中;五、基于伪标签训练两个神经网络模型,基于联合存储器同步训练两个神经网络模型;六、重复第四、五步并在训练过程中计算两个神经网络模型的识别精度,将识别精度最佳的神经网络模型用于行人再识别。
-
公开(公告)号:CN111062931B
公开(公告)日:2021-08-03
申请号:CN201911325073.7
申请日:2019-12-20
Applicant: 河北工业大学
Abstract: 本发明一种被拼接篡改的图像的检测方法,涉及图像分析,是基于光源图和金字塔特征图的被拼接篡改的图像的检测方法,利用两个结构相同的卷积神经网络分别提取被拼接篡改图像及其对应光源图的多阶段特征,结合多尺度信息,将两组多阶段特征进行融合和上采样,得到金字塔特征图,将金字塔特征图不同层分别经过区域生成网络,得到篡改候选区域,经过ROI Align生成固定尺寸特征图,对固定尺寸特征图进行分类、边界框回归和掩码预测,最后得到篡改区域的边界框和像素级定位,完成对被拼接篡改的图像的检测,克服了现有技术提取的图像篡改特征单一不全面,容易忽略区域较小的篡改目标,不能实现端到端的像素级定位的缺陷。
-
公开(公告)号:CN112329690A
公开(公告)日:2021-02-05
申请号:CN202011281122.4
申请日:2020-11-16
Abstract: 本发明为基于时空残差网络和时序卷积网络的连续手语识别方法,该方法采用时空残差网络克服了完全使用三维卷积神经网络计算量大的缺点以及完全使用二维卷积神经网络短期时空特征提取不充分的缺陷;时序卷积网络增强块级特征之间的时间关联,可以在一定程度上解决RNN网络中存在的长期依赖的问题,进而在一定程度上解决CTC固有的条件独立性假设带来输出词之间的相关性缺失问题。
-
-
-
-
-
-
-
-
-