-
公开(公告)号:CN116188825A
公开(公告)日:2023-05-30
申请号:CN202310146914.8
申请日:2023-02-22
Abstract: 本发明公开了一种基于并行注意力机制的高效特征匹配方法,首先使用卷积神经网络提取图片关键点及其描述子;再使用并行注意力层对两组特征计算自注意力和交叉注意力,并使用可学习的神经网络自适应融合自注意力网络和交叉注意力网络,其中自注意力网络利用全局上下文信息加强描述子表征能力,交叉注意力网络用于寻找两图像描述子之间的对应关系;描述子经过并行注意力层加强后,使用Sinkhorn算法与互近邻准则计算匹配结果。本方法将自注意力和交叉注意力以并行的方式整合在一起,大幅减小了模型的计算量和参数量,提高模型效率,同时并行注意力层的自适应融合网络使得模型能够学习到最优的注意力融合方式,在性能和效率上实现双赢。
-
公开(公告)号:CN115690549A
公开(公告)日:2023-02-03
申请号:CN202211420718.7
申请日:2022-11-12
IPC: G06V10/80 , G06V10/82 , G06V10/774 , G06T7/73
Abstract: 本发明公开了一种基于并联交互架构模型实现多维度特征融合的目标检测方法,包括以下步骤:数据获取与处理,搭建模型训练环境、将数据集中的数据送入搭建好的模型中训练以及最终模型的验证与检测,本发明解决了传统目标检测任务中收敛速度慢、训练耗时长等难题,提高了目标检测任务的检测精度和检测速度。
-
公开(公告)号:CN114758152A
公开(公告)日:2022-07-15
申请号:CN202210438479.1
申请日:2022-04-25
IPC: G06V10/46 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于注意力机制和邻域一致性的特征匹配方法,包括:使用卷积神经网络提取图片关键点及其描述子;关键点位置编码,将位置信息融入描述子;使用自注意力网络和交叉注意力网络加强描述子表征能力并寻找两图片描述子之间的对应关系;根据注意力权重利用k近邻算法构建图,使用图神经网络评估节点的邻域一致性,将一致性信息融入注意力聚合中;依据增强后的描述子,使用Sinkhorn算法与互近邻筛选计算匹配结果。本发明提出了将邻域一致性融入注意力机制的方法,在注意力机制聚合全局上下文信息的同时,动态评估注意力聚合过程中的邻域一致性,将此局部信息与全局信息结合,共同增强描述子的表征能力,从而获得更高质量的匹配。
-
公开(公告)号:CN114565938B
公开(公告)日:2024-11-26
申请号:CN202210142459.X
申请日:2022-02-16
Abstract: 本发明提供了一种融合局部和全局特征的三维人体姿态估计方法,包括:提出可应用于3D人体姿态估计模型的观测模式I;提出可应用于3D人体姿态估计模型的观测模式II;调整训练完成的图像‑2D姿态的网络;全连接模块捕捉人体姿态的全局特征;分组连接模块捕捉人体姿态的局部特征;融合局部特征和全局特征被并回归到3D姿势,最终得到3D人体姿态估计的模型。本发明的有益效果在于:提出了一种融合局部和全局特征的三维人体姿态估计方法,通过分别使用全连接模块和分组连接模块捕捉人体姿态的全局特征和局部特征,然后融合提取到的特征,获得泛化性能更好的3D人体姿态估计模型,并显着提高具有高局部特征相似性姿势估计性能指标。
-
公开(公告)号:CN115984587A
公开(公告)日:2023-04-18
申请号:CN202211500472.4
申请日:2022-11-28
IPC: G06V10/74 , G06V10/46 , G06V10/80 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了联合混合尺度特征描述子与邻居一致性的图像匹配方法,所述方法依次经过不同分支的特征描述网络后,将单尺度和多尺度特征描述子在维度上拼接,生成一个混合尺度的特征描述子,将混合尺度的描述子输入最优传输匹配层,获得初始的分配矩阵;初始匹配点对再次经过一个共享权重的图神经网络精修初始的分配矩阵,从而获得最终的匹配。本发明通过融合单尺度和多尺度描述子,使混合的描述子既能保持对各种几何变形的鲁棒性,又能保持很高的显著性,同时利用几何先验去除错误的匹配点对,最终达到准确性高的匹配效果。
-
公开(公告)号:CN115713672A
公开(公告)日:2023-02-24
申请号:CN202211416425.1
申请日:2022-11-12
IPC: G06V10/774 , G06V10/82 , G06V10/42 , G06V10/44 , G06N3/0464 , G06N3/048
Abstract: 本发明提供了一种基于双路并行注意力机制的目标检测方法,包括:准备训练数据集;配置深度学习环境,将所述训练数据集输入进基于双路并行注意力机制的目标检测网络中进行迭代训练,得到目标检测的训练模型。该方案提出了一个更为灵活的编码器,用于更好地提取训练图像的特征,编码器包括用于捕捉图像的全局和局部特征的双路并行注意力机制和用于处理图像特征的通道维度信息的通道注意力。在双路并行注意力机制中,一个分支使用自我注意机制的变体来捕捉图像特征之间长距离的依赖关系,另一个分支则使用多层感知机网络提取图像特征的局部关系。提出了基于双路并行注意力机制的目标检测方法,该方法能减少模型的参数量,并且能够提升模型的精度。
-
公开(公告)号:CN115631354A
公开(公告)日:2023-01-20
申请号:CN202211382001.8
申请日:2022-11-07
Abstract: 本发明公开了一种联合稀疏和稠密邻域一致性的图像匹配方法,所述方法依次经过基于稀疏的注意力图神网络和基于稠密领域一致性的网络后,将稀疏和稠密匹配的初始得分转化为同维度,利用可学习参数结合稀疏和稠密的初始匹配得分,将结合后的匹配得分输入最优匹配层,获得最终的分配矩阵,实现图像匹配。本发明通过融合稠密匹配为稀疏匹配增加了全局信息,并且稠密匹配也学习稠密邻域信息,避免由于图的复杂性带来的错误匹配,使稀疏和稠密邻域一致性相互促进,最终达到准确性高的匹配效果。
-
公开(公告)号:CN114758152B
公开(公告)日:2024-11-26
申请号:CN202210438479.1
申请日:2022-04-25
IPC: G06V10/75 , G06V10/44 , G06V10/46 , G06V10/80 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/045
Abstract: 本发明提供了一种基于注意力机制和邻域一致性的特征匹配方法,包括:使用卷积神经网络提取图片关键点及其描述子;关键点位置编码,将位置信息融入描述子;使用自注意力网络和交叉注意力网络加强描述子表征能力并寻找两图片描述子之间的对应关系;根据注意力权重利用k近邻算法构建图,使用图神经网络评估节点的邻域一致性,将一致性信息融入注意力聚合中;依据增强后的描述子,使用Sinkhorn算法与互近邻筛选计算匹配结果。本发明提出了将邻域一致性融入注意力机制的方法,在注意力机制聚合全局上下文信息的同时,动态评估注意力聚合过程中的邻域一致性,将此局部信息与全局信息结合,共同增强描述子的表征能力,从而获得更高质量的匹配。
-
公开(公告)号:CN114565938A
公开(公告)日:2022-05-31
申请号:CN202210142459.X
申请日:2022-02-16
Abstract: 本发明提供了一种融合局部和全局特征的三维人体姿态估计方法,包括:提出可应用于3D人体姿态估计模型的观测模式I;提出可应用于3D人体姿态估计模型的观测模式II;调整训练完成的图像‑2D姿态的网络;全连接模块捕捉人体姿态的全局特征;分组连接模块捕捉人体姿态的局部特征;融合局部特征和全局特征被并回归到3D姿势,最终得到3D人体姿态估计的模型。本发明的有益效果在于:提出了一种融合局部和全局特征的三维人体姿态估计方法,通过分别使用全连接模块和分组连接模块捕捉人体姿态的全局特征和局部特征,然后融合提取到的特征,获得泛化性能更好的3D人体姿态估计模型,并显着提高具有高局部特征相似性姿势估计性能指标。
-
公开(公告)号:CN118537602A
公开(公告)日:2024-08-23
申请号:CN202410545937.0
申请日:2024-05-06
Applicant: 东南大学
IPC: G06V10/75 , G06V10/42 , G06V10/44 , G06V10/52 , G06V10/80 , G06N3/0464 , G06N3/0455
Abstract: 本发明公开了一种基于跨尺度局部特征和全局特征的特征匹配方法,包括:使用卷积神经网络提取图像原始局部特征图;通过对原始局部特征图进行位置编码以及自注意力网络和交叉注意力网络加强描述子的全局特征表征能力的全局特征表示;从不同感受野的卷积神经网络的输出中提取更丰富的局部特征并在语义感知水平上重组通道特征的跨尺度局部特征表示;构建融合跨尺度局部特征和全局特征的丰富特征;依靠融合的丰富特征,使用Sinkhorn算法求解最优传输问题以及使用互最近邻准则来筛选匹配结果的粗匹配层;对粗匹配使用粗到细模块细化到原始图像分辨率的细化模块。本发明提出了将跨尺度局部特征融入全局特征的方法,为图像特征引入了丰富的多层次局部特征增强图像特征的丰富性,弥补了全局特征对局部信息的缺少,用跨尺度局部特征和语义感知水平的通道特征重组共同增强描述子的表征能力,以此获得更高质量的匹配结果。
-
-
-
-
-
-
-
-
-