-
公开(公告)号:CN114332653B
公开(公告)日:2025-03-04
申请号:CN202111484063.5
申请日:2021-12-07
Applicant: 重庆邮电大学
Abstract: 本发明属于计算机视觉中无人机视角旋转目标检测领域,具体涉及一种无人机视角的车辆旋转检测方法及系统;包括图像获取模块、图像标签处理模块、图像预处理模块、Backbone模块、特征空间关系捕获模块、第一次特征融合模块、第二次特征融合模块、CSL环形平滑处理模块和预测模块,特征空间关系捕获模块连接了Backbone模块和第一次特征融合模块,第一次特征融合模块和第二次特征融合模块间利用level1通道、level2通道和level3通道进行连接,本发明的方法与系统,依靠无人机及其视觉传感器获取图像数据,硬件要求低;利用空间关系信息和Backbone提取的特征信息以固定权重和自适应权重两种方式融合,预测得出车辆的位置、角度和类别信息,实现了无人机视角下的车辆监测。
-
公开(公告)号:CN114359785A
公开(公告)日:2022-04-15
申请号:CN202111479930.6
申请日:2021-12-06
Applicant: 重庆邮电大学
Abstract: 本发明属于视觉语音识别技术领域,涉及一种基于自适应矩阵特征融合网络的唇语识别方法、装置及电子设备;所述方法包括将视频按时间先后顺序转换为唇语图像序列并预处理;采用三维卷积神经网络提取出图像序列的时空特征信息;采用深度残差网络提取出唇语图像五个层次的空间特征信息;对五层空间特征信息采用基于图模型的自适应矩阵的特征融合结构进行处理,得到特征融合后的五层唇语特征信息;使用自注意力机制对五层唇语特征信息的权重进行学习,利用学习到的权重将五层唇语特征加权输入到时间卷积神经网络,输出唇语识别结果;本发明解决了数据尺度不一的问题,能有效防止因输入尺度不一问题所导致的特征信息丢失以提升唇语识别效果。
-
公开(公告)号:CN114332653A
公开(公告)日:2022-04-12
申请号:CN202111484063.5
申请日:2021-12-07
Applicant: 重庆邮电大学
Abstract: 本发明属于计算机视觉中无人机视角旋转目标检测领域,具体涉及一种无人机视角的车辆旋转检测方法及系统;包括图像获取模块、图像标签处理模块、图像预处理模块、Backbone模块、特征空间关系捕获模块、第一次特征融合模块、第二次特征融合模块、CSL环形平滑处理模块和预测模块,特征空间关系捕获模块连接了Backbone模块和第一次特征融合模块,第一次特征融合模块和第二次特征融合模块间利用level1通道、level2通道和level3通道进行连接,本发明的方法与系统,依靠无人机及其视觉传感器获取图像数据,硬件要求低;利用空间关系信息和Backbone提取的特征信息以固定权重和自适应权重两种方式融合,预测得出车辆的位置、角度和类别信息,实现了无人机视角下的车辆监测。
-
公开(公告)号:CN114283292A
公开(公告)日:2022-04-05
申请号:CN202111483361.2
申请日:2021-12-07
Applicant: 重庆邮电大学
IPC: G06V10/44 , G06V10/74 , G06V10/80 , G06V10/774 , G06K9/62 , G06V30/148 , G06F40/30
Abstract: 本发明属于图像问答领域,具体涉及一种基于分工决策的视觉问答模型的视觉问答方法及系统,该方法包括:获取视觉图像和待回答的问题,将视觉图像和待回答的问题输入到LRBNet模型中,得到问答结果;LRBNet模型包括视觉理解模块、文本理解模块以及交换模块;所述视觉理解模块用于得到视觉特征图,所述文本理解模块用于得到文本特征图,所述交换模块用于对视觉特征图和文本特征图进行数据交互,根据交互数据更新节点;视觉空间特征图和文本语义信息进行关联和更新,得到最终的问答结果;本发明将文本语义信息和视觉空间信息分离处理,只在最后将处理的结果融合,降低了其他VQA模型因跨模态融合而提高的推理难度。
-
-
-