-
公开(公告)号:CN113378989B
公开(公告)日:2022-05-17
申请号:CN202110763473.7
申请日:2021-07-06
Applicant: 武汉大学 , 国网信息通信产业集团有限公司 , 北京国网信通埃森哲信息技术有限公司 , 武汉纺织大学
Abstract: 本发明提供一种基于复式协同结构特征重组网络的多模态数据融合方法。针对现有多模态数据融合技术主要是特征直接融合而忽视了模态与模态间的双向交互,存在多模态融合时特征间语义鸿沟的问题,本发明利用深度神经网络提取图像及文本单模态特征,建立基于transformer机制的图文双向交互注意力模型,挖掘图像和文本之间的特征联系,进行多模态的语义关联,并引入复式协同结构网络加深模态之间交互信息的贯通,进行多模态深层融合下的特征双向重组,实现图像与文本语义空间的对齐,更好地适应了神经网络对不同模态间互补信息的搜寻,增强模型对多模态语义的理解和泛化能力,进一步提高多模态特征网络的分类准确度。
-
公开(公告)号:CN113378989A
公开(公告)日:2021-09-10
申请号:CN202110763473.7
申请日:2021-07-06
Applicant: 武汉大学 , 国网信息通信产业集团有限公司 , 北京国网信通埃森哲信息技术有限公司 , 武汉纺织大学
Abstract: 本发明提供一种基于复式协同结构特征重组网络的多模态数据融合方法。针对现有多模态数据融合技术主要是特征直接融合而忽视了模态与模态间的双向交互,存在多模态融合时特征间语义鸿沟的问题,本发明利用深度神经网络提取图像及文本单模态特征,建立基于transformer机制的图文双向交互注意力模型,挖掘图像和文本之间的特征联系,进行多模态的语义关联,并引入复式协同结构网络加深模态之间交互信息的贯通,进行多模态深层融合下的特征双向重组,实现图像与文本语义空间的对齐,更好地适应了神经网络对不同模态间互补信息的搜寻,增强模型对多模态语义的理解和泛化能力,进一步提高多模态特征网络的分类准确度。
-
公开(公告)号:CN113449738B
公开(公告)日:2023-06-23
申请号:CN202110781567.7
申请日:2021-07-06
Applicant: 国网信息通信产业集团有限公司 , 北京国网信通埃森哲信息技术有限公司 , 武汉大学
IPC: G06V10/32 , G06V10/762 , G06V10/774 , G06V10/82 , G06N3/0464
Abstract: 本发明提供一种基于样本特性的先验框参数自适应改进FRC检测方法。该方法在Faster RCNN算法的基础上,基于数据集样本的宽高比以及尺度,调节先验框的比例及尺度,使得先验框的大小接近原样本,进而提高Faster RCNN算法的准确率。本发明克服了现有的Faster RCNN算法不能充分利用数据集本身尺寸大小等先验知识的问题,在Faster RCNN算法的基础上,选择可变参数的先验框,根据数据集样本的宽高比和尺度,利用k‑means聚类算法选择合适的参数,调节先验框的比例及尺度,获得改进的FRC算法,解决数据集样本出现极大或极小以及宽高比悬殊的问题,提高Faster RCNN算法的目标检测精度。
-
公开(公告)号:CN113449738A
公开(公告)日:2021-09-28
申请号:CN202110781567.7
申请日:2021-07-06
Applicant: 国网信息通信产业集团有限公司 , 北京国网信通埃森哲信息技术有限公司 , 武汉大学
Abstract: 本发明提供一种基于样本特性的先验框参数自适应改进FRC检测方法。该方法在Faster RCNN算法的基础上,基于数据集样本的宽高比以及尺度,调节先验框的比例及尺度,使得先验框的大小接近原样本,进而提高Faster RCNN算法的准确率。本发明克服了现有的Faster RCNN算法不能充分利用数据集本身尺寸大小等先验知识的问题,在Faster RCNN算法的基础上,选择可变参数的先验框,根据数据集样本的宽高比和尺度,利用k‑means聚类算法选择合适的参数,调节先验框的比例及尺度,获得改进的FRC算法,解决数据集样本出现极大或极小以及宽高比悬殊的问题,提高Faster RCNN算法的目标检测精度。
-
公开(公告)号:CN113436216B
公开(公告)日:2024-03-05
申请号:CN202110770016.0
申请日:2021-07-06
Applicant: 国网信息通信产业集团有限公司 , 北京国网信通埃森哲信息技术有限公司 , 武汉大学
Abstract: 本发明提供一种基于Canny算子的电气设备红外图像边缘检测方法,该方法通过对电气设备红外图像进行灰度化处理后获得灰度图像,对灰度图像进行Gamma变换获得增强后的图像,再对增强后的图像利用高斯滤波器进行平滑降噪获得平滑图像;在传统Canny算法基础上,本发明考虑0°、90°、45°和135°四个方向的梯度,计算平滑图像中每个像素的梯度幅值和梯度方向,获得梯度幅值图像,再根据计算得到的梯度幅值图像计算双阈值;并采用插值方式对梯度幅值进行非极大值抑制;最后根据双阈值选择和连接边缘。本发明相比现有方法去噪效果更好,能更准确的检测边缘信息,适用于电气设备红外图像的检测。
-
公开(公告)号:CN113436216A
公开(公告)日:2021-09-24
申请号:CN202110770016.0
申请日:2021-07-06
Applicant: 国网信息通信产业集团有限公司 , 北京国网信通埃森哲信息技术有限公司 , 武汉大学
Abstract: 本发明提供一种基于Canny算子的电气设备红外图像边缘检测方法,该方法通过对电气设备红外图像进行灰度化处理后获得灰度图像,对灰度图像进行Gamma变换获得增强后的图像,再对增强后的图像利用高斯滤波器进行平滑降噪获得平滑图像;在传统Canny算法基础上,本发明考虑0°、90°、45°和135°四个方向的梯度,计算平滑图像中每个像素的梯度幅值和梯度方向,获得梯度幅值图像,再根据计算得到的梯度幅值图像计算双阈值;并采用插值方式对梯度幅值进行非极大值抑制;最后根据双阈值选择和连接边缘。本发明相比现有方法去噪效果更好,能更准确的检测边缘信息,适用于电气设备红外图像的检测。
-
-
-
-
-