-
公开(公告)号：CN116363037A
公开(公告)日：2023-06-30
申请号：CN202310638962.9
申请日：2023-06-01
Applicant: 华东交通大学
IPC: G06T5/50 , G06N3/084 , G06N3/0455 , G06N3/0464
Abstract: 本发明提供一种多模态图像融合方法、装置及设备，方法包括：获取同一目标对象的不同模态的至少两张图像数据，并采用预设特征提取网络对每张图像数据进行特征信息提取，得到对应的特征图像；将不同模态的特征图像进行堆叠，得到堆叠后特征图像，并对堆叠后特征图像进行通道注意力处理，输出具有通道注意力的特征图；依序对具有通道注意力的特征图进行局部多头自注意力处理和全局多头自注意力处理，得到多模态图像融合后的目标特征图。本发明通过将不同模态的特征图堆叠后依次进行通道注意力、局部自注意力以及全局注意力处理，在保证注重全局和局部信息的情况下，将计算复杂度降低到线性，具有速度快，精度高的特点。
-
公开(公告)号：CN110334645A
公开(公告)日：2019-10-15
申请号：CN201910589841.3
申请日：2019-07-02
Applicant: 华东交通大学
Abstract: 一种基于深度学习的月球撞击坑识别方法，用于解决天体撞击坑难以识别的情况。所述方法步骤如下：（1）由已有的撞击坑位置信息和月球DEM图像生成训练样本；（2）根据生成的图像构建适用的卷积神经网络，即Simple-ResUnet网络模型；（3）利用生成的月球图像和撞击坑标注图像进行训练；（4）使用训练好的模型进行撞击坑边缘分割；（5）最后对撞击坑边缘进行提取，记录新发现的撞击坑。本方法与其它分类方法相比，该方法分类速度快，撞击坑识别概率高，撞击发现率高，适用于各种天体撞击坑的识别。
-
公开(公告)号：CN104268593B
公开(公告)日：2017-10-17
申请号：CN201410488550.2
申请日：2014-09-22
Applicant: 华东交通大学
Abstract: 一种小样本情况下多稀疏表示的人脸识别方法，该方法采用两种方式来解决人脸识别中的小样本情况，一是由给定的原始训练样本产生“虚拟样本”，增加训练样本数；二是在产生虚拟样本的基础上，用三种非线性特征抽取方法，即核主成分分析、核鉴别分析和核局部保持投影算法，抽取样本的特征；这样就会得到三类特征模式，对每种特征模式构建稀疏表示模型；对每个样本总共构建三个稀疏表示模型，最后根据表示结果来分类。本发明提供的多稀疏表示分类方法通过对称镜像产生虚拟人脸，再构建基于L1范数的多稀疏表示模型并分类。本方法与其它分类方法相比，该方法鲁棒性强，分类效果好，特别适用于很多数据维数高且训练样本少的分类场合。
-
公开(公告)号：CN118230113A
公开(公告)日：2024-06-21
申请号：CN202410659894.9
申请日：2024-05-27
Applicant: 华东交通大学
IPC: G06V10/80 , G06V10/82 , G06V10/40 , G06N3/0464 , G06N3/045 , G06V10/764
Abstract: 本发明提供了一种基于多模态融合与注意力机制的目标检测方法及系统，该方法包括：对每一图像信息进行堆叠处理，以生成对应的目标图像信息；通过若干特征提取模块以及切片特征融合模块实时提取出目标图像信息中包含的若干目标特征图，并将最后三张特征图输入至预设第一算法中，以使预设第一算法输出对应的目标信息；实时检测出与目标信息对应的预测值以及真实值，并根据预测值以及真实值构建出对应的损失函数；对损失函数进行训练，以输出对应的网络权重文件，并构建出对应的多模态目标检测网络，以通过多模态目标检测网络实时确定出目标场景中的目标物体的位置。本发明能够快速的完成多模态数据的融合，提升了工作效率。
-
公开(公告)号：CN116363037B
公开(公告)日：2023-08-11
申请号：CN202310638962.9
申请日：2023-06-01
Applicant: 华东交通大学
IPC: G06T5/50 , G06N3/084 , G06N3/0455 , G06N3/0464
Abstract: 本发明提供一种多模态图像融合方法、装置及设备，方法包括：获取同一目标对象的不同模态的至少两张图像数据，并采用预设特征提取网络对每张图像数据进行特征信息提取，得到对应的特征图像；将不同模态的特征图像进行堆叠，得到堆叠后特征图像，并对堆叠后特征图像进行通道注意力处理，输出具有通道注意力的特征图；依序对具有通道注意力的特征图进行局部多头自注意力处理和全局多头自注意力处理，得到多模态图像融合后的目标特征图。本发明通过将不同模态的特征图堆叠后依次进行通道注意力、局部自注意力以及全局注意力处理，在保证注重全局和局部信息的情况下，将计算复杂度降低到线性，具有速度快，精度高的特点。
-
Patent Agency Ranking
公开(公告)号：CN115294406B
公开(公告)日：2022-12-20
申请号：CN202211206014.X
申请日：2022-09-30
Applicant: 华东交通大学
IPC: G06V10/764 , G06V10/80 , G06V10/82 , G06N3/04 , G06N5/04
Abstract: 本发明提出一种基于属性的多模态可解释分类的方法与系统，通过批归一化通道交换及邓普斯特‑谢弗理论，利用多模态数据的互补能力，有效提高分类准确性；根据对象具有的属性以及决策树推理规则对预测结果进行解释，运用不同的损失函数描述对象在决策树叶层级和内部层级的推理损失，以及分类属性原型在决策树叶层级和内部层级的损失；进行训练时，将多模态分类数据集输入至模型中，反向传播训练网络权重以最小化训练损失，将损失函数降低至最低点；进行分类预测时，将多模态数据输入至训练完成的网络，得到检测物体的预测结果，通过可视化展示物体具有的属性及决策树推理规则及路由信息，以对预测结果进行很好地解释。
-
公开(公告)号：CN115423847A
公开(公告)日：2022-12-02
申请号：CN202211376018.2
申请日：2022-11-04
Applicant: 华东交通大学
IPC: G06T7/246 , G06V10/75 , G06V10/766 , G06V10/80 , G06V10/82
Abstract: 本发明提出一种基于Transformer的孪生多模态目标跟踪方法，获取场景中的RGB图像信息和热力图像信息；通过预训练的ResNet网络提取不同模态的高级特征，同时基于孪生网络的跨模态特征融合网络以获得不同模态的共同特征；然后将对应模态的高级特征输入到针对多模态设计的Transformer模块中进行跨模态信息融合，再输入到基于全连接卷积神经网络的回归网络中进行最终检测框的回归，在此过程中产生的误差将会反向传播到前序各个网络中，根据最终权重网络构建目标跟踪网络，以对多模态情况下的目标进行跟踪。本发明可准确预测物体在各模态的位置信息，提高目标跟踪与定位准确度，可广泛应用于多种场景。
-
公开(公告)号：CN104268593A
公开(公告)日：2015-01-07
申请号：CN201410488550.2
申请日：2014-09-22
Applicant: 华东交通大学
CPC classification number: G06K9/00268 , G06K9/6256 , G06K9/6267
Abstract: 一种小样本情况下多稀疏表示的人脸识别方法，该方法采用两种方式来解决人脸识别中的小样本情况，一是由给定的原始训练样本产生“虚拟样本”，增加训练样本数；二是在产生虚拟样本的基础上，用三种非线性特征抽取方法，即核主成分分析、核鉴别分析和核局部保持投影算法，抽取样本的特征；这样就会得到三类特征模式，对每种特征模式构建稀疏表示模型；对每个样本总共构建三个稀疏表示模型，最后根据表示结果来分类。本发明提供的多稀疏表示分类方法通过对称镜像产生虚拟人脸，再构建基于L1范数的多稀疏表示模型并分类。本方法与其它分类方法相比，该方法鲁棒性强，分类效果好，特别适用于很多数据维数高且训练样本少的分类场合。
-
公开(公告)号：CN118467976B
公开(公告)日：2024-09-17
申请号：CN202410911393.5
申请日：2024-07-09
Applicant: 华东交通大学
IPC: G06F18/20 , G06F18/213 , G06F18/214 , G06F17/16
Abstract: 本申请公开了一种电熔镁炉故障诊断方法、设备及介质，涉及工业炼镁故障分类领域，该方法包括：对历史综合数据进行归一化处理，得到相应的历史视频节点特征和历史电流节点特征，根据历史视频节点特征和历史电流节点特征构造视频内模态伴随矩阵、电流内模态伴随矩阵以及时序视频与电流跨模态伴随矩阵，进行时序多模态混合网络结构的训练，得到训练好的时序多模态混合网络结构，本发明通过对电流数据和视频数据进行内模态和跨模态矩阵构造，通过视频内模态伴随矩阵、电流内模态伴随矩阵、时序视频与电流跨模态伴随矩阵，能够采集时序数据中的高阶信息，利用该高阶信息进行电熔镁炉故障诊断，提高了电熔镁炉故障诊断精度。
-
公开(公告)号：CN118379706A
公开(公告)日：2024-07-23
申请号：CN202410815243.4
申请日：2024-06-24
Applicant: 华东交通大学
IPC: G06V20/56 , G06V10/80 , G06V10/82 , G06V10/774 , G06V10/764 , G06N3/0499 , G06N3/084
Abstract: 本发明提供一种基于注意力与特征分频的多模态融合模型训练方法及系统，方法包括：获取多模态数据，并将多模态数据输入至预训练特征提取网络当中，以分别提取出每一种模态数据对应的不同频率大小的多种特征图；将同一频率大小的不同模态的特征图进行通道拼合，并对多种频率的通道拼合后的特征图进行分频特征融合；将多种频率的融合特征图输入到预设目标位置识别网络当中，得到车辆附近的目标位置信息，并将多种频率的融合特征图输入到预设车道位置识别网络当中进行多次迭代更新，得到车道线位置信息；计算损失函数并进行反向传播，以训练模型。本发明不仅可以提高模型识别精度，还能够有效节省计算量、提升硬件运算效率。
-
-
-
-
-
-
-
-
-
Search Results
23
records
(took 0.021 seconds)
