-
公开(公告)号:CN113361466A
公开(公告)日:2021-09-07
申请号:CN202110737860.3
申请日:2021-06-30
Applicant: 江南大学
Abstract: 本发明公开了一种基于多模态交叉指导学习的多光谱目标检测方法,属于多模态信息处理技术领域。所述方法包括:将成对多模态图片送入特征生成模块生成高低层特征,从中间层特征开始,成对多模态特征送入权重感知网络。权重感知网络输出各模态的加权特征,并将其分别返回另一模态的特征生成模块,从而将加权信息以联合交叉指导的方式逐步传输到下一层,建立模态间的长期依赖关系;然后融合特征输入下一阶段的权重感知网络,以加强不同阶段融合特征之间的联系,获得更具判别力的特征;最后提取不同尺度的特征层送入检测层,生成目标的位置和得分。该方法在KAIST数据集上获得77.16%的行人检测精度,行人平均漏检率下降至25.03%。
-
公开(公告)号:CN112287963B
公开(公告)日:2024-03-05
申请号:CN202010959625.6
申请日:2020-09-14
Applicant: 江南大学
IPC: G06V10/764 , G06V10/774
Abstract: 本发明公开了一种分类器热启动训练机制下的小样本目标检测方法,属于目标检测技术领域。首先在源域大规模数据集上训练源域检测网络。然后构建一个使用生成式背景抑制正则项网络的目标域检测网络,在训练目标域检测网络时采用了分类器热启动训练机制,即先只训练似物性检测网络,直到训练满足一定条件后激活分类器的参数更新。目标域网络训练时,需要使用源域网络分类器作为适配器,通过适配器将源域网络的知识迁移到目标域网络中来。实验结果显示本发明方法检测精度良好,训练用时少,可以满足任务需求。
-
公开(公告)号:CN113705359A
公开(公告)日:2021-11-26
申请号:CN202110883847.9
申请日:2021-08-03
Applicant: 江南大学
Abstract: 本发明公开了一种基于洗衣机滚筒图像的多尺度衣物检测系统及方法,属于2D图像目标检测技术领域。所述系统包括:改进的ResNet101网络模块、特征增强模块SRM、动态感受野DRF模块、动态可变形卷积DDH模块;在实现衣物检测时,首先利用改进的ResNet101网络模块和SRM模块得到高质量的浅层特征,通过对浅层特征进行回归操作以最大保留衣物目标的定位信息;再通过DRF模块构建出语义信息更强的金字塔结构,在综合利用各尺寸特征的同时,对衣物目标进行分类和进一步的定位校准;DDH模块对检测框的偏移作用丰富了预测尺度的多样性;本发明有效地提高了滚筒洗衣机衣物的识别分类能力,提高了衣物检测精度,可应用于洗衣机内复杂衣物的检测场景。
-
公开(公告)号:CN113536015A
公开(公告)日:2021-10-22
申请号:CN202110754834.1
申请日:2021-07-02
Applicant: 江南大学
IPC: G06F16/583 , G06F16/58 , G06F16/33 , G06F16/35 , G06N3/04
Abstract: 本发明公开了一种基于深度辨识度迁移的跨模态检索方法,属于信息检索技术领域。所述方法在学习不同模态数据公共表示特征的过程中,通过最小化解码向量与文本原始特征间的重建损失增强文本公共表示特征的语义辨识度,同时通过权重共享层的模态不变损失和样本相关性损失将文本公共表示特征的语义高辨识度迁移到图片公共表示特征,从而为各模态数据习得高语义辨识度的公共表示特征,进而提升了检索性能。
-
公开(公告)号:CN112287963A
公开(公告)日:2021-01-29
申请号:CN202010959625.6
申请日:2020-09-14
Applicant: 江南大学
IPC: G06K9/62
Abstract: 本发明公开了一种分类器热启动训练机制的小样本目标检测方法,属于目标检测技术领域。首先在源域大规模数据集上训练源域检测网络。然后构建一个使用生成式背景抑制正则项网络的目标域检测网络,在训练目标域检测网络时采用了分类器热启动训练机制,即先只训练似物性检测网络,直到训练满足一定条件后激活分类器的参数更新。目标域网络训练时,需要使用源域网络分类器作为适配器,通过适配器将源域网络的知识迁移到目标域网络中来。实验结果显示本发明方法检测精度良好,训练用时少,可以满足任务需求。
-
公开(公告)号:CN113536015B
公开(公告)日:2025-04-29
申请号:CN202110754834.1
申请日:2021-07-02
Applicant: 江南大学
IPC: G06F16/583 , G06F16/58 , G06F16/334 , G06F16/353 , G06F16/383 , G06N3/0455 , G06N3/084 , G06N3/09 , G06N3/096 , G06N3/0985
Abstract: 本发明公开了一种基于深度辨识度迁移的跨模态检索方法,属于信息检索技术领域。所述方法在学习不同模态数据公共表示特征的过程中,通过最小化解码向量与文本原始特征间的重建损失增强文本公共表示特征的语义辨识度,同时通过权重共享层的模态不变损失和样本相关性损失将文本公共表示特征的语义高辨识度迁移到图片公共表示特征,从而为各模态数据习得高语义辨识度的公共表示特征,进而提升了检索性能。
-
公开(公告)号:CN113361475B
公开(公告)日:2025-04-04
申请号:CN202110748340.2
申请日:2021-06-30
Applicant: 江南大学
IPC: G06V40/10 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多阶段特征融合信息复用的多光谱行人检测方法,属于多模态信息处理技术领域。所述方法包括:将成对的红外和可见光图片经由双流VGG16网络分别提取中间层特征做早期特征堆叠融合,获得早期融合特征,并基于融合特征生成行人建议。将生成的每一个行人建议先映射回三个多模态特征进行多特征池化,再进行高层池化特征加权融合,同时使用高低层特征池化策略组合池化特征,以完成高低层特征的联合。最后将池化特征送入全连接层完成检测任务。实验结果表明:在KAIST多光谱行人检测数据集上,获得76.24%的行人检测精度,行人平均漏检率下降至27.63%。
-
公开(公告)号:CN113705359B
公开(公告)日:2024-05-03
申请号:CN202110883847.9
申请日:2021-08-03
Applicant: 江南大学
IPC: G06V20/10 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/047 , G06N3/09
Abstract: 本发明公开了一种基于洗衣机滚筒图像的多尺度衣物检测系统及方法,属于2D图像目标检测技术领域。所述系统包括:改进的ResNet101网络模块、特征增强模块SRM、动态感受野DRF模块、动态可变形卷积DDH模块;在实现衣物检测时,首先利用改进的ResNet101网络模块和SRM模块得到高质量的浅层特征,通过对浅层特征进行回归操作以最大保留衣物目标的定位信息;再通过DRF模块构建出语义信息更强的金字塔结构,在综合利用各尺寸特征的同时,对衣物目标进行分类和进一步的定位校准;DDH模块对检测框的偏移作用丰富了预测尺度的多样性;本发明有效地提高了滚筒洗衣机衣物的识别分类能力,提高了衣物检测精度,可应用于洗衣机内复杂衣物的检测场景。
-
公开(公告)号:CN113361475A
公开(公告)日:2021-09-07
申请号:CN202110748340.2
申请日:2021-06-30
Applicant: 江南大学
Abstract: 本发明公开了一种基于多阶段特征融合信息复用的多光谱行人检测方法,属于多模态信息处理技术领域。所述方法包括:将成对的红外和可见光图片经由双流VGG16网络分别提取中间层特征做早期特征堆叠融合,获得早期融合特征,并基于融合特征生成行人建议。将生成的每一个行人建议先映射回三个多模态特征进行多特征池化,再进行高层池化特征加权融合,同时使用高低层特征池化策略组合池化特征,以完成高低层特征的联合。最后将池化特征送入全连接层完成检测任务。实验结果表明:在KAIST多光谱行人检测数据集上,获得76.24%的行人检测精度,行人平均漏检率下降至27.63%。
-
公开(公告)号:CN113536016B
公开(公告)日:2024-09-06
申请号:CN202110760740.5
申请日:2021-07-02
Applicant: 江南大学
IPC: G06F16/583 , G06F16/58 , G06F16/33 , G06F16/35 , G06N3/042 , G06N3/0464 , G06N3/045
Abstract: 本发明公开了一种融合图卷积的跨模态检索方法,属于跨模态检索技术领域。所述方法通过为不同模态构建各自的模态图,图中每个节点代表该模态某一样本的原始特征,并利用图卷积根据近邻关系更新图中的节点特征,同时结合全连接编码特征,得到不同模态高度语义一致的融合编码特征。之后通过公共表征学习层的模态不变损失获得表示一致的公共表征,通过两个子网顶部的线性分类器增强各模态公共表征的语义辨识度,进一步提升了跨模态检索性能;通过在Wikipedia数据集和Pascal Sentence数据集上的实验证明,本申请方法相对于现有技术中性能最优的DSCMR方法,平均mAP值分别提高了2.3%和2.4%。
-
-
-
-
-
-
-
-
-