-
公开(公告)号:CN113505821B
公开(公告)日:2022-09-27
申请号:CN202110726015.6
申请日:2021-06-29
Applicant: 重庆邮电大学
IPC: G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明属于图像识别领域,具体涉及一种基于样本可信度的深度神经网络图像识别方法及系统,方法包括获取待处理的图像,将待处理的图像输入到训练好的深度神经网络模型中,再将每个图像传入预识别网络后的输出的结果,经过Softmax处理后的最大值,作为该图片的可信度,对于可信度高的图片,在经历浅层卷积模块后即得到识别结果,对于低可信度图片,将进入到下一层网络再次进行特征提取、预识别,再重复以上操作,即计算其可信度直到图片可信度达到高可信度或者最深层网络;本发明样本分流的方式,减少了网络的计算量,训练过程中实现可信样本与不可信样本的分层隔离训练,提高各自的识别准确率,与抗干扰能力。
-
公开(公告)号:CN113886615B
公开(公告)日:2024-06-04
申请号:CN202111241283.5
申请日:2021-10-25
Applicant: 重庆邮电大学
IPC: G06F16/53 , G06N3/0464 , G06N3/084
Abstract: 本发明属于图像检索领域,具体涉及一种多粒度联想学习的手绘图像实时检索方法,包括:采用三重态损失函数与多粒度联想学习方法训练改进的深度神经网络模型,训练好的深度神经网络模型提取草图分支的嵌入向量,将其送入判别器判断该草图分支的等级,再将该草图分支送入等级对应的降维层,计算草图分支与图像间的欧式距离,根据欧式距离,返回检索到的top‑k张图片;本发明设计多阶段模型,避免不完整草图的多样性混淆,提出一种渐进式不完整草图的多粒度关联学习方法,使得每个不完整草图的嵌入空间逼近后续草图及其对应目标照片的嵌入空间,尽可能以最少的草图笔画检索出目标图片。
-
公开(公告)号:CN117576498A
公开(公告)日:2024-02-20
申请号:CN202311370479.3
申请日:2023-10-20
Applicant: 重庆邮电大学
IPC: G06V10/774 , G06V10/70 , G06V10/82 , G06V10/86 , G06V40/16 , G06F40/211 , G06F40/216 , G06F40/253
Abstract: 本发明属于大语言模型应用领域和数据集标注领域,涉及一种基于大语言模型和语法树的人脸图像标题生成方法,所述方法包括获取人脸图像,并使用人脸检测模型进行人脸区域检测;使用神经网络模型对人脸图像进行属性预测,获取人脸图像各个视觉属性并生成人脸特征表;使用概率上下文无关算法对人脸特征表构造标题语法树,生成多条上下文无关的语句;使用预训练的大规模语言模型,分别对每条上下文无关的语句进行改写,生成具有自然语言表达方式的描述语句;使用多模态模型对多条描述语句进行评分,选择评分最高的描述语句,作为对应人脸图像标题。本发明能够自动高质量生成人脸图像和自然语言描述之间的匹配数据对。有利于相关任务的性能提升。
-
公开(公告)号:CN116797678A
公开(公告)日:2023-09-22
申请号:CN202310780064.7
申请日:2023-06-28
Applicant: 重庆邮电大学
IPC: G06T9/00 , G06V10/44 , G06V10/82 , G06N3/0464
Abstract: 本发明属于图像处理领域,涉及一种基于多头类卷积自注意力的图像特征编码方法、装置及电子设备;所述方法包括获取目标图像并进行预处理;提取出输入特征张量后进行展开操作,按照指定步长和子区域大小生成Q、K、V展开特征;使用可学习的Q、K和V类卷积权重参数,对应编码为一组自注意力特征;使用点积注意力机制计算多头注意力权重,将多头Q特征和多头K特征相互关联;将多头注意力权重应用于多头V特征,融合子区域内的特征点信息,得到多头自注意力输出特征;利用多头混洗权重参数进行混洗操作;提取和整合目标图像的输出特征信息。本发明采用多头类卷积自注意力机制,提升了处理图像时的性能,改善了对图像底层局部特征的学习。
-
公开(公告)号:CN116244464A
公开(公告)日:2023-06-09
申请号:CN202310229513.9
申请日:2023-03-10
Applicant: 重庆邮电大学
Abstract: 本发明属于动态草图检索领域,具体涉及一种基于多模态数据融合的手绘图像实时检索方法;该方法包括:使用完成训练的改进神经网络模型提取样本的图像特征与标签特征构建数据库,向模型输入目标图像的手绘草图和标签信息,得到草图的图像特征向量和标签特征向量;拼接草图的图像特征向量和标签特征向量,得到草图联合嵌入向量;计算草图联合嵌入向量和数据库中每个样本的联合嵌入向量的相似度,得到相似度集合;将相似度集合中的元素按照从大到小的顺序进行排序,取相似度最高的前K张样本图像作为最终的检索结果;本发明减少了手绘草图的早期检索时间,提高了检索效率。
-
公开(公告)号:CN114860980B
公开(公告)日:2024-07-19
申请号:CN202210580704.5
申请日:2022-05-26
Applicant: 重庆邮电大学
IPC: G06F16/583 , G06N3/084 , G06V10/74 , G06V10/774 , G06V10/82
Abstract: 本发明属于动态草图检索领域,具体涉及一种基于草图局部特征和全局特征匹配的图像检索方法,该方法包括:获取待检索的手绘草图序列及对应的草图块,将草图序列和草图块输入到训练好的神经网络模型中得到草图的嵌入向量和草图块的嵌入向量;计算嵌入向量输入数据的欧式距离;将计算出的欧式距离进行加权融合,根据融合后的欧式距离返回检索到top‑k张图片,得到草图的检索结果;改进的神经网络模型包括完整图像分支和切块图像分支;完整图像分支用于对完整的草图进行处理,切块图像分支用于对草图块进行处理;本发明针对序列草图笔画信息稀少的问题,使用草图分割的方法搭建不同分支的网络模型,减少草图笔画信息稀少带来的准确率下降的问题。
-
公开(公告)号:CN116797677A
公开(公告)日:2023-09-22
申请号:CN202310779355.4
申请日:2023-06-28
Applicant: 重庆邮电大学
IPC: G06T9/00 , G06N3/0464 , G06V10/44 , G06V10/82 , G06T3/40
Abstract: 本发明属于图像处理领域,涉及一种基于矩阵数据重排的图像特征编码方法、装置及电子设备;所述方法包括获取待处理的目标图像并预处理;采用特征提取网络提取出目标图像的输入特征张量;将输入特征张量切分为若干子特征,在通道上采用通道或空间维度优先进行矩阵数据重排,拼接得到目标图像的第一特征张量;采用分组特征混合器对第一特征张量进行处理,生成目标图像的第二特征张量,并进行残差连接,连接得到目标图像的第三特征张量;将第三特征张量切分为若干子特征,在空间上采用相对应的空间或通道维度优先进行逆矩阵数据重排,拼接得到目标图像的输出特征张量。本发明能够充分利用图像内部的信息,提高了模型在计算机视觉任务中的性能。
-
公开(公告)号:CN114860980A
公开(公告)日:2022-08-05
申请号:CN202210580704.5
申请日:2022-05-26
Applicant: 重庆邮电大学
IPC: G06F16/583 , G06N3/08 , G06V10/74 , G06V10/774 , G06V10/82
Abstract: 本发明属于动态草图检索领域,具体涉及一种基于草图局部特征和全局特征匹配的图像检索方法,该方法包括:获取待检索的手绘草图序列及对应的草图块,将草图序列和草图块输入到训练好的神经网络模型中得到草图的嵌入向量和草图块的嵌入向量;计算嵌入向量输入数据的欧式距离;将计算出的欧式距离进行加权融合,根据融合后的欧式距离返回检索到top‑k张图片,得到草图的检索结果;改进的神经网络模型包括完整图像分支和切块图像分支;完整图像分支用于对完整的草图进行处理,切块图像分支用于对草图块进行处理;本发明针对序列草图笔画信息稀少的问题,使用草图分割的方法搭建不同分支的网络模型,减少草图笔画信息稀少带来的准确率下降的问题。
-
公开(公告)号:CN114647754A
公开(公告)日:2022-06-21
申请号:CN202210396360.2
申请日:2022-04-15
Applicant: 重庆邮电大学
IPC: G06F16/535 , G06F16/583 , G06N3/04 , G06N3/08
Abstract: 本发明属于图像检索领域,具体涉及一种融合图像标签信息的手绘图像实时检索方法,包括:采用改进的神经网络模型,提取手绘草图的特征图以及实物图像的特征向量,在生成手绘图像的特征向量检索时计算草图分支与所有图像间的欧式距离D,取D的平均值dm作为标签距离基准值,根据输入标签,以及数据库中所存Softmax处理的对应输入标签类别的概率值伪标签Pc,按照数据库样本类别分别对距离dm进行加权,得到标签加权距离值Dl,最终根据D与Dl之和对数据库中的图像进行排序,返回检索到的top‑k张图片;本发明在进行早期草图检索时,可使用目标图像的颜色、特征等信息进行查询,在笔画信息少的时候大大增加检索效率。
-
公开(公告)号:CN119622013A
公开(公告)日:2025-03-14
申请号:CN202411679586.9
申请日:2024-11-22
Applicant: 重庆邮电大学
IPC: G06F16/583 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/092
Abstract: 本发明属于图像检索领域,具体涉及一种基于多模态融合的互动式图像检索方法;包括:采用深度神经网络模型对文本、素描和图像进行编码,得到文本嵌入向量、素描嵌入向量和图像嵌入向量;融合文本嵌入向量和素描嵌入向量,得到融合嵌入向量;根据图像嵌入向量和融合嵌入向量构建奖励函数;构建包含奖励函数的强化学习模型并训练,当达到预设的训练次数时,完成模型训练;实时获取用户的素描以及用户对检索对象的文本描述,将素描和文本输入到训练好的强化学习模型中进行实时检索,模型反馈给用户检索到的图像;用户根据反馈图像进一步优化素描,直至检索到用户满意的目标图像;本发明可保证检索反馈的稳定性能,实现了更优质的检索体验。
-
-
-
-
-
-
-
-
-