-
公开(公告)号:CN118643176A
公开(公告)日:2024-09-13
申请号:CN202410785602.6
申请日:2024-06-18
Applicant: 重庆邮电大学
IPC: G06F16/483 , G06F16/438 , G06F16/44 , G06V10/774 , G06V10/764 , G06V10/75 , G06V10/80 , G06V10/82
Abstract: 本发明属于动态人脸检索领域,涉及一种人机混合智能的交互式动态人物肖像检索方法,包括:获取画师绘制的素描,将素描输入生成模型,得到生成肖像;将素描和生成肖像分别输入深度神经网络模型,得到当前素描和生成肖像的嵌入向量和关键点信息并进行融合;计算融合后的嵌入向量和联合关键点信息同所有待检索肖像的嵌入向量和关键点信息的匹配分数,根据匹配分数对待检索肖像进行升序排序,并将top‑k张肖像实时展示给画师;本发明采用生成联合检索框架,从有限的素描图像中推断并生成完整的图像表示,能够填补素描中的缺失细节,增强原始素描的信息量,为检索提供了更多可用于比较和匹配的视觉特征,从而提高了检索的准确性和效率。
-
公开(公告)号:CN114860980B
公开(公告)日:2024-07-19
申请号:CN202210580704.5
申请日:2022-05-26
Applicant: 重庆邮电大学
IPC: G06F16/583 , G06N3/084 , G06V10/74 , G06V10/774 , G06V10/82
Abstract: 本发明属于动态草图检索领域,具体涉及一种基于草图局部特征和全局特征匹配的图像检索方法,该方法包括:获取待检索的手绘草图序列及对应的草图块,将草图序列和草图块输入到训练好的神经网络模型中得到草图的嵌入向量和草图块的嵌入向量;计算嵌入向量输入数据的欧式距离;将计算出的欧式距离进行加权融合,根据融合后的欧式距离返回检索到top‑k张图片,得到草图的检索结果;改进的神经网络模型包括完整图像分支和切块图像分支;完整图像分支用于对完整的草图进行处理,切块图像分支用于对草图块进行处理;本发明针对序列草图笔画信息稀少的问题,使用草图分割的方法搭建不同分支的网络模型,减少草图笔画信息稀少带来的准确率下降的问题。
-
公开(公告)号:CN114860980A
公开(公告)日:2022-08-05
申请号:CN202210580704.5
申请日:2022-05-26
Applicant: 重庆邮电大学
IPC: G06F16/583 , G06N3/08 , G06V10/74 , G06V10/774 , G06V10/82
Abstract: 本发明属于动态草图检索领域,具体涉及一种基于草图局部特征和全局特征匹配的图像检索方法,该方法包括:获取待检索的手绘草图序列及对应的草图块,将草图序列和草图块输入到训练好的神经网络模型中得到草图的嵌入向量和草图块的嵌入向量;计算嵌入向量输入数据的欧式距离;将计算出的欧式距离进行加权融合,根据融合后的欧式距离返回检索到top‑k张图片,得到草图的检索结果;改进的神经网络模型包括完整图像分支和切块图像分支;完整图像分支用于对完整的草图进行处理,切块图像分支用于对草图块进行处理;本发明针对序列草图笔画信息稀少的问题,使用草图分割的方法搭建不同分支的网络模型,减少草图笔画信息稀少带来的准确率下降的问题。
-
公开(公告)号:CN114782586A
公开(公告)日:2022-07-22
申请号:CN202210497284.4
申请日:2022-05-09
Applicant: 重庆邮电大学
Abstract: 本发明属于素描绘画序列集生成领域,具体涉及一种素描绘画序列集自动生成方法,包括通过预训练的结构线提取模型得到完整素描图像的结构线图像;对结构线图像进行预处理得到边缘线条集合;对边缘线条集合进行边缘处理,获取第二边缘序列集合;采用第二边缘序列集合绘制得到边缘序列集,并对其进行膨胀处理;将膨胀后的边缘序列集与完整素描图像进行点乘运算,得到素描绘画序列集,本发明的方法能够得到完整素描的绘制阶段图,用于图像检索的模型的训练,减少了图像检索模型训练样本获取的人力成本、时间成本。
-
公开(公告)号:CN118656511A
公开(公告)日:2024-09-17
申请号:CN202410798511.6
申请日:2024-06-20
Applicant: 重庆邮电大学
IPC: G06F16/583 , G06F16/538 , G06V40/16 , G06V10/774 , G06V10/764 , G06V10/82
Abstract: 本发明属于人脸识别领域,具体涉及一种基于生成式语言模型的多模态人脸检索方法,包括:建立生成式语言模型,对生成式语言模型进行训练,向训练完成后的生成式语言模型输入行人图片和对应的描述性文本进行人脸检索,得到检索结果。本发明构建了一个强大建模能力的生成式语言模型,可以获取语义更加丰富的文本表示,并通过引入特殊标记,使文本描述和图像内容可以更好的互补,增强了模型的理解能力,还实现了多任务的联合训练,包括文本生成、视觉问答、人脸检测和人脸检索,不同任务的学习可以相互促进,提高模型的泛化能力,弥补了基于生成式语言模型进行人脸检测和人脸检索任务的空白。
-
公开(公告)号:CN117576498A
公开(公告)日:2024-02-20
申请号:CN202311370479.3
申请日:2023-10-20
Applicant: 重庆邮电大学
IPC: G06V10/774 , G06V10/70 , G06V10/82 , G06V10/86 , G06V40/16 , G06F40/211 , G06F40/216 , G06F40/253
Abstract: 本发明属于大语言模型应用领域和数据集标注领域,涉及一种基于大语言模型和语法树的人脸图像标题生成方法,所述方法包括获取人脸图像,并使用人脸检测模型进行人脸区域检测;使用神经网络模型对人脸图像进行属性预测,获取人脸图像各个视觉属性并生成人脸特征表;使用概率上下文无关算法对人脸特征表构造标题语法树,生成多条上下文无关的语句;使用预训练的大规模语言模型,分别对每条上下文无关的语句进行改写,生成具有自然语言表达方式的描述语句;使用多模态模型对多条描述语句进行评分,选择评分最高的描述语句,作为对应人脸图像标题。本发明能够自动高质量生成人脸图像和自然语言描述之间的匹配数据对。有利于相关任务的性能提升。
-
公开(公告)号:CN116244464A
公开(公告)日:2023-06-09
申请号:CN202310229513.9
申请日:2023-03-10
Applicant: 重庆邮电大学
Abstract: 本发明属于动态草图检索领域,具体涉及一种基于多模态数据融合的手绘图像实时检索方法;该方法包括:使用完成训练的改进神经网络模型提取样本的图像特征与标签特征构建数据库,向模型输入目标图像的手绘草图和标签信息,得到草图的图像特征向量和标签特征向量;拼接草图的图像特征向量和标签特征向量,得到草图联合嵌入向量;计算草图联合嵌入向量和数据库中每个样本的联合嵌入向量的相似度,得到相似度集合;将相似度集合中的元素按照从大到小的顺序进行排序,取相似度最高的前K张样本图像作为最终的检索结果;本发明减少了手绘草图的早期检索时间,提高了检索效率。
-
公开(公告)号:CN114782586B
公开(公告)日:2024-10-18
申请号:CN202210497284.4
申请日:2022-05-09
Applicant: 重庆邮电大学
Abstract: 本发明属于素描绘画序列集生成领域,具体涉及一种素描绘画序列集自动生成方法,包括通过预训练的结构线提取模型得到完整素描图像的结构线图像;对结构线图像进行预处理得到边缘线条集合;对边缘线条集合进行边缘处理,获取第二边缘序列集合;采用第二边缘序列集合绘制得到边缘序列集,并对其进行膨胀处理;将膨胀后的边缘序列集与完整素描图像进行点乘运算,得到素描绘画序列集,本发明的方法能够得到完整素描的绘制阶段图,用于图像检索的模型的训练,减少了图像检索模型训练样本获取的人力成本、时间成本。
-
-
-
-
-
-
-