公开(公告)号：CN118643176A

公开(公告)日：2024-09-13

申请号：CN202410785602.6

申请日：2024-06-18

Applicant: 重庆邮电大学

Inventor： 戴大伟 ,  贾明明 ,  李玉堂 ,  张元会 ,  廖振淳 ,  王国胤

IPC: G06F16/483 ,  G06F16/438 ,  G06F16/44 ,  G06V10/774 ,  G06V10/764 ,  G06V10/75 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明属于动态人脸检索领域，涉及一种人机混合智能的交互式动态人物肖像检索方法，包括：获取画师绘制的素描，将素描输入生成模型，得到生成肖像；将素描和生成肖像分别输入深度神经网络模型，得到当前素描和生成肖像的嵌入向量和关键点信息并进行融合；计算融合后的嵌入向量和联合关键点信息同所有待检索肖像的嵌入向量和关键点信息的匹配分数，根据匹配分数对待检索肖像进行升序排序，并将top‑k张肖像实时展示给画师；本发明采用生成联合检索框架，从有限的素描图像中推断并生成完整的图像表示，能够填补素描中的缺失细节，增强原始素描的信息量，为检索提供了更多可用于比较和匹配的视觉特征，从而提高了检索的准确性和效率。

公开(公告)号：CN118656511A

公开(公告)日：2024-09-17

申请号：CN202410798511.6

申请日：2024-06-20

Applicant: 重庆邮电大学

Inventor： 张元会 ,  戴大伟 ,  李玉堂 ,  贾明明 ,  廖振淳 ,  王国胤

IPC: G06F16/583 ,  G06F16/538 ,  G06V40/16 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明属于人脸识别领域，具体涉及一种基于生成式语言模型的多模态人脸检索方法，包括：建立生成式语言模型，对生成式语言模型进行训练，向训练完成后的生成式语言模型输入行人图片和对应的描述性文本进行人脸检索，得到检索结果。本发明构建了一个强大建模能力的生成式语言模型，可以获取语义更加丰富的文本表示，并通过引入特殊标记，使文本描述和图像内容可以更好的互补，增强了模型的理解能力，还实现了多任务的联合训练，包括文本生成、视觉问答、人脸检测和人脸检索，不同任务的学习可以相互促进,提高模型的泛化能力，弥补了基于生成式语言模型进行人脸检测和人脸检索任务的空白。

公开(公告)号：CN119622013A

公开(公告)日：2025-03-14

申请号：CN202411679586.9

申请日：2024-11-22

Applicant: 重庆邮电大学

Inventor： 刘颖格 ,  戴大伟 ,  贾明明 ,  李湛源 ,  廖振淳 ,  夏书银 ,  王国胤

IPC: G06F16/583 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/092

Abstract: 本发明属于图像检索领域，具体涉及一种基于多模态融合的互动式图像检索方法；包括：采用深度神经网络模型对文本、素描和图像进行编码，得到文本嵌入向量、素描嵌入向量和图像嵌入向量；融合文本嵌入向量和素描嵌入向量，得到融合嵌入向量；根据图像嵌入向量和融合嵌入向量构建奖励函数；构建包含奖励函数的强化学习模型并训练，当达到预设的训练次数时，完成模型训练；实时获取用户的素描以及用户对检索对象的文本描述，将素描和文本输入到训练好的强化学习模型中进行实时检索，模型反馈给用户检索到的图像；用户根据反馈图像进一步优化素描，直至检索到用户满意的目标图像；本发明可保证检索反馈的稳定性能，实现了更优质的检索体验。