公开(公告)号：CN117648429B

公开(公告)日：2024-04-30

申请号：CN202410121781.3

申请日：2024-01-30

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) ,  山东大学

Inventor： 吴建龙 ,  丁沐河 ,  张贤 ,  聂礼强 ,  宋雪萌 ,  甘甜

IPC: G06F16/332 ,  G06F16/33 ,  G06F40/30 ,  G06N5/04 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于问答模型技术领域，为解决现有生成答案的准确率低的问题，提供一种基于多模态自适应检索式增强大模型的问答方法及系统。其中，基于多模态自适应检索式增强大模型的问答方法包括接收待回答的问题；基于多模态自适应检索式增强大模型及多模态知识库，生成预测答案；多模态自适应检索式增强大模型包括检索器、检索排序器和生成器；检索器提取问题及多模态知识库中的每个知识对应的多模态融合特征，计算每个知识和问题的相似度，选取TOP‑K知识；根据问题及知识标签，利用检索排序器从TOP‑K知识中判定出与问题相关的知识，得到检索的相关知识；生成器生成预测答案，其能够大大提高了模态问答的检索和生成答案的准确率。

公开(公告)号：CN117593215B

公开(公告)日：2024-03-29

申请号：CN202410077241.X

申请日：2024-01-19

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 吴建龙 ,  李潇婕 ,  聂礼强 ,  张淼 ,  张民

IPC: G06T5/70 ,  G06T7/11

Abstract: 本发明属于图像自监督预训练领域，为解决生成模型生成图像的准确性差的问题，提供一种生成模型增强的大规模视觉预训练方法及系统。其中，生成模型增强的大规模视觉预训练方法包括利用预训练的生成模型，自适应生成原始图像所对应的正视图；对原始图像和正视图进行数据增强，生成增强后的正样本对，使用预训练的图像编码器提取正样本对的特征表示；根据正样本对的特征表示，计算注意力掩码来分隔前景区域和背景区域；评估正样本对的质量来调整每个正样本对在训练生成模型过程中对整体损失的贡献，计算每个正样本对的重新加权因子，得到最终损失函数，以确定是否继续训练生成模型，其能够减轻低质量和错误图像对生成模型生成图像准确性的影响。

公开(公告)号：CN117611957A

公开(公告)日：2024-02-27

申请号：CN202410077239.2

申请日：2024-01-19

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) ,  山东大学

Inventor： 吴建龙 ,  李子晗 ,  孙玮 ,  聂礼强 ,  尹建华 ,  林宙辰

IPC: G06V10/778 ,  G06V10/774 ,  G06V10/762 ,  G06V10/84

Abstract: 本发明属于计算机视觉中的图像聚类技术领域，为解决现有图像聚类模型聚类性能低的问题，提供一种基于统一正负伪标签的无监督视觉表征学习方法及系统。其中，基于统一正负伪标签的无监督视觉表征学习方法包括预训练分配正标签的深度聚类模型；利用预训练的深度聚类模型为所有图像样本分配正标签，并从中筛选出一组正标签置信度高于设定阈值的图像样本；其中，将筛选出的图像样本作为有标签的图像样本，剩余的图像样本作为无标签的图像样本；利用预训练的深度聚类模型及所有图像样本再进行半监督调整，利用半监督调整过程中的学习损失对预训练的深度聚类模型进行联合优化训练，其能够在预训练模型的基础上进一步提升聚类性能。