公开(公告)号：CN119379524A

公开(公告)日：2025-01-28

申请号：CN202411918332.8

申请日：2024-12-25

Applicant: 齐鲁工业大学(山东省科学院) ,  山东省人工智能研究院 ,  山东省计算中心(国家超级计算济南中心) ,  山东大学 ,  浙江大华技术股份有限公司 ,  哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) ,  合肥工业大学

Inventor： 高赞 ,  张鹏 ,  马春杰 ,  聂礼强 ,  吴建龙 ,  朱树磊 ,  金恒 ,  殷俊 ,  汪萌

IPC: G06T1/00 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/09 ,  G06N3/094

Abstract: 本发明涉及一种基于多重水印融合与跨域学习的图像伪造主动防御方法，属于计算机视觉技术领域。其包括以下步骤：获取待处理图像；待处理图像经过水印编码器进行不可见水印嵌入和可见水印嵌入，分别得到嵌入不可见水印的图像和嵌入可见水印的图像；嵌入不可见水印的图像经过噪声层进行处理，得到噪声图像；嵌入可见水印的图像经过噪声层进行处理，通过可见水印联合优化在嵌入随机噪声的图像位置产生明显的虚假警示标识；噪声图像经过水印解码器进行图像的溯源和检测，判断图像的真实性；进行损失函数监督训练。本发明方法能够精准的判断图像是否经过深度伪造以及验证图像来源的真实性。

公开(公告)号：CN118939682B

公开(公告)日：2025-01-14

申请号：CN202411425826.2

申请日：2024-10-14

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) ,  山东大学 ,  浙江大华技术股份有限公司 ,  山东省计算中心(国家超级计算济南中心)

Inventor： 关惟俐 ,  聂礼强 ,  刘萌 ,  金恒 ,  高赞 ,  朱树磊 ,  胡宇鹏 ,  吴建龙 ,  李在京

IPC: G06F16/2452 ,  G06F16/242 ,  G06N5/022

Abstract: 本发明提供了一种基于知识引导的层级查询语句意图理解方法及系统，涉及自然语言处理技术领域，所述方法包括，获取查询语句，将查询语句转换为不同层级的语义嵌入向量；将外部知识图谱转化为知识嵌入矩阵，检索知识嵌入矩阵中与各层级的语义嵌入向量最相关的知识嵌入向量，将检索到的知识嵌入向量与对应的语义嵌入向量融合，得到各层级融合后的语义嵌入向量；根据各层级融合后的语义嵌入向量获取权重矩阵，计算权重重分配后的语义嵌入向量；基于注意力机制融合权重重分配后的语义嵌入向量与文本嵌入向量，得到查询语句的精确表征，确定查询语句的意图。本发明能够提高查询语句的理解与表征精准度。

公开(公告)号：CN119229478A

公开(公告)日：2024-12-31

申请号：CN202411755122.1

申请日：2024-12-03

Applicant: 齐鲁工业大学(山东省科学院) ,  山东省人工智能研究院 ,  山东大学 ,  浙江大华技术股份有限公司 ,  哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) ,  天津理工大学 ,  合肥工业大学

Inventor： 高赞 ,  于潇涵 ,  聂礼强 ,  吴建龙 ,  朱树磊 ,  金恒 ,  殷俊 ,  汪萌

IPC: G06V40/10 ,  G06V10/26 ,  G06V10/44 ,  G06V10/74 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于计算机视觉技术领域，提供了一种基于结合人体语义与三维重构的行人搜索方法及系统。步骤如下：首先获取待检索的行人图像，将图像输入训练好的换衣行人特征提取网络，提取在换衣情况下的行人特征，换衣行人重特征提取网络通过换衣模块扩充数据集样本，使模型重点学习衣服区域外的行人特征表示，减轻衣服变化带来的干扰，对行人图像进行三维建模，仅保留行人头部，学习额外的行人体型和头部特征，最后将原始图像特征与三维建模图像特征进行特征融合得到全局的行人特征，利用得到的待检索图像的行人特征与检索图库中的行人特征进行相似度匹配，根据相似性得分进行排序得到行人检索结果。本发明可以大幅度提升行人搜索的准确率和鲁棒性。

公开(公告)号：CN118898797A

公开(公告)日：2024-11-05

申请号：CN202411404288.9

申请日：2024-10-10

Applicant: 山东大学 ,  哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) ,  浙江大华技术股份有限公司 ,  山东省计算中心(国家超级计算济南中心)

Inventor： 聂礼强 ,  关惟俐 ,  刘萌 ,  殷俊 ,  高赞 ,  胡宇鹏 ,  尉寅玮 ,  徐明珠 ,  王蕴潇

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/24 ,  G06V10/80

Abstract: 本发明属于视频行为片段检索技术领域。提供了一种基于常识增强的视频行为片段候选集生成方法及系统，获取查询语句和待检索视频的语义特征表示；通过跨模态交互模块对视觉特征语义表示和文本特征语义表示进行交互，融合多模态信息；预测每个视频单元被保留的概率，并依据概率保留高信息有效性的视频单元；通过视觉适配层将保留的视频帧的特征映射到图文预训练大模型的输入空间；通过插入适配层对图文预训练大模型进行微调，并构造指令指示模型完成视频行为片段候选集生成任务。本发明引入图文预训练大模型以利用其中丰富的外部知识提高对视觉内容的理解，同时兼顾了视频行为片段候选集的生成速度和精度。

公开(公告)号：CN117648429A

公开(公告)日：2024-03-05

申请号：CN202410121781.3

申请日：2024-01-30

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) ,  山东大学

Inventor： 吴建龙 ,  丁沐河 ,  张贤 ,  聂礼强 ,  宋雪萌 ,  甘甜

IPC: G06F16/332 ,  G06F16/33 ,  G06F40/30 ,  G06N5/04 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于问答模型技术领域，为解决现有生成答案的准确率低的问题，提供一种基于多模态自适应检索式增强大模型的问答方法及系统。其中，基于多模态自适应检索式增强大模型的问答方法包括接收待回答的问题；基于多模态自适应检索式增强大模型及多模态知识库，生成预测答案；多模态自适应检索式增强大模型包括检索器、检索排序器和生成器；检索器提取问题及多模态知识库中的每个知识对应的多模态融合特征，计算每个知识和问题的相似度，选取TOP‑K知识；根据问题及知识标签，利用检索排序器从TOP‑K知识中判定出与问题相关的知识，得到检索的相关知识；生成器生成预测答案，其能够大大提高了模态问答的检索和生成答案的准确率。

公开(公告)号：CN117593215A

公开(公告)日：2024-02-23

申请号：CN202410077241.X

申请日：2024-01-19

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 吴建龙 ,  李潇婕 ,  聂礼强 ,  张淼 ,  张民

IPC: G06T5/70 ,  G06T7/11

Abstract: 本发明属于图像自监督预训练领域，为解决生成模型生成图像的准确性差的问题，提供一种生成模型增强的大规模视觉预训练方法及系统。其中，生成模型增强的大规模视觉预训练方法包括利用预训练的生成模型，自适应生成原始图像所对应的正视图；对原始图像和正视图进行数据增强，生成增强后的正样本对，使用预训练的图像编码器提取正样本对的特征表示；根据正样本对的特征表示，计算注意力掩码来分隔前景区域和背景区域；评估正样本对的质量来调整每个正样本对在训练生成模型过程中对整体损失的贡献，计算每个正样本对的重新加权因子，得到最终损失函数，以确定是否继续训练生成模型，其能够减轻低质量和错误图像对生成模型生成图像准确性的影响。