公开(公告)号：CN114691897A

公开(公告)日：2022-07-01

申请号：CN202210284064.3

申请日：2022-03-22

Applicant: 哈尔滨工业大学(深圳)

Inventor： 张正 ,  安峻枫 ,  卢光明

IPC: G06F16/41 ,  G06F16/432 ,  G06F16/48 ,  G06N3/04

Abstract: 本发明公开了深度自适应多模态哈希检索方法及相关设备，本发明提供的方法，在面向多模态数据的哈希学习过程中先根据每一个模态数据的物理特性和特质，设计各自模态数据的特征学习网络，根据每次投入学习的训练样本中各个模态对最终共有特征的性能所做贡献大小，对每一个模态特征确定可学习的权重，根据权重来对各个模态的特征进行融合，实现了根据训练样本自身特性完成自适应权重的信息融合；使融合后的共有特征与哈希码的差异最小化，此过程加入从预设标签中提取的可伸缩语义特征，对哈希函数的参数进行自动更新，实现了特征空间与哈希空间的对齐，使用标签语义信息监督参数更新，能够提升多模态特征自适应融合能力和哈希学习的判别性表征能力。

公开(公告)号：CN114612961A

公开(公告)日：2022-06-10

申请号：CN202210138130.6

申请日：2022-02-15

Applicant: 哈尔滨工业大学(深圳)

Inventor： 卢光明 ,  李英建 ,  张正 ,  罗子娟 ,  李亚桐 ,  张伟彬 ,  陈东鹏

IPC: G06V40/16 ,  G06V10/774 ,  G06K9/62

Abstract: 本发明公开了一种多源跨域表情识别方法、装置及存储介质，方法包括:将预处理后的图像数据划分为源域数据和目标域数据;获取源域数据一致性标签，包括基于源域数据原有的标签学习一个标注模型，用于自动对源域数据进行重新标注；利用基于类别原型的度量学习方法学习跨域不变的特征表示，用于提高源域和目标域特征表示判别性，以及减小特征表示的差异性；对表情识别模型进行训练；将目标域数据输入训练好的表情识别模型中，得到目标域数据的最佳预测标签。本发明可从多个源域数据学习语义知识并将其迁移到目标域数据，提升跨域表情识别方法的泛化性能。

公开(公告)号：CN113961727A

公开(公告)日：2022-01-21

申请号：CN202111067916.5

申请日：2021-09-13

Applicant: 哈尔滨工业大学(深圳)

Inventor： 张正 ,  罗浩洋 ,  卢光明

IPC: G06F16/41 ,  G06F16/45 ,  G06F16/901 ,  G06F16/906

Abstract: 本发明公开了一种跨媒体哈希检索方法、装置、终端及存储介质，方法包括：在样本数据集中选取至少一个样本数据组，得到目标训练批次；确定目标样本数据组对应的样本哈希特征；确定目标样本数据组对应的预测标签向量；根据目标样本数据组对应的样本标签向量获取目标样本数据组对应的标签哈希特征；根据样本哈希特征、标签哈希特征、样本标签向量、以及预测标签向量确定训练损失，根据训练损失对第一特征哈希学习网络和第二特征哈希学习网络的参数进行更新；采用参数收敛后的第一特征哈希学习网络确定第一媒体类型的数据的哈希码，采用参数收敛后的第二特征哈希学习网络确定第二媒体类型的数据的哈希码。本发明能够提升跨媒体哈希检索的准确性。