公开(公告)号：CN110309331B

公开(公告)日：2021-07-27

申请号：CN201910599265.0

申请日：2019-07-04

Applicant: 哈尔滨工业大学(深圳)

Inventor： 王轩 ,  漆舒汉 ,  李逸凡 ,  蒋琳 ,  廖清 ,  刘洋 ,  夏文 ,  李化乐 ,  吴宇琳 ,  贾丰玮

IPC: G06F16/51 ,  G06F16/583 ,  G06F16/31 ,  G06F16/33 ,  G06K9/62

Abstract: 本发明专利涉及一种基于自监督的跨模态联合哈希检索方法，该方法包括以下步骤：步骤1：针对图像模态数据进行处理：采用深度卷积神经网络对图像模态的数据进行特征提取，对图片数据进行哈希学习，将深度卷积神经网络的最后一层全连接层的节点个数设置为哈希码的长度；步骤2：针对文本模态数据进行处理：使用词袋模型对文本数据进行建模，建立一个两层的全连接神经网络对文本模态的数据进行特征提取，神经网络的输入是使用词袋模型表示的词向量，第一个全连接层节点的数据与第二个全连接层节点的数据与哈希码的长度相同；步骤3：针对类别标签处理的神经网络：采用自监督的训练方式从标签数据中提取语义特征；步骤4：最小化图像与文本网络所提取的特征与标签网络的语义特征间的距离，使得图像与文本网络的哈希模型能够更充分学习不同模态间的语义特征。

公开(公告)号：CN110795982A

公开(公告)日：2020-02-14

申请号：CN201910599803.6

申请日：2019-07-04

Applicant: 哈尔滨工业大学(深圳)

Inventor： 王轩 ,  漆舒汉 ,  尹李明 ,  蒋琳 ,  廖清 ,  刘洋 ,  夏文 ,  李化乐 ,  易正中 ,  李逸凡

IPC: G06K9/00 ,  G06K9/32 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明专利涉及一种结合人体姿态信息估计视线方法，设计了一个包含显著目标检测分支、头部姿态估计分支和人体姿态估计分支的深度卷积神经网络估计视线方向。三个分支的特征图最后通过点乘给出注视点位置的预测，注视点位置与头部中心位置的连线作为视线方向。通过该结合人体姿态的视线估算方法能够提高视线估计算法的准确度和鲁棒性。

公开(公告)号：CN110309331A

公开(公告)日：2019-10-08

申请号：CN201910599265.0

申请日：2019-07-04

Applicant: 哈尔滨工业大学(深圳)

Inventor： 王轩 ,  漆舒汉 ,  李逸凡 ,  蒋琳 ,  廖清 ,  刘洋 ,  夏文 ,  李化乐 ,  吴宇琳 ,  贾丰玮

IPC: G06F16/51 ,  G06F16/583 ,  G06F16/31 ,  G06F16/33 ,  G06K9/62

Abstract: 本发明专利涉及一种基于自监督的跨模态联合哈希检索方法，该方法包括以下步骤：步骤1：针对图像模态数据进行处理：采用深度卷积神经网络对图像模态的数据进行特征提取，对图片数据进行哈希学习，将深度卷积神经网络的最后一层全连接层的节点个数设置为哈希码的长度；步骤2：针对文本模态数据进行处理：使用词袋模型对文本数据进行建模，建立一个两层的全连接神经网络对文本模态的数据进行特征提取，神经网络的输入是使用词袋模型表示的词向量，第一个全连接层节点的数据与第二个全连接层节点的数据与哈希码的长度相同；步骤3：针对类别标签处理的神经网络：采用自监督的训练方式从标签数据中提取语义特征；步骤4：最小化图像与文本网络所提取的特征与标签网络的语义特征间的距离，使得图像与文本网络的哈希模型能够更充分学习不同模态间的语义特征。