公开(公告)号：CN111640500B

公开(公告)日：2023-09-05

申请号：CN202010362228.0

申请日：2020-04-30

Applicant: 西北大学

Inventor： 李展 ,  樊青晨 ,  王凯凯 ,  毋婷婷 ,  彭进业 ,  赵国英 ,  杨溪 ,  温超

IPC: G16H50/30 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明公开了一种基于注意力机制和双线性融合的脑龄预测模型及方法，该方法通过3D CNN网络提取图像的特征；然后为了更好的丰富每个像素点的特征表达能力对提取后的图像特征进行双线性融合处理；同时由于注意力机制可以捕获影响脑龄的关键特征信息，降低与脑龄无关的特征信息关注度，所以将双线性融合处理后的图像特征输入到Attention层，获得图像的注意力权重，基于注意力权重，获得图像的注意力；最后将图像特征送入到全连接层，进行大脑年龄回归预测。本发明利用注意力机制和双线性融合结合的方法提高了大脑年龄预测的准确性。

公开(公告)号：CN111461174B

公开(公告)日：2023-04-07

申请号：CN202010152922.X

申请日：2020-03-06

Applicant: 西北大学

Inventor： 李展 ,  徐宝胜 ,  王凯凯 ,  田晓杰 ,  赵国英 ,  章勇勤 ,  王珺 ,  李斌 ,  杨溪 ,  彭进业

IPC: G06V10/764 ,  G06F18/241 ,  G06V10/774 ,  G06F18/214 ,  G06V10/80 ,  G06F18/25 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08 ,  G06F16/9535 ,  G06F16/958

Abstract: 本发明公开了一种多层次注意力机制的多模态标签推荐模型构建方法及装置，提取图像的特征对图像特征使用外积，进行双线性融合后再通过一个注意力网络层，获取图像中每个区域的注意力因子，将注意力因子与原始特征进行逐元素乘积，得到最后的图像特征表达；对文本进行词嵌入并使用Bi‑LSTM网络对文本特征提取，然后通过一个注意力网络层与原始特征进行乘积，得到最后的文本信息表达。然后通过一个双线性融合层，将图像和文本特征进行融合，然后将融合后的特征输入到高层次注意力层，得到最后的联合特征表达，最后送入到分类层中，进行标签分类和推荐。在多模态信息处理的条件下，本发明联合层次注意力机制的方法提高了推荐的准确性。

公开(公告)号：CN111461174A

公开(公告)日：2020-07-28

申请号：CN202010152922.X

申请日：2020-03-06

Applicant: 西北大学

Inventor： 李展 ,  徐宝胜 ,  王凯凯 ,  田晓杰 ,  赵国英 ,  章勇勤 ,  王珺 ,  李斌 ,  杨溪 ,  彭进业

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F16/9535 ,  G06F16/958

Abstract: 本发明公开了一种多层次注意力机制的多模态标签推荐模型构建方法及装置，提取图像的特征对图像特征使用外积，进行双线性融合后再通过一个注意力网络层，获取图像中每个区域的注意力因子，将注意力因子与原始特征进行逐元素乘积，得到最后的图像特征表达；对文本进行词嵌入并使用Bi-LSTM网络对文本特征提取，然后通过一个注意力网络层与原始特征进行乘积，得到最后的文本信息表达。然后通过一个双线性融合层，将图像和文本特征进行融合，然后将融合后的特征输入到高层次注意力层，得到最后的联合特征表达，最后送入到分类层中，进行标签分类和推荐。在多模态信息处理的条件下，本发明联合层次注意力机制的方法提高了推荐的准确性。

公开(公告)号：CN111640500A

公开(公告)日：2020-09-08

申请号：CN202010362228.0

申请日：2020-04-30

Applicant: 西北大学

Inventor： 李展 ,  樊青晨 ,  王凯凯 ,  毋婷婷 ,  彭进业 ,  赵国英 ,  杨溪 ,  温超

IPC: G16H50/30 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于注意力机制和双线性融合的脑龄预测模型及方法，该方法通过3D CNN网络提取图像的特征；然后为了更好的丰富每个像素点的特征表达能力对提取后的图像特征进行双线性融合处理；同时由于注意力机制可以捕获影响脑龄的关键特征信息，降低与脑龄无关的特征信息关注度，所以将双线性融合处理后的图像特征输入到Attention层，获得图像的注意力权重，基于注意力权重，获得图像的注意力；最后将图像特征送入到全连接层，进行大脑年龄回归预测。本发明利用注意力机制和双线性融合结合的方法提高了大脑年龄预测的准确性。

公开(公告)号：CN112115796A

公开(公告)日：2020-12-22

申请号：CN202010847866.1

申请日：2020-08-21

Applicant: 西北大学

Inventor： 赵国英 ,  毋婷婷 ,  李展 ,  樊青晨 ,  刘盱衡 ,  张海 ,  彭进业 ,  温超 ,  章勇勤 ,  杨溪

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于注意力机制的三维卷积微表情识别方法，首先进行数据集预处理，数据集预处理部分包括：人脸剪裁、人脸对齐、视频序列帧数统一；再通过视频序列提取光流序列；再将提取出来的光流序列与视频序列分别输入三维卷积、三维池化、Attention后得到对应的新的光流序列与视频序列特征；使用Co‑Attention进行特征引导，先使用视频序列特征引导光流序列特征，再使用引导后的光流序列特征引导视频序列特征；将引导后的特征进行融合得到联合特征；将联合特征送入到分类层进行微表情分类识别。本发明使用三维卷积神经网络提取时空特征，再结合注意力机制提取关键特征，在两个公开的数据集上SMIC与CASMEⅡ进行实验，提高了微表情识别的准确性。