基于先验知识图的图像文本匹配模型的构建方法

    公开(公告)号:CN114547235B

    公开(公告)日:2024-04-16

    申请号:CN202210060418.6

    申请日:2022-01-19

    Applicant: 西北大学

    Abstract: 本发明涉及基于先验知识图的图像文本匹配模型的构建方法,构建的模型包括先验知识图模块、图像文本匹配模块和整合模块;先验知识图模块和图像文本匹配模块分别与整合模块相连接。采用构建外部先验知识图来指导图像文本匹配,极大增强模型对真实场景的理解能力,利用图卷积来构建先验知识图之间的关系,取代使用交叉注意力机制成对的计算所有图像区域和文本片段之间的局部注意力关系,减少了计算量和参数量,提高了模型的训练速度和推理速度;使用自注意力机制transformer来聚合图像区域间的注意力关系;使用预训练模型BERT提取文本特征向量,再利用注意力机制来聚合文本向量中词与词之间的注意力关系;有效提高了图像文本匹配的准确率。

    一种金丝猴面部图像识别方法、装置、设备及存储介质

    公开(公告)号:CN111950362B

    公开(公告)日:2024-04-16

    申请号:CN202010645419.8

    申请日:2020-07-07

    Applicant: 西北大学

    Abstract: 本发明公开一种一种金丝猴面部图像识别方法,将采集得到的金丝猴图像,通过对金丝猴图像面部区域截取及预处理,获得金丝猴面部图像数据集;将金丝猴面部图像数据集输入至Tri‑Attention神经网络模型,提取金丝猴特征,完成对金丝猴面部图像识别。本发明提出了基于Tri‑Attention的金丝猴面部识别算法。该算法能够自动的关注金丝猴的面部区域,不需要对数据进行手工标注。该算法采用了空间注意力机制,分别对金丝猴面部图像的全局特征、局部特征以及显著性特征进行关注。通过联合不同维度、不同粒度的特征,进行融合,以提高分类的准确度,提升了网络的泛化性能。

    基于深度可分离卷积的猴类面部识别方法

    公开(公告)号:CN113505678B

    公开(公告)日:2023-03-21

    申请号:CN202110744859.3

    申请日:2021-07-01

    Applicant: 西北大学

    Abstract: 本发明公开了一种基于深度可分离卷积的猴类面部识别方法,具体包括如下步骤:步骤1:采集猴类面部图像,得到数据集;步骤2:对数据集分为训练集、验证集和测试集;步骤3:预处理;步骤4:构建MonkeyNet‑V1网络模型;步骤5:构建MSE‑Net模块;步骤6:将MSE‑Net模块分别嵌入到MonkeyNet‑V1网络模型的conv2、conv3、conv4层的两步求和操作之间,得到模型MonkeyNet‑V2;步骤7:将训练集和验证集代入模型MonkeyNet‑V2中进行训练,得到训练好的模型MonkeyNet‑V2模型;步骤8:将测试集代入训练好的模型MonkeyNet‑V2,得到识别结果。本发明通过对现有的ResNeXt‑101进行改进,有效实现了模型轻量化,使得效率大大提高;本发明的准确率在95.10%左右,在精度上有明显提升。

    基于自监督的预训练和面瘫分级的建模、分级方法及系统

    公开(公告)号:CN113033359B

    公开(公告)日:2023-02-24

    申请号:CN202110268525.3

    申请日:2021-03-12

    Applicant: 西北大学

    Abstract: 本发明公开了一种基于自监督的预训练和面瘫分级的建模、分级方法及系统。面瘫分级评估方法主要包括视频序列预测的上游任务和面瘫分级评估的下游任务两个阶段。为进行视频序列预测,将面瘫的诊断视频中人脸对称地划分为左侧脸和右侧脸,将这些单侧脸的视频采样为若干个视频片段并打乱。然后利用3D‑CNN模型进行视频序列预测任务的预训练。预训练后的3D‑CNN模型就具有一定能够学习面部运动时序特征的能力。然后,将预训练后的模型迁移到面瘫分级评估的下游任务钟,利用面瘫诊断视频对预训练后的3D‑CNN模型进行微调。最后,利用3D‑CNN模型提取的时序特征的差异信息进行面瘫分级评估。此外,整个模型结合了面部整体的非对称性特征和局部非对称性特征进行面瘫分级评估。

    一种超密异构网络中联合下上行的边缘计算迁移方法

    公开(公告)号:CN109413676B

    公开(公告)日:2021-11-02

    申请号:CN201811511596.6

    申请日:2018-12-11

    Applicant: 西北大学

    Abstract: 一种超密异构网络中联合下上行的边缘计算迁移方法,宏基站和微基站中的不同规模边缘服务器,为了满足移动智能应用的计算密集型和数据密集型的延迟敏感要求,需要设计有效的联合上下行接入和资源分配方法来减少智能应用延迟。首先将联合上下行的计算迁移问题建模为最小化系统时延优化模型,并同时考虑节省用户设备的能耗。由于联合下行链路和上行链路计算迁移问题是一个混合整数规划问题,从而转化为资源分配子问题和计算迁移子问题,从而提出了一种有效的联合下行链路和上行链路迁移和资源分配方法。实验结果验证了该方法在系统时延和能耗方面的有效性。

    彩色地形图中线要素分割方法

    公开(公告)号:CN108428235B

    公开(公告)日:2021-08-27

    申请号:CN201810121380.2

    申请日:2018-02-07

    Applicant: 西北大学

    Abstract: 本发明公开了一种彩色地形图中线要素分割方法,该方法提出色彩混乱程度的概念,并根据色彩混乱程度将所有的线要素都划分为具有一定区域大小的纯色区域和混合色区域;然后利用线要素的色彩信息,对纯色区域进行基于高斯核模糊聚类算法进行分割;而对于混合色区域,则依据其与已分类后的纯色区域之间的空间关系来确定相应混合色区域的隶属关系,以得到最终的分割结果。试验结果表明本发明的方法具有与传统方法相比具有较高的分割效率和分割准确率。

    不可见水印图像、后门攻击模型构建、分类方法及系统

    公开(公告)号:CN113034332A

    公开(公告)日:2021-06-25

    申请号:CN202110245767.0

    申请日:2021-03-05

    Applicant: 西北大学

    Abstract: 本发明公开了不可见水印图像、后门攻击模型构建、分类方法及系统,包括对原始图像进行Haar离散小波变化,得到原始图像的低频信息矩阵、水平高频信息矩阵、垂直高频信息矩阵和对角高频信息矩阵;对低频信息矩阵进行分块离散余弦变化,得到多个低频信息矩阵;对水印图像进行加密得到加密后的水印图像,采取奇异值分解的水印算法,将加密后的水印图像嵌入多个低频信息矩阵中,然后经过分块离散余弦逆变换、Haar离散逆小波变化,得到不可见水印图像。本发明基于不可见的水印技术,利用神经网络易于被后门攻击的弱点,生成一种更加隐蔽的后门,在一定程度上降低神经网络分类精准度,在人工智能安全领域具有重大的意义。

    一种自然场景下的金丝猴躯体分割算法

    公开(公告)号:CN110287777A

    公开(公告)日:2019-09-27

    申请号:CN201910405596.6

    申请日:2019-05-16

    Applicant: 西北大学

    Abstract: 本发明公开了一种自然场景下的金丝猴躯体分割算法,该算法包括构造语义分割网络,实现端到端的图像分割;对所述的语义分割网络进行训练,保存训练后的网络模型用于待分割图像的分割检测;所述的语义分割网络包括分类网络、融合部分以及输出部分,分类网络用于对输入图像进行特征提取并进行像素级的分类,得到置信图;特征融合层有两个,分别融合最底两层、三层的分割网络,提高识别准确率,实现跨层连接;输出部分最终输出与原始图像大小一致的高分辨率的类热力图。本发明有效地提高了检测准确率,可以较好地解决金丝猴身体被分为多个部分的问题。

    一种柔性流行嵌入的数据聚类方法

    公开(公告)号:CN109389149A

    公开(公告)日:2019-02-26

    申请号:CN201810989222.9

    申请日:2018-08-28

    Applicant: 西北大学

    CPC classification number: G06K9/6221

    Abstract: 本发明公开了一种柔性流行嵌入的数据聚类方法,在该方法中,通过改进柔性流行嵌入(FME)的理论,形成了一种柔性嵌入聚类(FEC),并将其嵌入到二分谱图分割(BSGP)中,形成了一种新的基于图结构优化柔性嵌入聚类(SOGFE)方法;利用本发明提供的方法进行聚类时可以学习一个优化过的有明确聚类结构的亲和度矩阵并不需要后续处理步骤,并且也可以学习一个合适的投影方向来将高维数据投影到低维子空间中;在两个合成数据集和四个基准数据集上的聚类实验表明,该方法比现有的聚类方法在鲁棒性、降维、聚类性能方面有更优越的表现。

    一种基于书写视频的笔画分割方法及书法临摹指导方法

    公开(公告)号:CN108764070A

    公开(公告)日:2018-11-06

    申请号:CN201810446094.3

    申请日:2018-05-11

    Applicant: 西北大学

    CPC classification number: G06K9/00765 G06N3/0454

    Abstract: 本发明公开了一种基于书写视频的笔画分割方法及书法临摹指导方法,其中,基于书写视频的笔画分割方法,重新设计卷积神经网络,将卷积神将网络和循环神经网络相结合,大大减少了神经网络的参数,加快了训练速度;并且增强了对视频帧的空间特征的表达能力,同时又提取了书法字书写的时域运动信息,实现高准确率的细粒度动作识别。本发明的书法临摹指导方法,采用上述基于书写视频的笔画分割方法,利用笔画分割得到的笔画视频,能够实现对书法临摹过程的精确指导。

Patent Agency Ranking