一种基于表示蒸馏的深度哈希模型对抗训练方法和系统

    公开(公告)号:CN119378601A

    公开(公告)日:2025-01-28

    申请号:CN202411291948.7

    申请日:2024-09-14

    Abstract: 本发明属于人工智能技术领域,涉及一种基于表示蒸馏的深度哈希模型对抗训练方法和系统。该方法的步骤包括:1)利用干净样本训练与学生模型具有相同网络结构的深度哈希模型,作为教师模型;2)以最大化与教师模型输出的语义表示的距离为损失函数来迭代更新对抗样本;3)给定生成的对抗样本和原始干净样本,利用哈希码对齐损失函数和特征对齐损失函数实现从教师模型到学生模型的语义表示蒸馏,以指导学生模型的对抗训练过程;4)步骤2)和步骤3)交替进行,直到达到最大的迭代轮次。本发明能够充分保存教师模型从干净样本中学习到的判别性和可泛化性语义信息,从而解决现有方法无法充分学习这些语义信息而导致的模型鲁棒泛化性较差的问题。

    融合实体和句子推理信息的问题答案提取方法及电子装置

    公开(公告)号:CN112380835B

    公开(公告)日:2024-02-20

    申请号:CN202011078614.3

    申请日:2020-10-10

    Abstract: 本发明提供一种融合实体和句子推理信息的问题答案提取方法及电子装置,包括:将一问题与若干目标文档拼接,输入预训练语言模型,得到问题表示Q与文档上下文表示C;获取融合文档信息的问题表示Q0与融合问题信息的文档表示C0;依据问题表示Q(t‑1)与文档表示Ct‑1,获取实体图节点集合E(t‑1)与句子图节点集合#imgabs0#并采用图注意力网络对实体图与句子图更新,获取问题表示Q(t)与文档表示Ct;对实体图节点集合E(t)与句子图节点集合#imgabs1#融合并与文档表示Ct交互;依据推理更新后上下文表示C′(t),获取问题答案预测结果。本发明提出引入句子节点的图神经网络,通过门机制将实体表示与句子表示融合,利用句子级别推理信息弥补实体推理信息的缺失,提升推理阅读理解任务的性能。

    一种基于搜索引擎返回结果的谣言检测方法及电子装置

    公开(公告)号:CN112256861B

    公开(公告)日:2023-09-26

    申请号:CN202010929737.7

    申请日:2020-09-07

    Abstract: 本发明提供一种基于搜索引擎返回结果的谣言检测方法及电子装置,包括:依据一原文的内容,检索得到若干文档及相应发布来源,并从每一所述文档中选取若干单词组成一证据文档;拼接原文、原文发布人与每一证据文档及相应发布来源,得到一文本集合,并将所述文本集合输入到预训练语言模型,得到原文和证据文档之间的相关性特征;依据相关性特征对原文进行分类,判断原文是否为谣言。本发明未使用特征工程和领域知识,从外部证据文章中捕获对谣言检测有帮助的词句,训练数据获得难度极低,准确率优于现有方法。

    一种生成式对话系统解码器训练方法及解码方法

    公开(公告)号:CN110569338B

    公开(公告)日:2022-05-03

    申请号:CN201910660759.5

    申请日:2019-07-22

    Abstract: 本发明公开了一种生成式对话系统解码器训练方法及解码方法。本方法为:1)对于问句编码集合中的每一问句编码,使用前向、后向神经网络对该问句编码进行预测分别得到一向量表示结果;2)计算前向、后向神经网络每一步预测结果的差异,作为生成式对话系统编码器的损失函数;3)计算前向、后向神经网络每一步状态的差异,作为二者的局部差异;4)计算前向、后向神经网络所生成向量表示结果的句子向量表示,并计算两句子向量表示的差异,作为二者的整体性差异;5)将局部差异和整体性差异作为惩罚项函数加入损失函数中,得到整体惩罚函数作为生成式对话系统编码器的损失函数;6)采用训练后的前向神经网络对问句编码进行预测,生成回复内容。

    基于用户行为与社交关系的用户成长值打分方法和系统

    公开(公告)号:CN114049234A

    公开(公告)日:2022-02-15

    申请号:CN202111305784.5

    申请日:2021-11-05

    Abstract: 本发明涉及基于用户行为与社交关系的用户成长值打分方法和系统。该方法的步骤包括:根据用户原始数据学习不同时间级别的用户行为时序特征,并根据用户发表的内容的影响力得到内容影响力特征,通过将内容影响力特征与用户行为时序特征交互得到融合时序行为的用户特征;使用注意力机制学习用户的不同邻居用户的权值,进而得到用户的权值矩阵;将融合时序行为的用户特征和用户的权值矩阵输入图卷积神经网络,得到用户成长值。本发明解决了社交关系在用户特征学习中利用不充分的问题,提高了用户成长值打分的准确率。

    融合实体和句子推理信息的问题答案提取方法及电子装置

    公开(公告)号:CN112380835A

    公开(公告)日:2021-02-19

    申请号:CN202011078614.3

    申请日:2020-10-10

    Abstract: 本发明提供一种融合实体和句子推理信息的问题答案提取方法及电子装置,包括:将一问题与若干目标文档拼接,输入预训练语言模型,得到问题表示Q与文档上下文表示C;获取融合文档信息的问题表示Q0与融合问题信息的文档表示C0;依据问题表示Q(t‑1)与文档表示Ct‑1,获取实体图节点集合E(t‑1)与句子图节点集合 并采用图注意力网络对实体图与句子图更新,获取问题表示Q(t)与文档表示Ct;对实体图节点集合E(t)与句子图节点集合 融合并与文档表示Ct交互;依据推理更新后上下文表示C′(t),获取问题答案预测结果。本发明提出引入句子节点的图神经网络,通过门机制将实体表示与句子表示融合,利用句子级别推理信息弥补实体推理信息的缺失,提升推理阅读理解任务的性能。

    一种基于多层感知的问题答案抽取方法及电子装置

    公开(公告)号:CN112380326A

    公开(公告)日:2021-02-19

    申请号:CN202011079727.5

    申请日:2020-10-10

    Abstract: 本发明提供一种基于多层感知的问题答案抽取方法,其步骤包括:将一问题与若干目标文档拼接,输入到预训练语言模型中,得到问题的表示Q与目标文档的上下文表示P,将表示Q与上下文表示P交互,得到文档相关的问题表示u与融合问题信息的文档表示h;对问题表示u进行多层感知分类,获取问题的推理类型,并根据推理类型、问题表示u、文档表示h及通过表示Q生成的子问题ct,得到所述问题在目标文档中的答案注意力分布,其中t为生成子问题的次数;依据答案注意力分布,获取该问题的答案预测结果。本发明以子问题拆分的形式递进回答问题,引入推理类别分类器控制拆分,对问题的回答进行共享,提升推理阅读理解效果。

    基于同一特征空间的图文数据融合情感分类方法和装置

    公开(公告)号:CN109829499B

    公开(公告)日:2020-10-27

    申请号:CN201910097903.9

    申请日:2019-01-31

    Abstract: 本发明涉及一种基于同一特征空间的图文数据融合情感分类方法和装置。该方法的步骤包括:1)使用自动编码机提取多模态数据中图片的压缩特征表达;2)使用CNN‑DCNN网络提取多模态数据中文字的压缩特征表达;3)将步骤1)、2)得到的图片特征和文本特征映射到同一个特征向量空间,得到图文整体特征;4)通过分类器对步骤3)得到的图文整体特征进行分类,得到情感分类结果。本发明将图、文特征映射到同一个空间下,再对整体信息进行情感分类,可以同时捕捉到微博等多模态数据的图、文数据之间语义相关性和情感相关性。

    一种基于稳定扩散模型的人脸隐私保护方法和系统

    公开(公告)号:CN118430078A

    公开(公告)日:2024-08-02

    申请号:CN202410376819.1

    申请日:2024-03-29

    Abstract: 本发明属于人脸隐私保护技术领域,涉及一种基于稳定扩散模型的人脸隐私保护方法和系统。该方法在目标图像嵌入阶段使用文本逆转方法训练能够保存目标图像语义信息的文本嵌入;在对抗样本生成阶段,利用目标图像嵌入阶段得到的文本嵌入对保护图像的去噪过程进行去噪引导,将目标图像的语义信息注入保护图像中,并通过DDIM反转得到原始图像和目标图像在稳定扩散模型隐空间的编码,以在保护图像的去噪过程中提供对抗引导;通过去噪引导和对抗引导生成保护图像,实现人脸隐私保护。本发明能够解决目前人脸隐私保护领域对抗样本不自然、与原图像视觉不一致、对抗扰动易被感知等问题,并能够提高在目标黑盒模型上的迁移性攻击能力。

Patent Agency Ranking