视觉问答模型的训练方法、答案生成方法及相关装置

    公开(公告)号:CN116127024A

    公开(公告)日:2023-05-16

    申请号:CN202211227692.4

    申请日:2022-10-09

    Abstract: 本说明书实施方式提供了一种视觉问答模型的训练方法、答案生成方法及相关装置。该方法通过获取样本实例和与所述样本实例对应的扩展实例集;其中,样本实例至少包括样本图像和样本问题;扩展实例集中包括多个扩展实例;扩展实例至少包括扩展问题和扩展图像;将所述样本实例和所述扩展实例集中扩展实例分别输入视觉问答模型得到相应的预测结果;根据所述样本实例的预测结果和所述扩展实例的预测结果构建差异损失;差异损失随着所述样本实例的预测结果与所述扩展实例的预测结果之间的差异度增大而减小;根据差异损失调整所述视觉问答模型。以提高视觉问答模型的答案预测准确率。

    一种视觉语言模型的多模态通用对抗扰动方法

    公开(公告)号:CN119397282B

    公开(公告)日:2025-03-28

    申请号:CN202411983538.9

    申请日:2024-12-31

    Applicant: 南开大学

    Abstract: 本发明涉及基于特定计算模型的计算机系统技术领域,尤其涉及一种视觉语言模型的多模态通用对抗扰动方法,包括如下步骤:获取数据集及视觉语言模型;用视觉语言模型对训练集和验证集中的文本样本及图像样本进行编码;初始化多模态通用对抗扰动,对多模态通用对抗扰动进行优化;判断是否需要替换更新策略;对训练集和验证集中的样本进行攻击,将攻击失败的样本作为下一对多模态通用对抗扰动的训练集和验证集;迭代训练多模态通用对抗扰动,直至多模态通用对抗扰动攻击成功或者全部攻击失败,记录测试集中攻击成功及失败的输入样本。本发明提供的方法解决了单模态的通用对抗扰动对视觉语言模型攻击效果不足的问题。

    上下文对抗触发器生成方法、系统、设备、产品及介质

    公开(公告)号:CN119203935B

    公开(公告)日:2025-02-11

    申请号:CN202411711071.2

    申请日:2024-11-27

    Applicant: 南开大学

    Abstract: 本发明涉及人工智能安全技术领域,提供上下文对抗触发器生成方法、系统、设备、产品及介质,包括获取源文本和第一上下文对抗触发器,通过第一上下文对抗触发器和源文本得到第一候选词汇表,通过第一候选词汇表得到第二上下文对抗触发器;获取、更新第一掩码语言模型得到第二掩码语言模型;选取标签训练样本,得到第二候选词汇表,根据第二候选词汇表生成第三上下文对抗触发器并迭代,得到第四上下文对抗触发器及最大第二掩码语言模型参数,通过最大第二掩码语言模型参数更新第二掩码语言模型,得到第三掩码语言模型,通过对第三掩码语言模型进行迭代得到目标上下文对抗触发器。本发明能够有效模拟更多样的触发器攻击。

    一种融合证据可信度的虚假新闻检测方法

    公开(公告)号:CN116579337A

    公开(公告)日:2023-08-11

    申请号:CN202310825631.6

    申请日:2023-07-07

    Applicant: 南开大学

    Abstract: 本发明涉及虚假新闻检测技术领域,提供一种融合证据可信度的虚假新闻检测方法。该方法包括:获取待测新闻,爬取获得待测新闻的真证据;通过人工智能程序生成待测新闻对应的假证据,根据待测新闻与真证据和假证据构建数据集;通过神经网络学习数据集,获得数据集的包括新闻特征和初步证据特征的初步特征表示;对初步证据特征进行迭代交叉验证并引入多头输入层,获得数据集中每条证据对应的多头可信度分数;根据多头可信度分数调制新闻特征和初步证据特征间的注意力权重获得整体证据特征;对整体证据特征进行卷积学习以检测待测新闻的真假。该方法模拟更不可信的证据场景,通过多头可信度来模拟不同可信度,提高了虚假新闻检测的准确率。

    一种视觉语言模型的多模态通用对抗扰动方法

    公开(公告)号:CN119397282A

    公开(公告)日:2025-02-07

    申请号:CN202411983538.9

    申请日:2024-12-31

    Applicant: 南开大学

    Abstract: 本发明涉及基于特定计算模型的计算机系统技术领域,尤其涉及一种视觉语言模型的多模态通用对抗扰动方法,包括如下步骤:获取数据集及视觉语言模型;用视觉语言模型对训练集和验证集中的文本样本及图像样本进行编码;初始化多模态通用对抗扰动,对多模态通用对抗扰动进行优化;判断是否需要替换更新策略;对训练集和验证集中的样本进行攻击,将攻击失败的样本作为下一对多模态通用对抗扰动的训练集和验证集;迭代训练多模态通用对抗扰动,直至多模态通用对抗扰动攻击成功或者全部攻击失败,记录测试集中攻击成功及失败的输入样本。本发明提供的方法解决了单模态的通用对抗扰动对视觉语言模型攻击效果不足的问题。

    上下文对抗触发器生成方法、系统、设备、产品及介质

    公开(公告)号:CN119203935A

    公开(公告)日:2024-12-27

    申请号:CN202411711071.2

    申请日:2024-11-27

    Applicant: 南开大学

    Abstract: 本发明涉及人工智能安全技术领域,提供上下文对抗触发器生成方法、系统、设备、产品及介质,包括获取源文本和第一上下文对抗触发器,通过第一上下文对抗触发器和源文本得到第一候选词汇表,通过第一候选词汇表得到第二上下文对抗触发器;获取、更新第一掩码语言模型得到第二掩码语言模型;选取标签训练样本,得到第二候选词汇表,根据第二候选词汇表生成第三上下文对抗触发器并迭代,得到第四上下文对抗触发器及最大第二掩码语言模型参数,通过最大第二掩码语言模型参数更新第二掩码语言模型,得到第三掩码语言模型,通过对第三掩码语言模型进行迭代得到目标上下文对抗触发器。本发明能够有效模拟更多样的触发器攻击。

    一种社交媒体上的鲁棒性谣言检测方法

    公开(公告)号:CN119357830B

    公开(公告)日:2025-03-14

    申请号:CN202411936642.2

    申请日:2024-12-26

    Applicant: 南开大学

    Abstract: 本发明涉及电数字数据处理技术领域,尤其涉及一种社交媒体上的鲁棒性谣言检测方法,包括如下步骤:将社交媒体数据中的事件构建为静态传播图,并构造事件与标签样本对,形成谣言检测数据集;构建包含多维度融合信息的谣言动态传播图及动态增广图;获得谣言动态传播图表示及动态增广图表示;无监督对比学习,捕捉谣言动态传播图的表征信息及动态增广图的表征信息;通过深度神经分类模型进行谣言分类,完成社交媒体上的鲁棒性谣言检测。本发明提供的方法能够很好的利用动态传播图和动态增广图的时序信息,并且能够有效的利用对比学习获取图表征,从而更好地完成社交媒体上谣言检测任务。

    一种社交媒体上的鲁棒性谣言检测方法

    公开(公告)号:CN119357830A

    公开(公告)日:2025-01-24

    申请号:CN202411936642.2

    申请日:2024-12-26

    Applicant: 南开大学

    Abstract: 本发明涉及电数字数据处理技术领域,尤其涉及一种社交媒体上的鲁棒性谣言检测方法,包括如下步骤:将社交媒体数据中的事件构建为静态传播图,并构造事件与标签样本对,形成谣言检测数据集;构建包含多维度融合信息的谣言动态传播图及动态增广图;获得谣言动态传播图表示及动态增广图表示;无监督对比学习,捕捉谣言动态传播图的表征信息及动态增广图的表征信息;通过深度神经分类模型进行谣言分类,完成社交媒体上的鲁棒性谣言检测。本发明提供的方法能够很好的利用动态传播图和动态增广图的时序信息,并且能够有效的利用对比学习获取图表征,从而更好地完成社交媒体上谣言检测任务。

    知识图谱补全方法及装置、电子设备、计算机可读介质

    公开(公告)号:CN118152581A

    公开(公告)日:2024-06-07

    申请号:CN202211557077.X

    申请日:2022-12-06

    Abstract: 本公开提供了一种知识图谱补全方法及装置、电子设备、计算机可读介质,该方法包括:获取第一实体以及第一实体在多个模态下的单模态关系;其中,单模态关系用于表征实体之间在单一模态下的关系;基于各个模态下的第一实体和第一实体的单模态关系预测出第一实体对应的至少一个候选实体,并基于第一实体、第一实体的单模态关系和至少一个候选实体获得至少一个候选实体的嵌入分数;基于各个模态下的嵌入分数和各个模态的权重从至少一个候选实体中确定第一实体对应的第二实体;其中,第一实体、单模态关系和第二实体为知识图谱中的三元组。根据本公开的实施例能够提高知识图谱补全的准确性。

    一种融合证据可信度的虚假新闻检测方法

    公开(公告)号:CN116579337B

    公开(公告)日:2023-10-10

    申请号:CN202310825631.6

    申请日:2023-07-07

    Applicant: 南开大学

    Abstract: 本发明涉及虚假新闻检测技术领域,提供一种融合证据可信度的虚假新闻检测方法。该方法包括:获取待测新闻,爬取获得待测新闻的真证据;通过人工智能程序生成待测新闻对应的假证据,根据待测新闻与真证据和假证据构建数据集;通过神经网络学习数据集,获得数据集的包括新闻特征和初步证据特征的初步特征表示;对初步证据特征进行迭代交叉验证并引入多头输入层,获得数据集中每条证据对应的多头可信度分数;根据多头可信度分数调制新闻特征和初步证据特征间的注意力权重获得整体证据特征;对整体证据特征进行卷积学习以检测待测新闻的真假。该方法模拟更不可信的证据场景,通过多头可信度来模拟不同可信度,提高了虚假新闻检测的准确率。

Patent Agency Ranking