-
公开(公告)号:CN116127024A
公开(公告)日:2023-05-16
申请号:CN202211227692.4
申请日:2022-10-09
Applicant: 马上消费金融股份有限公司 , 南开大学
IPC: G06F16/332 , G06F16/583 , G06N20/00
Abstract: 本说明书实施方式提供了一种视觉问答模型的训练方法、答案生成方法及相关装置。该方法通过获取样本实例和与所述样本实例对应的扩展实例集;其中,样本实例至少包括样本图像和样本问题;扩展实例集中包括多个扩展实例;扩展实例至少包括扩展问题和扩展图像;将所述样本实例和所述扩展实例集中扩展实例分别输入视觉问答模型得到相应的预测结果;根据所述样本实例的预测结果和所述扩展实例的预测结果构建差异损失;差异损失随着所述样本实例的预测结果与所述扩展实例的预测结果之间的差异度增大而减小;根据差异损失调整所述视觉问答模型。以提高视觉问答模型的答案预测准确率。
-
公开(公告)号:CN120045945A
公开(公告)日:2025-05-27
申请号:CN202510048104.8
申请日:2025-01-13
Applicant: 南开大学
IPC: G06F18/22 , G06F18/24 , G06F18/213 , G06N3/0464 , G06N3/045
Abstract: 本发明属于错误信息检测技术领域,尤其涉及一种基于跨模态差异分类的错误信息检测方法和系统。包括以下步骤:获取训练数据并对数据进行预处理,得到数据集数据;对数据集数据进行图文模态特征提取,得到数据集数据的图像模态和文本模态;进行模态间差异特征提取得到差异信息;根据图像模态、文本模态和差异信息生成原型特征,将图像模态、差异信息和文本模态进行拼接得到样本特征;根据原型特征和样本特征,训练得到判断原型特征;根据待检测数据判断原型特征判断信息是否正确。本发明解决了分类器法对数据的模态完整性要求较高,预测不准确的技术问题,达到了需要模态完整性较低预测准确的技术效果。
-
公开(公告)号:CN119397282B
公开(公告)日:2025-03-28
申请号:CN202411983538.9
申请日:2024-12-31
Applicant: 南开大学
IPC: G06F18/214 , G06F40/126 , G06N3/084 , G06T9/00 , G06V10/774 , G06V10/82
Abstract: 本发明涉及基于特定计算模型的计算机系统技术领域,尤其涉及一种视觉语言模型的多模态通用对抗扰动方法,包括如下步骤:获取数据集及视觉语言模型;用视觉语言模型对训练集和验证集中的文本样本及图像样本进行编码;初始化多模态通用对抗扰动,对多模态通用对抗扰动进行优化;判断是否需要替换更新策略;对训练集和验证集中的样本进行攻击,将攻击失败的样本作为下一对多模态通用对抗扰动的训练集和验证集;迭代训练多模态通用对抗扰动,直至多模态通用对抗扰动攻击成功或者全部攻击失败,记录测试集中攻击成功及失败的输入样本。本发明提供的方法解决了单模态的通用对抗扰动对视觉语言模型攻击效果不足的问题。
-
公开(公告)号:CN119203935B
公开(公告)日:2025-02-11
申请号:CN202411711071.2
申请日:2024-11-27
Applicant: 南开大学
IPC: G06F40/16 , G06F40/242 , G06F40/30 , G06N3/0499 , G06N3/094
Abstract: 本发明涉及人工智能安全技术领域,提供上下文对抗触发器生成方法、系统、设备、产品及介质,包括获取源文本和第一上下文对抗触发器,通过第一上下文对抗触发器和源文本得到第一候选词汇表,通过第一候选词汇表得到第二上下文对抗触发器;获取、更新第一掩码语言模型得到第二掩码语言模型;选取标签训练样本,得到第二候选词汇表,根据第二候选词汇表生成第三上下文对抗触发器并迭代,得到第四上下文对抗触发器及最大第二掩码语言模型参数,通过最大第二掩码语言模型参数更新第二掩码语言模型,得到第三掩码语言模型,通过对第三掩码语言模型进行迭代得到目标上下文对抗触发器。本发明能够有效模拟更多样的触发器攻击。
-
公开(公告)号:CN116579337A
公开(公告)日:2023-08-11
申请号:CN202310825631.6
申请日:2023-07-07
Applicant: 南开大学
IPC: G06F40/289 , G06N3/0464 , G06F16/951 , G06F18/25
Abstract: 本发明涉及虚假新闻检测技术领域,提供一种融合证据可信度的虚假新闻检测方法。该方法包括:获取待测新闻,爬取获得待测新闻的真证据;通过人工智能程序生成待测新闻对应的假证据,根据待测新闻与真证据和假证据构建数据集;通过神经网络学习数据集,获得数据集的包括新闻特征和初步证据特征的初步特征表示;对初步证据特征进行迭代交叉验证并引入多头输入层,获得数据集中每条证据对应的多头可信度分数;根据多头可信度分数调制新闻特征和初步证据特征间的注意力权重获得整体证据特征;对整体证据特征进行卷积学习以检测待测新闻的真假。该方法模拟更不可信的证据场景,通过多头可信度来模拟不同可信度,提高了虚假新闻检测的准确率。
-
公开(公告)号:CN119397282A
公开(公告)日:2025-02-07
申请号:CN202411983538.9
申请日:2024-12-31
Applicant: 南开大学
IPC: G06F18/214 , G06F40/126 , G06N3/084 , G06T9/00 , G06V10/774 , G06V10/82
Abstract: 本发明涉及基于特定计算模型的计算机系统技术领域,尤其涉及一种视觉语言模型的多模态通用对抗扰动方法,包括如下步骤:获取数据集及视觉语言模型;用视觉语言模型对训练集和验证集中的文本样本及图像样本进行编码;初始化多模态通用对抗扰动,对多模态通用对抗扰动进行优化;判断是否需要替换更新策略;对训练集和验证集中的样本进行攻击,将攻击失败的样本作为下一对多模态通用对抗扰动的训练集和验证集;迭代训练多模态通用对抗扰动,直至多模态通用对抗扰动攻击成功或者全部攻击失败,记录测试集中攻击成功及失败的输入样本。本发明提供的方法解决了单模态的通用对抗扰动对视觉语言模型攻击效果不足的问题。
-
公开(公告)号:CN119203935A
公开(公告)日:2024-12-27
申请号:CN202411711071.2
申请日:2024-11-27
Applicant: 南开大学
IPC: G06F40/16 , G06F40/242 , G06F40/30 , G06N3/0499 , G06N3/094
Abstract: 本发明涉及人工智能安全技术领域,提供上下文对抗触发器生成方法、系统、设备、产品及介质,包括获取源文本和第一上下文对抗触发器,通过第一上下文对抗触发器和源文本得到第一候选词汇表,通过第一候选词汇表得到第二上下文对抗触发器;获取、更新第一掩码语言模型得到第二掩码语言模型;选取标签训练样本,得到第二候选词汇表,根据第二候选词汇表生成第三上下文对抗触发器并迭代,得到第四上下文对抗触发器及最大第二掩码语言模型参数,通过最大第二掩码语言模型参数更新第二掩码语言模型,得到第三掩码语言模型,通过对第三掩码语言模型进行迭代得到目标上下文对抗触发器。本发明能够有效模拟更多样的触发器攻击。
-
公开(公告)号:CN120045715A
公开(公告)日:2025-05-27
申请号:CN202510092027.6
申请日:2025-01-21
Applicant: 南开大学
IPC: G06F16/353 , G06F16/383 , G06F16/31 , G06N3/0442 , G06N3/048
Abstract: 本发明涉及人工智能技术领域,提供基于动态图的谣言检测方法、系统、设备、产品及介质,包括获取谣言数据,从谣言数据中获取谣言文本序列,构建谣言传播图;对谣言文本序列进行划分以建立谣言快照的快照传播图;计算快照传播图中的谣言节点的时间衰减参数,通过时间衰减参数计算谣言快照的谣言周期参数;将谣言周期参数融合到GIN编码器中,得到边权重GIN编码器,通过边权重GIN编码器对快照传播图中的谣言快照进行多层节点嵌入更新,得到快照动态传播图;将快照动态传播图输入到双向长短期记忆网络中,得到谣言快照的编码图表示;将编码图表示输入到深度神经网络中并完成谣言检测。本发明可以有效提升谣言检测的效果。
-
公开(公告)号:CN119357830B
公开(公告)日:2025-03-14
申请号:CN202411936642.2
申请日:2024-12-26
Applicant: 南开大学
IPC: G06F18/2415 , G06N3/0499 , G06N3/08 , G06N7/01 , G06Q50/00
Abstract: 本发明涉及电数字数据处理技术领域,尤其涉及一种社交媒体上的鲁棒性谣言检测方法,包括如下步骤:将社交媒体数据中的事件构建为静态传播图,并构造事件与标签样本对,形成谣言检测数据集;构建包含多维度融合信息的谣言动态传播图及动态增广图;获得谣言动态传播图表示及动态增广图表示;无监督对比学习,捕捉谣言动态传播图的表征信息及动态增广图的表征信息;通过深度神经分类模型进行谣言分类,完成社交媒体上的鲁棒性谣言检测。本发明提供的方法能够很好的利用动态传播图和动态增广图的时序信息,并且能够有效的利用对比学习获取图表征,从而更好地完成社交媒体上谣言检测任务。
-
公开(公告)号:CN119357830A
公开(公告)日:2025-01-24
申请号:CN202411936642.2
申请日:2024-12-26
Applicant: 南开大学
IPC: G06F18/2415 , G06N3/0499 , G06N3/08 , G06N7/01 , G06Q50/00
Abstract: 本发明涉及电数字数据处理技术领域,尤其涉及一种社交媒体上的鲁棒性谣言检测方法,包括如下步骤:将社交媒体数据中的事件构建为静态传播图,并构造事件与标签样本对,形成谣言检测数据集;构建包含多维度融合信息的谣言动态传播图及动态增广图;获得谣言动态传播图表示及动态增广图表示;无监督对比学习,捕捉谣言动态传播图的表征信息及动态增广图的表征信息;通过深度神经分类模型进行谣言分类,完成社交媒体上的鲁棒性谣言检测。本发明提供的方法能够很好的利用动态传播图和动态增广图的时序信息,并且能够有效的利用对比学习获取图表征,从而更好地完成社交媒体上谣言检测任务。
-
-
-
-
-
-
-
-
-