一种视觉语言模型的多模态通用对抗扰动方法

    公开(公告)号:CN119397282B

    公开(公告)日:2025-03-28

    申请号:CN202411983538.9

    申请日:2024-12-31

    Applicant: 南开大学

    Abstract: 本发明涉及基于特定计算模型的计算机系统技术领域,尤其涉及一种视觉语言模型的多模态通用对抗扰动方法,包括如下步骤:获取数据集及视觉语言模型;用视觉语言模型对训练集和验证集中的文本样本及图像样本进行编码;初始化多模态通用对抗扰动,对多模态通用对抗扰动进行优化;判断是否需要替换更新策略;对训练集和验证集中的样本进行攻击,将攻击失败的样本作为下一对多模态通用对抗扰动的训练集和验证集;迭代训练多模态通用对抗扰动,直至多模态通用对抗扰动攻击成功或者全部攻击失败,记录测试集中攻击成功及失败的输入样本。本发明提供的方法解决了单模态的通用对抗扰动对视觉语言模型攻击效果不足的问题。

    上下文对抗触发器生成方法、系统、设备、产品及介质

    公开(公告)号:CN119203935B

    公开(公告)日:2025-02-11

    申请号:CN202411711071.2

    申请日:2024-11-27

    Applicant: 南开大学

    Abstract: 本发明涉及人工智能安全技术领域,提供上下文对抗触发器生成方法、系统、设备、产品及介质,包括获取源文本和第一上下文对抗触发器,通过第一上下文对抗触发器和源文本得到第一候选词汇表,通过第一候选词汇表得到第二上下文对抗触发器;获取、更新第一掩码语言模型得到第二掩码语言模型;选取标签训练样本,得到第二候选词汇表,根据第二候选词汇表生成第三上下文对抗触发器并迭代,得到第四上下文对抗触发器及最大第二掩码语言模型参数,通过最大第二掩码语言模型参数更新第二掩码语言模型,得到第三掩码语言模型,通过对第三掩码语言模型进行迭代得到目标上下文对抗触发器。本发明能够有效模拟更多样的触发器攻击。

    一种基于指令调优增强的无监督语法纠错方法

    公开(公告)号:CN118278398B

    公开(公告)日:2024-08-02

    申请号:CN202410696047.X

    申请日:2024-05-31

    Applicant: 南开大学

    Abstract: 本发明提供一种基于指令调优增强的无监督语法纠错方法,属于自然语言处理技术领域,具体为:基于开源数据集收集源数据,根据源数据生成包括多个正误语句样本对的纠正数据集;对其中的正确语句及错误语句分别进行标注,获得标注指令和标注提示;构建序列标注模型,将纠正数据集中的错误语句作为输入,将标注指令作为输出,训练序列标注模型并获得预测提示;分别对标注提示及预测提示进行掩码,将经过掩码后的标注提示及预测提示作为输入,训练获得语法纠错模型;通过语法纠错模型对待纠错语句进行纠错,获得纠错结果,本发明提升了模型的语义理解及语法错误定位能力,从而在很大程度上提高了无监督设置下语法纠错方法任务的准确性。

    一种社交媒体上的鲁棒性谣言检测方法

    公开(公告)号:CN119357830B

    公开(公告)日:2025-03-14

    申请号:CN202411936642.2

    申请日:2024-12-26

    Applicant: 南开大学

    Abstract: 本发明涉及电数字数据处理技术领域,尤其涉及一种社交媒体上的鲁棒性谣言检测方法,包括如下步骤:将社交媒体数据中的事件构建为静态传播图,并构造事件与标签样本对,形成谣言检测数据集;构建包含多维度融合信息的谣言动态传播图及动态增广图;获得谣言动态传播图表示及动态增广图表示;无监督对比学习,捕捉谣言动态传播图的表征信息及动态增广图的表征信息;通过深度神经分类模型进行谣言分类,完成社交媒体上的鲁棒性谣言检测。本发明提供的方法能够很好的利用动态传播图和动态增广图的时序信息,并且能够有效的利用对比学习获取图表征,从而更好地完成社交媒体上谣言检测任务。

    一种社交媒体上的鲁棒性谣言检测方法

    公开(公告)号:CN119357830A

    公开(公告)日:2025-01-24

    申请号:CN202411936642.2

    申请日:2024-12-26

    Applicant: 南开大学

    Abstract: 本发明涉及电数字数据处理技术领域,尤其涉及一种社交媒体上的鲁棒性谣言检测方法,包括如下步骤:将社交媒体数据中的事件构建为静态传播图,并构造事件与标签样本对,形成谣言检测数据集;构建包含多维度融合信息的谣言动态传播图及动态增广图;获得谣言动态传播图表示及动态增广图表示;无监督对比学习,捕捉谣言动态传播图的表征信息及动态增广图的表征信息;通过深度神经分类模型进行谣言分类,完成社交媒体上的鲁棒性谣言检测。本发明提供的方法能够很好的利用动态传播图和动态增广图的时序信息,并且能够有效的利用对比学习获取图表征,从而更好地完成社交媒体上谣言检测任务。

    一种基于指令调优增强的无监督语法纠错方法

    公开(公告)号:CN118278398A

    公开(公告)日:2024-07-02

    申请号:CN202410696047.X

    申请日:2024-05-31

    Applicant: 南开大学

    Abstract: 本发明提供一种基于指令调优增强的无监督语法纠错方法,属于自然语言处理技术领域,具体为:基于开源数据集收集源数据,根据源数据生成包括多个正误语句样本对的纠正数据集;对其中的正确语句及错误语句分别进行标注,获得标注指令和标注提示;构建序列标注模型,将纠正数据集中的错误语句作为输入,将标注指令作为输出,训练序列标注模型并获得预测提示;分别对标注提示及预测提示进行掩码,将经过掩码后的标注提示及预测提示作为输入,训练获得语法纠错模型;通过语法纠错模型对待纠错语句进行纠错,获得纠错结果,本发明提升了模型的语义理解及语法错误定位能力,从而在很大程度上提高了无监督设置下语法纠错方法任务的准确性。

    一种视觉语言模型的多模态通用对抗扰动方法

    公开(公告)号:CN119397282A

    公开(公告)日:2025-02-07

    申请号:CN202411983538.9

    申请日:2024-12-31

    Applicant: 南开大学

    Abstract: 本发明涉及基于特定计算模型的计算机系统技术领域,尤其涉及一种视觉语言模型的多模态通用对抗扰动方法,包括如下步骤:获取数据集及视觉语言模型;用视觉语言模型对训练集和验证集中的文本样本及图像样本进行编码;初始化多模态通用对抗扰动,对多模态通用对抗扰动进行优化;判断是否需要替换更新策略;对训练集和验证集中的样本进行攻击,将攻击失败的样本作为下一对多模态通用对抗扰动的训练集和验证集;迭代训练多模态通用对抗扰动,直至多模态通用对抗扰动攻击成功或者全部攻击失败,记录测试集中攻击成功及失败的输入样本。本发明提供的方法解决了单模态的通用对抗扰动对视觉语言模型攻击效果不足的问题。

    上下文对抗触发器生成方法、系统、设备、产品及介质

    公开(公告)号:CN119203935A

    公开(公告)日:2024-12-27

    申请号:CN202411711071.2

    申请日:2024-11-27

    Applicant: 南开大学

    Abstract: 本发明涉及人工智能安全技术领域,提供上下文对抗触发器生成方法、系统、设备、产品及介质,包括获取源文本和第一上下文对抗触发器,通过第一上下文对抗触发器和源文本得到第一候选词汇表,通过第一候选词汇表得到第二上下文对抗触发器;获取、更新第一掩码语言模型得到第二掩码语言模型;选取标签训练样本,得到第二候选词汇表,根据第二候选词汇表生成第三上下文对抗触发器并迭代,得到第四上下文对抗触发器及最大第二掩码语言模型参数,通过最大第二掩码语言模型参数更新第二掩码语言模型,得到第三掩码语言模型,通过对第三掩码语言模型进行迭代得到目标上下文对抗触发器。本发明能够有效模拟更多样的触发器攻击。

Patent Agency Ranking