公开(公告)号：CN119647621A

公开(公告)日：2025-03-18

申请号：CN202411671767.7

申请日：2024-11-21

Applicant: 哈尔滨工业大学

Inventor： 杨沐昀 ,  胥卜凡 ,  徐冰 ,  曹海龙 ,  朱聪慧 ,  赵铁军

IPC: G06N20/00 ,  G06N5/04 ,  G06F40/30

Abstract: 面向长文本场景的大语言模型安全风险评估方法、系统和设备，属于大语言模型技术领域，解决大语言模型在长文本场景的安全性保障严重不足，存在着极大的安全评估方法的缺口问题。本发明方法包括：大模型在面对长文本输入时，针对同一有害任务，评估其安全性表现是否与短文本场景下的评估结果一致。本发明利用短文本场景安全领域数据，自动化生成整体语义一致、长文本形式的有害内容，构建长文本场景安全风险评估数据集，识别模型在长文本场景下中的潜在安全风险。采用的长文本评估方法包含上下文学习、基于反向长度扩充和思维链的有害长文本生成技术、经过无偏估计处理的安全评估指标。本发明适用于评估大语言模型在长文本场景下的安全风险。