-
公开(公告)号:CN118839206A
公开(公告)日:2024-10-25
申请号:CN202411244711.3
申请日:2024-09-06
Applicant: 中国电子科技网络信息安全有限公司 , 中国电子科技集团公司第三十研究所
Abstract: 本发明公开了一种针对大语言模型生成内容的安全测评方法,涉及大语言模型安全领域,包括:步骤S1:基于测评大模型,构建测评数据集;步骤S2:将测评数据集输入待测大模型中,由待测大模型输出生成内容;步骤S3:采用判别模型和词向量与人工判别方法,判断生成内容是否安全;步骤S4:构建指标体系;步骤S5:基于步骤S3的判断结果,通过步骤S4构建的指标体系,计算待测大模型的综合安全分数,完成待测模型的生成内容安全性测评。本发明,能够判断现有的多种开闭源大语言模型的生成内容是否满足特定安全要求,为大语言模型的生成内容安全合规性测试提供度量工具,从而有效解决大语言模型的生成内容安全测评问题。
-
公开(公告)号:CN118784377A
公开(公告)日:2024-10-15
申请号:CN202411267797.1
申请日:2024-09-11
Applicant: 中国电子科技网络信息安全有限公司 , 中国电子科技集团公司第三十研究所
IPC: H04L9/40 , G06N3/0455 , G06N3/0475 , G06N3/048 , G06N3/0499 , G06N3/0895 , G06F18/25 , G06F18/214
Abstract: 本发明公开了一种自监督的大模型恶意指令检测方法及系统,涉及网络安全领域,大模型恶意指令检测系统由用户终端、防火墙、指令特征提取器、恶意指令检测器、目标大模型、指令样本生成器和指令筛选器通过网络连接而成的,并以此提出的一种检测方法。本发明,通过利用未标注指令数据中的潜在信息,可以在不显著增加数据标注成本的情况下,有效提升模型的恶意指令检测性能和泛化能力,从而构建更为鲁棒的恶意指令检测模型,支持及时抵御恶意指令攻击。
-
公开(公告)号:CN118316736A
公开(公告)日:2024-07-09
申请号:CN202410734656.X
申请日:2024-06-07
Applicant: 中国电子科技网络信息安全有限公司
Abstract: 本发明公开了一种基于大模型的网络威胁主动防御系统及方法,涉及网络安全领域,其利用了海量的网络安全数据,构建面向主动防御的网络安全领域大模型,提出网络威胁与安全事件的语义原语,建立基于大模型的API调用框架,实现了分布式的增量学习模型与集中式的大模型结合的主动防御架构;本发明,能够提供高效、自动化的网络安全解决方案,帮助组织快速、有效地应对各种网络安全威胁;同时,不仅优化了资源分配,减少了对中心处理单元的依赖,还提高了系统对新型和复杂威胁的响应能力。
-
公开(公告)号:CN119996085A
公开(公告)日:2025-05-13
申请号:CN202510462450.0
申请日:2025-04-14
Applicant: 中国电子科技集团公司第三十研究所 , 中国电子科技网络信息安全有限公司
IPC: H04L9/40 , G06F18/2433 , G06N3/0455 , G06N3/08 , G06N3/006
Abstract: 本申请公开了一种基于大语言模型的网络/安全设备安全策略生成及评估方法与系统,该方法包括:分别采用威胁研判数据集及策略生成数据集对基模型进行微调,得到威胁研判LLM和策略生成LLM;威胁研判LLM对接收到日志采集模块输出的异常日志进行威胁研判,输出威胁信息四元组;策略生成LLM根据威胁研判LLM输出的威胁信息四元组,通过调用知识库Agent,生成设备安全策略;策略生成LLM调用评估Agent从策略正确性评估、策略有效性评估和策略适配性评估三个方面对设备安全策略进行评估。本申请提高了设备安全策略的有效性及可靠性。
-
公开(公告)号:CN119004466B
公开(公告)日:2025-01-28
申请号:CN202411463517.4
申请日:2024-10-21
Applicant: 中国电子科技网络信息安全有限公司 , 中国电子科技集团公司第三十研究所
Abstract: 本发明公开了一种大模型恶意指令监测预警系统及方法,涉及网络安全领域。本发明,通过构建可自主学习的恶意指令监测预警系统,并将其融入到“观察—调整—决策—行动”的决策循环中,能够实时监测大模型的输入指令,并判断其是否存在恶意意图,快速识别各种形式的恶意指令,能够及时抵御恶意指令攻击,通知用户或系统管理员采取更高级别的防护措施。此外,本发明提出的监测预警方法还具备较强的适应性,能够根据不同应用场景灵活调整监测策略。
-
公开(公告)号:CN118316736B
公开(公告)日:2024-08-06
申请号:CN202410734656.X
申请日:2024-06-07
Applicant: 中国电子科技网络信息安全有限公司
Abstract: 本发明公开了一种基于大模型的网络威胁主动防御系统及方法,涉及网络安全领域,其利用了海量的网络安全数据,构建面向主动防御的网络安全领域大模型,提出网络威胁与安全事件的语义原语,建立基于大模型的API调用框架,实现了分布式的增量学习模型与集中式的大模型结合的主动防御架构;本发明,能够提供高效、自动化的网络安全解决方案,帮助组织快速、有效地应对各种网络安全威胁;同时,不仅优化了资源分配,减少了对中心处理单元的依赖,还提高了系统对新型和复杂威胁的响应能力。
-
公开(公告)号:CN118381673B
公开(公告)日:2024-08-16
申请号:CN202410813818.9
申请日:2024-06-24
Applicant: 中国电子科技网络信息安全有限公司
IPC: H04L9/40 , H04L43/0823 , H04L43/50
Abstract: 本发明公开了一种基于大语言模型的安全测试方法,涉及人工智能和网络安全领域,包括:步骤S1:根据攻击场景和目的生成攻击载荷指令;步骤S2:基于攻击载荷指令,调用若干开源大语言模型直接生成攻击载荷;步骤S3:将生成的攻击载荷放入沙箱环境中进行测试,挑选出能够正确执行的有效攻击载荷,形成有效攻击载荷数据集;步骤S4:对有效攻击载荷数据集中的有效攻击载荷进行攻击测试和评估,筛选出高质量攻击载荷,形成高质量攻击载荷数据集;步骤S5:采用高质量攻击载荷数据集,对大语言模型进行微调,使大语言模型的攻击载荷生成能力得到增强。本发明,能够对网络系统进行测试,提升网络安全防御能力,以应对日益复杂的网络安全威胁。
-
公开(公告)号:CN118784377B
公开(公告)日:2024-11-15
申请号:CN202411267797.1
申请日:2024-09-11
Applicant: 中国电子科技网络信息安全有限公司 , 中国电子科技集团公司第三十研究所
IPC: H04L9/40 , G06N3/0455 , G06N3/0475 , G06N3/048 , G06N3/0499 , G06N3/0895 , G06F18/25 , G06F18/214
Abstract: 本发明公开了一种自监督的大模型恶意指令检测方法及系统,涉及网络安全领域,大模型恶意指令检测系统由用户终端、防火墙、指令特征提取器、恶意指令检测器、目标大模型、指令样本生成器和指令筛选器通过网络连接而成的,并以此提出的一种检测方法。本发明,通过利用未标注指令数据中的潜在信息,可以在不显著增加数据标注成本的情况下,有效提升模型的恶意指令检测性能和泛化能力,从而构建更为鲁棒的恶意指令检测模型,支持及时抵御恶意指令攻击。
-
公开(公告)号:CN118381673A
公开(公告)日:2024-07-23
申请号:CN202410813818.9
申请日:2024-06-24
Applicant: 中国电子科技网络信息安全有限公司
IPC: H04L9/40 , H04L43/0823 , H04L43/50
Abstract: 本发明公开了一种基于大语言模型的安全测试方法,涉及人工智能和网络安全领域,包括:步骤S1:根据攻击场景和目的生成攻击载荷指令;步骤S2:基于攻击载荷指令,调用若干开源大语言模型直接生成攻击载荷;步骤S3:将生成的攻击载荷放入沙箱环境中进行测试,挑选出能够正确执行的有效攻击载荷,形成有效攻击载荷数据集;步骤S4:对有效攻击载荷数据集中的有效攻击载荷进行攻击测试和评估,筛选出高质量攻击载荷,形成高质量攻击载荷数据集;步骤S5:采用高质量攻击载荷数据集,对大语言模型进行微调,使大语言模型的攻击载荷生成能力得到增强。本发明,能够对网络系统进行测试,提升网络安全防御能力,以应对日益复杂的网络安全威胁。
-
公开(公告)号:CN119004466A
公开(公告)日:2024-11-22
申请号:CN202411463517.4
申请日:2024-10-21
Applicant: 中国电子科技网络信息安全有限公司 , 中国电子科技集团公司第三十研究所
Abstract: 本发明公开了一种大模型恶意指令监测预警系统及方法,涉及网络安全领域。本发明,通过构建可自主学习的恶意指令监测预警系统,并将其融入到“观察—调整—决策—行动”的决策循环中,能够实时监测大模型的输入指令,并判断其是否存在恶意意图,快速识别各种形式的恶意指令,能够及时抵御恶意指令攻击,通知用户或系统管理员采取更高级别的防护措施。此外,本发明提出的监测预警方法还具备较强的适应性,能够根据不同应用场景灵活调整监测策略。
-
-
-
-
-
-
-
-
-