公开(公告)号：CN119721246A

公开(公告)日：2025-03-28

申请号：CN202411799401.8

申请日：2024-12-09

Applicant: 中国移动通信集团设计院有限公司 ,  中国移动通信集团有限公司

Inventor： 高鹏 ,  陈祖泉 ,  侯晓琳 ,  张晨 ,  陈文驰 ,  杜雪涛 ,  杜刚 ,  赵蓓 ,  秦本源 ,  孙婧婧 ,  陈燕雷 ,  李岩 ,  雷涛 ,  周顶 ,  于少中 ,  于雷 ,  刘逸哲 ,  刘胜兰 ,  平亦安 ,  陈凡

IPC: G06N5/04 ,  G06N5/02 ,  G06F16/3329 ,  G06F40/30 ,  G06F40/194

Abstract: 本发明公开了一种大语言模型测评方法、装置、设备、存储介质和程序产品，针对大语言模型在主观问答方面的测评，使用可自动计算出的定量评价指标的测评方式，以及在进行能力测试时，可以实现模型问题和模型回答的一致性测评以及模型回答和参考答案的一致性测评中的至少一种，针对模型回答和模型问题、模型回答和参考答案之间的相似度实现模型的针对性自动测评，减少人工工作量以及人工主观测评带来的误差干扰，提高了测评效率和准确率。

公开(公告)号：CN119337018A

公开(公告)日：2025-01-21

申请号：CN202411536868.3

申请日：2024-10-31

Applicant: 中国移动通信集团设计院有限公司 ,  中国移动通信集团有限公司

Inventor： 蔡亚莉 ,  陈祖泉 ,  杜刚 ,  张晨 ,  侯晓琳 ,  秦本源 ,  陈文驰 ,  杜雪涛 ,  陈燕雷 ,  赵蓓 ,  雷涛 ,  周顶 ,  刘逸哲 ,  李岩 ,  林达 ,  于雷 ,  于少中 ,  刘胜兰 ,  易佩迪 ,  李小勇

IPC: G06F16/958 ,  G06F16/955 ,  G06F18/214 ,  G06F18/213 ,  G06F18/24 ,  G06N3/0455 ,  G06N3/08 ,  G06N5/04 ,  G06N5/022

Abstract: 本发明提供一种网站的多维度检测方法、装置、电子设备及存储介质，其中方法包括：获取待检测网站的网站链接，并获取待检测网站的网站数据；基于第一大语言模型，对网站数据进行多种数据维度的分析，确定网站数据需要扩充的目标数据维度；基于目标数据维度，调用第二大语言模型，对网站数据进行扩充，得到扩充后的网站数据；调用第三大语言模型，对扩充后的网站数据进行异常识别，确定是否为异常网站。通过结合大语言模型对待检测网站的网站数据进行多种数据维度的分析，实现了对网站数据的多维度分析过程。基于不同的大语言模型承担不同的职责的解耦分析方式，实现了待检测网站的高精度异常识别过程。