大语言模型蒸馏方法、装置、设备及存储介质

    公开(公告)号:CN119089975A

    公开(公告)日:2024-12-06

    申请号:CN202410929076.6

    申请日:2024-07-11

    Inventor: 袁野 慕鑫

    Abstract: 本申请公开了一种大语言模型蒸馏方法、装置、设备及存储介质,涉及计算机技术领域,所述大语言模型蒸馏方法包括:基于马尔可夫决策过程和教师模型的生成过程确定所述教师模型的教师占用测度和学生模型的学生占用测度;通过所述教师占用测度、所述学生占用测度以及JS散度进行损失函数定义,确定所述学生模型的训练损失函数;根据专家数据集、目标判别器以及所述训练损失函数对所述学生模型进行训练,得到目标蒸馏模型,以通过所述目标蒸馏模型进行语言处理任务。通过上述方式,蒸馏过程结合了黑盒知识蒸馏和白盒知识蒸馏的优点,降低了模型蒸馏的时间成本和硬件成本,并保证了蒸馏小模型的模型性能和通用性。

    非交互式的集合成员关系的函数证明方法

    公开(公告)号:CN117540396A

    公开(公告)日:2024-02-09

    申请号:CN202311470231.4

    申请日:2023-11-06

    Abstract: 本发明公开了一种非交互式的集合成员关系的函数证明方法,该方法包括:运行初始化算法对证明系统进行初始化,获得公共参考串;在接收证明者的用户密钥生成指令时,基于公共参考串生成证明者的公钥和私钥;根据函数密钥生成算法为验证者生成函数密钥,并根据函数密钥确认算法验证函数密钥是否正确;基于证明者输入的公钥、陈述和证据,通过预设证明算法生成陈述和证据对应的零知识证明;在零知识证明有效且函数密钥正确时,从零知识证明中提取额外的关于证据的函数信息。从而实现了关于证据的函数计算功能,进而在保持非交互零知识证明的安全内核的前提条件下,扩展了传统的非交互零知识证明的适用范围。

    范围证明方法、装置、设备及存储介质

    公开(公告)号:CN117709953A

    公开(公告)日:2024-03-15

    申请号:CN202311351910.X

    申请日:2023-10-18

    Abstract: 本发明公开了一种范围证明方法、装置、设备及存储介质,涉及数据处理领域,所述方法包括:获取目标证明信息,根据验证者的私钥对所述目标证明信息进行范围抽取,确定所述验证者对应的数据范围,向所述验证者提供所述数据范围,以使所述验证者进行范围验证;由于本发明根据验证者对目标证明信息进行范围抽取,从而实现根据不同验证者的身份抽取不同的数据范围给验证者进行验证,当证明者对验证者的信任度高时,验证者所能抽取的范围也就更精确,使得数据的隐私可以更好的进行保护,有效提高了风险管理水平。

Patent Agency Ranking