公开(公告)号：CN118114774B

公开(公告)日：2024-07-02

申请号：CN202410535818.7

申请日：2024-04-30

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 徐国爱 ,  周伟润 ,  花忠云

IPC: G06N5/04 ,  G06F40/284 ,  G06N3/02 ,  G06F17/16

Abstract: 本公开提供一种大模型推断方法、装置、电子设备、存储介质及程序产品，包括：向客户端发送词嵌入的嵌入矩阵，接收客户端发送的基于待推断词语、第一秘密共享份额和嵌入矩阵得到的第二密文，以得到第二秘密共享份额，将第一神经网络的参数和第二秘密共享份额发送到所述客户端，得到第一关联结果，基于第一关联结果和第一神经网络的参数得到第一待截断信息，通过预先构建的第一扰动信息对第一待截断信息进行截断，以完成第一神经网络中的矩阵乘法，基于矩阵乘法结果进行处理得到第一输出结果，基于第二神经网络对第一输出结果进行处理，得到第二输出结果，并进行转化处理，得到推断结果。本公开传输数据量较小，计算时间较短，因此效率较高。

公开(公告)号：CN118114774A

公开(公告)日：2024-05-31

申请号：CN202410535818.7

申请日：2024-04-30

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 徐国爱 ,  周伟润 ,  花忠云

IPC: G06N5/04 ,  G06F40/284 ,  G06N3/02 ,  G06F17/16

Abstract: 本公开提供一种大模型推断方法、装置、电子设备、存储介质及程序产品，包括：向客户端发送词嵌入的嵌入矩阵，接收客户端发送的基于待推断词语、第一秘密共享份额和嵌入矩阵得到的第二密文，以得到第二秘密共享份额，将第一神经网络的参数和第二秘密共享份额发送到所述客户端，得到第一关联结果，基于第一关联结果和第一神经网络的参数得到第一待截断信息，通过预先构建的第一扰动信息对第一待截断信息进行截断，以完成第一神经网络中的矩阵乘法，基于矩阵乘法结果进行处理得到第一输出结果，基于第二神经网络对第一输出结果进行处理，得到第二输出结果，并进行转化处理，得到推断结果。本公开传输数据量较小，计算时间较短，因此效率较高。