大模型处理的方法和装置
    151.
    发明公开

    公开(公告)号:CN117787356A

    公开(公告)日:2024-03-29

    申请号:CN202311749001.1

    申请日:2023-12-18

    Abstract: 本说明书实施例提供了一种大模型处理的方法和装置。该方法的一具体实施方式包括:确定第一大模型中各层的量化用参数,其中至少部分层的量化用参数根据该层涉及的目标数据的取值范围确定,所述量化用参数包括定点数的总位数和小数部分的位数;根据所述量化用参数对所述第一大模型进行模型量化,以及对所述第一大模型中的至少部分非线性函数进行多项式近似,得到第二大模型;以所述第一大模型为教师模型,所述第二大模型为学生模型,进行模型蒸馏,得到第三大模型;所述第三大模型用于部署到多方,以多方安全计算的方式进行隐私保护的模型预测。

    一种线性回归任务的运行方法及装置、电子设备

    公开(公告)号:CN111966473B

    公开(公告)日:2024-02-06

    申请号:CN202010721528.3

    申请日:2020-07-24

    Inventor: 谭晋 王磊 王力

    Abstract: 本申请实施例提供了一种线性回归任务的运行方法及装置、电子设备。其中,线性回归任务的运行方法通过独立的运行针对第一自变量矩阵的每个列创建的线性回归任务,并在每个线性回归任务中,针对每一列向量,使用对应的校正算法对根据第一自变量矩阵和预设回归系数向量确定的公共向量进行校正,可以得到针对每一列向量的回归值向量,从而可以计算出每一列向量与其它列向量之间的共线性参数,使得在独立的并行运行多个线性回归任务时,不用在执行每个线性回归任务之前提前对第一自变量矩阵进行变形处理并存储,也即,无需存储多个第一自变量矩阵的变形矩阵,节约了存储空间,兼顾了线性回归任务的运行速度和内存占用的问题。

    保护隐私数据的模型训练方法和装置

    公开(公告)号:CN117332267A

    公开(公告)日:2024-01-02

    申请号:CN202311273119.1

    申请日:2023-09-27

    Abstract: 本说明书实施例提供一种保护隐私数据的模型训练方法和装置,方法包括:第一方从第二方接收训练样本集中各个训练样本的密文特征数据,密文特征数据为明文特征数据经过数据压缩后得到的;将任一训练样本的密文特征数据输入深度学习模型,得到该训练样本的嵌入特征向量;利用本方持有的任一训练样本的嵌入特征向量、第二方提供的该训练样本的任务标签以及第三方提供的任务模型,通过安全多方计算的方式联合训练任务模型,训练后的任务模型和深度学习模型共同实现目标任务的预测。能够既提供安全保障,又提高模型训练的效率。

    基于目标模型进行联合预测的方法和装置

    公开(公告)号:CN116843041A

    公开(公告)日:2023-10-03

    申请号:CN202310788991.3

    申请日:2023-06-29

    Inventor: 张兴盟 王磊

    Abstract: 本说明书实施例提供一种基于目标模型进行联合预测的方法和装置,其中目标模型包括基于因子分解机FM的第一子模型,联合预测涉及第一方和第二方,第一方持有目标对象的若干项第一特征,第二方持有目标对象的其他特征。在该方法中,第一方可以获取FM模型的二阶组合参数中针对各项第一特征各自的k维参数;然后本地计算第一中间项和第二中间项,其中第一中间项包括k个中间值,任意第j中间值是各项第一特征对应的第j维参数的乘积之和,第二中间项包括,各项第一特征与各个维度参数值的乘积的平方之和。于是,第一方可以将基于第一中间项和第二中间项得到的第一中间结果发送给目标方,使其融合得到FM模型的输出。

    数据处理方法及装置
    155.
    发明公开

    公开(公告)号:CN116301710A

    公开(公告)日:2023-06-23

    申请号:CN202310162621.9

    申请日:2023-02-13

    Inventor: 谭晋 王磊

    Abstract: 本说明书实施例提供一种数据处理方法及装置,一种保护数据隐私的多方计算溢出位的方法及装置。其中数据处理方法包括:先获取2n位的待处理比特串,其基于目标数据对应的原始比特串而确定;再对所述待处理比特串进行n‑1次比特交换处理,其中任意的第t次比特交换处理包括:将当前比特串按照2t+1个比特为一组进行分组;针对每个分组,对位于中间的2t个比特,交换高位比特与低位比特之间的位置,并保持外侧的2t个比特不变;接着,基于所述n‑1次比特交换处理后的比特串确定目标比特串,所述目标比特串中的高位和低位分别对应于所述原始比特串中的奇数位和偶数位,所述目标比特串用于与目标数据的奇偶比特位相关的数据处理。如此,可以大幅提升计算效率。

    基于多方安全计算训练模型的方法及装置

    公开(公告)号:CN116011012A

    公开(公告)日:2023-04-25

    申请号:CN202211735546.2

    申请日:2022-12-31

    Abstract: 本说明书实施例提供一种基于多方安全计算训练模型的方法及装置,在多方联合利用各自的隐私数据进行基于逻辑回归的分类模型训练过程中,通过目标映射函数代替常规的sigmoid函数进行数据分类,以减少基于逻辑回归进行分类的分类模型在多方安全计算场景下的数据处理的复杂度,提高模型训练效率。其中,在目标映射函数满足在远离0的位置具有较高准确度的条件的情况下,可以提高分类准确度。如此,可以提高多方安全计算场景下联合训练基于逻辑回归的分类模型的可行性。

    用于多方安全计算的数据处理方法及装置

    公开(公告)号:CN115906137A

    公开(公告)日:2023-04-04

    申请号:CN202211735172.4

    申请日:2022-12-31

    Abstract: 本说明书实施例提供一种用于多方安全计算的数据处理方法及装置,在浮点数的指定小数位数fxp与扩展位数s满足fxp+s≤t/2(t为加密环的比特位数)的情况下,针对一个浮点数x,对其映射到加密环上的编码值进行处理过程中,通过s比特位的左移,将浮点数的指定小数位由fxp扩展为fxp+s,一方面避免了位反转过程中的高位截断,另一方面,将正则化算法的有效输入数值范围扩展为2‑(fxp‑1)至2(fxp‑1+s)。从而,可以大大扩展多方安全计算过程中所处理的浮点数的输入数据范围。

    用于保护隐私的数据处理方法、装置和计算机设备

    公开(公告)号:CN115085897A

    公开(公告)日:2022-09-20

    申请号:CN202210561597.1

    申请日:2022-05-23

    Abstract: 本说明书实施例公开了一种用于保护隐私的数据处理方法、装置和计算机设备。所述方法包括:获取多个第一密文数据,所述多个第一密文数据包括多个第一明文数据的同态密文数据,所述多个第一明文数据的奇偶性用于表示多个业务数据;将多个第一密文数据同态相加,得到第二密文数据,所述第二密文数据包括第二明文数据的同态密文数据,所述第二明文数据的奇偶性用于表示所述多个业务数据的异或运算结果。本说明书实施例可以基于同态加法运算实现异或运算或者与运算。并且,在异或运算或者与运算的过程中,不会泄漏业务数据,实现了隐私保护。

    信息下发方法、装置、存储介质及服务器

    公开(公告)号:CN115061785A

    公开(公告)日:2022-09-16

    申请号:CN202210396072.7

    申请日:2022-04-15

    Abstract: 本说明书公开了一种信息下发方法、装置、存储介质及服务器,其中方法包括:接收任务转换模块发送的目标任务的第二描述信息,第二描述信息由任务转换模块将接收的目标任务的第一描述信息进行压缩后得到,将第二描述信息发送至任务机构标识对应的任务机构,基于可执行文件信息将可执行文件下载至任务机构中,并启动可执行文件,以使可执行文件基于标签从数据库中获取输入参数。

    确定联邦学习的训练成员模型贡献度的方法及装置

    公开(公告)号:CN115049011A

    公开(公告)日:2022-09-13

    申请号:CN202210737329.0

    申请日:2022-06-27

    Inventor: 郑龙飞 王力 王磊

    Abstract: 本说明书实施例提供一种检测联邦学习的训练成员模型贡献度的方法及装置,尤其适用于横向联邦学习过程中,对各个训练成员数据质量检测或评估训练成员本地隐私数据对模型的整体质量影响。该方案可由服务方执行,在单个同步周期,从各个训练成员接收各个局部模型分别对应的各个局部参数集,然后按照预定同步策略对各个局部参数集进行融合,得到与全局模型对应的全局参数集,再分别检测各个局部参数集与所述全局参数集之间的各个相关系数,并利用各个相关系数确定各个训练成员在当前同步周期分别对应的各个当前贡献度,从而确定各个训练成员在联邦学习过程中的模型贡献度。该方式可以更准确地衡量训练成员数据的重要性。

Patent Agency Ranking