-
公开(公告)号:CN116070719B
公开(公告)日:2023-07-14
申请号:CN202310271228.3
申请日:2023-03-20
Applicant: 鹏城实验室
IPC: G06N20/00
Abstract: 本发明公开了一种跨计算节点分布式训练高效通信方法及系统,所述方法包括:在中心服务器上构建分布式训练机器学习模型;获取分布式训练机器学习模型中每个计算节点的本地更新量,并对本地更新量进行量化,得到量化后的本地更新量;根据量化后的本地更新量得到全局更新量,并对全局更新量进行量化,得到量化后的全局更新量;在各计算节点中,根据量化后的全局更新量更新分布式训练机器学习模型参数,得到更新后的分布式训练机器学习模型。本发明通过量化方法将计算节点间所需要通信的数据进行压缩以减少通讯数据量,不会影响最终收敛特性,从而减少通信时间,提高系统的整体训练效率。
-
公开(公告)号:CN114218616A
公开(公告)日:2022-03-22
申请号:CN202111362064.2
申请日:2021-11-17
Applicant: 鹏城实验室
IPC: G06F21/71
Abstract: 本发明公开了一种归一化指数函数安全计算方法及系统,本发明提供的归一化指数函数安全计算方法中,根据归一化指数函数的待计算输入序列生成第一输入序列和第二输入序列,并且根据待计算输入序列生成第一输入序列和第二输入序列的公式中可以有多组解,将第一输入序列和第二输入序列分别分给第一计算终端和第二计算终端进行计算,在计算过程中,第一计算终端和第二计算终端之间传输的信息,都是根据随机数运算得到的,从而使得每个计算终端在计算过程中接收到的信息都是随机均匀分布的,计算终端无法根据接收到的信息来倒推得到真实的数据,从而避免了原始数据泄露,保证了数据的安全性。
-
公开(公告)号:CN113902522B
公开(公告)日:2024-08-27
申请号:CN202111152619.0
申请日:2021-09-29
Applicant: 鹏城实验室
IPC: G06Q30/0601 , G06Q50/18 , G06N3/042 , G06N3/08
Abstract: 本发明公开了一种基于图神经网络的专利推荐方法及终端,所述方法包括:获取机构信息和专利信息,根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱;根据所述机构与专利关系的知识图谱,基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表,基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。本发明通过图谱的形式完成对专利及机构信息的抽取,经过编码及转化处理为图神经网络的图数据样本,利用图神经网络实现节点的图嵌入,采用预训练加微调的机制,经过推荐模型实现需求机构与待售专利之间的匹配,提高推荐质量。
-
公开(公告)号:CN115297008B
公开(公告)日:2023-08-22
申请号:CN202210793410.0
申请日:2022-07-07
Applicant: 鹏城实验室
IPC: H04L41/14 , G06F18/214 , G06F18/25 , G06N5/04
Abstract: 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质,方法包括:获取若干个待训练算法及对应的数据集,并根据获取的若干个算法及数据集生成多个任务组;根据选择的任务组确定分布式智能协同计算平台中的待训练终端,并确定各待训练终端对应的待训练算法及数据集;通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理,得到协同训练及推理结果;根据所述协同训练及推理结果获取多模型融合策略,并通过所述多模型融合策略对训练后终端中的算法进行融合,得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。
-
公开(公告)号:CN113098840B
公开(公告)日:2022-08-16
申请号:CN202110212165.5
申请日:2021-02-25
Applicant: 鹏城实验室
Abstract: 本发明公开了一种基于加法秘密分享技术的高效安全线性整流函数运算方法,所述方法包括:获取来自第一服务器的第一数据以及来自第二服务器的第二数据;根据所述第一数据以及所述第二数据确定目标二进制字符串,并对所述目标二进制字符串执行拆分操作;将拆分后得到的数据分别发送给所述第一服务器和所述第二服务器,使所述第一服务器和所述第二服务器基于所述拆分后得到的数据调用安全比较算法,实现将所述目标二进制字符串与所述第一服务器、所述第二服务器之间的公共随机数进行比较,并基于比较结果输出安全线性整流函数运算的结果。解决了现有技术中实现一次安全线性整流函数运算需要产生大量通信开销,导致安全协议效率低下的问题。
-
公开(公告)号:CN114218616B
公开(公告)日:2024-06-21
申请号:CN202111362064.2
申请日:2021-11-17
Applicant: 鹏城实验室
IPC: G06F21/71
Abstract: 本发明公开了一种归一化指数函数安全计算方法及系统,本发明提供的归一化指数函数安全计算方法中,根据归一化指数函数的待计算输入序列生成第一输入序列和第二输入序列,并且根据待计算输入序列生成第一输入序列和第二输入序列的公式中可以有多组解,将第一输入序列和第二输入序列分别分给第一计算终端和第二计算终端进行计算,在计算过程中,第一计算终端和第二计算终端之间传输的信息,都是根据随机数运算得到的,从而使得每个计算终端在计算过程中接收到的信息都是随机均匀分布的,计算终端无法根据接收到的信息来倒推得到真实的数据,从而避免了原始数据泄露,保证了数据的安全性。
-
公开(公告)号:CN115758064A
公开(公告)日:2023-03-07
申请号:CN202211288739.8
申请日:2022-10-20
Applicant: 鹏城实验室
Abstract: 本发明公开了基于高斯过程回归的数据隐私保护方法及相关设备,包括:获取训练数据和测试数据;计算协方差矩阵,根据训练数据进行高斯过程回归的训练;生成指数随机数,通过秘密分享技术,根据指数随机数在高斯整数环上进行指数计算;根据乔利斯基分解法将高斯过程回归中的正定矩阵进行分解,通过秘密分享技术,在高斯整数环上对分解后的正定矩阵进行求逆,构建高斯过程回归模型;根据高斯过程回归模型对测试数据进行预测。可以在不泄露输入矩阵隐私的前提下,提高指数运算的效率,实现安全求逆。
-
公开(公告)号:CN114386566A
公开(公告)日:2022-04-22
申请号:CN202111479964.5
申请日:2021-12-06
Applicant: 鹏城实验室
Abstract: 本发明公开了一种激活函数安全计算方法和Tanh函数安全计算方法,本发明为了保留原有的Sigmoid函数算法结构,采用随机参数的方式实现安全计算,解决了现有技术中将隐私保护深度学习算法中的Sigmoid函数替换为相应密码学友好的函数进行安全计算,改变了原有的算法结构,导致隐私保护深度学习算法性能变差的问题。
-
公开(公告)号:CN114218617A
公开(公告)日:2022-03-22
申请号:CN202111362067.6
申请日:2021-11-17
Applicant: 鹏城实验室
Abstract: 本发明公开了一种交叉熵损失函数安全计算方法及系统,其中,上述方法包括:根据需要进行计算的输入概率分布序列生成第一概率输入序列和第二概率输入序列;根据需要进行计算的待输入标签序列生成第一标签输入序列和第二标签输入序列。分别使用第一计算终端针对第一概率输入序列和第一标签输入序列进行计算,使用第二计算终端针对第二概率输入序列和第二标签输入序列进行计算,计算过程中引入随机序列组对各数据进行保护,进一步防止数据泄露或隐私泄露,最后将获得的第一目标结果和第二目标结果相加则可以消除随机序列组的影响,获得实际的计算结果。计算过程中的数据是经过随机序列组保护后的数据,有利于提高交叉熵损失函数计算的安全性。
-
公开(公告)号:CN113098840A
公开(公告)日:2021-07-09
申请号:CN202110212165.5
申请日:2021-02-25
Applicant: 鹏城实验室
Abstract: 本发明公开了一种基于加法秘密分享技术的高效安全线性整流函数运算方法,所述方法包括:获取来自第一服务器的第一数据以及来自第二服务器的第二数据;根据所述第一数据以及所述第二数据确定目标二进制字符串,并对所述目标二进制字符串执行拆分操作;将拆分后得到的数据分别发送给所述第一服务器和所述第二服务器,使所述第一服务器和所述第二服务器基于所述拆分后得到的数据调用安全比较算法,实现将所述目标二进制字符串与所述第一服务器、所述第二服务器之间的公共随机数进行比较,并基于比较结果输出安全线性整流函数运算的结果。解决了现有技术中实现一次安全线性整流函数运算需要产生大量通信开销,导致安全协议效率低下的问题。
-
-
-
-
-
-
-
-
-