-
公开(公告)号：CN114218617B
公开(公告)日：2024-06-21
申请号：CN202111362067.6
申请日：2021-11-17
Applicant: 鹏城实验室
Abstract: 本发明公开了一种交叉熵损失函数安全计算方法及系统，其中，上述方法包括：根据需要进行计算的输入概率分布序列生成第一概率输入序列和第二概率输入序列；根据需要进行计算的待输入标签序列生成第一标签输入序列和第二标签输入序列。分别使用第一计算终端针对第一概率输入序列和第一标签输入序列进行计算，使用第二计算终端针对第二概率输入序列和第二标签输入序列进行计算，计算过程中引入随机序列组对各数据进行保护，进一步防止数据泄露或隐私泄露，最后将获得的第一目标结果和第二目标结果相加则可以消除随机序列组的影响，获得实际的计算结果。计算过程中的数据是经过随机序列组保护后的数据，有利于提高交叉熵损失函数计算的安全性。
-
公开(公告)号：CN117061509A
公开(公告)日：2023-11-14
申请号：CN202310813971.7
申请日：2023-07-04
Applicant: 鹏城实验室
IPC: H04L67/10 , H04L67/1008 , G06N3/098
Abstract: 本申请实施例公开了通信方法、装通信置、电子设备及存储介质，涉及通信技术领域。通过获取计算设备的第三数量个参数梯度并进行划分，得到第二数量个第一参数梯度，并将第一参数梯度发送至计算节点中预设的计算设备，对计算设备分组得到第二数量个计算设备集合，每个计算设备集合中是来自不同计算节点的第一数量个计算设备。在计算设备集合中，对计算设备的第一参数梯度进行划分得到第一数量个第二参数梯度，并将第二参数梯度发送至计算设备集合中预设的计算设备，从而根据计算设备接收到的第二参数梯度得到计算节点的通信量。由此对不同的计算节点的计算设备及其参数梯度进行分组，有效减少计算节点间的通信量，从而减少通信时间提高训练效率。
-
公开(公告)号：CN116070719A
公开(公告)日：2023-05-05
申请号：CN202310271228.3
申请日：2023-03-20
Applicant: 鹏城实验室
IPC: G06N20/00
Abstract: 本发明公开了一种跨计算节点分布式训练高效通信方法及系统，所述方法包括：在中心服务器上构建分布式训练机器学习模型；获取分布式训练机器学习模型中每个计算节点的本地更新量，并对本地更新量进行量化，得到量化后的本地更新量；根据量化后的本地更新量得到全局更新量，并对全局更新量进行量化，得到量化后的全局更新量；在各计算节点中，根据量化后的全局更新量更新分布式训练机器学习模型参数，得到更新后的分布式训练机器学习模型。本发明通过量化方法将计算节点间所需要通信的数据进行压缩以减少通讯数据量，不会影响最终收敛特性，从而减少通信时间，提高系统的整体训练效率。
-
公开(公告)号：CN113902522A
公开(公告)日：2022-01-07
申请号：CN202111152619.0
申请日：2021-09-29
Applicant: 鹏城实验室
Abstract: 本发明公开了一种基于图神经网络的专利推荐方法及终端，所述方法包括：获取机构信息和专利信息，根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱；根据所述机构与专利关系的知识图谱，基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表，基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。本发明通过图谱的形式完成对专利及机构信息的抽取，经过编码及转化处理为图神经网络的图数据样本，利用图神经网络实现节点的图嵌入，采用预训练加微调的机制，经过推荐模型实现需求机构与待售专利之间的匹配，提高推荐质量。
-
Patent Agency Ranking
公开(公告)号：CN114548206B
公开(公告)日：2025-02-28
申请号：CN202111542809.3
申请日：2021-12-16
Applicant: 鹏城实验室
Abstract: 本发明涉及模型训练技术领域，具体是涉及一种基于集群的模型训练方法、装置、设备及存储介质。本发明将待训练模型放在各个集群上利用各个集群上的局部数据进行模型的训练，本发明将待训练模型放在各个集群上，因此本发明不需要将各个集群上的数据迁移至各个集群的外部就可以利用各个集群的数据对模型进行训练，从而保护了各个集群上的数据隐私以防止数据泄密。
-
公开(公告)号：CN114386566B
公开(公告)日：2025-02-11
申请号：CN202111479964.5
申请日：2021-12-06
Applicant: 鹏城实验室
Abstract: 本发明公开了一种激活函数安全计算方法和Tanh函数安全计算方法，本发明为了保留原有的Sigmoid函数算法结构，采用随机参数的方式实现安全计算，解决了现有技术中将隐私保护深度学习算法中的Sigmoid函数替换为相应密码学友好的函数进行安全计算，改变了原有的算法结构，导致隐私保护深度学习算法性能变差的问题。
-
公开(公告)号：CN115471394A
公开(公告)日：2022-12-13
申请号：CN202211156400.2
申请日：2022-09-22
Applicant: 鹏城实验室
Abstract: 本发明公开了一种支持异构集群下的模型并行训练方法及相关设备，所述方法包括：各个集群根据自己的框架编写好代码，然后在各自的框架上训练一部分数据，接着先在集群内部进行模型拼接，把模型并行切分到多张卡的模型参数合并成一个完整的模型，不同集群的拼接后得到的模型是一致的，然后将拼接完的模型参数进行分片传输到参数服务器，参数服务器对模型参数进行融合，接着参数服务器将融合后的模型下发到各个集群，最后各个分集群将收到的模型按照各自的模型并行训练策略进行模型并行切分后训练；本发明实现了用户隐私保护、数据安全、大模型并行训练和大模型传输，能整合不同计算中心资源，满足了异构框架，异构集群共同训练大模型的需求。
-
公开(公告)号：CN115297008A
公开(公告)日：2022-11-04
申请号：CN202210793410.0
申请日：2022-07-07
Applicant: 鹏城实验室
Abstract: 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质，方法包括：获取若干个待训练算法及对应的数据集，并根据获取的若干个算法及数据集生成多个任务组；根据选择的任务组确定分布式智能协同计算平台中的待训练终端，并确定各待训练终端对应的待训练算法及数据集；通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理，得到协同训练及推理结果；根据所述协同训练及推理结果获取多模型融合策略，并通过所述多模型融合策略对训练后终端中的算法进行融合，得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。
-
公开(公告)号：CN114548206A
公开(公告)日：2022-05-27
申请号：CN202111542809.3
申请日：2021-12-16
Applicant: 鹏城实验室
IPC: G06K9/62 , G06V10/80 , G06V10/774
Abstract: 本发明涉及模型训练技术领域，具体是涉及一种基于集群的模型训练方法、装置、设备及存储介质。本发明将待训练模型放在各个集群上利用各个集群上的局部数据进行模型的训练，本发明将待训练模型放在各个集群上，因此本发明不需要将各个集群上的数据迁移至各个集群的外部就可以利用各个集群的数据对模型进行训练，从而保护了各个集群上的数据隐私以防止数据泄密。
-
-
-
-
-
-
-
-
Search Results
19
records
(took 0.031 seconds)
