公开(公告)号：CN119740087A

公开(公告)日：2025-04-01

申请号：CN202411597152.4

申请日：2024-11-08

Applicant: 鹏城实验室

Inventor： 罗景龙 ,  张叶红 ,  徐增林 ,  张嘉琪 ,  王晖 ,  余跃

IPC: G06F18/241 ,  G06F18/213 ,  G06F21/62 ,  G16H50/20 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/08 ,  G06F17/18

Abstract: 本申请提供了一种基于高斯误差线性单元的业务处理方法、装置、设备，属于数据处理技术领域，通过获取高斯误差线性单元对应的目标函数，并获取业务处理模型在高斯误差线性单元之前针对目标数据包含的业务属性处理得到的业务特征元素，将业务特征元素进行拆分，得到第一子业务特征元素和第二子业务特征元素，获取第一服务节点根据目标函数对第一子业务特征元素处理得到的第一子特征，以及获取第二服务节点根据目标函数对第二子业务特征元素处理得到的第二子特征，根据第一子特征和第二子特征，确定目标子业务特征，根据目标子业务特征生成目标业务向量，并根据目标业务向量进行数据分析，能够在保证业务数据安全性的同时，提高业务处理的效率。

公开(公告)号：CN118535886A

公开(公告)日：2024-08-23

申请号：CN202410767299.7

申请日：2024-06-13

Applicant: 鹏城实验室

Inventor： 张艳 ,  邓凌风 ,  王进 ,  蒋芳清 ,  颜达森 ,  王晖 ,  余跃

IPC: G06F18/21 ,  G06F18/214 ,  G06F18/10 ,  G06F40/30 ,  G06F16/35 ,  G06N5/022

Abstract: 本申请实施例提供了一种文本数据质量评估方法及装置、电子设备及存储介质，属于人工智能技术领域。该方法包括：获取待评估的文本数据集，文本数据集包括多个数据样本；对文本数据集中的多个数据样本进行样本相似处理，得到若干个相似样本子集；对相似样本子集内的数据样本进行合并处理，得到目标数据样本；根据目标数据样本的数据重复率对进行去重处理；将更新后的目标数据样本输入至预训练的质量评估模型中，得到与每个目标数据样本一一对应的样本评估等级；根据样本评估等级，确定文本数据集的数据集评估等级。本申请实施例能够自动化对文本数据集进行评估，提高了数据评估效率，以及为后续的大模型训练提供了高质量的训练库。

公开(公告)号：CN117332039B

公开(公告)日：2024-07-02

申请号：CN202311218607.2

申请日：2023-09-20

Applicant: 鹏城实验室

Inventor： 方滨兴 ,  贾焰 ,  张民 ,  顾钊铨 ,  齐佳音 ,  余跃 ,  徐春香 ,  张欢 ,  梁栩建 ,  谭昊

IPC: G06F16/33 ,  G06F16/35 ,  G06F40/289 ,  G06F40/30

Abstract: 本申请实施例提供文本检测方法、装置、设备和存储介质，涉及人工智能技术领域。该方法包括：利用预设检测词表初步将包含敏感词的检测文本筛选出来，再利用多个安全检测模型对初筛后的检测文本更细粒度的合规性判断，得到表征合规性的检测得分，这里检测得分越高表征检测文段的安全性越高。在后续检测过程中，本实施例并不仅简单地将所有检测文段的检测得分通过作为合规性结果，而是预留一定的冗余，虽然一些检测文段的检测得分没有通过，但是其数量较少，则也可以认为其合规。通过多阶段检测，从粗粒度到细粒度进行合规判断，能够在整体上降低检测文本被误检的概率。

公开(公告)号：CN115758064A

公开(公告)日：2023-03-07

申请号：CN202211288739.8

申请日：2022-10-20

Applicant: 鹏城实验室

Inventor： 张叶红 ,  罗景龙 ,  秦爽 ,  张嘉琪 ,  王晖 ,  余跃 ,  徐增林

IPC: G06F17/18 ,  G06F17/16 ,  G06F21/62

Abstract: 本发明公开了基于高斯过程回归的数据隐私保护方法及相关设备，包括：获取训练数据和测试数据；计算协方差矩阵，根据训练数据进行高斯过程回归的训练；生成指数随机数，通过秘密分享技术，根据指数随机数在高斯整数环上进行指数计算；根据乔利斯基分解法将高斯过程回归中的正定矩阵进行分解，通过秘密分享技术，在高斯整数环上对分解后的正定矩阵进行求逆，构建高斯过程回归模型；根据高斯过程回归模型对测试数据进行预测。可以在不泄露输入矩阵隐私的前提下，提高指数运算的效率，实现安全求逆。

公开(公告)号：CN115270820A

公开(公告)日：2022-11-01

申请号：CN202210865989.7

申请日：2022-07-22

Applicant: 鹏城实验室

Inventor： 蒋芳清 ,  余跃 ,  王晖 ,  刘欣 ,  李文龙 ,  张叶红 ,  张艳 ,  李革 ,  陶恒韬

IPC: G06F40/45 ,  G06F40/58 ,  G06N5/04

Abstract: 本发明公开了一种多语言翻译系统的持续学习方法、装置、终端及存储介质，方法包括：根据处理策略对翻译请求进行预处理；根据处理后的翻译请求分发对应的翻译模型，并通过翻译模型对处理后的翻译请求进行翻译推理；根据翻译结果进行置信度评估，并根据置信度评估结果触发请你翻译模式，将处理后的翻译请求调度至在线专家或其他用户侧；接收在线专家或其他用户侧反馈的翻译参考答案，激励翻译模型对反馈的翻译参考答案进行答案融合；接收其他用户侧反馈的翻译结果评分，并根据翻译结果评分及反馈的翻译参考答案对翻译模型进行持续学习，以扩充翻译模型的翻译分析数据和持续学习数据。本发明通过反馈打分和请你翻译的人机协作提高系统翻译性能。

公开(公告)号：CN114218918B

公开(公告)日：2025-02-14

申请号：CN202111447284.5

申请日：2021-11-30

Applicant: 鹏城实验室

Inventor： 邓凌风 ,  颜达森 ,  刘敏 ,  张艳 ,  徐春香 ,  余跃 ,  曾炜

IPC: G06F40/194 ,  G06F40/289 ,  G06F40/111

Abstract: 本发明公开了语料相似检测方法、装置、智能终端及存储介质，其中，上述语料相似检测方法包括：获取输入文档集合；分别对上述输入文档集合中的各个输入文档进行分布式预处理，获取待检测编码文档集合，其中，上述分布式预处理包括字符剔除、分词和单词格式转换，上述待检测编码文档集合中包括多个待检测编码文档，上述待检测编码文档中的各个单词为整数类型的编码；基于上述待检测编码文档集合进行语料相似检测。与现有技术相比，本发明中在进行文档比较时，只需要分别对文档中的单词进行比较，且只需要进行整数类型的数据比较，有利于减少计算量、降低比较时间，提高语料相似检测的效率。

公开(公告)号：CN117061509A

公开(公告)日：2023-11-14

申请号：CN202310813971.7

申请日：2023-07-04

Applicant: 鹏城实验室

Inventor： 秦爽 ,  彭涵阳 ,  余跃 ,  王进 ,  王晖

IPC: H04L67/10 ,  H04L67/1008 ,  G06N3/098

Abstract: 本申请实施例公开了通信方法、装通信置、电子设备及存储介质，涉及通信技术领域。通过获取计算设备的第三数量个参数梯度并进行划分，得到第二数量个第一参数梯度，并将第一参数梯度发送至计算节点中预设的计算设备，对计算设备分组得到第二数量个计算设备集合，每个计算设备集合中是来自不同计算节点的第一数量个计算设备。在计算设备集合中，对计算设备的第一参数梯度进行划分得到第一数量个第二参数梯度，并将第二参数梯度发送至计算设备集合中预设的计算设备，从而根据计算设备接收到的第二参数梯度得到计算节点的通信量。由此对不同的计算节点的计算设备及其参数梯度进行分组，有效减少计算节点间的通信量，从而减少通信时间提高训练效率。

公开(公告)号：CN116489678A

公开(公告)日：2023-07-25

申请号：CN202310389923.X

申请日：2023-04-04

Applicant: 鹏城实验室

Inventor： 杨卿 ,  相洋 ,  侯永帅 ,  余跃 ,  王晖

IPC: H04W24/02 ,  G06F17/16 ,  G06N3/08

Abstract: 本申请实施例提供了一种深度学习模型的通信优化方法及装置、存储介质，方法包括：对深度学习模型进行切分，得到位于第一通信节点下的第一子模型和位于第二通信节点下的第二子模型；在第一通信节点下，根据稀疏化比例参数和第一子模型传输的前向数据，计算前向数据的稀疏化阈值，并且根据稀疏化阈值和稀疏化比例参数对前向数据进行压缩，得到中间数据；在第二通信节点下，根据量化参数对中间数据进行解压缩，得到后向数据；向第二子模型传输后向数据以进行训练。本申请实施例中，两个子模型所处的两个通信节点之间采用低带宽网络连接，整个通信过程的负载消耗能够得到限制，从而能够在保持深度学习模型的训练精度的前提下，有效地降低通信负载。

公开(公告)号：CN116070719A

公开(公告)日：2023-05-05

申请号：CN202310271228.3

申请日：2023-03-20

Applicant: 鹏城实验室

Inventor： 彭涵阳 ,  秦爽 ,  余跃 ,  王进 ,  王晖 ,  李革 ,  高文

IPC: G06N20/00

Abstract: 本发明公开了一种跨计算节点分布式训练高效通信方法及系统，所述方法包括：在中心服务器上构建分布式训练机器学习模型；获取分布式训练机器学习模型中每个计算节点的本地更新量，并对本地更新量进行量化，得到量化后的本地更新量；根据量化后的本地更新量得到全局更新量，并对全局更新量进行量化，得到量化后的全局更新量；在各计算节点中，根据量化后的全局更新量更新分布式训练机器学习模型参数，得到更新后的分布式训练机器学习模型。本发明通过量化方法将计算节点间所需要通信的数据进行压缩以减少通讯数据量，不会影响最终收敛特性，从而减少通信时间，提高系统的整体训练效率。

公开(公告)号：CN115964947A

公开(公告)日：2023-04-14

申请号：CN202211704600.7

申请日：2022-12-29

Applicant: 鹏城实验室

Inventor： 张艳 ,  王进 ,  陶恒韬 ,  易泽轩 ,  颜达森 ,  蒋芳清 ,  王晖 ,  余跃 ,  李革 ,  徐增林

IPC: G06F30/27 ,  G06F9/50 ,  G06F111/04

Abstract: 本发明公开了基于多面体模型建模的自动并行策略搜索方法及相关设备，所述方法包括：根据每两个客户端的智算网络的智算中心资源，以最优的并行策略作为约束条件，分别对该两个客户端上的编解码架构模型进行分配；控制该两个客户端利用所有经过分配后的编解码架构模型，对所述智算中心资源进行协同训练和聚合操作，计算得到多面体模型的梯度值。通过先根据每两个客户端的智算网络的智算中心资源，对各自的编解码架构模型进行不同的分配，再利用经过分配后的编解码架构模型对所述智算中心资源进行协同训练和聚合操作，以便计算得到梯度值，从而实现根据不同算力分布、数据分布、以及不同业务场景进行分配，使得满足多种业务场景，实现大模型训练在智算网络中的规模化扩展。