公开(公告)号：CN119440826A

公开(公告)日：2025-02-14

申请号：CN202411508844.7

申请日：2024-10-25

Applicant: 北京达佳互联信息技术有限公司

Inventor： 欧阳晋 ,  刘紫阳 ,  黄岁 ,  张国旺 ,  宋钺 ,  宋成儒

IPC: G06F9/50 ,  G06F9/54

Abstract: 本申请实施例公开了一种数据分配方法、装置、电子设备和存储介质。所述方法包括在各计算节点分别执行：接收来自上游系统的待处理数据；根据当前计算节点所对应数据队列的状态确定当前计算节点是否处于可接收数据状态；若当前计算节点处于可接收数据状态，则将所述待处理数据写入当前计算节点所对应数据队列，以供当前计算节点从对应数据队列中读取待处理数据进行处理；否则，将所述待处理数据转发至其他计算节点。通过这种方式根据当前计算节点的实际处理能力调整待处理数据在各计算节点之间的数据流向，在计算节点实现了各计算节点之间的负载均衡，一方面更加充分地利用计算资源，提升资源利用率；另一方面从整体上提高整体的数据处理效率。

公开(公告)号：CN117171782A

公开(公告)日：2023-12-05

申请号：CN202310834249.1

申请日：2023-07-07

Applicant: 清华大学 ,  北京达佳互联信息技术有限公司

Inventor： 任炬 ,  李秋实 ,  张尧学 ,  廖一桥 ,  欧阳晋 ,  宋成儒

IPC: G06F21/62 ,  G06F21/60 ,  G06F21/53

Abstract: 本公开提供了一种数据处理方法、装置、电子设备及存储介质，属于隐私计算领域。该方法包括：针对目标业务场景，确定当前用于保护模型训练过程中隐私数据的隐私保护等级；其中，目标业务场景包括搜索业务场景、广告业务场景或推荐业务场景；其中，不同的隐私保护等级对应不同的数据保护范围，数据保护范围是对模型训练过程中的隐私数据进行加密处理的范围；对于已配置的多个隐私保护等级，级别高的隐私保护等级的数据保护范围包括级别低的隐私保护等级的数据保护范围；确定当前的隐私保护等级对应的第一数据保护范围；在模型训练过程中，对第一数据保护范围内的隐私数据进行加密处理，得到密文数据。本公开实现了有效的隐私保护。

公开(公告)号：CN119248456A

公开(公告)日：2025-01-03

申请号：CN202411496746.6

申请日：2024-10-24

Applicant: 北京达佳互联信息技术有限公司

Inventor： 欧阳晋 ,  姜维翰 ,  叶天宇

IPC: G06F9/48 ,  G06F9/50

Abstract: 本申请实施例公开了一种任务调度方法、装置、电子设备及计算机可读存储介质，属于分布式系统和深度学习技术领域。其中所述方法包括：获取待调度的多个任务；对所述多个任务进行组合得到一个以上的任务组，以最大化各任务组的匹配权值之和，其中任务组的匹配权值至少根据任务组在参考类型的计算单元上的估计执行时长确定，且与任务组在参考类型的计算单元上的估计执行时长负相关，所述参考类型为所述集群所包含计算单元类型中的至少一种；为所述一个以上的任务组分别确定调度结果，所述调度结果包括为任务组分配的计算单元。本申请能够更加充分的利用计算资源和提高处理效率。