-
公开(公告)号：CN117349134A
公开(公告)日：2024-01-05
申请号：CN202311278119.0
申请日：2023-09-28
Applicant: 之江实验室
Abstract: 本发明公开了一种基于插桩的自动化性能数据获取和分析方法及装置，所述方法包括以下步骤：通过配置选项选择待插桩的源代码范围，定位待插桩的源代码范围中的原始函数定义处的函数名，进行更名操作；生成包括性能数据获取块一、更名后的函数调用块、性能数据获取块二的插桩器；为每个更名后的函数生成一个与原始函数同名、具有相同参数列表和返回类型的函数，并在函数中插入插桩器以存储原始函数的性能数据；获取原始函数的性能数据进行分析，并生成结果报告。上述方案在保证插桩结果正确性的前提下，简化了性能数据获取的插桩过程和工作量。
-
公开(公告)号：CN120011112A
公开(公告)日：2025-05-16
申请号：CN202510488492.1
申请日：2025-04-18
Applicant: 之江实验室
Abstract: 本说明书公开了一种跨集群数据处理方法及装置。所述方法包括：将各计算节点所存储的第一结果数据拆分为多个数据切片；按照每个数据切片在第一结果数据中的先后顺序，依次将各数据切片从各计算节点发送给第一计算集群的主机内存，以使主机内存对已接收的数据切片和第二计算集群的主机内存中存储的数据切片进行规约计算，得到已接收的数据切片对应的第二结果数据；控制主机内存在接收后续的数据切片的同时，将第二结果数据从第一计算集群的主机内存发送给每个已接收的数据切片对应的计算节点；在各计算节点接收到全部数据切片对应的第二结果数据后，得到目标计算结果。本方案提高了跨集群通信效率，进一步提高了跨集群数据处理效率。
-
公开(公告)号：CN119336451A
公开(公告)日：2025-01-21
申请号：CN202411863321.4
申请日：2024-12-17
Applicant: 之江实验室
IPC: G06F9/455
Abstract: 本申请公开了一种分布式训练的集合通信控制方法、装置及介质，该方法包括：当参与数据归约的集群中，任意两个集群之间的计算节点数量的差距在预设范围内时，将第一集群内所有计算节点上的数据归约至指定计算节点上，指定计算节点的数量与计算节点数量最小的第二集群内计算节点的数量相同。控制指定计算节点与第二集群内的计算节点进行数据归约；控制指定计算节点与第一集群内除指定计算节点外的其他节点数据同步。由此，除计算节点数量最少的集群外的其他集群，先在集群内部进行一次归约，将数据归约至数量与各集群中最少节点的数量相同的指定计算节点上，保证跨集群归约时各集群节点相同，避免一些节点同时和多个节点归约，降低集合通信开销。
-
Patent Agency Ranking
公开(公告)号：CN116340004A
公开(公告)日：2023-06-27
申请号：CN202310429448.4
申请日：2023-04-11
Applicant: 之江实验室
Abstract: 本说明书公开了一种任务执行的方法、装置、存储介质及电子设备。所述任务执行的方法包括：获取目标模型的模型数据，针对每个计算单元，确定该计算单元在每个时间节点之前允许进行针对各微训练批次的反向传播的最大次数，并确定反向传播次数的最大值所对应的时间节点，作为前向传播节点，在至少位于所述前向传播节点之前的各时间节点中确定该计算单元执行针对每个微训练批次的反向传播的时间节点，作为反向传播节点，根据每个计算单元对应的前向传播节点以及每个计算单元对应的反向传播节点，确定针对所述目标模型的训练策略，并基于所述训练策略，执行针对所述目标模型的任务执行任务。
-
公开(公告)号：CN119576844B
公开(公告)日：2025-04-22
申请号：CN202510141804.1
申请日：2025-02-08
Applicant: 之江实验室
IPC: G06F15/163 , G06F15/16
Abstract: 本说明书公开了一种数据处理方法及装置。所述方法包括：集合通信集群中的任一计算节点接收上一个计算节点发送的第一数据切片，根据接收到的第一数据切片执行计算任务，并将独立于计算任务的待发送的任务数据拆分为多个不存在依赖关系的第二数据切片；依次将各第二数据切片发送给下一个计算节点，以使下一个计算节点在根据接收到的第二数据切片执行计算任务的同时，接收后续的第二数据切片；在根据计算节点中的全部任务数据执行计算任务后，得到目标计算结果。本方案有效提高了集合通信集群对数据进行传输和计算的整体效率。
-
公开(公告)号：CN119576844A
公开(公告)日：2025-03-07
申请号：CN202510141804.1
申请日：2025-02-08
Applicant: 之江实验室
IPC: G06F15/163 , G06F15/16
Abstract: 本说明书公开了一种数据处理方法及装置。所述方法包括：集合通信集群中的任一计算节点接收上一个计算节点发送的第一数据切片，根据接收到的第一数据切片执行计算任务，并将独立于计算任务的待发送的任务数据拆分为多个不存在依赖关系的第二数据切片；依次将各第二数据切片发送给下一个计算节点，以使下一个计算节点在根据接收到的第二数据切片执行计算任务的同时，接收后续的第二数据切片；在根据计算节点中的全部任务数据执行计算任务后，得到目标计算结果。本方案有效提高了集合通信集群对数据进行传输和计算的整体效率。
-
公开(公告)号：CN116777009B
公开(公告)日：2023-10-20
申请号：CN202311072311.4
申请日：2023-08-24
Applicant: 之江实验室
Abstract: 本申请涉及一种基于内存池的智能计算系统架构和并行训练方法，其中智能计算系统架构支持高速互联网络协议，包括：访问设备、适配器以及交换机；访问设备包括并行设备和存储设备；适配器用于将访问设备接入交换机，以在访问设备之间构建内存池进行内存共享；并行设备从内存池中读取训练集数据，对待训练模型进行并行训练，并将训练得到的模型梯度写入内存池；在内存池中加载存储设备的训练集数据，并基于模型梯度对待训练模型进行参数更新，通过在并行设备和存储设备之间构建内存池，在内存池中进行数据读取，以及待训练模型的参数更新，无需在每轮训练中对存储设备进行数据访问，解决了在并行训练中频繁的数据读取影响训练效率的问题。
-
公开(公告)号：CN116777009A
公开(公告)日：2023-09-19
申请号：CN202311072311.4
申请日：2023-08-24
Applicant: 之江实验室
Abstract: 本申请涉及一种基于内存池的智能计算系统架构和并行训练方法，其中智能计算系统架构支持高速互联网络协议，包括：访问设备、适配器以及交换机；访问设备包括并行设备和存储设备；适配器用于将访问设备接入交换机，以在访问设备之间构建内存池进行内存共享；并行设备从内存池中读取训练集数据，对待训练模型进行并行训练，并将训练得到的模型梯度写入内存池；在内存池中加载存储设备的训练集数据，并基于模型梯度对待训练模型进行参数更新，通过在并行设备和存储设备之间构建内存池，在内存池中进行数据读取，以及待训练模型的参数更新，无需在每轮训练中对存储设备进行数据访问，解决了在并行训练中频繁的数据读取影响训练效率的问题。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.02 seconds)
