-
公开(公告)号：CN115269016A
公开(公告)日：2022-11-01
申请号：CN202211177797.3
申请日：2022-09-27
Applicant: 之江实验室
Abstract: 本发明公开了一种用于图计算的指令执行方法及装置，包括以下步骤：步骤S1：将用于神经网络计算的计算图中每个节点的算子下发到算子解释器；步骤S2：算子解释器构建运行时的指令；步骤S3：定义指令依赖关系；步骤S4：构建指令依赖关系图；步骤S5：构建并行指令的拓扑顺序；步骤S6：将并行指令调度到硬件资源上；步骤S7：构建并行指令的最短调度：在硬件资源限制的条件下并行指令执行所需的最短时间；步骤S8：释放已经执行完的指令。本发明从全局角度分析计算图执行过程中节点所包含指令之间的依赖关系以及基于依赖关系推导全局计算图中可并行执行指令的拓扑顺序，提供了将并行指令最快地调度到硬件资源上的方法和装置，优化了计算图的编译效率。
-
公开(公告)号：CN115242660A
公开(公告)日：2022-10-25
申请号：CN202211149183.4
申请日：2022-09-21
Applicant: 之江实验室
Abstract: 本发明公开了基于中心化的异构算力联邦系统及组网和执行方法，其中所述异构算力联邦系统架构总体上分为2层：视图层和资源层。在视图层包含2个模块：异构算力联邦服务模块和异构算力联邦控制模块；在资源层中包含2个模块：异构算力集群管理模块和异构算力联邦探针模块。根据上述架构，异构算力集群进行组网：首先在在异构算力集群管理模块部署异构算力联邦探针模块；然后在异构算力联邦控制模块创建异构算力集群描述模型；之后异构算力联邦探针模块收集异构算力集群信息推送到异构算力联邦控制模块；最后由异构算力联邦控制模块填充异构算力集群资源描述模型，完成异构算力联邦系统的统一算力视图。
-
公开(公告)号：CN115237547A
公开(公告)日：2022-10-25
申请号：CN202211148626.8
申请日：2022-09-21
Applicant: 之江实验室
Abstract: 本发明提供一种非侵入式HPC计算集群的统一容器集群托管系统和方法，所述系统包括：自定义计算作业资源集、计算集群管理模块、计算集群执行模块以及一个或多个需要被纳管的HPC计算集群，所述的计算集群管理模块包括：控制器、配置器、工作负载承载器。当现有环境下存在两类或多类的容器集群管理系统和面向科学计算领域的集群管理和作业调度系统的复杂集群环境下，本专利提供了一种非侵入式方式构建基于容器集群管理系统的统一操作管理平面的系统和方法。
-
公开(公告)号：CN118779337A
公开(公告)日：2024-10-15
申请号：CN202410991124.4
申请日：2024-07-23
Applicant: 之江实验室
IPC: G06F16/242 , G06F16/2455 , G06F16/27
Abstract: 本发明公开了一种用于数据聚合的EFK日志采集分析方法。本方法在数据采集、处理、存储和可视化等多个关键环节进行了深度优化。在数据采集层面，通过Agent与Filebeat工具对系统日志、容器日志及硬件资源数据的全面采集，同时，引入Kafka工具构建高性能缓冲机制；本方法集成了Flink作为流处理引擎，利用其强大的实时计算能力，提升数据处理的时效性与准确性。此外，通过双存储策略，即结合ElasticSearch与ClickHouse的优势，既满足了灵活搜索的需求，又确保了高效统计分析的能力，从而优化了整体分析效率。本发明借助ZooKeeper保障了配置的一致性，并通过Kibana提供了直观、友好的数据观测与分析界面，极大地简化了操作流程，提升了用户体验。
-
公开(公告)号：CN117611425A
公开(公告)日：2024-02-27
申请号：CN202410067171.X
申请日：2024-01-17
Applicant: 之江实验室
Abstract: 本申请涉及一种图形处理器算力配置方法、装置、计算机设备和存储介质，通过在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，根据待处理任务的延迟执行概率决策是否延迟执行待处理任务，其中，第一算力包括图形处理器的当前实际算力使用量以及待处理任务执行所需的理论算力使用量，历史算力数据包括多个采样时间中图形处理器进程的算力使用量，由于在可能超配的情况下并未直接延迟执行待处理任务，而是根据历史算力数据决策是否延迟执行待处理任务，保证了图形处理器的算力使用量能够稳定在算力配额附近，解决了图形处理器的算力资源利用率较低的问题，提高了图形处理器算力分配的准确度与稳定性。
-
Patent Agency Ranking
公开(公告)号：CN117555697A
公开(公告)日：2024-02-13
申请号：CN202410043642.3
申请日：2024-01-11
Applicant: 之江实验室
IPC: G06F9/50 , G06F18/214
Abstract: 本说明书公开的一种面向分布式训练的缓存加载系统、方法、装置及设备中，管理节点确定各计算节点对应的数据加载任务，并将待训练模型的向无环图以及数据加载任务发送给各计算节点。然后第一子节点用于负责数据加载，先根据有向无环图确定无依赖关系的计算节点需要的数据并进行加载，再当接受到第二子节点的加载请求时，判断该数据是否被加载过，若是，将加载了该数据的第一子节点的标识发送给该第二子节点，若否，则获取待加载的数据后返回给对应的第二子节点，第二子节点根据第一子节点的返回，获取待加载数据，执行训练任务。减少了计算节点向远计算端数据源的访问，降低了远计算端的I/O口堵塞、资源抢占等状况的出现，提高了模型训练的效率。
-
公开(公告)号：CN117037913B
公开(公告)日：2024-01-26
申请号：CN202311285979.7
申请日：2023-10-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种蛋白质多序列比对方法、装置、存储介质及电子设备。所述蛋白质多序列比对方法包括：获取待比对蛋白质序列的特征表示，并将待比对蛋白质序列的特征表示拆分为指定数量的子特征表示，针对每个子特征表示，确定该子特征表示和预先确定的各聚类中心特征表示中与该子特征表示相对应的每个各聚类中心特征表示之间的相似度，并根据相似度确定每个子特征表示对应的目标聚类中心，从各基础蛋白质序列中确定出与目标聚类中心相匹配的各基础蛋白质序列，作为各候选蛋白质序列，将待比对蛋白质序列与每个候选蛋白质序列进行比对，得到与待比对蛋白质相匹配的目标蛋白质序列，并根据待比对蛋白质和目标蛋白质序列进行任务执行。
-
公开(公告)号：CN117010485B
公开(公告)日：2024-01-26
申请号：CN202311293177.0
申请日：2023-10-08
Applicant: 之江实验室
IPC: G06N3/098 , H04L67/1001 , G06F9/50
Abstract: 本说明书公开了一种边缘场景下的分布式模型训练系统及梯度规约方法，在系统中设置有用于根据自身存储的训练样本确定第一梯度的边缘设备，以及接收各边缘设备的梯度并共享的边缘服务器，在模型迭代过程中，由边缘设备确定自身梯度，并将自身梯度发送给边缘服务器，边缘服务器根据接收到的第一梯度确定局部梯度，并基于局部梯度确定总梯度，以根据确定出的总梯度执行模型训练任务。该模型训练系统在各边缘设备的网络情况各不相同的情况下，可通过与各边缘设备连接的边缘服务器先确定局部梯度，再通过指定网络确定总梯度，并根据确定出的总梯度训练模型，保证了模型训练效率。(56)对比文件Wei Xu et al..Edge Learning for B5GNetworks With Distributed SignalProcessing:Semantic Communication,EdgeComputing,and Wireless Sensing《.IEEEJOURNAL OF SELECTED TOPICS IN SIGNALPROCESSING》.2023,第17卷(第1期),9-39.Shibiao Shao et al..A DistributedSub-Gradient Optimal Scheduling MethodBased on Primal Decomposition withApplication to Multi-Area InterconnectedPower Systems《.2021 IEEE 17thInternational Conference on AutomationScience and Engineering》.2021,860-865.
-
公开(公告)号：CN116661979B
公开(公告)日：2023-11-28
申请号：CN202310962913.0
申请日：2023-08-02
Applicant: 之江实验室
Abstract: 本申请涉及一种异构作业调度系统及方法。所述系统包括：插件总线、插件驱动和多个计算集群；每个计算集群通过插件驱动接入插件总线；驱动控制器用于获取插件驱动的注册信息，并根据注册信息对所有插件驱动进行注册认证；虚拟节点控制器用于获取插件驱动对应计算集群的软硬件信息以及计算集群的分区列表，根据分区列表以及软硬件信息，为每个分区分配虚拟节点并确定每个虚拟节点对应的软硬件信息；计算作业控制器用于获取用户上传的作业以及作业所需资源；调度器用于获取每个虚拟节点对应的软硬件信息以及每个作业对应的作业所需资源，确定虚拟节点与作业的调度结果。采用本系统能够实现集群部署操作简化和作业调度自动化，提高作业调度效率。
-
公开(公告)号：CN117112145A
公开(公告)日：2023-11-24
申请号：CN202311336127.6
申请日：2023-10-16
Applicant: 之江实验室
IPC: G06F9/455 , G06F18/214 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种训练模型分配方法、装置、计算机设备和存储介质。所述方法包括：获取待训练模型的模型信息和训练数据集；将训练模型根据层级信息划分为至少两个子模型，并将各子模型分配至训练集群中各机器节点；将各子模型根据计算参数信息划分为至少两个子模型切片，并将各子模型切片分配至训练集群中各机器节点的各计算处理器；将训练数据集根据计算参数信息划分为至少两个训练子数据集，并将各训练子数据集分配至训练集群中各计算处理器；根据训练集群中所有计算处理器，以及所有计算处理器对应的子模型切片和训练数据子集，对待训练模型进行训练。采用本申请的方法能够提高模型训练效率。
-
-
-
-
-
-
-
-
-
Search Results
59
records
(took 0.02 seconds)
