-
公开(公告)号：CN117591625A
公开(公告)日：2024-02-23
申请号：CN202410076461.0
申请日：2024-01-18
Applicant: 之江实验室
Abstract: 本说明书公开了一种数据存储方法、装置、存储介质及电子设备，在此方法中，通过对目标数据源进行周期性数据采集，来得到目标数据源中的非结构化数据，并将根据每个非结构化数据对应的元数据生成该非结构化数据对应的数据标识，进而，使用数据标识作为判断依据对每次采集到的非结构化数据进行筛选，以得到待存储数据，同时对预设的数据标识表进行实时更新，并将每个待存储数据对应的数据标识作为结构化数据的标识，对各待存储数据进行存储。使用数据标识作为判断依据来确定待存储的非结构数据，减少了数据冗余，并将这些待存储的非结构数据转化为结构化数据进行存储，大大提高了非结构化数据的存储效率以及查询效率。
-
公开(公告)号：CN117112145B
公开(公告)日：2024-02-13
申请号：CN202311336127.6
申请日：2023-10-16
Applicant: 之江实验室
IPC: G06F9/455 , G06F18/214 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种训练模型分配方法、装置、计算机设备和存储介质。所述方法包括：获取待训练模型的模型信息和训练数据集；将训练模型根据层级信息划分为至少两个子模型，并将各子模型分配至训练集群中各机器节点；将各子模型根据计算参数信息划分为至少两个子模型切片，并将各子模型切片分配至训练集群中各机器节点的各计算处理器；将训练数据集根据计算参数信息划分为至少两个训练子数据集，并将各训练子数据集分配至训练集群中各计算处理器；根据训练集群中所有计算处理器，以及所有计算处理器对应的子模型切片和训练数据子集，对待训练模型进行训练。采用本申请的方法能够提高模型训练效率。
-
公开(公告)号：CN116743550B
公开(公告)日：2023-12-29
申请号：CN202311010096.5
申请日：2023-08-11
Applicant: 之江实验室
IPC: H04L41/0663 , H04L41/0659 , H04L67/1097 , H04L43/10 , H04L43/0817 , H04L43/16
Abstract: 本说明书公开了一种分布式存储集群的故障存储节点的处理方法，存储节点包括一个主服务节点及至少一个备用服务节点，且主服务节点及备用服务节点访问同一存储设备，主服务节点对自身进行心跳检测，并获取心跳检测结果，将所述心跳检测结果写入存储设备，根据心跳检测结果，判断主服务节点自身是否出现异常，若是，则停用主服务节点自身提供的服务，以使备用服务节点根据存储设备中写入的心跳检测结果，确定主服务节点异常时，替换主服务节点，作为更新后的主服务节点提供服务。本方法通过当主服务节点出现故障时，使用备用服务节点替换该主
-
公开(公告)号：CN116708454B
公开(公告)日：2023-12-05
申请号：CN202310962997.8
申请日：2023-08-02
Applicant: 之江实验室
IPC: H04L67/1012 , H04L67/1029 , H04L47/76 , H04L47/783
Abstract: 本申请涉及一种多集群云计算系统及多集群作业分发方法，该系统包括控制集群和多个算力集群，算力集群包括一个或多个计算节点，控制集群包括：资源采集模块，用于采集各算力集群的资源分布信息和资源使用率；共享资源分配模块，用于基于共享策略，将各算力集群的算力资源配置为独占资源、共享资源和预留资源中的至少一种；作业分发决策模块，用于基于各算力集群的资源分布信息和资源使用率，确定各作业对应的目标算力集群；作业平衡模块，用于在作业对共享资源的占用满足共享策略的迁移条件的情况下，释放作业占用的共享资源，保持各算力集群资源的动态平衡，解决了多集群管控平台无法实现负载自动调整的问题。
-
公开(公告)号：CN117081931A
公开(公告)日：2023-11-17
申请号：CN202311344093.5
申请日：2023-10-17
Applicant: 之江实验室
IPC: H04L41/0896 , H04L41/0894 , H04L67/1097
Abstract: 本说明书公开了一种异构分布式存储系统在线扩容方法及装置，涉及存储扩容技术领域，方法包括：首先将新增存储节点组织成一个单独的分布式存储集群，注册为存储子集群，然后基于容量分配规则和用户存储需求，控制模块生成预分配结果，接着根据预分配结果，在目标存储子集群分配用户命名空间，最后命名空间模块推送配置到接入网关，接入网关配置生效，根据用户命名空间将IO操作请求分发到对应的存储子集群。本发明打破了软硬件限制，通过接入网关统一对外提供存储服务，解决了对业务的入侵问题，实现了异构存储资源整合并提供统一的存储服务的目的。
-
Patent Agency Ranking
公开(公告)号：CN117010485A
公开(公告)日：2023-11-07
申请号：CN202311293177.0
申请日：2023-10-08
Applicant: 之江实验室
IPC: G06N3/098 , H04L67/1001 , G06F9/50
Abstract: 本说明书公开了一种边缘场景下的分布式模型训练系统及梯度规约方法，在系统中设置有用于根据自身存储的训练样本确定第一梯度的边缘设备，以及接收各边缘设备的梯度并共享的边缘服务器，在模型迭代过程中，由边缘设备确定自身梯度，并将自身梯度发送给边缘服务器，边缘服务器根据接收到的第一梯度确定局部梯度，并基于局部梯度确定总梯度，以根据确定出的总梯度执行模型训练任务。该模型训练系统在各边缘设备的网络情况各不相同的情况下，可通过与各边缘设备连接的边缘服务器先确定局部梯度，再通过指定网络确定总梯度，并根据确定出的总梯度训练模型，保证了模型训练效率。
-
公开(公告)号：CN116743550A
公开(公告)日：2023-09-12
申请号：CN202311010096.5
申请日：2023-08-11
Applicant: 之江实验室
IPC: H04L41/0663 , H04L41/0659 , H04L67/1097 , H04L43/10 , H04L43/0817 , H04L43/16
Abstract: 本说明书公开了一种分布式存储集群的故障存储节点的处理方法，存储节点包括一个主服务节点及至少一个备用服务节点，且主服务节点及备用服务节点访问同一存储设备，主服务节点对自身进行心跳检测，并获取心跳检测结果，将所述心跳检测结果写入存储设备，根据心跳检测结果，判断主服务节点自身是否出现异常，若是，则停用主服务节点自身提供的服务，以使备用服务节点根据存储设备中写入的心跳检测结果，确定主服务节点异常时，替换主服务节点，作为更新后的主服务节点提供服务。本方法通过当主服务节点出现故障时，使用备用服务节点替换该主服务节点，以保持执行任务的效率，避免分布式存储集群频繁进行数据恢复，提高分布式存储集群的可靠性。
-
公开(公告)号：CN116708454A
公开(公告)日：2023-09-05
申请号：CN202310962997.8
申请日：2023-08-02
Applicant: 之江实验室
IPC: H04L67/1012 , H04L67/1029 , H04L47/76 , H04L47/783
Abstract: 本申请涉及一种多集群云计算系统及多集群作业分发方法，该系统包括控制集群和多个算力集群，算力集群包括一个或多个计算节点，控制集群包括：资源采集模块，用于采集各算力集群的资源分布信息和资源使用率；共享资源分配模块，用于基于共享策略，将各算力集群的算力资源配置为独占资源、共享资源和预留资源中的至少一种；作业分发决策模块，用于基于各算力集群的资源分布信息和资源使用率，确定各作业对应的目标算力集群；作业平衡模块，用于在作业对共享资源的占用满足共享策略的迁移条件的情况下，释放作业占用的共享资源，保持各算力集群资源的动态平衡，解决了多集群管控平台无法实现负载自动调整的问题。
-
-
公开(公告)号：CN116151137B
公开(公告)日：2023-07-28
申请号：CN202310448224.8
申请日：2023-04-24
Applicant: 之江实验室
IPC: G06F30/27 , G06F9/50 , G06F9/455 , G06F9/48 , G06F111/10 , G06F111/08
Abstract: 本说明书公开了一种仿真系统、方法及装置，仿真系统为分布式系统，其中包括任务分割单元、调度单元和工作节点，仿真系统用于确定业务系统在指定业务策略下执行模拟业务的模拟结果。其中，由任务分割单元生成仿真任务，将仿真任务分割为多个子任务，调度单元向各工作节点分配各子任务，并确定各工作节点的实时负载，从而基于实时负载对已分配的各任务进行重新分配，工作节点执行分配的子任务得到任务执行结果，由调度单元根据各工作节点的任务执行结果确定模拟结果。由于仿真系统是分布式系统，可以基于多个工作节点的算力资源，满足业务系统执行模拟业务的资源需求，提高业务系统执行模拟业务的效率，并提升业务策略的优化效率。
-
-
-
-
-
-
-
-
-
Search Results
59
records
(took 0.026 seconds)
