公开(公告)号：CN115469815B

公开(公告)日：2023-04-18

申请号：CN202211341478.1

申请日：2022-10-31

Applicant: 之江实验室

Inventor： 曾令仿 ,  毛波 ,  吴素贞 ,  杜春锋 ,  陈光 ,  李勇 ,  朱世强

IPC: G06F3/06 ,  G06F16/22 ,  G06F16/2455

Abstract: 本发明公开了提高闪存可靠性的缓存管理方法、装置、设备和储存介质，该装置包括主控模块、缓存管理模块和可靠性记录表，该方法是通过主控模块进行闪存的控制和管理，缓存管理模块管理读缓存和写缓存，可靠性记录表记录数据块在缓存中的驻留时间。此方法减轻闪存块由于接近擦除极限而导致的数据丢失问题，从而在保证闪存存储性能的同时提高了闪存存储的可靠性。

公开(公告)号：CN115248728B

公开(公告)日：2023-02-03

申请号：CN202211148202.1

申请日：2022-09-21

Applicant: 之江实验室

Inventor： 朱世强 ,  李勇 ,  程稳 ,  陈光 ,  曾令仿

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明提供一种面向智能计算的分布式训练任务调度方法、系统和装置，系统包括模型性能预测和分解模块、全局GPU资源调度器和各计算节点均配置的本地GPU资源调度器，全局GPU资源调度器在接收到模型性能预测和分解模块发送的子任务请求后，根据各子任务的资源消耗信息及多个计算节点的GPU运行情况，将各子任务分配到匹配的计算节点的GPU进行训练，并构建各子任务之间的通信拓扑，并在各计算节点的GPU训练对应子任务的过程中，监控各计算节点的GPU的计算资源运行情况，及根据所有计算节点的GPU的计算资源运行情况，控制子任务的调度。本发明能够提高计算集群的GPU和网络等资源的利用率，减少子任务训练的等待时间。

公开(公告)号：CN115357369A

公开(公告)日：2022-11-18

申请号：CN202211290188.9

申请日：2022-10-21

Applicant: 之江实验室

Inventor： 郑焕波 ,  陈光 ,  李勇 ,  程宏才 ,  曾令仿 ,  王宏升 ,  赵瑞芳

IPC: G06F9/48 ,  G06F9/445

Abstract: 本发明公开了一种k8s容器云平台中CRD应用集成调用方法与装置，基于k8s的CRD模块，定义容器应用资源对象，包括控制信息和资源信息；构建其他CRD资源注册机制，注册其他CRD资源信息，并保存对其控制器信息，刷新并读取控制器信息，通过反射的方式运行其他CRD资源的控制器，使得用于运行控制器的最小单元上，能够运行多个其他CRD资源的控制器；将控制器部署到K8s中，用户提交控制信息和已注册的其他CRD资源的资源信息，系统根据控制信息执行控制逻辑，根据资源信息提交相应计算任务到k8s容器云平台中，已注册的其他CRD资源的控制器对计算任务进行处理；从而达到减少了资源的占用的目的。

公开(公告)号：CN115237580A

公开(公告)日：2022-10-25

申请号：CN202211147981.3

申请日：2022-09-21

Applicant: 之江实验室

Inventor： 朱世强 ,  李勇 ,  程稳 ,  陈光 ,  曾令仿

IPC: G06F9/48 ,  G06F9/50 ,  G06T1/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种面向智能计算的流水并行训练自适应调整系统、方法，系统包括监控模块和调整模块，调整模块在计算节点的计算任务划分不均衡时，根据计算节点的不均衡类型，确定调整策略，并根据调整策略，调整子模型在计算集群中的分配；调整包括以下至少一种：将计算任务划分不均衡的计算节点的至少部分子模型的层由该计算节点迁移至其他计算节点；控制计算任务划分不均衡的计算节点执行CPU‑GPU内存交换或重计算，或者控制计算任务划分不均衡的计算节点取消当前执行的CPU‑GPU内存交换或重计算；对计算集群的网络拓扑结构进行调整。本发明能动态调整子模型在计算集群中的分配。

公开(公告)号：CN114758035A

公开(公告)日：2022-07-15

申请号：CN202210661703.3

申请日：2022-06-13

Applicant: 之江实验室

Inventor： 张丽颖 ,  陈光 ,  朱世强 ,  曾令仿 ,  程永利 ,  陈兰香 ,  李勇 ,  张云云 ,  朱健

IPC: G06T11/20 ,  G06N3/04 ,  G06N3/08 ,  G06V10/82 ,  G06V10/774 ,  G06K9/62

Abstract: 本发明公开了一种针对未配对数据集的图像生成方法及装置，该方法包括：对第一模型和第二模型进行改进，其中所述第二模型包括第一子模型和第二子模型；将两组内部具有相同数据分布的未配对数据集作为改进后的第一模型的输入，训练改进后的第一模型，并通过改进后的第一模型训练完成后输出的两组配对数据集分别训练改进后的第一子模型和第二子模型；获取未配对数据集；将所述未配对数据集输入训练后的第一模型后，得到所述第一模型生成的第一生成数据集和第二生成数据集；将所述第一生成数据集和第二生成数据集分别输入训练后的第一子模型和第二子模型，并将所述第一子模型和第二子模型生成的第三生成数据集和第四生成数据集作为最终生成结果。

公开(公告)号：CN113835868A

公开(公告)日：2021-12-24

申请号：CN202111412833.5

申请日：2021-11-25

Applicant: 之江实验室

Inventor： 李勇 ,  曾令仿 ,  陈光

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明提供一种基于反馈和公平队列的服务质量感知的缓存调度方法，采用服务质量衡量策略将不同类似的应用的服务质量指标化，使用开始时间公平列队设置不同的开始服务时间来控制不同应用请求的服务顺序，利用基于反馈的缓存分区管理模块将所有逻辑分区划分为两种类型：提供分区和接收分区，并且调整两种类型逻辑分区之间的缓存分配，通过缓存块分配管理模块平衡整体性能和保证服务质量，以及缓存淘汰策略监控模块监控每个逻辑分区的当前缓存淘汰策略效率，并根据应用的负载特征变化进行动态调整，使用缓存压缩监控模块捕获局部性较差的应用，即存在缓存命中率长尾现象的应用。本发明能够兼顾缓存整体效率和应用之间的服务质量保证。