一种异构计算环境中多源账号的用户统一账号标识系统

    公开(公告)号:CN111695108A

    公开(公告)日:2020-09-22

    申请号:CN202010499985.2

    申请日:2020-06-04

    Abstract: 本发明涉及一种异构计算环境中多源账号的用户统一账号标识系统,其包括:登录账号映射模块、计算账号映射模块、统一账号管理模块、映射管理模块和账号代理模块;其中,登录账号映射模块实现多来源登录账号到统一账号的动态绑定过程,并负责记录映射信息和日志信息;计算账号映射模块用于实现多来源计算账号到统一账号的动态绑定过程,并负责记录映射信息和日志信息;统一账号管理模块负责在异构平台的多种形式的终端之中的实现用户的身份标识功能;映射管理模块管理登录账号到统一账号、计算账号和统一账号之间的两层动态映射关系;账号代理模块负责对接不同的计算账号源,将计算资源的认证服务封装为统一的认证接口,实现简单的认证功能。

    基于自动化参数调整循环神经网络的时序数据预测方法

    公开(公告)号:CN111598329A

    公开(公告)日:2020-08-28

    申请号:CN202010401266.2

    申请日:2020-05-13

    Abstract: 本发明实施例提供了一种时序数据预测方法及预测模型的训练方法,训练方法包括:分别从先获得的行业时间序列数据集和行业关键因子信息时间序列数据集中,查询给定行业和给定行业关键因子的时间序列数据;根据预测周期长度,划分上述给定行业和给定行业关键因子的时间序列数据,得到训练集,利用训练集对时序数据预测模型进行训练。时序数据预测方法包括,将给定行业和给定行业关键因子的时间序列数据,输入由该训练方法预先训练的时序数据预测模型,获得行业预测结果。使用上述方法,可根据行业历史信息和选择的关键因子信息,获取对行业的预测信息,同时,在训练中的特性工程和超参数调优中利用自动化参数调整,减少了训练过程工作量。

    一种基于资源调度器的深度学习系统及其方法

    公开(公告)号:CN109034386A

    公开(公告)日:2018-12-18

    申请号:CN201810668856.4

    申请日:2018-06-26

    CPC classification number: G06N3/08 G06N3/063

    Abstract: 本发明提供一种基于资源调度器的深度学习系统及其方法,包括:多个高性能计算节点,每个高性能计算节点包含多块图形处理器;还包括:资源调度器和深度学习框架,其中,资源调度器用于根据用户所提需求,从多个高性能计算节点中选取所需要的资源分配给用户;通过解析插件解析所述资源调度器分配给用户资源的环境变量,获取相应的参数;深度学习框架根据所述参数形成一个运行的进程,从而开始执行深度学习程序;在深度学习程序完成之后,所述资源调度器回收所有分配的资源,从而完成整个深度学习过程。本发明为各类深度学习框架提供一个整体的集中管理的系统,有效地提高了分布式学习框架的运算效率。

    一种面向海量数据的并行处理方法及系统

    公开(公告)号:CN103384206A

    公开(公告)日:2013-11-06

    申请号:CN201210135226.3

    申请日:2012-05-02

    Abstract: 本发明涉及一种网络管理中面向海量数据的并行处理方法,尤其是一种提高带宽和资源利用率的任务调度方法,包括:定时从数据库中取出待采集任务,并将待采集任务插入任务采集队列,等待采集任务的执行;从任务采集队列中取出任务描述,根据带宽资源利用情况和/或计算资源使用情况将任务进行子任务划分,将子任务映射到采集任务处理单元等待子任务的执行;执行各个子任务以完成数据采集任务,将采集的数据加入数据缓存队列,并进行并行数据处理,将处理好的数据加入内存数据库;将内存数据库中的数据定期同步到物理数据库中。

    一种采用多核集群的LDA模型的训练方法及系统

    公开(公告)号:CN103020258A

    公开(公告)日:2013-04-03

    申请号:CN201210564600.1

    申请日:2012-12-21

    Abstract: 本发明实施例涉及一种采用多核集群的LDA模型的训练方法、系统。方法包括:多核产生多个进程,每个进程均启动多个线程,用于分担处理多个训练文档;每个进程中的多个线程共同处理该进程负责处理的文档,每个线程给出其负责处理的文档的主题-词矩阵,该进程依据其所有线程给出的主题-矩阵得到该进程负责处理的文档的主题-词矩阵;根据所有的进程提供的主题-词矩阵得到所述多个训练文档的主题-词矩阵,并用该主题-词矩阵更新所述的LDA模型。本发明实施例采用多核并行处理,提高了主题-词矩阵的计算速度,有利于更快地更新LDA模型。

    一种面向GPU的双调归并排序方法

    公开(公告)号:CN102750131A

    公开(公告)日:2012-10-24

    申请号:CN201210187386.2

    申请日:2012-06-07

    Abstract: 本发明公开了一种面向GPU的双调排序方法和系统,通过一个线程操作向量来模拟多个比较器,多个线程并行执行归并排序,其中对同一个工作组内的线程同步使用同步函数来完成,对不同工作组内的线程同步通过CPU完成,进一步的可以使用多个向量来模拟更大长度向量,在排序过程中改变比较器操作数的写回地址,对内存读写进行优化。本发明在节省存储空间的基础上,有效地减少CPU和GPU之间的同步次数、减少执行指令的总量和延时、增加GPU计算单元的利用率。

    一种基于有损压缩的大规模并行通信优化方法

    公开(公告)号:CN119376977B

    公开(公告)日:2025-04-15

    申请号:CN202411436342.8

    申请日:2024-10-15

    Abstract: 本公开涉及深度学习大规模模型并行训练通信优化,具体涉及一种基于有损压缩的大规模并行通信优化方法,包括:将原始数据划分为N×N个块数据;各个进程非阻塞接收来自上一个进程的块数据,同时基于SZX算法压缩本进程上一轮接收到的块数据,再非阻塞发送所述压缩后的块数据至下一个进程,同时解压缩接收到的块数据并进行规约操作,直至每个进程持有规约子块结果;每个进程以环形的方式并行通信,直至每个进程都持有所有进程压缩后的规约子块结果;各个进程开始对接收到的所有压缩后的规约子块结果进行解压缩并存储数据。该方法降低了大模型张量并行训练中的通信开销,实现发送和接收与压缩和解压缩时间开销的相互掩蔽,节约了时间成本。

Patent Agency Ranking