一种动态计算环境下深度神经网络的分布式并行训练方法

    公开(公告)号:CN119808891A

    公开(公告)日:2025-04-11

    申请号:CN202411880417.1

    申请日:2024-12-19

    Abstract: 本发明属于分布式系统优化与调度相关技术领域,具体涉及一种动态计算环境下深度神经网络的分布式并行训练方法,包括:通过最小化异步流水线的实际收敛时间,确定模型切分方案,并将该切分方案对应的各模型切片分发至对应设备节点上,其中,上述实际收敛时间为预设收敛误差所对应的迭代次数上限与单次迭代所需的流水线最优运行时间的乘积;每个设备节点上配置有已训练的轻量级随机森林模型,用于评估位于该设备节点的额外负载对位于该设备节点的模型切片的训练效率的干扰影响。启动训练后,实时获取由各设备节点上的随机森林模型所得到的干扰影响对应的干扰系数,通过模型搜索空间剪枝和遍历算法得到新的切分方案,并通过层迁移实现高效训练。

    一种分布式并行图神经网络训练方法及系统

    公开(公告)号:CN117808080A

    公开(公告)日:2024-04-02

    申请号:CN202311784517.X

    申请日:2023-12-21

    Abstract: 本发明公开了一种分布式并行图神经网络训练方法及系统。该方法包括:对原始图进行图划分,并将多个分图分布式存储于多个工作器中;每个工作器中的采样器预采样τ个采样子图,依次存入一个位于GPU的队列Q中;在对图神经网络模型进行第t轮训练时:一个工作器的训练器从队列Q中的首部获取训练采样子图,训练器通过通讯器获取训练采样子图的边界节点的训练数据,训练器根据训练采样子图和对应的训练数据进行本地的前向传输、损失函数计算和反向传输,该训练器与其他工作器的训练器进行梯度聚合,并更新图神经网络模型。保证图神经网络在分布式的环境下在保证模型精度的同时,减少通信开销,提高图神经网络的训练效率。

    基于目标检测的视唱音高检测方法、系统、设备及介质

    公开(公告)号:CN115206339A

    公开(公告)日:2022-10-18

    申请号:CN202210656997.0

    申请日:2022-06-10

    Abstract: 本发明公开了一种基于目标检测的视唱音高检测方法、系统、设备及介质,属于音频数据处理领域,方法包括:获取视唱音频并转换为二维声谱图,检测二维声谱图中各音符的起始时刻、结束时刻和音符下边界代表的频点索引;以第一音符的音符下边界代表的频点索引对应频率为中心,向上、向下分别容纳设定数量的频点为目标,确定第一音符的频点框的顶边频率值和底边频率值;在第一音符的顶边频率值和底边频率值之间的频率范围内,对起始时刻和结束时刻之间的二维声谱图中的每一帧进行峰值搜索,得到每一帧峰值对应的频率值;对第一音符中每一帧峰值对应的频率值求和取平均,得到其音高对应的平均频率以计算其的音高。提高视唱音高检索的精准度和效率。

    一种流水线检查点操作方法及其操作系统

    公开(公告)号:CN119623585A

    公开(公告)日:2025-03-14

    申请号:CN202411749503.9

    申请日:2024-12-02

    Abstract: 本发明属于计算机相关技术领域,其公开了一种流水线检查点操作方法及其操作系统,方法包括:所有计算节点同步启动检查点操作,并在计算节点的训练空闲时间段执行对应计算节点的检查点操作;其中,计算节点的训练空闲时间段为该计算节点在等待其他计算节点反馈训练数据的时间段;检查点操作包括序列化、编码和分发三个任务,序列化为将对应计算节点的当前状态数据逐步转换为可存储的字节流,编码为将序列化后的数据进行编码处理,分发为将编码后的数据分发至存储节点以进行存储,检查点操作的每个任务由不同的计算资源负责,且不同任务通过流水线方式并行执行。通过以上方式,可以在不影响训练效率的前提下,有效地保存检查点。

    一种纵向联邦学习方法及系统
    5.
    发明公开

    公开(公告)号:CN117455006A

    公开(公告)日:2024-01-26

    申请号:CN202311355576.5

    申请日:2023-10-19

    Abstract: 本发明公开了一种纵向联邦学习方法及系统,属于人工智能技术领域;采用异步框架来实现客户端上的纵向联邦学习,在两个子线程中分别执行嵌入向量的发送和梯度值的接收,且在主线程中异步执行生成嵌入向量和更新本地模型参数的操作,其中在生成嵌入向量时,如果没有接收到上一轮的梯度,并且已经达到陈旧上界,则暂停生成嵌入向量,以保证模型过时度不超过一个预设的界限;本发明通过流水线化本地计算和传输,以便将远程通信与本地计算重叠,从而最小化通信开销,同时利用有限的小边界限制模型的陈旧性,保证良好的学习性能,能够在保证模型精度的条件下,减小通信开销。

    基于目标检测的视唱音高检测方法、系统、设备及介质

    公开(公告)号:CN115206339B

    公开(公告)日:2024-09-13

    申请号:CN202210656997.0

    申请日:2022-06-10

    Abstract: 本发明公开了一种基于目标检测的视唱音高检测方法、系统、设备及介质,属于音频数据处理领域,方法包括:获取视唱音频并转换为二维声谱图,检测二维声谱图中各音符的起始时刻、结束时刻和音符下边界代表的频点索引;以第一音符的音符下边界代表的频点索引对应频率为中心,向上、向下分别容纳设定数量的频点为目标,确定第一音符的频点框的顶边频率值和底边频率值;在第一音符的顶边频率值和底边频率值之间的频率范围内,对起始时刻和结束时刻之间的二维声谱图中的每一帧进行峰值搜索,得到每一帧峰值对应的频率值;对第一音符中每一帧峰值对应的频率值求和取平均,得到其音高对应的平均频率以计算其的音高。提高视唱音高检索的精准度和效率。

    一种基于图卷积的多模态钢琴转录装置及其训练方法

    公开(公告)号:CN115985270A

    公开(公告)日:2023-04-18

    申请号:CN202211566507.4

    申请日:2022-12-07

    Abstract: 本发明公开了一种基于图卷积的多模态钢琴转录装置及其训练方法,引入图卷积的方法,通过将骨架数据输入ST‑GCN网络实现空间维度和时间维度的特征聚合,从而有效捕捉骨架特征,相较于现有的钢琴转录方法而言,能够更好的感知手部位置和手指动作;使用音频模块转录结果、骨架模块转录结果和融合模块转录结果三个模块共同作用,在最大程度的保留了各个模态的语义特征,减少融合带来的随机性的基础上,利用融合转录模块的特征来弥补之前单模态转录的不足,有效减少了单模态音频转录在手部范围外的多检和手部范围内的漏检问题,提高了钢琴转录结果的精度。

Patent Agency Ranking