一种图神经网络采样流程中基于流水线并行的数据传输过程的优化

    公开(公告)号:CN117764124A

    公开(公告)日:2024-03-26

    申请号:CN202211147165.2

    申请日:2022-09-20

    Abstract: 本发明公开了一种图神经网络采样流程中基于流水线并行的数据传输过程的优化,该方法包括如下步骤:初始化数据加载器和队列,同时启动后台线程;确定后台线程所获取的数据加载器数据(步骤2);确定主线程开始批量计算;确定当前批次是否为最后一批,是则批量计算结束。否则继续执行以下操作;确定队列中的数据,开始GPU计算的同时执行步骤2,并且继续执行以下操作;当前批量计算结束。本发明针对目前图神经网络采样流程中数据传输过程分为采样子图数据传输和节点特征数据传输而低效的问题,提出一种基于流水线的采样子图数据传输、节点特征数据传输两个步骤的并行优化方法,为数据加载器启动守护线程,基于数据预取技术、多线程和CUDA流的方式实现了图神经网络采样流程三大步骤的流水线并行执行以及数据传输过程子图数据传输和节点特征数据传输的流水线并行执行。

    一种多GPU平台上软硬件协同的朴素贝叶斯算法并行优化方法

    公开(公告)号:CN116522246A

    公开(公告)日:2023-08-01

    申请号:CN202310584047.6

    申请日:2023-05-23

    Abstract: 本发明的目的在于针对目前朴素贝叶斯算法在图像识别和自然语言处理等领域,特别是在处理复杂的数据集时多元特征处理困难,可能存在大量的相关特征,这使得朴素贝叶斯算法的预测效果大打折扣,其缺点也会对模型的准确度产生不良影响,利用MGPUSim更多的计算资源和存储能力,提出了一种在多GPU平台下朴素贝叶斯算法的并行化实现与优化方法,在本地计算机上使用多线程来并行化计算先验概率和条件概率阶段。对离散属性做数值标记,再对离散属性做正交变换,从而提高分类正确率,然后获取训练样本,再引入一个超参数去指导训练。将数据集分割成多个部分,每个线程都可以在不同的部分上进行计算,然后将结果合并到一起,使用GPU来加速朴素贝叶斯分类器的计算。GPU在并行计算方面具有很大的优势,因此使用GPU可以极大地提高计算速度。

    一种多GPU平台上并行双调排序的K-最近邻算法并行优化方法

    公开(公告)号:CN116302562A

    公开(公告)日:2023-06-23

    申请号:CN202310398414.3

    申请日:2023-04-14

    Abstract: 本发明公开了一种多GPU平台上并行双调排序的K‑最近邻算法并行优化方法,该方法包括如下步骤:搭建多GPU平台MGPUSim的系统环境;初始化MGPUSim工作负载与定义内核参数;进行k‑最近邻算法的数据预处理;输入常用UCI数据集将测试数据和训练数据集从CPU端拷入GPU;定义基于OpenCL的并行化内核;优化k‑最近邻算法的距离计算与距离排序阶段;判断数据进行分类,验证算法分类效果;识别性能瓶颈,验证改进;本发明针对目前K‑最近邻算法在图像识别和计算机视觉等领域,特别是在处理大规模数据集时运行效率不高,每个测试数据的距离排序阶段时间复杂度高的现状,利用MGPUSim更多的计算资源和存储能力,提出了一种在多GPU平台上K‑最近邻算法的并行化实现与优化方法,首先需要优化数据预处理,然后在GPU端采用并行双调排序与欧式距离的并行化优化。通过多GPU并行加速计算的方案,从源头上减少单个GPU的运行负担,提升并行K‑最近邻算法的效率。

Patent Agency Ranking