一种基于GPU线程并行的自适应多矩阵块映射批处理方法

    公开(公告)号:CN115731091A

    公开(公告)日:2023-03-03

    申请号:CN202211589330.X

    申请日:2022-12-12

    Abstract: 本发明公开了一种基于GPU线程并行的自适应多矩阵块映射批处理方法,该方法包括如下步骤:批处理场景分析,确定合适的批处理策略;确定批处理矩阵块对应的线程块数量;确定采取不同批处理策略对应的硬件资源占有率;选择合适的批处理策略。本发明针对目前矩阵批处理中单个矩阵块占据一个线程块而导致硬件资源利用率不高的现状,提出一种基于GPU线程并行的自适应多矩阵块映射批处理方法,在对矩阵分块后的处理进一步细粒度化,通过自适应的选择矩阵块和线程块的映射方案,将矩阵块合理地匹配相应的线程块大小和数量,从源头上减少粗粒度分配方案带来的线程空闲和负载不均衡的问题。

Patent Agency Ranking