公开(公告)号：CN118260070A

公开(公告)日：2024-06-28

申请号：CN202410270763.1

申请日：2024-03-11

Applicant: 湖南大学

Inventor： 全哲 ,  翟宇 ,  黄梓修 ,  徐子才

IPC: G06F9/50 ,  G06N3/063 ,  G06N3/0464

Abstract: 本发明公开了一种面向异构处理器的池化运算函数高性能实现方法，通过将特征图在空间维度进行分块，使用直接存储器访问(Direct Memory Access，简称DMA)控制数据在内存和高速缓存的传输，从而构建双缓冲机制使得访存延迟得以隐藏，同时依据向量运算资源数目和SIMD特性设计实现并行运算策略以充分利用运算资源，并在计算过程中进行数据重用，减少访存数量。

公开(公告)号：CN119690522A

公开(公告)日：2025-03-25

申请号：CN202411863915.5

申请日：2024-12-18

Applicant: 湖南大学

Inventor： 全哲 ,  徐子才 ,  唐聪 ,  高祥玉

IPC: G06F9/38 ,  G06F17/16 ,  G06T1/20 ,  G06N3/045

Abstract: 本发明公开了一种面向国产异构处理器的多头注意力机制算子的优化方法，其从四个方面提升多头注意力机制算子的效率，首先结合CPU的通用计算能力和DSP在并行计算方面的优势，构建了CPU+DSP异构处理器上的高性能多头注意力机制算子运算方法；其次利用在先softmax优化算法，将两个批处理矩阵乘和softmax算子进行融合，降低了DSP设备的访存开销；然后在多头注意力算子的计算过程中使用了DSP计算核心的向量运算指令，充分利用了DSP设备的SIMD计算特性；最后在数据传输和计算时，采用双流水机制，掩盖了数据传输时间，提升了多头注意力机制算子计算效率。