公开(公告)号：CN118153523A

公开(公告)日：2024-06-07

申请号：CN202410034897.3

申请日：2024-01-10

Applicant: 北京大学

Inventor： 李萌 ,  仲书璋 ,  王润声 ,  黄如

IPC: G06F40/146 ,  G06F40/126 ,  G06F40/205 ,  G06N5/01 ,  G06N5/04

Abstract: 本发明提供一种基于词元树动态生成的自回归模型并行解码方法，属于深度学习领域。本发明首先进行并行解码头的训练，使用并行解码块对于后续位置进行预测，使用动态词元树生成算法生成具有最高估测性能的词元树，最终通过自回归解码头对词元树中所有节点进行验证。采用本发明可以提升解码效率。

公开(公告)号：CN118863055A

公开(公告)日：2024-10-29

申请号：CN202410826116.4

申请日：2024-06-25

Applicant: 北京大学

Inventor： 李萌 ,  仲书璋 ,  王润声 ,  黄如

IPC: G06N5/04 ,  G06N3/084

Abstract: 本发明公开一种混合专家模型推理方法，属于深度学习(machine learning)领域。本发明通过自适应和基于敏感度的专家门控机制，动态调整不同输入和每一层所需激活的专家数量，具有基于敏感度分析的自适应专家选取、自适应专家预取与自适应专家缓存三个核心机制，可以优化混合专家模型推理性能。本发明在保持精度不下降的前提下，平均减少了25％的专家激活数量，显著提高了MoE推理的效率，特别适用于边缘设备等内存受限的环境，具有重要的应用价值和广泛的应用前景。

公开(公告)号：CN118171635A

公开(公告)日：2024-06-11

申请号：CN202410034895.4

申请日：2024-01-10

Applicant: 北京大学

Inventor： 李萌 ,  仲书璋 ,  王润声 ,  黄如

IPC: G06F40/146 ,  G06F40/126 ,  G06F40/205 ,  G06N5/01 ,  G06N5/04

Abstract: 本发明提供一种基于词元树早期剪枝的自回归模型并行解码方法，属于深度学习领域。本发明首先进行并行解码头的训练，使用并行解码块对于后续位置进行预测，然后使用早期剪枝算法对词元树中的不合理的分支进行修剪，最终通过自回归解码头对词元树中所有节点进行验证。采用本发明可以提升解码效率。