公开(公告)号：CN119201132B

公开(公告)日：2025-05-16

申请号：CN202411688372.8

申请日：2024-11-25

Applicant: 浙江大学

Inventor： 张子键 ,  刘宇阳 ,  李石坚 ,  张犁 ,  潘纲

IPC: G06F8/41 ,  G06F8/33 ,  G06N20/00

Abstract: 本发明公开了一种基于大语言模型的张量程序生成方法及系统，其中，方法包括以下步骤：（1）通过AI编译器测试工具nnsmith生成随机ONNX计算图；（2）将nnsmith生成的ONNX计算图导入TVM，并转换为RelayIR中间表示；（3）基于TVM内部的模型中间表示RelayIR，通过TVM中的自动调优器Ansor对模型进行调优，生成最优的张量程序，并输出调优时测量的JSON文件；（4）持续进行模型调优和张量程序测量，生成大量调优时的测量记录，形成一个张量程序数据集，数据集中包含张量程序的特征以及对应的优化pass list；（5）根据生成的张量程序数据集训练大语言模型，以实现对张量程序的理解和生成。本发明通过自动化工具和大语言模型的结合，可以实现高效的张量程序生成和优化。

公开(公告)号：CN119201132A

公开(公告)日：2024-12-27

申请号：CN202411688372.8

申请日：2024-11-25

Applicant: 浙江大学

Inventor： 张子键 ,  刘宇阳 ,  李石坚 ,  张犁 ,  潘纲

IPC: G06F8/41 ,  G06F8/33 ,  G06N20/00

Abstract: 本发明公开了一种基于大语言模型的张量程序生成方法及系统，其中，方法包括以下步骤：（1）通过AI编译器测试工具nnsmith生成随机ONNX计算图；（2）将nnsmith生成的ONNX计算图导入TVM，并转换为RelayIR中间表示；（3）基于TVM内部的模型中间表示RelayIR，通过TVM中的自动调优器Ansor对模型进行调优，生成最优的张量程序，并输出调优时测量的JSON文件；（4）持续进行模型调优和张量程序测量，生成大量调优时的测量记录，形成一个张量程序数据集，数据集中包含张量程序的特征以及对应的优化pass list；（5）根据生成的张量程序数据集训练大语言模型，以实现对张量程序的理解和生成。本发明通过自动化工具和大语言模型的结合，可以实现高效的张量程序生成和优化。