一种调用推理硬件执行AI应用的方法及相关产品

    公开(公告)号:CN115237458A

    公开(公告)日:2022-10-25

    申请号:CN202110445022.9

    申请日:2021-04-24

    Abstract: 本申请公开了一种调用推理硬件执行人工智能AI应用的方法及相关产品,其中,该方法应用于应用执行设备中的推理框架,推理框架为安装在应用执行设备、由AI应用调用的软件,该方法包括:获取应用执行设备中的推理硬件的驱动适配文件,驱动适配文件包括由推理框架提供的推理硬件的抽象API;根据驱动适配文件,加载推理硬件的API函数实现;调用推理硬件执行AI应用。利用上述方法,在应用执行设备中的推理硬件的驱动版本升级或应用执行设备中新增推理硬件后,可以无需修改或编译推理框架代码和AI应用,便可以在应用执行设备上运行该AI应用。

Patent Agency Ranking