显存分配处理方法、装置、设备及系统

    公开(公告)号:CN114168316B

    公开(公告)日:2024-12-13

    申请号:CN202111304911.X

    申请日:2021-11-05

    Abstract: 本说明书提供一种显存分配处理方法、装置、设备及系统,通过对智能学习模型中的模型参数进行哈希运算,通过比较模型参数的哈希值确定待部署模型的模型参数是否与已经部署的模型参数重复,若重复则不需要分配新的物理显存,利用虚拟指针的方式将重复的模型参数映射到对应的物理显存处,实现相同内容的共享,对于相同的模型参数不需要重复保存,实现了相同内容的数据共享,大大节省物理显存空间,进而可以实现在有限的显存空间内部署更多的实例,提升了系统性能。

    显存分配处理方法、装置、设备及系统

    公开(公告)号:CN114168316A

    公开(公告)日:2022-03-11

    申请号:CN202111304911.X

    申请日:2021-11-05

    Abstract: 本说明书提供一种显存分配处理方法、装置、设备及系统,通过对智能学习模型中的模型参数进行哈希运算,通过比较模型参数的哈希值确定待部署模型的模型参数是否与已经部署的模型参数重复,若重复则不需要分配新的物理显存,利用虚拟指针的方式将重复的模型参数映射到对应的物理显存处,实现相同内容的共享,对于相同的模型参数不需要重复保存,实现了相同内容的数据共享,大大节省物理显存空间,进而可以实现在有限的显存空间内部署更多的实例,提升了系统性能。

Patent Agency Ranking