一种模型测试方法、系统、介质及电子设备

    公开(公告)号:CN117076335B

    公开(公告)日:2024-04-02

    申请号:CN202311343167.3

    申请日:2023-10-17

    Applicant: 北京大学

    Abstract: 本申请公开了一种模型测试方法、系统、介质及电子设备,方法包括:获取待测试模型的模型名称以及数据信息;根据数据信息和预先建立的数据管理器,确定待测试模型所需的测试数据集;根据模型名称和预先建立的服务管理器,确定待测试模型对应的目标测试服务组件;根据测试数据集以及目标测试服务组件进行测试,生成待测试模型的测试结果,并反馈至客户端进行展示。由于本申请通过预先建立的数据管理器和服务管理器分别对不同模型的测试数据集和测试服务组件进行统一管理,因此实际应用中在确定模型的模型名称以及数据信息的情况下,可自动化执行模型测试流程,从而简化了模型测试复杂度,提高了模型测试的复用性和灵活性,提升了模型测试效率。

    模型测试方法和系统
    13.
    发明公开

    公开(公告)号:CN117407299A

    公开(公告)日:2024-01-16

    申请号:CN202311350449.6

    申请日:2023-10-18

    Applicant: 北京大学

    Abstract: 本申请涉及人工智能技术领域,具体提供一种模型测试方法,旨在解决面对不同测试需求时会有大量繁杂重复的工作,测试效率低下的问题。为此目的,本申请的模型测试方法应用于服务端,包括:接收客户端发送的待测模型文件、测试数据信息、待测模型的硬件设备参数和测试参数;基于待测模型文件、硬件设备参数和测试参数,生成待测模型;基于测试数据信息,对待测模型进行测试,得到测试结果;向客户端发送测试结果。通过上述方法,能够将测试用户与支持模型运行的硬件完全隔离,并能自动生成测试所需的代码模板和测试服务,极大地提高了测试用户对待测模型测试地易用性,减少了测试人员的工作量,提高测试效率。

    硬件算子时间性能的检测方法及装置

    公开(公告)号:CN117076282B

    公开(公告)日:2023-12-15

    申请号:CN202311335808.0

    申请日:2023-10-16

    Applicant: 北京大学

    Abstract: 本发明涉及一种硬件算子时间性能的检测方法及装置,方法包括:获取待检测算子函数的函数名称和输入参数,调用算子检测的通用过程代理中的初始化方法,初始化所需的硬件设备以及所述输入参数;调用算子检测的通用过程代理中的开始计时方法进行计时,并基于所述待检测算子函数的函数名称和初始化后的输入参数,调用扩展功能代理中的目标扩展操作函数以及算子执行映射代理中的目标算子执行函数,执行待检测算子函数的操作;调用算子检测的通用过程代理中的结束计时方法结束计时,确定所述待检测算子函数在硬件设备的运行时间。基于此,提高算子检测的易用性、迁移性和灵活性。

    硬件算子时间性能的检测方法及装置

    公开(公告)号:CN117076282A

    公开(公告)日:2023-11-17

    申请号:CN202311335808.0

    申请日:2023-10-16

    Applicant: 北京大学

    Abstract: 本发明涉及一种硬件算子时间性能的检测方法及装置,方法包括:获取待检测算子函数的函数名称和输入参数,调用算子检测的通用过程代理中的初始化方法,初始化所需的硬件设备以及所述输入参数;调用算子检测的通用过程代理中的开始计时方法进行计时,并基于所述待检测算子函数的函数名称和初始化后的输入参数,调用扩展功能代理中的目标扩展操作函数以及算子执行映射代理中的目标算子执行函数,执行待检测算子函数的操作;调用算子检测的通用过程代理中的结束计时方法结束计时,确定所述待检测算子函数在硬件设备的运行时间。基于此,提高算子检测的易用性、迁移性和灵活性。

    深度学习框架的算子注册方法、装置、设备及存储介质

    公开(公告)号:CN116107669A

    公开(公告)日:2023-05-12

    申请号:CN202310400779.5

    申请日:2023-04-14

    Applicant: 北京大学

    Abstract: 本申请公开了一种深度学习框架的算子注册方法、装置、设备及存储介质,方法包括:获取待注册算子的信息,根据待注册算子的信息定义算子内核函数声明,算子内核函数声明中包括预设的形状输出函数;调用算子内核函数声明中预设的形状输出函数,得到输出的形状值,根据形状值定义算子内核函数,算子内核函数为一个compute函数;构造算子内核函数的多功能注册宏,根据多功能注册宏将待注册的算子内核函数注册到深度学习框架。本申请的算子注册方法,设计了算子内核函数注册接口,通过该接口,不同异构硬件的算子能够轻易的注册到深度学习框架中,同时减少了开发者在算子接入深度学习框架的代码开发量,减少开发者对深度学习框架自身结构的掌握程度。

    显存的分配方法和装置
    17.
    发明公开

    公开(公告)号:CN119512735A

    公开(公告)日:2025-02-25

    申请号:CN202411352508.8

    申请日:2024-09-26

    Applicant: 北京大学

    Abstract: 本公开提供一种显存的分配方法和装置,涉及通信技术领域。上述方法包括:对所述服务端中的显存,检测在运行过程中实际的第一显存参数,所述服务端部署有多个模型;根据所述第一显存参数,对所述显存预测第二显存参数;对所述服务端,预测未来预设时间段中目标用户的用户请求信息;根据所述第一显存参数、所述第二显存参数和用户请求信息,进行针对所述未来预设时间段的显存分配。本公开可以针对多模型的资源需求冲突,通过对尚未充分使用的内存和CPU计算能力进行开发,以将多个模型更加紧凑地部署在一台计算设备之上,实现多模型的并存和并发。

    深度学习模型部署方法和装置
    19.
    发明公开

    公开(公告)号:CN116739040A

    公开(公告)日:2023-09-12

    申请号:CN202310561570.7

    申请日:2023-05-18

    Applicant: 北京大学

    Abstract: 本发明提供一种深度学习模型部署方法和装置,方法包括:获取深度学习原始模型文件、第一关系表及第二关系表;第一关系表中包含深度学习原始模型文件中中各原始算子、各原始算子的第一中间表示算子集版本;第二关系表中包括第一中间表示算子集版本,和所述第一中间表示算子集版本对应的第一推理引擎版本、第一中间表示版本之间的对应关系;基于深度学习原始模型文件、第一关系表以及第二关系表,确定进行深度学习原始模型转换需要的版本参数;基于版本参数,确定深度学习原始模型的可部署的中间表示模型;将可部署的中间表示模型部署在目标设备上。基于此,解决深度学习模型部署过程需要依赖大量的人工操作,不够便捷以及自动化的问题。

    一种集群中节点调度方法、装置、存储介质及终端

    公开(公告)号:CN116700950A

    公开(公告)日:2023-09-05

    申请号:CN202310519539.7

    申请日:2023-05-09

    Applicant: 北京大学

    Abstract: 本发明公开了一种集群中节点调度方法、装置、存储介质及终端,方法包括:在接收到待处理作业任务的调度指令时,在虚拟化集群中筛选出符合条件的多个候选节点;调用预先构建的作业统计反馈处理函数,并通过作业统计反馈处理函数获取每个候选节点的历史作业任务统计信息;历史作业任务统计信息是根据预先构建的作业统计函数对节点运行结束时的实际运行结果进行获取,并基于获取的实际运行结果更新该节点上的历史统计信息生成的;根据每个候选节点的历史作业任务统计信息,在多个候选节点中确定待处理作业任务的最优节点,并进行最优节点的调度。因此,采用本申请实施例,可以优化整个集群系统的调度管理,能提高资源节点的利用率。

Patent Agency Ranking