一种模型测试方法、系统、介质及电子设备

    公开(公告)号:CN117076335A

    公开(公告)日:2023-11-17

    申请号:CN202311343167.3

    申请日:2023-10-17

    Applicant: 北京大学

    Abstract: 本申请公开了一种模型测试方法、系统、介质及电子设备,方法包括:获取待测试模型的模型名称以及数据信息;根据数据信息和预先建立的数据管理器,确定待测试模型所需的测试数据集;根据模型名称和预先建立的服务管理器,确定待测试模型对应的目标测试服务组件;根据测试数据集以及目标测试服务组件进行测试,生成待测试模型的测试结果,并反馈至客户端进行展示。由于本申请通过预先建立的数据管理器和服务管理器分别对不同模型的测试数据集和测试服务组件进行统一管理,因此实际应用中在确定模型的模型名称以及数据信息的情况下,可自动化执行模型测试流程,从而简化了模型测试复杂度,提高了模型测试的复用性和灵活性,提升了模型测试效率。

    一种基于代码融合的编译优化方法、系统及电子设备

    公开(公告)号:CN116185426B

    公开(公告)日:2023-09-19

    申请号:CN202310402545.4

    申请日:2023-04-17

    Applicant: 北京大学

    Abstract: 本申请涉及一种基于代码融合的编译优化方法、系统及电子设备。所述方法包括:针对包含有主机代码和内核代码的异构源程序,分别用编译器对主机代码和内核代码进行编译,得到分别与主机代码和内核代码对应的第一中间表示和第二中间表示;基于第一中间表示依次创建主机代码的控制流图和数据流图,基于第二中间表示依次创建内核代码的控制流图和数据流图;将主机代码的控制流图和内核代码的控制流图融合,将主机代码的数据流图和内核代码的数据流图融合,得到异构源程序的全局细粒度依赖关系图;针对异构源程序的全局细粒度依赖关系图中的多个内核节点,将多个内核节点融合。本申请将多个内核节点融合,大幅提升了编译性能。

    一种算子检测方法、装置以及计算机设备

    公开(公告)号:CN116629330A

    公开(公告)日:2023-08-22

    申请号:CN202310451059.1

    申请日:2023-04-24

    Applicant: 北京大学

    Abstract: 本公开提供了一种算子检测方法、装置以及计算机设备,其中,该方法包括:获取神经网络模型的模型文件;基于所述模型文件确定神经网络模型中各网络层的结构描述信息;对每个所述网络层的结构描述信息进行遍历,得到每个所述网络层的算子信息,并基于每个所述网络层的算子信息生成目标算子列表;所述算子信息用于指示各网络层中算子的属性信息和算子之间的依赖关系;对所述目标算子列表进行检查,得到检查结果;通过所述检查结果确定能够通过所述神经网络模型的硬件设备执行相应计算操作的算子。

    算子的自动检测方法、装置、电子设备及介质

    公开(公告)号:CN115934346A

    公开(公告)日:2023-04-07

    申请号:CN202211689392.8

    申请日:2022-12-28

    Applicant: 北京大学

    Abstract: 本申请公开了一种算子的自动检测方法、装置、电子设备及介质。通过应用本申请的技术方案,可以实现一种能够对待检测算子在不同计算设备下的算子支撑能力的自动测试。通过待检测算子在计算精度、计算效率与标准结果的能力对比来获得算子在不同场景下的计算能力判断。从而达到避免相关技术中出现的,无法为不同硬件设备或不同应用功能应用所需算子的问题。

    一种硬件测试方法、系统、设备和存储介质

    公开(公告)号:CN119512832A

    公开(公告)日:2025-02-25

    申请号:CN202411361269.2

    申请日:2024-09-27

    Applicant: 北京大学

    Abstract: 本发明公开一种硬件测试方法、系统、设备和存储介质,所述方法包括:根据待测试的模型或算法生成对应的计算图的子图序列;所述计算图用于表征模型或算法的数据结构;所述计算图由若干节点和边组成,所述节点表征模型或算法的计算步骤,所述边表征计算步骤之间的逻辑关系;基于子图序列之间的调用顺序确定出子图执行序列和执行位置;按照所述子图执行序列,将子图输入硬件对应的执行位置进行计算,得到硬件性能指标。通过自动化地从模型或算法生成计算图的子图序列,并确定执行序列和位置,不仅提高了硬件性能测试的效率和准确性,还使得测试结果更加可靠,有助于全面评估和优化硬件资源的使用。

    一种算子检测方法、装置以及计算机设备

    公开(公告)号:CN116629330B

    公开(公告)日:2024-04-16

    申请号:CN202310451059.1

    申请日:2023-04-24

    Applicant: 北京大学

    Abstract: 本公开提供了一种算子检测方法、装置以及计算机设备,其中,该方法包括:获取神经网络模型的模型文件;基于所述模型文件确定神经网络模型中各网络层的结构描述信息;对每个所述网络层的结构描述信息进行遍历,得到每个所述网络层的算子信息,并基于每个所述网络层的算子信息生成目标算子列表;所述算子信息用于指示各网络层中算子的属性信息和算子之间的依赖关系;对所述目标算子列表进行检查,得到检查结果;通过所述检查结果确定能够通过所述神经网络模型的硬件设备执行相应计算操作的算子。

    硬件设备注册方法、装置、设备及存储介质

    公开(公告)号:CN116185371A

    公开(公告)日:2023-05-30

    申请号:CN202310448879.5

    申请日:2023-04-24

    Applicant: 北京大学

    Abstract: 本申请涉及一种硬件设备注册方法、装置、设备及存储介质,该方法通过确定待注册硬件设备匹配的设备类型,实现了将待注册硬件设备的目标功能注册到算法框架中。可见采用本申请的方案,无需编写支持该算法框架的接入代码并重新编译框架代码,提高了硬件设备接入算法框架的效率。

    显存的分配方法和装置
    9.
    发明公开

    公开(公告)号:CN119512735A

    公开(公告)日:2025-02-25

    申请号:CN202411352508.8

    申请日:2024-09-26

    Applicant: 北京大学

    Abstract: 本公开提供一种显存的分配方法和装置,涉及通信技术领域。上述方法包括:对所述服务端中的显存,检测在运行过程中实际的第一显存参数,所述服务端部署有多个模型;根据所述第一显存参数,对所述显存预测第二显存参数;对所述服务端,预测未来预设时间段中目标用户的用户请求信息;根据所述第一显存参数、所述第二显存参数和用户请求信息,进行针对所述未来预设时间段的显存分配。本公开可以针对多模型的资源需求冲突,通过对尚未充分使用的内存和CPU计算能力进行开发,以将多个模型更加紧凑地部署在一台计算设备之上,实现多模型的并存和并发。

    深度学习模型部署方法和装置
    10.
    发明公开

    公开(公告)号:CN116739040A

    公开(公告)日:2023-09-12

    申请号:CN202310561570.7

    申请日:2023-05-18

    Applicant: 北京大学

    Abstract: 本发明提供一种深度学习模型部署方法和装置,方法包括:获取深度学习原始模型文件、第一关系表及第二关系表;第一关系表中包含深度学习原始模型文件中中各原始算子、各原始算子的第一中间表示算子集版本;第二关系表中包括第一中间表示算子集版本,和所述第一中间表示算子集版本对应的第一推理引擎版本、第一中间表示版本之间的对应关系;基于深度学习原始模型文件、第一关系表以及第二关系表,确定进行深度学习原始模型转换需要的版本参数;基于版本参数,确定深度学习原始模型的可部署的中间表示模型;将可部署的中间表示模型部署在目标设备上。基于此,解决深度学习模型部署过程需要依赖大量的人工操作,不够便捷以及自动化的问题。

Patent Agency Ranking