公开(公告)号：CN119338016A

公开(公告)日：2025-01-21

申请号：CN202411908417.8

申请日：2024-12-24

Applicant: 北京大学

Inventor： 马郓 ,  陈智扬 ,  韩宇栋 ,  秘玮晨 ,  田得雨

IPC: G06N5/04 ,  G06F40/284

Abstract: 本申请提供了一种基于WebGPU的Web大语言模型推理加速优化方法和装置，包括：基于目标用户输入的第一文本，生成多个第一推理词元，确定各个第一推理词元分别对应的第一推理算子，生成各个第一推理算子分别对应的第一计算管线，在得到至少一个第一计算管线的情况下，持续将第一计算管线输入WebGPU应用程序，得到WebGPU应用程序持续输出的第一推理文本，基于WebGPU应用程序输出第一推理文本的先后顺序，将第一推理文本进行组合，得到目标推理文本，能够使生成计算管线的过程和得到第一推理文本的过程并行执行，一定程度上可以提升Web大语言模型对WebGPU计算资源的使用率，缩短了推理任务的执行时间，从而可以提升大语言模型的推理效率。

公开(公告)号：CN119338016B

公开(公告)日：2025-04-04

申请号：CN202411908417.8

申请日：2024-12-24

Applicant: 北京大学

Inventor： 马郓 ,  陈智扬 ,  韩宇栋 ,  秘玮晨 ,  田得雨

IPC: G06N5/04 ,  G06F40/284

Abstract: 本申请提供了一种基于WebGPU的Web大语言模型推理加速优化方法和装置，包括：基于目标用户输入的第一文本，生成多个第一推理词元，确定各个第一推理词元分别对应的第一推理算子，生成各个第一推理算子分别对应的第一计算管线，在得到至少一个第一计算管线的情况下，持续将第一计算管线输入WebGPU应用程序，得到WebGPU应用程序持续输出的第一推理文本，基于WebGPU应用程序输出第一推理文本的先后顺序，将第一推理文本进行组合，得到目标推理文本，能够使生成计算管线的过程和得到第一推理文本的过程并行执行，一定程度上可以提升Web大语言模型对WebGPU计算资源的使用率，缩短了推理任务的执行时间，从而可以提升大语言模型的推理效率。

公开(公告)号：CN117893663A

公开(公告)日：2024-04-16

申请号：CN202410281919.6

申请日：2024-03-13

Applicant: 北京大学

Inventor： 马郓 ,  秘玮晨 ,  韩宇栋 ,  田得雨 ,  杜佳琪

IPC: G06T15/00 ,  G06T3/4038 ,  G06T5/50

Abstract: 本申请公开了一种基于WebGPU的Web图形渲染性能优化方法、装置、电子设备及计算机可读存储介质，属于计算机领域，包括：获取待渲染图像中所有的物体对象的图形数据；确定每个物体对象的图形单元的图形类型，并确定与图形类型对应的图形渲染方法；根据物体对象的图形类型，将物体对象划分至对应的类别集合；将同一类别集合中包括的物体对象的图像数据进行合并，以获得与类别集合对应的组合数据；将组合数据，以及与组合数据中的图形数据包含的图形单元的类型对应的图形渲染方法发送至图形处理单元，以获得与每个组合数据对应的渲染处理结果。解决了解决Web图形渲染时，传输过程重复，数据处理复杂的问题。

公开(公告)号：CN116501595A

公开(公告)日：2023-07-28

申请号：CN202310779147.4

申请日：2023-06-29

Applicant: 北京大学

Inventor： 马郓 ,  秘玮晨 ,  杨起 ,  韩宇栋 ,  田得雨

IPC: G06F11/34 ,  G06F9/54

Abstract: 本发明提供了一种Web扩展现实应用的性能分析方法、装置、设备及介质，属于计算机技术领域，获取应用在浏览器运行后生成的性能文件和度量记录；从性能文件和度量记录中分别提取点击事件，并将两个点击事件的时间对齐；对齐后从性能文件中获取首帧加载过程中网络传输事件的第一起止时间、图片解码事件的第二起止时间以及实时资源利用数据；通过将首帧加载时间、第一起止时间、第二起止时间和实时资源利用数据在同一时间轴进行表示，输出首帧加载过程中的各个事件的性能变化曲线图。使得用户可以根据性能变化曲线图直观的看到在网页加载的各个时间阶段的性能变化情况，以及加载过程中每个阶段的时间占用情况，方便用户对应用的性能做出评估。