语言任务处理方法、系统、设备、存储介质及程序产品

    公开(公告)号:CN120068846A

    公开(公告)日:2025-05-30

    申请号:CN202510526403.8

    申请日:2025-04-25

    Abstract: 本发明公开了一种语言任务处理方法、系统、设备、存储介质及程序产品,涉及人工智能技术领域。其中,方法包括根据语言任务处理模型在执行语言任务过程中的资源需求信息确定其在预填充阶段和解码阶段的资源配置信息。从当前请求批请求中获取相匹配数量的目标请求段,对其进行预填充并行处理生成当前词元批。通过获取最新生成的词元批中各词元的下一个词元构成新的词元批的方式,生成多个新词元批,以满足合并批至词元批长度的条件。通过多个流水线并行对各词元批进行解码,并根据各任务处理请求的所有请求段的解码结果得到对应的语言任务处理结果。本发明可以解决相关技术在执行语言任务时存在资源利用不饱和的问题,能够有效提高资源利用率。

Patent Agency Ranking