-
公开(公告)号：CN114385785B
公开(公告)日：2024-12-17
申请号：CN202111594472.0
申请日：2021-12-23
Applicant: 鹏城实验室
Abstract: 本发明公开了一种支持高并发的大规模生成式语言模型快速推理方法及系统，方法包括：获取第i步的前序文本的注意力中间值和第i步的预测文本，并保存第i步的前序文本的注意力中间值；获取第i步的预测文本对应的注意力中间值，根据第i步的预测文本对应的注意力中间值与第i步的前序文本对应的注意力中间值获取第i+1步的前序文本对应的注意力输出结果；根据第i+1步的前序文本对应的注意力输出结果生成第i+1步的预测文本。本发明能够加速大规模生成式语言模型的推理速度，缩短用户等待模型输出的时间。
-
公开(公告)号：CN115270820A
公开(公告)日：2022-11-01
申请号：CN202210865989.7
申请日：2022-07-22
Applicant: 鹏城实验室
Abstract: 本发明公开了一种多语言翻译系统的持续学习方法、装置、终端及存储介质，方法包括：根据处理策略对翻译请求进行预处理；根据处理后的翻译请求分发对应的翻译模型，并通过翻译模型对处理后的翻译请求进行翻译推理；根据翻译结果进行置信度评估，并根据置信度评估结果触发请你翻译模式，将处理后的翻译请求调度至在线专家或其他用户侧；接收在线专家或其他用户侧反馈的翻译参考答案，激励翻译模型对反馈的翻译参考答案进行答案融合；接收其他用户侧反馈的翻译结果评分，并根据翻译结果评分及反馈的翻译参考答案对翻译模型进行持续学习，以扩充翻译模型的翻译分析数据和持续学习数据。本发明通过反馈打分和请你翻译的人机协作提高系统翻译性能。
-
公开(公告)号：CN114385785A
公开(公告)日：2022-04-22
申请号：CN202111594472.0
申请日：2021-12-23
Applicant: 鹏城实验室
Abstract: 本发明公开了一种支持高并发的大规模生成式语言模型快速推理方法及系统，方法包括：获取第i步的前序文本的注意力中间值和第i步的预测文本，并保存第i步的前序文本的注意力中间值；获取第i步的预测文本对应的注意力中间值，根据第i步的预测文本对应的注意力中间值与第i步的前序文本对应的注意力中间值获取第i+1步的前序文本对应的注意力输出结果；根据第i+1步的前序文本对应的注意力输出结果生成第i+1步的预测文本。本发明能够加速大规模生成式语言模型的推理速度，缩短用户等待模型输出的时间。
-
-
Search Results
3
records
(took 0.015 seconds)
