Patent search ap:("微软技术许可有限责任公司") AND inv:"黄亚蒙" Page 1

1.

发明公开
生成式常识推理的知识注入模型审中-实审

公开(公告)号：CN116438529A

公开(公告)日：2023-07-14

申请号：CN202080107084.2

申请日：2020-11-12

Applicant: 微软技术许可有限责任公司

Inventor： 宫叶云 , 段楠 , 黄亚蒙 , 张若非 , 周明 , 焦健

IPC: G06F16/9032

Abstract: 一种用于生成式常识推理的知识注入模型。在示例中，使用编码器‑解码器模型来生成模型输出(204)，针对概念集的合理描述。从领域内或领域外知识语料库生成原型(218)，该原型进一步被用作针对编码器‑解码器模型的输入(202)。缩放概念输入令牌和原型输入令牌，以限制可能由原型(218)引入的潜在偏差。另外，针对每个输入令牌生成位置指示符，这些位置指示符指示每个输入令牌与其他输入令牌相比的相对位置。如此，在对经缩放的、经编码的输入令牌进行解码时，解码器(214)可以更适应由原型(218)在生成模型输出(204)时引入的场景偏差。因此，在生成模型输出(204)时，编码器‑解码器模型不需要仅仅依赖于概念集。

Patent Agency Ranking