公开(公告)号：CN116490864A

公开(公告)日：2023-07-25

申请号：CN202080106212.1

申请日：2020-10-14

Applicant: 微软技术许可有限责任公司

Inventor： 宫叶云 ,  段楠 ,  张若非 ,  周明 ,  焦健

IPC: G06F16/24

Abstract: 提供了用于从输入查询生成关键字序列的系统和方法。可以接收对应于输入查询的第一文本序列，并且使用机器学习模型的编码器将第一文本序列编码为源序列表示。然后可以使用机器学习模型的解码器从源序列表示生成关键字语句。解码器可以为多个预测令牌生成经修改的生成得分，其中经修改的生成得分基于相应预测令牌生成得分和每个预测令牌的后缀的最大生成得分。解码器然后可以基于经修改的生成得分来选择多个预测令牌中的预测令牌，并且将选择的预测令牌添加到由解码器提供的先前解码的部分假设。

公开(公告)号：CN110019719B

公开(公告)日：2023-04-25

申请号：CN201711354191.1

申请日：2017-12-15

Applicant: 微软技术许可有限责任公司

Inventor： 唐都钰 ,  段楠 ,  周明 ,  王文迪 ,  姜大昕 ,  刘树杰 ,  寿林钧 ,  公明

IPC: G06F16/332

Abstract: 在本文所描述的主题的实施例中，提出了一种基于断言的问答方式。在获得问题以及相关文章之后，根据文章的内容来确定针对该问题的断言回答，其中断言回答具有预定结构并且表示完整的语义。然后，可以向用户输出针对该问题的断言回答。在根据本文所描述的主题的实施例中，使用问题和相关文章作为输入，并且输出半结构化的断言回答。根据本文所描述的主题的实施例的断言回答能够提供比传统的短回答更丰富的语义内容，并且提供比传统的长回答更简洁的表达，由此提升了用户体验同时保证了回答的准确性。

公开(公告)号：CN112084295A

公开(公告)日：2020-12-15

申请号：CN201910447514.4

申请日：2019-05-27

Applicant: 微软技术许可有限责任公司

Inventor： 梁耀波 ,  段楠 ,  公明 ,  寿林钧 ,  姜大昕 ,  周明

IPC: G06F16/33 ,  G06F16/332 ,  G06F40/30 ,  G06N3/08

Abstract: 在本公开的实施例中，提出了一种跨语言的任务训练方法。在获得一种语言的训练句子之后，对训练句子中的某个词语进行掩码，然后获得与被掩码的词语相对应的另一种语言的对应词语。接下来，使用一种语言的掩码句子和另一种语言的对应词语来预训练跨语言模型。经过预训练的跨语言模型具备多语言的理解和处理能力，其可以根据特定任务再进行进一步训练。根据本公开的实施例，在一种语言存在大量训练语料而另一种语言存在较少甚至没有训练语料的情况下，可以通过跨语言训练方式来预训练跨语言模型，使得跨语言模型能够适用于另一种语言，由此实现针对各种语言的模型训练。

公开(公告)号：CN110888966A

公开(公告)日：2020-03-17

申请号：CN201811038457.6

申请日：2018-09-06

Applicant: 微软技术许可有限责任公司

Inventor： 唐都钰 ,  段楠 ,  周明

IPC: G06F16/332 ,  G06F16/36

Abstract: 根据本公开的实现，提出了一种用于回答自然语言对话中的问题的方案。在该方案中，自然语言对话中的问题被接收。问题被转换成表示其语义的逻辑表示。该逻辑表示包括在知识库上可执行的第一动作序列。通过在知识库上执行第一动作序列来获得针对该问题的回答。该方案能够准确地理解多轮对话中的问题的语义，从而能够将问题转换成在大规模知识库上可执行的动作序列。以此方式，该方案能够有效提高自然语言问题系统回答问题的准确度和效率。

公开(公告)号：CN109791549A

公开(公告)日：2019-05-21

申请号：CN201680087962.2

申请日：2016-07-29

Applicant: 微软技术许可有限责任公司

Inventor： 周明 ,  段楠

IPC: G06F16/332

CPC classification number: G06F16/3329 ,  G06F16/00 ,  G06F16/334 ,  G06F17/2765 ,  H04L51/02

Abstract: 在本文中所描述的主题内容的实现中，提出了一种用于在对话中呈现对消息的响应的新方法。一般而言，响应于在对话中接收到消息，基于句子将所接收的消息与一个或多个文档进行匹配。即，将所接收的消息与来自(多个)文档的句子进行比较，而不是与预定义的查询响应对进行比较。以这种方式，可以从文档中选择完整的句子作为候选响应。然后，将确定该句子对于正在进行的对话的适合性，并且基于该适合性以自适应方式生成和呈现响应。结果，在聊天机器人场景中可以显著增强用户体验。

公开(公告)号：CN111159472B

公开(公告)日：2024-03-12

申请号：CN201811327202.1

申请日：2018-11-08

Applicant: 微软技术许可有限责任公司

Inventor： 段楠 ,  纪蕾 ,  周明

IPC: G06F16/735 ,  G06F16/783

Abstract: 本文公开的多模态聊天技术，用于在聊天机器人与人类的交互中，采用多模态答复的方式对用户询问进行答复。通过采用多模态方式的答复，使得聊天机器人的表达方式和内容更加丰富。

公开(公告)号：CN116775814A

公开(公告)日：2023-09-19

申请号：CN202210207198.5

申请日：2022-03-04

Applicant: 微软技术许可有限责任公司

Inventor： 吴宁 ,  梁耀波 ,  范宝泉 ,  寿林钧 ,  公明 ,  姜大昕 ,  段楠

IPC: G06F16/332 ,  G06N3/08 ,  G06N20/00

Abstract: 本公开提出了用于跨语言检索的句子表示生成的方法、装置和计算机程序产品。可以获得目标句子。可以通过编码器来生成所述目标句子的初始目标句子表示，所述编码器是通过对比上下文预测机制来预训练的。可以通过跨语言修正，基于所述初始目标句子表示，生成所述目标句子的目标句子表示以用于跨语言检索。

公开(公告)号：CN116635874A

公开(公告)日：2023-08-22

申请号：CN202080107781.8

申请日：2020-12-25

Applicant: 微软技术许可有限责任公司

Inventor： 焦健 ,  宫叶云 ,  段楠 ,  陈伟柱 ,  唐可文 ,  娄强 ,  张若非 ,  晏宇 ,  陈久生

IPC: G06N20/00

Abstract: 提供了用于基于训练数据训练数据模型的系统和方法。该训练包括基于自回归(AR)模型和非自回归(NAR)模型的组合预训练和微调数据模型。训练数据可以被并被编码为词元流。解码期间的预训练器生成AR和NAR组合的模型的连续数据结构的连续统一体，AR和NAR组合的模型包括主流和一系列预测流。预测流中的掩码词元参考或注意主流或先前预测流中的一个或多个先前词元。微调器根据目标数据模型选择流来生成经训练的模型。目标数据模型基于平衡用于预测词元的准确性约束和效率约束被确定。解码器在生成经训练的数据模型中充当AR和NAR模型之间的桥梁。

公开(公告)号：CN110019471A

公开(公告)日：2019-07-16

申请号：CN201711348978.7

申请日：2017-12-15

Applicant: 微软技术许可有限责任公司

Inventor： 唐都钰 ,  段楠 ,  吕元华 ,  周明

IPC: G06F16/25 ,  G06F17/22

Abstract: 根据本公开的各种实现，提供了一种从结构化数据生成文本的方案。在该方案中，将结构化数据转换为其表示，其中结构化数据包括多个单元。结构化数据的表示包括多个单元的多个表示。基于结构化数据的表示，可以确定与结构化数据相关联的自然语言语句，从而实现结构化数据转换为文本的功能。