公开(公告)号：CN115062131A

公开(公告)日：2022-09-16

申请号：CN202210753297.3

申请日：2022-06-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 何锐颖 ,  杨晓龙 ,  张志强

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/338

Abstract: 本说明书实施例提供了一种基于多模态的人机交互方法及装置。在终端具备多种模态信息收集能力的前提下，当用户与终端进行交互时，终端可以收集到用户输入的多模态信息，包括视频信息、语音信息、用户通过输入操作输入的语言文本和事件文本等，并将该多模态信息传输至服务器。服务器可以从多模态信息中提取用户指令和用户语言，并分别将用户指令输入指令处理器并得到第一输出内容，将用户语言输入自然语言处理器并得到第二输出内容。接着，服务器可以基于第一输出内容和第二输出内容的融合，确定针对用户的回应内容。

公开(公告)号：CN115062131B

公开(公告)日：2025-03-28

申请号：CN202210753297.3

申请日：2022-06-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 何锐颖 ,  杨晓龙 ,  张志强

IPC: G06F16/3329 ,  G06F16/334 ,  G06F16/338

Abstract: 本说明书实施例提供了一种基于多模态的人机交互方法及装置。在终端具备多种模态信息收集能力的前提下，当用户与终端进行交互时，终端可以收集到用户输入的多模态信息，包括视频信息、语音信息、用户通过输入操作输入的语言文本和事件文本等，并将该多模态信息传输至服务器。服务器可以从多模态信息中提取用户指令和用户语言，并分别将用户指令输入指令处理器并得到第一输出内容，将用户语言输入自然语言处理器并得到第二输出内容。接着，服务器可以基于第一输出内容和第二输出内容的融合，确定针对用户的回应内容。