人机交互方法、装置、系统、设备、介质和产品

    公开(公告)号:CN118798352A

    公开(公告)日:2024-10-18

    申请号:CN202410289197.9

    申请日:2024-03-13

    Abstract: 本实施例公开了一种人机交互方法、装置、设备、存储介质和程序产品,该方法包括:使用预先构建的语音对话数据集对语言模型进行继续训练,得到能够针对文本输入信息和语音输入信息生成回复信息的多模态模型;根据跨模态对齐数据集对所述多模态模型的参数进行调整,得到参数调整后的多模态模型,所述跨模态对齐数据集包括对齐的文本数据和语音数据;根据所述参数调整后的多模态模型,处理用户输入信息,得到所述用户输入信息对应的回复信息。

Patent Agency Ranking