公开(公告)号：CN115712709A

公开(公告)日：2023-02-24

申请号：CN202211451009.5

申请日：2022-11-18

Applicant: 哈尔滨工业大学 ,  招商银行股份有限公司

Inventor： 吕姚嘉 ,  朱文轩 ,  刘铭 ,  徐洁馨 ,  李秋霞 ,  秦兵

IPC: G06F16/332 ,  H04N21/44 ,  G06F40/35

Abstract: 基于多关系图模型的多模态对话问答生成方法，涉及一种多模态对话问答生成方法。本发明为了解决现有的多模态对话系统仅考虑场景序列化信息而导致现有模型效果一般的问题。本发明首先将视频序列化切分为多个视频片段，对于每个片段获取该片段的色彩特征、光流特征和音频特征，并拼接起来，再加入位置信息和模态信息得到各个视频片段的序列表示；将每个视频片段视作顶点，构建基于全联通关系的视频图并输入图卷积神经网络，得到视频隐藏层序列以及与原视频序列的融合表示；然后利用相似的方式处理基于视听场景标题和对话历史对应的词向量得到各自对应的文本隐藏层序列以及与原文本序列的融合表示；最后利用神经网络模型生成回答。

公开(公告)号：CN117764107A

公开(公告)日：2024-03-26

申请号：CN202410009630.9

申请日：2024-01-02

Applicant: 北京达佳互联信息技术有限公司 ,  哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 潘浩杰 ,  吕姚嘉 ,  付瑞吉 ,  刘铭 ,  秦兵

IPC: G06N3/004 ,  G06N3/0455 ,  G06N3/042 ,  G06N3/092

Abstract: 本公开提供了一种智能体生成方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：根据初始智能体的初始角色设定值，确定当前学习任务，当前学习任务包括至少一个任务操作；基于当前学习任务与多媒体资源交互平台的环境信息，生成每个任务操作的任务操作指令；基于任务操作指令执行任务操作，得到任务操作对应的任务执行结果；根据任务执行结果与环境信息更新初始角色设定值，直至更新后的角色设定信息与角色构建目标相适配，得到目标智能体。本公开可以提供一种具备自主进行内容交互，并学习对应知识的能力的智能体生成方案。