-
公开(公告)号:CN108268616A
公开(公告)日:2018-07-10
申请号:CN201810009140.3
申请日:2018-01-04
Applicant: 中国科学院自动化研究所 , 出门问问信息科技有限公司
Abstract: 本发明属于人机对话技术领域,具体涉及一种融合规则信息的可控制性对话管理扩展方法,旨在解决数据驱动的对话系统通过重新构建交互环境的方式进行扩展时成本高、效率低下的问题,本方法包括:S1,基于交互数据,确定需要扩充的新用户意图,并对原语言理解模块进行扩展;S2,基于新用户意图,构建该新用户意图对应的新对话规则;S3,基于交互数据、原对话管理模块的对话策略、新对话规则,构建新对话管理模块映射空间所需满足的约束;S4,基于S3中得到的新对话管理模块映射空间所需满足的约束,对原对话管理模块进行扩展,生成新对话管理模块。本发明可以对数据驱动的对话系统根据用户反馈进行快速扩展、高效迭代。
-
公开(公告)号:CN109213851A
公开(公告)日:2019-01-15
申请号:CN201810724523.9
申请日:2018-07-04
Applicant: 中国科学院自动化研究所 , 出门问问信息科技有限公司
IPC: G06F16/332 , G06F17/28 , G06F17/27
Abstract: 本发明涉及语言处理领域,并提出了一种对话系统中口语理解的跨语言迁移方法,旨在解决在对话系统中口语理解的跨语言迁移中,因语义标签难以迁移和语言文化差异造成迁移结果质量不佳的技术问题。为此目的,本发明中的口语的跨语言迁移方法包括:获取待迁移的有标注口语理解数据;利用预先构建的口语理解迁移模型对所述带类别标记的待迁移数据进行迁移,得到带类别标记的第一迁移结果;对第一迁移结果进行文化迁移,得到目标语言的口语理解数据。基于上述步骤,本发明可以快速、准确的对口语理解数据进行跨语言迁移,改善了因为双语带类别标记数据不足而导致的有监督训练方法效果不佳的问题,降低了在模型训练中的数据收集和标注成本。
-
公开(公告)号:CN109783704B
公开(公告)日:2021-02-02
申请号:CN201910005704.0
申请日:2019-01-03
Applicant: 中国科学院自动化研究所 , 出门问问信息科技有限公司
IPC: G06F16/9032
Abstract: 本发明属于人机对话技术领域,具体涉及一种人机混合的应答方法、系统、装置,旨在为了解决现有人机应答方法无法实现在线学习的问题。本发明方法包括:对当前对话上下文Ct进行编码,得到第一表征向量E(Ct);基于对话任务下的候选回复语句,并进行编码后得到第二表征向量基于第一表征向量E(Ct)、第二表征向量通过不确定性估计方法获取候选回复语句能够正确回复用户提问的置信度,置信度大于设定阈值则选择置信度对应的候选回复语句进行应答输出,否则获取通过人机交互设备录入的回复语句或选定的候选回复语句进行应答输出,并基于应答输出后得到的全部对话语句进行上述步骤中的参数优化。本发明保证了输出的应答语句具有足够的置信度,实现了对话模型的在线学习更新。
-
公开(公告)号:CN108268616B
公开(公告)日:2020-09-01
申请号:CN201810009140.3
申请日:2018-01-04
Applicant: 中国科学院自动化研究所 , 出门问问信息科技有限公司
IPC: G06F16/9032 , G06F16/242 , G06Q50/12
Abstract: 本发明属于人机对话技术领域,具体涉及一种融合规则信息的可控制性对话管理扩展方法,旨在解决数据驱动的对话系统通过重新构建交互环境的方式进行扩展时成本高、效率低下的问题,本方法包括:S1,基于交互数据,确定需要扩充的新用户意图,并对原语言理解模块进行扩展;S2,基于新用户意图,构建该新用户意图对应的新对话规则;S3,基于交互数据、原对话管理模块的对话策略、新对话规则,构建新对话管理模块映射空间所需满足的约束;S4,基于S3中得到的新对话管理模块映射空间所需满足的约束,对原对话管理模块进行扩展,生成新对话管理模块。本发明可以对数据驱动的对话系统根据用户反馈进行快速扩展、高效迭代。
-
公开(公告)号:CN109213851B
公开(公告)日:2021-05-25
申请号:CN201810724523.9
申请日:2018-07-04
Applicant: 中国科学院自动化研究所 , 出门问问信息科技有限公司
IPC: G06F16/332 , G06F40/58 , G06F40/30
Abstract: 本发明涉及语言处理领域,并提出了一种对话系统中口语理解的跨语言迁移方法,旨在解决在对话系统中口语理解的跨语言迁移中,因语义标签难以迁移和语言文化差异造成迁移结果质量不佳的技术问题。为此目的,本发明中的口语的跨语言迁移方法包括:获取待迁移的有标注口语理解数据;利用预先构建的口语理解迁移模型对所述带类别标记的待迁移数据进行迁移,得到带类别标记的第一迁移结果;对第一迁移结果进行文化迁移,得到目标语言的口语理解数据。基于上述步骤,本发明可以快速、准确的对口语理解数据进行跨语言迁移,改善了因为双语带类别标记数据不足而导致的有监督训练方法效果不佳的问题,降低了在模型训练中的数据收集和标注成本。
-
公开(公告)号:CN109783704A
公开(公告)日:2019-05-21
申请号:CN201910005704.0
申请日:2019-01-03
Applicant: 中国科学院自动化研究所 , 出门问问信息科技有限公司
IPC: G06F16/9032
Abstract: 本发明属于人机对话技术领域,具体涉及一种人机混合的应答方法、系统、装置,旨在为了解决现有人机应答方法无法实现在线学习的问题。本发明方法包括:对当前对话上下文Ct进行编码,得到第一表征向量E(Ct);基于对话任务下的候选回复语句,并进行编码后得到第二表征向量 基于第一表征向量E(Ct)、第二表征向量通过不确定性估计方法获取候选回复语句能够正确回复用户提问的置信度,置信度大于设定阈值则选择置信度对应的候选回复语句进行应答输出,否则获取通过人机交互设备录入的回复语句或选定的候选回复语句进行应答输出,并基于应答输出后得到的全部对话语句进行上述步骤中的参数优化。本发明保证了输出的应答语句具有足够的置信度,实现了对话模型的在线学习更新。
-
公开(公告)号:CN114048760B
公开(公告)日:2025-03-25
申请号:CN202111138690.3
申请日:2021-09-27
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种多语言机器翻译模型训练方法、多语言翻译方法及装置。训练方法包括:获取多语言翻译训练语料和多语言翻译验证语料;建立并初始化全参数共享的多语言翻译模型,利用多语言翻译训练语料和多语言翻译验证语料对多语言翻译模型进行训练,得到多语言机器翻译模型。在训练过程中模型自动判断每个共享的参数是否需要转变为语言相关的参数,复制需要转变的参数并将其分配给相关的语言,从而使得模型同时具有共享参数和语言相关参数。本发明用于在多语言机器翻译模型训练的过程中,自动判断参数是否需要共享以及需要被哪些语言对共享,而不依赖预先指定的共享或语言相关的模型组件。
-
公开(公告)号:CN119476418A
公开(公告)日:2025-02-18
申请号:CN202411518905.8
申请日:2024-10-29
Applicant: 中国科学院自动化研究所
IPC: G06N3/0985 , G06F17/16 , G06F18/214 , G06N3/006 , G06N7/01
Abstract: 本发明提供一种大语言模型合并方法、装置、电子设备及存储介质,包括:基于合并模型在下游任务的任务目标,确定模型合并所使用的密度超参数和模型合并系数超参数;基于密度超参数生成掩码矩阵,基于掩码矩阵、两个待合并模型各自的模型参数以及基础模型的模型参数,分别确定两个待合并模型的任务向量;基于两个待合并模型之间对应神经元的参数向量角、两个待合并模型的任务向量以及模型合并系数超参数,确定合并模型的任务向量;基于合并模型的任务向量和基础模型的模型参数,得到合并模型。采用上述技术方案,解决了现有的模型合并方法得到的合并模型的性能不佳的问题。
-
公开(公告)号:CN118552965A
公开(公告)日:2024-08-27
申请号:CN202410624083.5
申请日:2024-05-20
Applicant: 中国科学院自动化研究所
IPC: G06V30/19 , G06V30/18 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/084
Abstract: 本发明提供一种文本图像翻译模型训练方法、装置、电子设备和存储介质,其中方法包括:获取预训练模型和训练数据,分别对训练数据中的文本图像和源端语言文本字符串进行特征编码,得到文本图像特征和文本特征;分别对文本图像特征和文本特征进行特征解码,得到文本图像翻译结果和文本翻译结果;基于文本图像翻译结果和训练数据中的目标端语言文本字符串,确定文本图像翻译损失;基于文本图像特征、文本特征、文本图像翻译结果和文本翻译结果,确定多层次知识迁移损失;将文本图像翻译损失和多层次知识迁移损失进行融合,得到训练损失,并基于训练损失对预训练模型进行参数更新,得到文本图像翻译模型。本发明能够提升文本图像翻译模型的性能。
-
公开(公告)号:CN117034965B
公开(公告)日:2024-03-22
申请号:CN202310996132.3
申请日:2023-08-08
Applicant: 中国科学院自动化研究所
IPC: G06F40/58 , G06F40/289 , G06V30/41 , G06N3/045
Abstract: 本发明提供一种基于视觉语言预训练的图像文本翻译方法及装置,方法包括:确定源语言图像;将源语言图像输入至图像文本翻译模型,得到图像文本翻译模型输出的源语言图像对应的目标语言文本;其中,图像文本翻译模型的损失值基于样本预测源语言文本与样本源语言图像对应的样本源语言标签之间的差异,以及样本预测目标语言文本与样本目标语言标签之间的差异确定。本发明的图像文本翻译模型基于样本图像特征向量以及样本预测源语言文本对样本源语言图像进行图像文本翻译时,样本图像特征向量能够补充提供相应的视觉信息,对文本识别错误进行校正,以增强图像文本翻译,准确得到样本预测目标语言文本,进而提高图像文本翻译模型的图像文本翻译精度。
-
-
-
-
-
-
-
-
-