公开(公告)号：CN115827854B

公开(公告)日：2023-08-11

申请号：CN202211687868.4

申请日：2022-12-28

Applicant: 数据堂(北京)科技股份有限公司 ,  河北数云堂智能科技有限公司

Inventor： 王大亮 ,  李昱璇 ,  齐红威 ,  姜丹

IPC: G06F16/34 ,  G06F16/33 ,  G06F16/35 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种语音摘要生成模型训练方法、语音摘要生成方法及装置，训练方法包括如下步骤：提取样本文本的样本词语集合，以及提取样本音频数据的样本音频特征；将所述样本词语集合、所述样本音频特征进行多模态特征融合，获得多模态特征向量；根据样本文本所归属的领域，获得样本文本的领域权重；将所述领域权重加入所述多模态特征向量；将所述多模态特征向量输入摘要生成模型，通过逐步迭代训练获得最优摘要生成模型。本技术方案的语音摘要生成模型训练方法通过融合音频数据与文本的多模态信息，使生成的语音摘要更精确、重点性更强；并且通过校正多模态特征向量的领域，增强了语音摘要的领域倾向性，修正生成的语音摘要，使语音摘要更精准。

公开(公告)号：CN115827854A

公开(公告)日：2023-03-21

申请号：CN202211687868.4

申请日：2022-12-28

Applicant: 数据堂(北京)科技股份有限公司 ,  河北数云堂智能科技有限公司

Inventor： 王大亮 ,  李昱璇 ,  齐红威 ,  姜丹

IPC: G06F16/34 ,  G06F16/33 ,  G06F16/35 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种语音摘要生成模型训练方法、语音摘要生成方法及装置，训练方法包括如下步骤：提取样本文本的样本词语集合，以及提取样本音频数据的样本音频特征；将所述样本词语集合、所述样本音频特征进行多模态特征融合，获得多模态特征向量；根据样本文本所归属的领域，获得样本文本的领域权重；将所述领域权重加入所述多模态特征向量；将所述多模态特征向量输入摘要生成模型，通过逐步迭代训练获得最优摘要生成模型。本技术方案的语音摘要生成模型训练方法通过融合音频数据与文本的多模态信息，使生成的语音摘要更精确、重点性更强；并且通过校正多模态特征向量的领域，增强了语音摘要的领域倾向性，修正生成的语音摘要，使语音摘要更精准。