公开(公告)号：CN112417134B

公开(公告)日：2022-05-13

申请号：CN202011198008.5

申请日：2020-10-30

Applicant: 同济大学

Inventor： 申树藩 ,  张思琪 ,  周逸伦 ,  卫志华

IPC: G06F16/34 ,  G06F16/33 ,  G06F40/126 ,  G06F40/232 ,  G06F40/284 ,  G06K9/62 ,  G10L15/26

Abstract: 基于语音文本深度融合的摘要自动生成系统及方法，包括预处理与语音对应模块、编码器模块、解码器特征融合模块、损失函数模块。预处理与语音对应模块包括文本获取和语音对应。解码器特征融合模块包括中间摘要生成、声音特征的融合、修正后摘要生成。损失函数模块包括中间摘要损失函数、修正后摘要的评估函数。对于用户语音数据，通过文本获取得到语音对应的文本，经过语音对应得到按字对应的语音特征；文本数据经过预训练xlnet编码器，得到文本的向量表示；文本向量与语音特征通过解码器的声音特征融合以及中间摘要生成后学习得到中间摘要；对于中间摘要重新利用xlnet编码得到对于文本的进一步理解，最后再经过修正后摘要生成学习得到最终的摘要。

公开(公告)号：CN112417134A

公开(公告)日：2021-02-26

申请号：CN202011198008.5

申请日：2020-10-30

Applicant: 同济大学

Inventor： 申树藩 ,  张思琪 ,  周逸伦 ,  卫志华

IPC: G06F16/34 ,  G06F16/33 ,  G06F40/126 ,  G06F40/232 ,  G06F40/284 ,  G06K9/62 ,  G10L15/26

Abstract: 基于语音文本深度融合的摘要自动生成系统及方法，包括预处理与语音对应模块、编码器模块、解码器特征融合模块、损失函数模块。预处理与语音对应模块包括文本获取和语音对应。解码器特征融合模块包括中间摘要生成、声音特征的融合、修正后摘要生成。损失函数模块包括中间摘要损失函数、修正后摘要的评估函数。对于用户语音数据，通过文本获取得到语音对应的文本，经过语音对应得到按字对应的语音特征；文本数据经过预训练xlnet编码器，得到文本的向量表示；文本向量与语音特征通过解码器的声音特征融合以及中间摘要生成后学习得到中间摘要；对于中间摘要重新利用xlnet编码得到对于文本的进一步理解，最后再经过修正后摘要生成学习得到最终的摘要。