一种基于文本、音频两种模态的语义通信传输方法

    公开(公告)号:CN117854477A

    公开(公告)日:2024-04-09

    申请号:CN202410087439.6

    申请日:2024-01-22

    Applicant: 复旦大学

    Inventor: 邱世英 胡蝶

    Abstract: 本发明属于语义通信技术领域,具体为一种基于文本、音频两种模态的语义通信传输方法。本发明将深度学习与语义通信相结合,包含构建深度学习网络,深度学习网络包括:文本语义特征提取模块、音频特征信息提取模块以及语音合成模块;原始语音信号通过文本语义特征提取模块得到原始语音信号的文本描述;由音频特征信息提取模块得到原始语音信号的音频信息包括持续时间、音高和功率信息;两种数据信息整合后进行信源信道联合编码并送到接收方;接收方经过解码得到文本描述和语音信息,通过语音合成模块生成符合要求的语音信号。本发明可显著降低信道资源开销,提高传输效率,极大地提升语音通信的交流质量和用户体验。

Patent Agency Ranking