公开(公告)号：CN116521909A

公开(公告)日：2023-08-01

申请号：CN202310477810.5

申请日：2023-04-28

Applicant: 南京邮电大学

Inventor： 邵曦 ,  童骁 ,  蒲康 ,  鲁葛嘉承 ,  潘超凡

IPC: G06F16/438 ,  G10L25/18 ,  G10L25/63 ,  G06V10/42 ,  G06V10/80 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于Embedding的音乐相册生成方法及系统，所述方法包括以下步骤：(1)利用VGG 16对图像进行预训练并提取图像特征；(2)将音频转换为Log Mel频谱，利用CNN14与Transformer对音频进行预训练，提取音频特征；(3)利用改进的多模态LPP算法将图像和音频特征映射到低维子空间，在每一种情感类别下，生成一种映射模型，实现音频相册的自动生成；本发明对于图像特征和音频特征可以提取到更高阶的语义特征；相比于图像与音频固有特征下，经过LPP算法后的结果，深度Embedding下取得的效果较之前有了一定的提升。