公开(公告)号：CN119380679A

公开(公告)日：2025-01-28

申请号：CN202411559254.7

申请日：2024-11-04

Applicant: 武汉大学

Inventor： 李祖超 ,  潘子怡 ,  胡继亮 ,  李佳佳 ,  王平 ,  张乐飞

IPC: G10H1/00 ,  G10H1/36

Abstract: 本发明公开一种宋词音乐复原的模型构建方法及装置，构建方法包括：构建宋词音乐数据集；构建宋词音乐复原模型，包括：歌词到旋律生成模块，用于根据输入的宋词生成旋律；旋律到清唱生成模块，用于根据所述旋律生成清唱；旋律到伴奏生成模块，用于根据所述旋律生成伴奏；合并复原模块，用于合并所述旋律、清唱和伴奏，生成完整的音乐作品；利用所述宋词音乐数据集对构建的宋词音乐复原模型进行训练，得到训练好的宋词音乐复原模型。本发明相对于现有技术，实现了宋词音乐的高质量复原。

公开(公告)号：CN119066543A

公开(公告)日：2024-12-03

申请号：CN202410999164.3

申请日：2024-07-24

Applicant: 武汉大学

Inventor： 李祖超 ,  潘子怡 ,  张乐飞

IPC: G06F18/2431 ,  G10L25/63 ,  G10L25/57 ,  G10L25/30 ,  G06F18/22 ,  G06F18/25 ,  G06F16/35 ,  G06N3/094 ,  G06N3/0455 ,  G06N3/084

Abstract: 本申请涉及一种面向多模态情感分析的多粒度跨模态对比学习方法及装置，其中，方法包括：对文本模态、视觉模态和音频模态分别进行编码，得到编码后的文本模态、编码后的视觉模态和编码后的音频模态；构建样本内正负对和样本间正负对，根据样本内正负对进行样本内对比学习，并根据样本间正负对进行样本间对比学习；根据总体对比损失函数、多模态预测损失函数和单模态预测损失函数优化多粒度跨模态对比学习模型，以利用优化后的多粒度跨模态对比学习模型得到目标多模态的情感分析结果。由此，解决了相关技术将各个模态视为平等的，忽略了模态间的差异性，导致在融合过程中各模态未能充分交互，易造成重要信息丢失，影响最终结果的准确性等问题。