公开(公告)号：CN116610828A

公开(公告)日：2023-08-18

申请号：CN202310440703.5

申请日：2023-04-23

Applicant: 苏州大学

Inventor： 杨晓瑞 ,  陈伟 ,  赵雷

IPC: G06F16/48 ,  G06F16/483 ,  G06V20/40 ,  G06V10/44 ,  G06N3/0464 ,  G10L25/30

Abstract: 本发明涉及一种基于多模态数据的电影类型预测方法和系统，方法包括：对每部电影的文本、视频、海报和音频数据分别进行嵌入，得到文本、视频、海报和音频嵌入；将文本嵌入和视频嵌入进行处理，得到文本和视频特征；同时对海报嵌入和音频嵌入分别进行处理，得到海报特征和音频特征；将每部电影的文本和视频特征、海报特征和音频特征进行融合，得到所有电影的多模态数据；基于电影元数据构建不同电影的多模态电影图，并对多模态电影图和所有电影的多模态数据进行学习，得到电影嵌入；根据电影嵌入对不同电影类型进行分类。本发明在电影类型分类任务中考虑多模态数据之间的交互，并加入了电影元数据，有效提高电影类型分类结果。

公开(公告)号：CN116610828B

公开(公告)日：2024-09-20

申请号：CN202310440703.5

申请日：2023-04-23

Applicant: 苏州大学

Inventor： 杨晓瑞 ,  陈伟 ,  赵雷

IPC: G06F16/48 ,  G06F16/483 ,  G06V20/40 ,  G06V10/44 ,  G06N3/0464 ,  G10L25/30

Abstract: 本发明涉及一种基于多模态数据的电影类型预测方法和系统，方法包括：对每部电影的文本、视频、海报和音频数据分别进行嵌入，得到文本、视频、海报和音频嵌入；将文本嵌入和视频嵌入进行处理，得到文本和视频特征；同时对海报嵌入和音频嵌入分别进行处理，得到海报特征和音频特征；将每部电影的文本和视频特征、海报特征和音频特征进行融合，得到所有电影的多模态数据；基于电影元数据构建不同电影的多模态电影图，并对多模态电影图和所有电影的多模态数据进行学习，得到电影嵌入；根据电影嵌入对不同电影类型进行分类。本发明在电影类型分类任务中考虑多模态数据之间的交互，并加入了电影元数据，有效提高电影类型分类结果。