公开(公告)号：CN118551220B

公开(公告)日：2025-03-28

申请号：CN202410597545.9

申请日：2024-05-14

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 户保田 ,  李云鑫 ,  钟万淇 ,  张民

IPC: G06F18/214 ,  G06N5/04

Abstract: 本发明公开了一种基于混合专家结构大模型训练的多模态数据解析方法，所述方法包括：获取历史多模态数据，并对历史多模态数据进行预处理，得到多组预处理多模态数据；获取预设大规模训练模型，根据预设大规模训练模型中的专家网络数量确定训练并行模式，并根据训练并行模式对多组预处理多模态数据进行切分处理，构建得到多模态数据训练集；根据多模态数据训练集对预设大规模训练模型进行模型训练，得到多模态数据解析模型；获取当前多模态数据，并将当前多模态数据输入至所述多模态数据解析模型，得到多模态数据解析结果。本发明通过构建多模态数据解析模型能够支持多模态数据并行处理以及多专家网络进行并行训练，实现了对多模态数据的高效解析。

公开(公告)号：CN118551220A

公开(公告)日：2024-08-27

申请号：CN202410597545.9

申请日：2024-05-14

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 户保田 ,  李云鑫 ,  钟万淇 ,  张民

IPC: G06F18/214 ,  G06N5/04

Abstract: 本发明公开了一种基于混合专家结构大模型训练的多模态数据解析方法，所述方法包括：获取历史多模态数据，并对历史多模态数据进行预处理，得到多组预处理多模态数据；获取预设大规模训练模型，根据预设大规模训练模型中的专家网络数量确定训练并行模式，并根据训练并行模式对多组预处理多模态数据进行切分处理，构建得到多模态数据训练集；根据多模态数据训练集对预设大规模训练模型进行模型训练，得到多模态数据解析模型；获取当前多模态数据，并将当前多模态数据输入至所述多模态数据解析模型，得到多模态数据解析结果。本发明通过构建多模态数据解析模型能够支持多模态数据并行处理以及多专家网络进行并行训练，实现了对多模态数据的高效解析。