公开(公告)号：CN118708339A

公开(公告)日：2024-09-27

申请号：CN202410766522.6

申请日：2024-06-14

Applicant: 中国移动通信集团浙江有限公司 ,  中国移动通信集团有限公司 ,  中国移动(浙江)创新研究院有限公司 ,  浙江移动信息系统集成有限公司

Inventor： 林坚 ,  周正寅 ,  陈建忠 ,  余立 ,  严昱超 ,  金炜众 ,  侯一曼 ,  梅敬武 ,  葛子贤 ,  刘世博 ,  蒋健

IPC: G06F9/50 ,  G06F8/36 ,  G06N5/04

Abstract: 本发明提供一种多模态语言模型的部署方法、装置、设备、介质和产品，属于人工智能技术领域，该方法包括：对编码器簇集合中的任一编码器簇、映射器簇集合中的任一映射器簇以及生成式语言模型集合中的任一生成式语言模型进行动态组合；对于任一多模态推理任务，从所有组合中选择任一符合需求约束的组合构成多模态语言模型，对多模态语言模型进行部署，以执行多模态推理任务。本发明通过编码器簇、映射器簇和生成式语言模型的动态组合构建多模态语言模型执行多模态推理任务，且编码器簇之间可复用部分编码器，映射器簇之间可复用部分映射器，使得各个计算性能高的模块被充分复用，以节约计算性能高的模块所占用的冗余算力、内存等资源。