Patent search ap:("哈尔滨工业大学") AND inv:"徐啸" Page 1

1.

发明公开
一种面向多模态大模型的多粒度数据集构建方法、设备以及存储介质审中-实审

公开(公告)号：CN119274192A

公开(公告)日：2025-01-07

申请号：CN202411292090.6

申请日：2024-09-14

Applicant: 哈尔滨工业大学

Inventor： 车万翔 , 徐啸 , 牛天昊 , 朱庆福 , 覃立波

IPC: G06V30/19 , G06V30/16

Abstract: 本发明属于多模态大模型领域，尤其涉及一种面向多模态大模型的多粒度数据集构建方法、设备以及存储介质。本发明目的是解决现有多模态大模型存在对图像内容理解能力差的问题。提出了种面向多模态大模型的多粒度数据集构建方法，包括：收集数据集；对数据集中的所有图像进行处理，得到预处理后的图像；预处理后的细粒度对象注释；数据集中所有图像的粗粒度字幕注释；细粒度对象类别标签描述；最终构建多模态大模型的多粒度数据集。多模态大模型的多粒度数据集解决了现有的多模态大模型训练集只使用粗粒度注释，忽视了细粒度注释，从而导致了模型对概念理解的不够深入，限制了模型的多模态任务性能差的问题。

Patent Agency Ranking