公开(公告)号：CN118379375A

公开(公告)日：2024-07-23

申请号：CN202410378507.4

申请日：2024-03-29

Applicant: 中国科学院自动化研究所

Inventor： 郭海云 ,  王金桥 ,  侯智严

IPC: G06T11/00 ,  G06N20/00 ,  G06T7/10 ,  G06V10/74 ,  G06V10/40

Abstract: 本发明提供一种掩码视频图像模型的快速训练方法，方法包括：获取样本图像对，样本图像对包含历史视频帧图像以及未来视频帧图像；基于未来视频帧图像中的各子区域，分别对未来视频帧图像进行掩码；基于初始掩码图像模型、将历史视频帧图像的历史图像特征作为键值对，将各掩码图像的掩码图像特征作为查询，预测得到各掩码图像对应的补全图像；基于各补全图像以及自洽机制，对初始掩码图像模型进行参数迭代得到掩码图像模型。本发明提供的方法，通过视频中的图像对参与模型训练，提升样本数据的利用率，通过自洽机制保证各未来帧的补全图像趋于一致，可以迅速收敛，同时使得模型充分学习样本数据各区域之间时间维度上的联系，以提升模型的训练效率。

公开(公告)号：CN119004099A

公开(公告)日：2024-11-22

申请号：CN202410992374.X

申请日：2024-07-23

Applicant: 中国科学院自动化研究所

Inventor： 郭海云 ,  朱宽 ,  侯智严 ,  王金桥

IPC: G06F18/214 ,  G06F18/213 ,  G06N3/084

Abstract: 本发明提供一种多模态大模型的指令微调数据的选择方法及装置，方法包括：训练一个基于人工反馈的奖励模型并将奖励模型的输出得分最大化作为目标优化多模态大模型，以得到多模态数据集的第一评分公式，奖励模型的输出得分用于对多模态大模型输出结果的质量进行评估；根据低秩适配器和Adam优化器调整第一评分公式，得到第二评分公式；根据第二评分公式，从多模态数据集中获取代表性数据集；从代表性数据集中进行多样性选择，获取既具有代表性，同时具有多样性的多模态大模型的指令微调数据。通过上述方法，使得多模态大模型在进行特定任务训练时，能够获取到高质量的微调数据，提升训练速率。