-
公开(公告)号:CN117874276A
公开(公告)日:2024-04-12
申请号:CN202410029979.9
申请日:2024-01-09
Applicant: 东北大学
IPC: G06F16/583 , G06N3/0455 , G06N3/08
Abstract: 本发明提供基于词生成的端到端编码器‑解码器图像描述生成方法,涉及图像描述生成技术领域。首先获取图像描述数据集全集,并根据图像描述数据集全集构建若干个参考句集合,同时获取用于模型初始化的预训练权重;根据参考句集合构建图像描述数据集子集;然后构建基于词生成的端到端编码器‑解码器的图像描述模型,包括串行的图像特征抽取器、语言模型规模适应器、词级别描述生成器、描述生成集成模块;利用预训练权重对图像描述模型进行初始化;利用构建的图像描述模型生成最终图像描述;通过设定的训练策略训练图像描述模型,得到训练好的图像描述模型;最后通过训练好的图像描述模型实现图像描述生成,提高了图像描述文本的生成效率和质量。