-
公开(公告)号:CN117112828A
公开(公告)日:2023-11-24
申请号:CN202311298039.1
申请日:2023-10-09
Applicant: 桂林电子科技大学
IPC: G06F16/583 , G06F16/58 , G06F40/126 , G06T5/00
Abstract: 本发明公开了一种基于分支预测的低照度图像描述方法,包括如下步骤:1)处理图像描述数据集;2)建立图像描述词库;3)使用CLIP对图像及文本数据进行编码;4)对编码得到的特征通过语义筛选器得到图像的单词池;5)对图像进行增强和分支预测得到一组针对不同主体优化的注意力特征图;6)对每个注意力特征图结合单词池得到与特征图匹配度高的文本特征;7)对得到文本特征和图像特征解码生成描述语句。本发明采用分支预测的方法降低了模型对低照度图像特征的依赖程度,能够有效提高在低照度环境下图像描述模型的性能。