-
公开(公告)号:CN113158584A
公开(公告)日:2021-07-23
申请号:CN202110566230.4
申请日:2021-05-24
Applicant: 北京邮电大学
Abstract: 本发明提出了多模态特征嵌入预训练网络搭配效果评估的上界替代法,属于计算机视觉多模态技术领域。本发明提出的方法包括步骤:1)将所有模态特征嵌入预训练网络所提取到的特征进行遍历搭配;2)对得到的所有的搭配情况,对任务网络按照正式训练时提前设定好的参数,利用测试集部分进行训练;3)、对得到的每种搭配对应的模型,对其在测试集上进行测试,记录每一种搭配所对应的测试结果;4)、对所对应的每一种测试结果,选择效果最好的结果对应的模态特征嵌入预训练网络搭配;5)、对选出的网络搭配,将任务模型在这种搭配下所对应的训练集的特征下进行训练,训练得到的模型就是最优的模型。