公开(公告)号：CN118349676A

公开(公告)日：2024-07-16

申请号：CN202410463125.1

申请日：2024-04-17

Applicant: 安徽中烟工业有限责任公司

Inventor： 叶为全 ,  王莉 ,  汪飞 ,  裴文浩 ,  孔俊 ,  苏明 ,  陈凯 ,  杨秉宇 ,  魏振春 ,  谢骥 ,  薛训明

IPC: G06F16/35 ,  G06F40/30 ,  G06F18/25 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/09

Abstract: 本发明公开了一种基于多模态融合的烟草工业数据分级方法，包括：1将多模态烟草工业文本数据和图像数据输入基于Transformer的分级网络中处理；2、将处理后的结果输入模态特征提取器中提取各模态内的特征；3、将提取出的烟草图片特征和文本特征输入多模态特征融合模块中提取模态间特征；4、将图像结合特征和文本结合特征输入分级器得到预测类别概率向量，并选取最大概率值所对应的类别作为预测标签；5、利用预测标签和真实标签构建交叉熵损失，并对基于Transformer的分级网络进行训练和优化。本发明能很好地发掘多模态数据之间的耦合关系，从而能精准地判断多模态烟草数据的密级，降低人力成本。