公开(公告)号：CN110991464B

公开(公告)日：2023-05-23

申请号：CN201911087722.4

申请日：2019-11-08

Applicant: 华南理工大学

Inventor： 许勇 ,  陈佳辉 ,  全宇晖

IPC: G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开的一种基于深度多模态数据融合的商品点击率预测方法，包括以下步骤：获取商品点击率数据并进行预处理，得到预处理后的商品点击率数据；将预处理后的商品点击率数据进行特征提取，得到商品图片特征、商品文本特征、商品品牌特征；将提取的特征通过内部注意力机制得到加权的商品图片特征和加权的商文本特征，再通过图片和文本间注意力机制进行特征融合，得到商品特征；利用商品特征通过前馈神经网络进行商品点击率预测，得到商品预测结果；构建端到端模型，利用训练数据进行参数学习与更新；本发明很好地融合图片，文本以及品牌等多模态信息，形成有效的商品特征描述，可应用于商品点击率预测。

公开(公告)号：CN110991464A

公开(公告)日：2020-04-10

申请号：CN201911087722.4

申请日：2019-11-08

Applicant: 华南理工大学

Inventor： 许勇 ,  陈佳辉 ,  全宇晖

IPC: G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开的一种基于深度多模态数据融合的商品点击率预测方法，包括以下步骤：获取商品点击率数据并进行预处理，得到预处理后的商品点击率数据；将预处理后的商品点击率数据进行特征提取，得到商品图片特征、商品文本特征、商品品牌特征；将提取的特征通过内部注意力机制得到加权的商品图片特征和加权的商文本特征，再通过图片和文本间注意力机制进行特征融合，得到商品特征；利用商品特征通过前馈神经网络进行商品点击率预测，得到商品预测结果；构建端到端模型，利用训练数据进行参数学习与更新；本发明很好地融合图片，文本以及品牌等多模态信息，形成有效的商品特征描述，可应用于商品点击率预测。