公开(公告)号：CN110096986A

公开(公告)日：2019-08-06

申请号：CN201910333050.4

申请日：2019-04-24

Applicant: 东北大学

Inventor： 王斌 ,  杨晓春 ,  张斯婷

IPC: G06K9/00 ,  G06F16/953 ,  G06F16/33 ,  G06Q50/10 ,  G06N3/04

Abstract: 本发明提供一种基于图像识别与文本融合的博物馆展品智能导览方法，涉及图像识别与文本融合技术领域。本发明步骤如下：步骤1：收集展品图像，得到展品图片集合；步骤2：建立基于卷积神经网络结构的识别模型；使用图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；步骤3：根据识别结果作为关键词进行相关资讯的爬取收集，获得资讯数据集；步骤4：获取的资讯数据集中提取摘要T；步骤5：将步骤4中得到的摘要T进行资讯融合；本方法能够提高参观者参观体验，降低博物馆日常运营费用，减少人力成本。

公开(公告)号：CN110096986B

公开(公告)日：2022-04-12

申请号：CN201910333050.4

申请日：2019-04-24

Applicant: 东北大学

Inventor： 王斌 ,  杨晓春 ,  张斯婷

IPC: G06V10/764 ,  G06F16/953 ,  G06F16/33 ,  G06Q50/10 ,  G06N3/04

Abstract: 本发明提供一种基于图像识别与文本融合的博物馆展品智能导览方法，涉及图像识别与文本融合技术领域。本发明步骤如下：步骤1：收集展品图像，得到展品图片集合；步骤2：建立基于卷积神经网络结构的识别模型；使用图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；步骤3：根据识别结果作为关键词进行相关资讯的爬取收集，获得资讯数据集；步骤4：获取的资讯数据集中提取摘要T；步骤5：将步骤4中得到的摘要T进行资讯融合；本方法能够提高参观者参观体验，降低博物馆日常运营费用，减少人力成本。