-
公开(公告)号:CN110287799B
公开(公告)日:2021-03-19
申请号:CN201910451449.2
申请日:2019-05-28
Applicant: 东南大学
Abstract: 本发明公开了一种基于深度学习的UCL语义标引方法与装置。首先利用神经网络提取视频低层语义特征;然后,基于特征灵活采样以及注意力机制,对视频自然语言描述生成模型S2VT进行改进,生成S2VT‑FFSA模型,此模型以视频低层语义特征作为输入,输出视频自然语言描述特征,并结合语音自然语言描述特征生成视频关键词等高层语义特征,一定程度上解决了语义特征提取不充分的问题;最后,利用UCL能够标引丰富语义特征的特点,提出视频内容的UCL标引方法,使视频标引更加规范化。本发明既能精确地抽取视频丰富的语义特征,又能客观、规范地标引这些特征。
-
公开(公告)号:CN109871464B
公开(公告)日:2020-12-25
申请号:CN201910042426.6
申请日:2019-01-17
Applicant: 东南大学
IPC: G06F16/732 , G06K9/00 , G06N3/04
Abstract: 本发明公开了一种基于UCL语义标引的视频推荐方法与装置。首先,本发明基于SSD神经网络模型,过滤最后一层生成的无用提案框,并且拼接中间层生成的人脸特征,对视频进行目标检测与人脸识别,提高视频信息提取的速度与精度。接着,采用UCL国家标准对视频进行语义标引,并基于检测目标的重合度,对视频进行自动分段,实现视频的规范化、细粒度标引。最后,构建知识库存储UCL之间的关系,并基于知识库提出两阶段智能化个性化推荐策略,解决传统推荐冷启动、运算复杂等问题,提高推荐系统的性能。本发明既能提高视频信息抽取的速度和精度,又能灵活、准确地进行视频个性化推荐。
-
公开(公告)号:CN109871464A
公开(公告)日:2019-06-11
申请号:CN201910042426.6
申请日:2019-01-17
Applicant: 东南大学
IPC: G06F16/732 , G06K9/00 , G06N3/04
Abstract: 本发明公开了一种基于UCL语义标引的视频推荐方法与装置。首先,本发明基于SSD神经网络模型,过滤最后一层生成的无用提案框,并且拼接中间层生成的人脸特征,对视频进行目标检测与人脸识别,提高视频信息提取的速度与精度。接着,采用UCL国家标准对视频进行语义标引,并基于检测目标的重合度,对视频进行自动分段,实现视频的规范化、细粒度标引。最后,构建知识库存储UCL之间的关系,并基于知识库提出两阶段智能化个性化推荐策略,解决传统推荐冷启动、运算复杂等问题,提高推荐系统的性能。本发明既能提高视频信息抽取的速度和精度,又能灵活、准确地进行视频个性化推荐。
-
公开(公告)号:CN110287799A
公开(公告)日:2019-09-27
申请号:CN201910451449.2
申请日:2019-05-28
Applicant: 东南大学
Abstract: 本发明公开了一种基于深度学习的UCL语义标引方法与装置。首先利用神经网络提取视频低层语义特征;然后,基于特征灵活采样以及注意力机制,对视频自然语言描述生成模型SV2T进行改进,生成SV2T-FFSA模型,此模型以视频低层语义特征作为输入,输出视频自然语言描述特征,并结合语音自然语言描述特征生成视频关键词等高层语义特征,一定程度上解决了语义特征提取不充分的问题;最后,利用UCL能够标引丰富语义特征的特点,提出视频内容的UCL标引方法,使视频标引更加规范化。本发明既能精确地抽取视频丰富的语义特征,又能客观、规范地标引这些特征。
-
-
-