公开(公告)号：CN113312503A

公开(公告)日：2021-08-27

申请号：CN202110416284.2

申请日：2021-04-20

Applicant: 桂林电子科技大学 ,  桂林笑微酒店管理有限公司

Inventor： 赵宝全 ,  汪飞 ,  王洪斐 ,  冯嘉浩 ,  罗笑南

IPC: G06F16/44 ,  G06F16/438 ,  G06F16/45 ,  G06F16/74 ,  G06F16/738 ,  G06F16/75 ,  G06F40/295 ,  G06K9/00 ,  G06N5/04 ,  G06N7/00

Abstract: 本发明以视觉通道和语音通道为主要研究对象，综合运用视频分割、图像语义理解、自然语言处理等多种技术，设计了一种新的面向教学类视频的图文内容摘要和可视化浏览方法，以辅助用户对视频进行内容探索和定位，提升其信息获取效率和视频浏览体验。具体地说，本发明首先对视频视觉内容进行分析和处理，通过分割的每一个语义单元提取关键帧并对其进行图像语义理解和显著性区域检测，得到视频的视觉实体；其次，使用语音识别和自然语言处理的技术对音频信息进行处理，提取主题句和关键词等文本实体；最后，为每个主题单元分配权重，将视频的视觉实体和文本实体进行语义关联映射，并将其封装成图文并茂的可视化内容摘要。

公开(公告)号：CN113326398A

公开(公告)日：2021-08-31

申请号：CN202110545150.0

申请日：2021-05-21

Applicant: 桂林电子科技大学 ,  桂林笑微酒店管理有限公司

Inventor： 赵宝全 ,  汪飞 ,  王洪斐 ,  冯嘉浩 ,  罗笑南

IPC: G06F16/738 ,  G06F16/75 ,  G06F16/783 ,  G06T7/11 ,  G06T7/13

Abstract: 本发明介绍了一种新的视频动态合成缩略图生成方法，通过分析和提取视频内容的显著性信息，将其融合成具有时序信息的动态图像序列来作为视频动态缩略图封面，提供有效和丰富的视觉线索，帮助用户提高其信息获取效率。具体地说，首先使用镜头分割算法将视频切分为一系列的镜头和子镜头等基本结构化单元；其次，进行关键帧提取，并使用图像聚类算法将提取到的关键帧进行聚类；第三，对每一类按照该类所包含的关键帧所对应的镜头时长的总和进行重要性度量，并按照重要性大小对类进行降序排列；第四，从每一个类中选取一个片段，并对片段中的帧进行显著性区域检测；最后，使用基于重要性的内容布局算法将提取到的片段融合为一个动态的合成缩略图。