基于多模态辅助的实现跨语言沟通系统及方法

    公开(公告)号:CN102262624A

    公开(公告)日:2011-11-30

    申请号:CN201110225342.X

    申请日:2011-08-08

    Abstract: 本发明提出基于多模态辅助的实现跨语言沟通系统及方法,所述方法利用实现跨语言沟通系统中的前台交互模块、数据管理模块和语义关联模块,通过分析谈话内容,利用自然语言处理工具能够自动地提取对话中的中心议题及关键字,并语义关联模块根据检测到的中心议题与关键字信息,自动地搜索相关的图片和视频片段并以恰当的方式提供给谈话双方,从而达到促进彼此的了解和沟通。这里,作为辅助理解的图片和视频,既可以通过搜索的方法从网络自动扒取,也可以从一个预先已标注好的多媒体库中直接获取。最后,系统根据谈话双方的文本聊天信息以及与之相对应的图片和视频内容,生成一个多模态的谈话摘要。

    一种基于角色的电视剧视频分析方法

    公开(公告)号:CN102521340B

    公开(公告)日:2014-09-03

    申请号:CN201110406765.1

    申请日:2011-12-08

    Abstract: 本发明公开了一种基于角色的电视剧视频分析,通过人名与人脸的对应关系来关联剧本与视频,使得语义的场景结构能够准确的由剧本映射到视频中。首先,从剧本和视频中分别提取人名与人脸直方图表示,然后利用一种生成式模型对电视剧的拍摄过程进行建模。从模型参数的学习中,可以无监督地学习到人名与人脸的对应关系;从隐状态的推理中,可以最优地得到视频场景的分割。本发明能够在无需人工标注的情况下自动地识别识别视频人脸的身份,特别适用于大规模的视频内容分析;同时,由于引入剧本文件做指导,得到的场景划分具有语义可理解、可比较的优势。

    一种基于角色的电视剧视频分析方法

    公开(公告)号:CN102521340A

    公开(公告)日:2012-06-27

    申请号:CN201110406765.1

    申请日:2011-12-08

    Abstract: 本发明公开了一种基于角色的电视剧视频分析,通过人名与人脸的对应关系来关联剧本与视频,使得语义的场景结构能够准确的由剧本映射到视频中。首先,从剧本和视频中分别提取人名与人脸直方图表示,然后利用一种生成式模型对电视剧的拍摄过程进行建模。从模型参数的学习中,可以无监督地学习到人名与人脸的对应关系;从隐状态的推理中,可以最优地得到视频场景的分割。本发明能够在无需人工标注的情况下自动地识别识别视频人脸的身份,特别适用于大规模的视频内容分析;同时,由于引入剧本文件做指导,得到的场景划分具有语义可理解、可比较的优势。

Patent Agency Ranking