一种面向掌中木偶表演机器人的交互表演方法及系统

    公开(公告)号:CN112192585A

    公开(公告)日:2021-01-08

    申请号:CN202011089702.3

    申请日:2020-10-13

    Applicant: 厦门大学

    Abstract: 一种面向掌中木偶表演机器人的交互表演方法和系统。所述方法包括:体感数据采集步骤;机器人状态决策步骤;机器人动作计算步骤;交互表演步骤。本发明可突破人力限制,完成枯燥动作的助演;支持实时互动表演的功能,适用于展示、教学等多个互动场景;分析真实表演的运动规律,解构表演动作与形态,使编排设计更合理,具备实时智能分析用户动作的功能,使用户的体验更有沉浸感和参与感,还可以加入其他多媒体技术,控制程序可以统筹其他部分,具有可扩展性。

    一种基于深度学习的视频风格变换与自动生成方法及系统

    公开(公告)号:CN109002857A

    公开(公告)日:2018-12-14

    申请号:CN201810812471.0

    申请日:2018-07-23

    Applicant: 厦门大学

    Inventor: 佘莹莹 陈阳

    Abstract: 本发明提供一种基于深度学习的视频风格变换与自动生成方法,利用深度学习框架对拍摄主体进行分类以及风格模型训练;获取待处理视频和用户视频需求;识别待处理视频的类别,结合用户风格要求和时长要求,推荐最优分镜数和视频素材;根据用户选取的视频素材和视频素材顺序,渲染器自动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频;之后,将用户调整修改信息,作为反馈信息优化风格模型,并分析用户喜好,优化深度学习框架,形成反馈学习模型。本发明还提供一种基于深度学习的视频风格变换与自动生成系统,根据用户对视频风格的需求自动推荐风格素材,并自动完成对视频片段的风格渲染和对整体视频的渲染,生成特定风格视频。

    一种面向机器人的多模态融合情感计算方法及系统

    公开(公告)号:CN108960191B

    公开(公告)日:2021-12-14

    申请号:CN201810813473.1

    申请日:2018-07-23

    Applicant: 厦门大学

    Inventor: 佘莹莹 陈锦 舒杨

    Abstract: 本发明提供一种面向机器人的多模态融合情感计算方法,包括:获取得到多模态信息,通过实时捕捉与机器人交互的人的语言信息以及非语言信息;构建不同信息的处理通道进行特征分类与识别,包括语言信息和非语言信息的特征分类与识别;对多模态信息进行处理,通过PAD模型与OCC模型将信息映射到PAD三维空间上;对各个模态信息在决策层融合时进行时序对齐,进行基于时序的情感维度空间的计算。本发明还提供一种面向机器人的多模态融合情感计算系统,通过获取用户的多模态信息,包括非语言与语言信息,使用PAD模型、OCC模型,以及线性回归模型分别对语言信息和非语言信息进行融合之后,再使用线性回归模型进行最终融合,实现机器人更佳精确的情感计算。

    一种使用机械臂模拟掌中木偶表演的方法

    公开(公告)号:CN110694286B

    公开(公告)日:2020-11-10

    申请号:CN201911069319.9

    申请日:2019-11-05

    Applicant: 厦门大学

    Abstract: 一种使用机械臂模拟掌中木偶表演的方法,涉及木偶表演。包括以下步骤:1)机械臂结构设计:根据真人肢体骨骼和掌中木偶整体构造,设计出机械臂各个子关节的基础原型,映射为具体的电机构件进行拼装;在操控时,将木偶直接包裹在机械臂小臂部分上;2)机械臂动作仿真;3)通讯指令转化:根据系统的通讯协议,将三维仿真的关键帧姿态结果转化为相应的指令格式;4)建立、存储及调用机械臂动作库;5)控制机械臂模拟掌中木偶表演。引入机械臂作为掌中木偶戏表演的物质载体,实现该传统技艺的人机迁移,可应用于表演、展示、教学等多个互动场景,为探索开创非物质文化遗产的数字化保护与传播提供新模式。

    基于交互引导及云端增强渲染的视频生成方法及系统

    公开(公告)号:CN110012237A

    公开(公告)日:2019-07-12

    申请号:CN201910274605.2

    申请日:2019-04-08

    Applicant: 厦门大学

    Inventor: 佘莹莹 何豪 陈阳

    Abstract: 本发明提供一种基于交互引导及云端增强渲染的视频生成方法,包括步骤S1、在客户端构建前端引导的多模式交互内容,根据多模式交互内容动态地引导用户进行视频拍摄;步骤S2、在云端对用户所拍摄的视频以及与视频相关联的素材进行增强渲染,从而生成完整的客制化视频。本发明还提供一种基于交互引导及云端增强渲染的视频生成系统,通过本发明的技术方案可有效解决现有用户在视频制作过程中存在的高门槛、高成本等问题。

    基于物体表征状态的眼部关注偏好预测方法

    公开(公告)号:CN108921199A

    公开(公告)日:2018-11-30

    申请号:CN201810597488.9

    申请日:2018-06-11

    Applicant: 厦门大学

    Inventor: 佘莹莹 何豪

    Abstract: 本发明基于物体表征状态的眼部关注偏好预测方法,通过使用标签传播、决策树以及SVM三种机器学习分类算法来学习眼动状态与二维屏幕上的不同表征状态的关联性,构建针对不同人对不同表征状态物体的眼部关注偏好预测模型,在获取用户在二维屏幕上的眼部专注点坐标数据和二维屏幕上的物体表征状态数据后,利用眼部关注偏好预测模型来预测用户的关注偏好程度,并结合用户所处的实时环境信息,对用户的行为趋势与偏好趋势进行预测和分析。

    一种基于机械臂的移动端短视频广告自动拍摄与生成的方法

    公开(公告)号:CN111629269B

    公开(公告)日:2021-05-25

    申请号:CN202010452022.7

    申请日:2020-05-25

    Applicant: 厦门大学

    Abstract: 本发明提供了一种基于机械臂的移动端短视频广告自动拍摄与生成的方法或系统,所述方法包括:(1)用户交互确定视频风格及商品信息,系统结合视频脚本模型生成视频脚本;(2)系统规划机械臂运动路径规划进行自动拍摄,通过线框图交互引导用户布置场景;(3)基于显著性区域算法分析待剪辑视频,对其进行标签化处理。基于标签结合脚本对视频进行剪辑合成渲染。本发明开拓探索了短视频广告生成的人机共协新模式。显著提升短视频广告制作的效率,优化短视频广告的质量。

    一种观众参与的提线木偶表演的人偶交互方法

    公开(公告)号:CN109333544B

    公开(公告)日:2020-07-17

    申请号:CN201811055538.7

    申请日:2018-09-11

    Applicant: 厦门大学

    Abstract: 本发明提供一种观众参与的提线木偶表演的人偶交互方法,包括:1、初始化;2、预设主线控制指令;3、执行主线控制指令;4、判断主线控制指令是否执行完毕;5、判断Kinect识别范围是否有人;6、进入互动模式,识别用户的手势和声音,判断用户的手势和声音与规范化的手势和声音是否匹配,若完全不匹配,则进入步骤3;若匹配,则识别其匹配程度,根据不同的匹配程度激活不同的辅线控制指令;7、执行辅线控制指令;8、判断辅线控制指令是否执行完毕。本发明当观众进入交互设备Kinect的识别范围,系统将由预设的主线剧情表演进入互动模式,舞美、声音、提线木偶都受观众控制,达到观众参与表演的效果。

    一种使用机械臂模拟掌中木偶表演的方法

    公开(公告)号:CN110694286A

    公开(公告)日:2020-01-17

    申请号:CN201911069319.9

    申请日:2019-11-05

    Applicant: 厦门大学

    Abstract: 一种使用机械臂模拟掌中木偶表演的方法,涉及木偶表演。包括以下步骤:1)机械臂结构设计:根据真人肢体骨骼和掌中木偶整体构造,设计出机械臂各个子关节的基础原型,映射为具体的电机构件进行拼装;在操控时,将木偶直接包裹在机械臂小臂部分上;2)机械臂动作仿真;3)通讯指令转化:根据系统的通讯协议,将三维仿真的关键帧姿态结果转化为相应的指令格式;4)建立、存储及调用机械臂动作库;5)控制机械臂模拟掌中木偶表演。引入机械臂作为掌中木偶戏表演的物质载体,实现该传统技艺的人机迁移,可应用于表演、展示、教学等多个互动场景,为探索开创非物质文化遗产的数字化保护与传播提供新模式。

Patent Agency Ranking