-
公开(公告)号:CN112308952A
公开(公告)日:2021-02-02
申请号:CN202011101066.1
申请日:2020-10-15
Applicant: 复旦大学
Abstract: 本发明属于计算机技术领域,具体为模仿给定视频中人物动作的3D角色动作生成系统和方法。本发明系统包括初始人体重建、规则数据meshcuboid构建、mesh2mesh平滑、人体姿态迁移四个模块;对于包含人体动作源视频,由初始人体重建模块恢复动作扮演者的mesh源序列;由规则数据meshcuboid构建模块将初始mesh序列构建成普通的规则数据meshcuboid;由mesh2mesh平滑模块通过3D卷积对初始的mesh序列进行进一步的平滑,使得mesh序列的动作更加连贯;最后由人体姿态迁移模块逐帧将姿态从源mesh迁移到目标mesh上,实现将源视频中包含的动作序列迁移到目标3D角色中。本发明可以生成跟源视频动作一致的mesh序列,并提升mesh序列的时序连贯性。
-
公开(公告)号:CN110188668B
公开(公告)日:2020-09-25
申请号:CN201910453199.6
申请日:2019-05-28
Applicant: 复旦大学
Abstract: 本发明属于计算机技术领域,具体涉及面向小样本视频动作分类的方法。本发明针对现有小样本视频动作分类的设定存在训练集与测试集类别交叉的问题,提出基于智能人体的小样本视频识别新模式,利用3D智能虚拟人体与虚拟环境交互的方式生成相同动作的大量虚拟视频,为深度神经网络提供训练样本;此外,还提出基于视频段替换的数据增强方法,通过用语义相近的视频片段替换原视频中某个片段的方法扩充有限的数据集。实验表明该方法对于小样本视频动作识别能起到很大的促进作用,且具有较好的鲁棒性与较强的算法可移植性。
-
公开(公告)号:CN115424035A
公开(公告)日:2022-12-02
申请号:CN202211036412.1
申请日:2022-08-28
Applicant: 复旦大学
IPC: G06V10/44 , G06N3/04 , G06N3/08 , G06V10/764 , G06V10/774 , G06V10/82
Abstract: 本发明属于计算机技术领域,具体为基于目标引导动态Mixup的跨域小样本图像识别系统。本发明包括动态Mixup混合比例生成模块、Mixup‑3T图像分类模块以及双层meta‑learning训练模块;本发明先通过动态Mixup混合比例生成模块生成目标引导的Mixup混合比例,之后将Mixup混合比例以及待分类的图像输入Mixup‑3T图像分类模块进行分类;通过双层meta‑learning训练模块训练动态Mixup混合比例生成模块以及Mixup‑3T图像分类模块。本发明可以针对目标域以及当前模型生成最优的Mixup混合比例,并利用该混合比例提升跨域小样本图像分类的精确度。
-
公开(公告)号:CN115423000A
公开(公告)日:2022-12-02
申请号:CN202211001654.7
申请日:2022-08-19
Applicant: 复旦大学
Abstract: 本发明属于计算机技术领域,具体为一种基于多教师知识蒸馏的跨域小样本识别方法。本发明方法包括:构建特征提取网络模型,小样本分类器,构建动态领域拆分模型;连接特征提取网络以及小样本分类器构成源域教师模型;连接特征提取网络以及小样本分类器构成目标域教师模型;连接特征提取网络以及小样本分类器,对特征提取网络中的特定几层插入动态领域拆分模型,构成领域可拆分的学生模型;本方法用源域数据和目标域数据都各自学习一个教师模型,然后以知识蒸馏的方法将两个教师模型中的知识逐步蒸馏到学生模型中。本发明可以在源域和目标域存在巨大领域差异的情况下,在仅有少量标注且类别未可知的目标域测试数据上达到较好的类别识别能力。
-
公开(公告)号:CN112308952B
公开(公告)日:2022-11-18
申请号:CN202011101066.1
申请日:2020-10-15
Applicant: 复旦大学
Abstract: 本发明属于计算机技术领域,具体为模仿给定视频中人物动作的3D角色动作生成系统和方法。本发明系统包括初始人体重建、规则数据meshcuboid构建、mesh2mesh平滑、人体姿态迁移四个模块;对于包含人体动作源视频,由初始人体重建模块恢复动作扮演者的mesh源序列;由规则数据meshcuboid构建模块将初始mesh序列构建成普通的规则数据meshcuboid;由mesh2mesh平滑模块通过3D卷积对初始的mesh序列进行进一步的平滑,使得mesh序列的动作更加连贯;最后由人体姿态迁移模块逐帧将姿态从源mesh迁移到目标mesh上,实现将源视频中包含的动作序列迁移到目标3D角色中。本发明可以生成跟源视频动作一致的mesh序列,并提升mesh序列的时序连贯性。
-
公开(公告)号:CN110188668A
公开(公告)日:2019-08-30
申请号:CN201910453199.6
申请日:2019-05-28
Applicant: 复旦大学
Abstract: 本发明属于计算机技术领域,具体涉及面向小样本视频动作分类的方法。本发明针对现有小样本视频动作分类的设定存在训练集与测试集类别交叉的问题,提出基于智能人体的小样本视频识别新模式,利用3D智能虚拟人体与虚拟环境交互的方式生成相同动作的大量虚拟视频,为深度神经网络提供训练样本;此外,还提出基于视频段替换的数据增强方法,通过用语义相近的视频片段替换原视频中某个片段的方法扩充有限的数据集。实验表明该方法对于小样本视频动作识别能起到很大的促进作用,且具有较好的鲁棒性与较强的算法可移植性。
-
-
-
-
-