-
公开(公告)号:CN112308952A
公开(公告)日:2021-02-02
申请号:CN202011101066.1
申请日:2020-10-15
Applicant: 复旦大学
Abstract: 本发明属于计算机技术领域,具体为模仿给定视频中人物动作的3D角色动作生成系统和方法。本发明系统包括初始人体重建、规则数据meshcuboid构建、mesh2mesh平滑、人体姿态迁移四个模块;对于包含人体动作源视频,由初始人体重建模块恢复动作扮演者的mesh源序列;由规则数据meshcuboid构建模块将初始mesh序列构建成普通的规则数据meshcuboid;由mesh2mesh平滑模块通过3D卷积对初始的mesh序列进行进一步的平滑,使得mesh序列的动作更加连贯;最后由人体姿态迁移模块逐帧将姿态从源mesh迁移到目标mesh上,实现将源视频中包含的动作序列迁移到目标3D角色中。本发明可以生成跟源视频动作一致的mesh序列,并提升mesh序列的时序连贯性。
-
公开(公告)号:CN112307847A
公开(公告)日:2021-02-02
申请号:CN201910705947.5
申请日:2019-08-01
Applicant: 复旦大学
Abstract: 本发明提供一种具有强大的特征表征能力和泛化能力的基于指导的多尺度注意力行人重识别深度学习系统,其特征在于,包括:行人图片获取部,用于获取行人图片,行人图片包含行人待检测图片以及行人候选图片;图片特征提取部,用于根据预先训练完成的基于指导的多尺度特征提取模型提取行人图片在各个尺度下的全局特征和局部特征;图片特征拼接部,用于分别拼接各张行人图片的全局特征以及局部特征作为对应各张行人图片的行人图片特征;特征距离计算部,用于根据各个行人图片特征计算不同的行人图片特征之间的特征距离;相似程度判断部,用于根据各个特征距离之间的远近判断行人待检测图片与行人候选图片的相似程度作为行人重识别结果。
-
公开(公告)号:CN110188668B
公开(公告)日:2020-09-25
申请号:CN201910453199.6
申请日:2019-05-28
Applicant: 复旦大学
Abstract: 本发明属于计算机技术领域,具体涉及面向小样本视频动作分类的方法。本发明针对现有小样本视频动作分类的设定存在训练集与测试集类别交叉的问题,提出基于智能人体的小样本视频识别新模式,利用3D智能虚拟人体与虚拟环境交互的方式生成相同动作的大量虚拟视频,为深度神经网络提供训练样本;此外,还提出基于视频段替换的数据增强方法,通过用语义相近的视频片段替换原视频中某个片段的方法扩充有限的数据集。实验表明该方法对于小样本视频动作识别能起到很大的促进作用,且具有较好的鲁棒性与较强的算法可移植性。
-
公开(公告)号:CN109858392A
公开(公告)日:2019-06-07
申请号:CN201910026923.7
申请日:2019-01-11
Applicant: 复旦大学
Abstract: 本发明公开了一种用于化妆前后人脸图像自动识别方法,包括如下步骤S1,对人脸数据进行特征提取;S2,使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集;S3,构建多示例的训练数据集;S4,采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取,其后采用注意力机制的特征信息融合方法获得训练数据的最终特征,并不断训练和微调网络;S5,不断迭代重复步骤S2和步骤S3,直至网络收敛,实现人脸识别网络的训练;S6,在测试数据集上,给定待识别的化妆前后人脸数据,通过训练得到的人脸识别网络进行特征提取和相似度计算,从而实现人脸识别。
-
公开(公告)号:CN108846412A
公开(公告)日:2018-11-20
申请号:CN201810431168.6
申请日:2018-05-08
Applicant: 复旦大学
IPC: G06K9/62
Abstract: 本发明属于机器学习算法技术领域,具体为一种泛化零样本学习的方法。本发明方法中,首先利用极值理论、韦伯-支持向量机、K-S检验技术,将特征空间分为三类:已知类即有样本的,未知类即零样本的,以及不确定类即既可能是已知类又可能是未知类的;对于已知类别直接利用监督学习的方法得到其类别名称;对于未知类别使用零样本学习的方法得到其类别的名称;对于不确定类,将其中最有可能的已知类和其他所有的未知类在语义空间进行可能性排序,并只考虑增加一种已知类在搜索域中;然后通过建立特征空间和语义空间的映射完成对类别的预测。本发明具有速度快、精度高、鲁棒性好等优点,统计意义、可解释性较强,可利用于零样本学习的实际应用。
-
公开(公告)号:CN119991724A
公开(公告)日:2025-05-13
申请号:CN202411889134.3
申请日:2024-12-20
Applicant: 复旦大学
IPC: G06T7/194 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及计算机视觉领域,公开一种跨任务通用的前景分割方法,首先基于多尺度策略和掩码注意力机制构建统一的前景分割框架,引入二元查询,通过前景查询和背景查询表示图像中的前景和背景特征;通过边缘增强模块,采用卷积神经网络提取图像的边缘信息,并结合多尺度变形注意力机制,将边缘特征与图像的多尺度特征进行融合;将多尺度特征与二元查询一同输入至Transformer解码器中,应用掩码注意力机制,更新二元查询并获得精确的前景和背景分割掩码;利用多模态对比学习策略对前景和背景的分割结果进行精化,提高分割边界的精确度和细节保留效果。本发明的方法能够广泛应用于不同类型的前景分割任务,并在多个复杂场景下实现高精度的分割结果。
-
公开(公告)号:CN113870431B
公开(公告)日:2025-02-21
申请号:CN202010630438.3
申请日:2020-06-30
Applicant: 复旦大学
IPC: G06T17/20 , G06T9/00 , G06N3/0464 , G06N3/084
Abstract: 本发明提供一种三维模型动作迁移方法,其特征在于,步骤S1,根据预先获取的三维模型数据生成动作网络模型、体态网络模型以及迁移为新动作的动作体态模型作为真实值用于训练动作迁移神经网络;步骤S2,构建特征编码网络作为动作特征提取器提取动作三维网格模型的动作特征;步骤S3,构建特征迁移网络作为解码器基于提取的动作特征对体态三维网格模型进行迁移操作,从而获得形变后的动作体态模型;步骤S4,构建一个端到端的动作迁移神经网络的框架;步骤S5,构建损失函数;步骤S6,基于损失函数训练动作迁移神经网络,其中,动作迁移神经网络包括动作特征编码网络以及基于空间适应性实例标准化方法的特征迁移神经网络。
-
公开(公告)号:CN119427349A
公开(公告)日:2025-02-14
申请号:CN202411502418.2
申请日:2024-10-25
Applicant: 复旦大学
IPC: B25J9/16
Abstract: 本发明涉及一种用于多场景环境下的目标驱动移动抓取控制方法,包括:输入多子场景的RGB‑D采样序列,利用带语义的稀疏3D点云来初始化整个场景的3D高斯模型;通过查询粗粒度高斯获取目标的近似位姿,导航移动底盘接近目标,将对目标进行位姿估计的范围缩小到相应子场景;在移动过程中,采用基于扩散的深度补全优化细粒度高斯,获得目标的精确位姿;针对细粒度高斯模型进行高斯编辑,通过高斯修复以得到机器人操作终点位姿;根据机器人操作起点位姿和操作终点位姿,控制机器人机械臂完成相应动作。与现有技术相比,本发明结合粗略的场景先验和精细的位姿估计,能实现高效、精准的多场景移动抓取控制,确保机器人能够在复杂多场景环境中准确执行任务。
-
公开(公告)号:CN119347825A
公开(公告)日:2025-01-24
申请号:CN202411514344.4
申请日:2024-10-29
Applicant: 复旦大学
Abstract: 本发明技术方案公开了一种姿态与尺寸可控的高自由度软体手装置及其工作方法,其特征在于,包括安装盘;底座,至少三个手指组件,第一位移机构,连接件,第二位移机构,舵机,软指旋转机构,软体手指,限制套,穿过软指旋转机构,且一端与舵机连接,当舵机工作时,控制软指旋转机构转动并实现软体手指工作模式的切换;以及后台控制器,电连接并控制第一位移机构、第二位移机构、舵机和气动组件使三个软体手指做伸长、开合、旋转和抓取动作。本发明的手指组件可以根据被抓取物体的形状、尺寸自主调节抓手的姿态与尺寸,实现多尺寸、多形状、多材料物体柔顺、稳定夹持与操作的目的。该软体手制作和使用成本较低,便于装配,适用于软体机器人和机器人学习领域。
-
公开(公告)号:CN119068476A
公开(公告)日:2024-12-03
申请号:CN202411201560.3
申请日:2024-08-29
Applicant: 复旦大学 , 上海新氦类脑智能科技有限公司
Abstract: 本发明提供一种基于隐式表达感知存储场景布局与物体信息的方法,通过输入的图片序列数据,建立场景隐式编码预测得到的特征与通过大模型得到的特征的对比损失,利用在海量大规模互联网数据集中训练的大模型的知识,通过端到端的训练方式使得场景隐式编码学习场景中位置、区域、物体之间的关系,从而能够利用场景隐式编码同步建立空间坐标与物体语义信息、区域信息的映射,解决了传统场景理解算法无法理解场景布局信息的问题,因此可以借助区域信息完成之前难以做到的场景区域理解推理相关任务。此外,由于训练场景隐式编码所使用的目标特征为预测通过现有的视觉语言大模型得到的物体语义信息与区域信息,因此训练所需要的标注成本极低。
-
-
-
-
-
-
-
-
-