用于铰接物体的端到端位姿估计方法

    公开(公告)号:CN119068161A

    公开(公告)日:2024-12-03

    申请号:CN202411201557.1

    申请日:2024-08-29

    Abstract: 本发明提供一种用于铰接物体的端到端位姿估计方法,通过一个统一的网络模型直接在目标铰接物体的三维点云上进行语义标签、质心偏移和NPCS区域表示的同时估计,使得属于同一零部件实例的点能够为同一质心投票,并基于预测的质心偏移利用聚类算法区分归属同一零部件实例的点,再通过与真实点云对齐每个零部件实例的NPCS区域表示来恢复各个零部件最终的姿态和大小,从而能够得到目标铰接物体中所有铰接部件的准确的6D位姿估计。由于该方法是一种端到端的方法,不需要像现有的多阶段方法那样,先在点云中分割出多个零部件实例再进行位姿估计,因此计算成本相对较低。本发明的方法能够应用于机器人抓取场景,实现实时的类别级别的铰接物体的6D位姿估计。

    基于功能性磁共振成像信号的梦境解码方法

    公开(公告)号:CN119006617A

    公开(公告)日:2024-11-22

    申请号:CN202410919083.8

    申请日:2024-07-10

    Applicant: 复旦大学

    Abstract: 本发明涉及一种基于功能性磁共振成像信号的梦境解码方法,包括:收集被试睡眠阶段的fMRI数据,并记录梦境报告;对不同被试的fMRI信号进行预处理,转换为统一的2D大脑激活图像;在多个被试之间训练得到一个统一的模型、即真实视觉刺激感知重建模型;将训练好的真实视觉刺激感知重建模型转移到梦境视觉图像解码任务上,输出得到多个单独的梦境视觉解码图像、即得到多个梦境片段;基于包括单镜头梦境描述、梦境故事叙述和视频整合三个阶段的智能导演框架,将多个梦境片段整合成一个连贯的叙事视频。与现有技术相比,本发明能够将每个时刻的脑活动模式与相应的虚幻视觉帧关联起来,得到对应的梦境图像,并通过动态组装这些图像,构建梦境的完整视觉叙事。

    一种基于深度学习的小样本学习方法

    公开(公告)号:CN113822304B

    公开(公告)日:2024-05-14

    申请号:CN202010564531.9

    申请日:2020-06-19

    Abstract: 本发明提供了一种基于深度学习的小样本学习方法,包括以下步骤:步骤1,初始化神经网络;步骤2,从已有的训练数据中抽取样本图片;步骤3,对样本图片进行数据增广后输入神经网络;步骤4,根据分类任务在神经网络中计算得到损失函数;步骤5,根据损失函数计算反向梯度;步骤6,根据反向梯度更新神经网络的权重,且当未达到停止条件时返回步骤2,并继续进行步骤2‑步骤6;步骤7,将权重导入神经网络,去除神经网络中的分类层并新增新分类器;步骤8,将新类别图片输入神经网络中提取特征,对特征进行裁剪后归一化处理;步骤9,将新类别图片中有标注的图片作为训练图片对新分类器进行训练,训练后对新类别图片中未标注的图片进行分类。

    一种机器人目标物体抓取方法、系统、设备及存储介质

    公开(公告)号:CN116993965A

    公开(公告)日:2023-11-03

    申请号:CN202310939494.9

    申请日:2023-07-28

    Applicant: 复旦大学

    Abstract: 本发明涉及一种机器人目标物体抓取方法,该方法包括:步骤S1、使用大语言模型来解析用户需求,生成针对目标物体的描述模版;步骤S2、将目标物体的描述模版输入至二维视觉定位网络,生成目标物体的二维定位,处理后得到目标物体点云数据;步骤S3、基于目标物体点云数据,采用类级别位姿和尺寸估计网络对目标物体的位姿进行估计;步骤S4、根据目标物体位姿估计结果引导机械臂进行目标物体抓取。与现有技术相比,本发明具有人机交互效果好、准确性高的优点。

    基于隐空间搜索的手绘草图引导的图像编辑方法

    公开(公告)号:CN113112572B

    公开(公告)日:2022-09-06

    申请号:CN202110393721.3

    申请日:2021-04-13

    Applicant: 复旦大学

    Abstract: 本发明提供一种基于隐空间搜索的手绘草图引导的图像编辑方法,用于对待编辑图像进行编辑,其特征在于,包括:步骤S1,得到训练用图像;步骤S2,提取训练用图像的边缘图并训练神经网络;步骤S3,提取待编辑图像的边缘图,并根据掩膜将该边缘图与手绘草图结合;步骤S4,使用神经网络计算初始隐空间向量;步骤S5,根据初始隐空间向量生成生成图像;步骤S6,提取生成图像的边缘图并计算其与手绘草图在掩膜区域的特征图距离,同时计算其与待编辑图像在非掩膜区域的欧几里得距离以及感知距离;步骤S7,使用梯度下降算法使三种距离持续减小;步骤S8,将最终生成的生成图像的掩膜区域与待编辑图像的非掩膜区域融合得到最终编辑结果。

    一种类别级6D位姿与尺寸估计方法及装置

    公开(公告)号:CN113012122B

    公开(公告)日:2022-07-29

    申请号:CN202110266160.0

    申请日:2021-03-11

    Applicant: 复旦大学

    Abstract: 本发明提供了一种类别级6D位姿与尺寸估计方法及装置,基于图像中目标物体的深度观测数据以及拍摄该图像的相机内参进行6D位姿与尺寸估计,其特征在于,包括如下步骤:基于相机内参将深度观测数据重投影到三维空间并归一化,得到目标物体的部分观测点云数据;根据目标物体从模板点云数据库中选出与目标类型相同的规范化模板点云数据;基于部分观测点云数据以及规范化模板点云数据利用几何特征学习网络对目标物体的6D位姿及尺寸进行估计,得到对应的预测位姿与预测尺寸。本发明的类别级6D位姿与尺寸估计方法及装置,可以准确估计出类别已知但未见过实例物体的6D位姿和尺寸,具有较高的准确性、泛化能力以及实用性。

    一种基于动态化网络结构学习的黑盒攻击系统

    公开(公告)号:CN114428954A

    公开(公告)日:2022-05-03

    申请号:CN202111629855.7

    申请日:2021-12-28

    Applicant: 复旦大学

    Abstract: 本发明涉及计算机视觉图像处理领域,具体是一种基于动态化网络结构学习的黑盒攻击方法。提出了在无真实数据参与条件下的对于未知场景的目标黑盒模型的攻击方法。其中针对多样化的目标黑盒模型,提出了动态化网络结构学习的替代模型训练方法,自主性地生成最优的替代模型结构,并提出了基于结构化信息图的优化约束以提升替代模型的学习质量与效率,从而进一步提高其生成的对抗样本的攻击性能。该方法具有查询次数少、学习效率高、攻击成功率高等优点,非常适合无任何先验知识的黑盒攻击场景。

    三维模型动作迁移方法
    68.
    发明公开

    公开(公告)号:CN113870431A

    公开(公告)日:2021-12-31

    申请号:CN202010630438.3

    申请日:2020-06-30

    Applicant: 复旦大学

    Abstract: 本发明提供一种三维模型动作迁移方法,其特征在于,步骤S1,根据预先获取的三维模型数据生成动作网络模型、体态网络模型以及迁移为新动作的动作体态模型作为真实值用于训练动作迁移神经网络;步骤S2,构建特征编码网络作为动作特征提取器提取动作三维网格模型的动作特征;步骤S3,构建特征迁移网络作为解码器基于提取的动作特征对体态三维网格模型进行迁移操作,从而获得形变后的动作体态模型;步骤S4,构建一个端到端的动作迁移神经网络的框架;步骤S5,构建损失函数;步骤S6,基于损失函数训练动作迁移神经网络,其中,动作迁移神经网络包括动作特征编码网络以及基于空间适应性实例标准化方法的特征迁移神经网络。

    一种基于深度学习的小样本学习方法

    公开(公告)号:CN113822304A

    公开(公告)日:2021-12-21

    申请号:CN202010564531.9

    申请日:2020-06-19

    Abstract: 本发明提供了一种基于深度学习的小样本学习方法,包括以下步骤:步骤1,初始化神经网络;步骤2,从已有的训练数据中抽取样本图片;步骤3,对样本图片进行数据增广后输入神经网络;步骤4,根据分类任务在神经网络中计算得到损失函数;步骤5,根据损失函数计算反向梯度;步骤6,根据反向梯度更新神经网络的权重,且当未达到停止条件时返回步骤2,并继续进行步骤2‑步骤6;步骤7,将权重导入神经网络,去除神经网络中的分类层并新增新分类器;步骤8,将新类别图片输入神经网络中提取特征,对特征进行裁剪后归一化处理;步骤9,将新类别图片中有标注的图片作为训练图片对新分类器进行训练,训练后对新类别图片中未标注的图片进行分类。

    一种小样本字符与手绘草图识别方法及装置

    公开(公告)号:CN113111803A

    公开(公告)日:2021-07-13

    申请号:CN202110422541.3

    申请日:2021-04-20

    Applicant: 复旦大学

    Inventor: 付彦伟 韩文慧

    Abstract: 本发明提供了一种小样本字符与手绘草图识别方法及装置,其特征在于,包括如下步骤:按照固定抹除比例抹除点序列格式的无标注源数据得到增广网络预训练数据;搭建基于高斯混合模型的BERT增广网络,基于增广网络预训练数据与点序列格式的无标注源数据训练得到增广器;按照各个随机抹除比例抹除点序列格式的有标注小样本数据得到抹除后小样本数据;采用增广器对抹除后小样本数据状态与坐标分别预测从而得到预测点,与抹除后小样本数据整合,并利用神经渲染器转换得到位图格式增广数据;基于位图格式的增广数据以及位图格式的有标注小样本数据训练卷积神经网络分类器,得到小样本字符与手绘草图识别模型,从而对待识别图像进行识别得到分类结果。

Patent Agency Ranking