-
公开(公告)号:CN115423000A
公开(公告)日:2022-12-02
申请号:CN202211001654.7
申请日:2022-08-19
Applicant: 复旦大学
Abstract: 本发明属于计算机技术领域,具体为一种基于多教师知识蒸馏的跨域小样本识别方法。本发明方法包括:构建特征提取网络模型,小样本分类器,构建动态领域拆分模型;连接特征提取网络以及小样本分类器构成源域教师模型;连接特征提取网络以及小样本分类器构成目标域教师模型;连接特征提取网络以及小样本分类器,对特征提取网络中的特定几层插入动态领域拆分模型,构成领域可拆分的学生模型;本方法用源域数据和目标域数据都各自学习一个教师模型,然后以知识蒸馏的方法将两个教师模型中的知识逐步蒸馏到学生模型中。本发明可以在源域和目标域存在巨大领域差异的情况下,在仅有少量标注且类别未可知的目标域测试数据上达到较好的类别识别能力。
-
公开(公告)号:CN112308952B
公开(公告)日:2022-11-18
申请号:CN202011101066.1
申请日:2020-10-15
Applicant: 复旦大学
Abstract: 本发明属于计算机技术领域,具体为模仿给定视频中人物动作的3D角色动作生成系统和方法。本发明系统包括初始人体重建、规则数据meshcuboid构建、mesh2mesh平滑、人体姿态迁移四个模块;对于包含人体动作源视频,由初始人体重建模块恢复动作扮演者的mesh源序列;由规则数据meshcuboid构建模块将初始mesh序列构建成普通的规则数据meshcuboid;由mesh2mesh平滑模块通过3D卷积对初始的mesh序列进行进一步的平滑,使得mesh序列的动作更加连贯;最后由人体姿态迁移模块逐帧将姿态从源mesh迁移到目标mesh上,实现将源视频中包含的动作序列迁移到目标3D角色中。本发明可以生成跟源视频动作一致的mesh序列,并提升mesh序列的时序连贯性。
-
公开(公告)号:CN115116066A
公开(公告)日:2022-09-27
申请号:CN202210689812.6
申请日:2022-06-17
Applicant: 复旦大学
IPC: G06V30/148 , G06V30/19 , G06V20/62 , G06V10/82
Abstract: 本发明属于图像文本识别技术领域,具体为一种基于字符距离感知的场景文本识别方法。本发明结合视觉、语义和字符位置三个域信息进行场景文本的识别;其首先同时编码待识别文本的语义、视觉和字符位置特征,然后通过迭代的使用自注意力和交叉注意力解码及融合,强化字符位置特征,并将字符语义信息和视觉信息并行的融入到字符位置特征,让其拥有更精准的内容感知嵌入,从而具备在语义和视觉空间描绘字符距离的能力。相比于当前业内主流的识别方法,本发明对字符距离拥有更精准的建模能力,能在字符间距差异大、识别挑战大的数据集上获得识别精度优势。
-
公开(公告)号:CN113673635A
公开(公告)日:2021-11-19
申请号:CN202010411459.6
申请日:2020-05-15
Applicant: 复旦大学
Abstract: 本发明提供了一种基于自监督学习任务的手绘草图理解深度学习方法,其特征在于,包括如下步骤:步骤S1,基于不同的手绘草图中点的数据的分类对其中部分数据进行抹除,进一步将抹除部分数据后的手绘草图的数据用于自监督学习;步骤S2,将手绘草图的数据序列化后嵌入编码;步骤S3,将基于双向编码表示和自注意力机制的深度学习网络作为深度特征提取模块,并利用该深度特征提取模块提取手绘草图对应的点数据的深度特征;步骤S4,利用提取的深度特征预测被抹除的部分数据的坐标数据和状态数据;步骤S5,使用损失函数分别对坐标数据的预测与状态数据的预测任务进行训练从而获得训练好的网络模型。
-
公开(公告)号:CN113673324A
公开(公告)日:2021-11-19
申请号:CN202110792132.2
申请日:2021-07-13
Applicant: 复旦大学
Abstract: 本发明属于视频识别网络模型安全技术领域,具体为一种基于时序移动的视频识别模型攻击方法。本发明在视频识别网络模型中引入时序判别模式的概念,不同的视频识别模型具有不同的时序判别模式。本发明方法包括:对视频输入数据执行时序平移操作来获取一系列的视频输入数据,干扰该单一模型的时序判别模式;通过该单一模型的梯度反向传播获取各个视频输入数据的梯度信息,并将梯度信息平移到与原始视频输入数据相同的时序信息;最后利用高斯核完成梯度信息聚合,生成具有高迁移性的对抗样本,完成对其他模型的攻击。实验验证表明,不同的视频识别模型具有不同的时序判别模式这一特点,并表明本发明攻击方法的有效性。
-
公开(公告)号:CN107527318B
公开(公告)日:2021-06-04
申请号:CN201710582794.0
申请日:2017-07-17
Applicant: 复旦大学
Abstract: 本发明属于计算机图像处理技术领域,具体为一种基于生成对抗式网络模型的发型更换方法。自动更换发型在分类和图像编辑领域都有很多实际应用,本发明诉诸于这一要求,首先提供一个新的大型发型数据集,HAIRSTYLE30k,包含64种不同类型的30K图像组成的发型,同时,提供一个自动生成和修改发型的模型H‑GAN,来实现自动更换发型。本发明在基础的生成对抗式网络模型上做了改进,可以高效地学习新数据集,不仅在基础数据集上表现良好,在新数据集上也有很好的可泛化性。
-
公开(公告)号:CN107292870B
公开(公告)日:2020-11-20
申请号:CN201710424243.1
申请日:2017-06-07
Applicant: 复旦大学
Abstract: 本发明属于计算机故障检测技术领域,具体为一种基于图像对齐与检测网络模型的轨道塞钉故障检测方法与系统。本发明中,由铁轨巡检车记录正常的塞钉图像作为基准图像;工作人员在例行的铁轨巡检过程中,利用巡检车拍摄最新的铁轨状况,得到铁轨状况图像作为待检测图像,对当前待检测图像和基准图像进行对比分析处理,检测出铁轨中问题塞钉部件位置,从而进行及时更换问题塞钉,确保铁轨运行的安全;具体步骤包括:基于深度网络模型与显著区域的高铁轨道图像精确对齐,基于深度网络模型与环境变化补偿的轨道塞钉的故障检测。本发明基于深度网络模型进行图像对齐与环境变化补偿,具有更精确的识别性能与可靠性。
-
公开(公告)号:CN111488760A
公开(公告)日:2020-08-04
申请号:CN201910073611.1
申请日:2019-01-25
Applicant: 复旦大学
Abstract: 本发明涉及一种基于深度多示例学习的少样本行人重识别方法,包括三个阶段:网络预训练阶段、数据集扩充阶段、网络微调阶段。行人重识别特征提取子网络预训练之后,利用行人关键点特征区域交换算法进行数据扩充;利用扩充的数据集对行人重识别特征提取子网络和特征聚合子网络进行微调;迭代重复数据集扩充和网络微调,直到特征提取子网络和特征聚合子网络收敛。一旦训练完成,即实现了利用少样本将原始域上的行人重识别模型迁移扩展至目标域上。本发明在给定目标域少量学习样本的前提上,能有效地将行人重识别模型迁移扩展到目标域监控网络中,具有精确度高、鲁棒性好、扩展性佳、可迁移的优点。
-
公开(公告)号:CN110188668A
公开(公告)日:2019-08-30
申请号:CN201910453199.6
申请日:2019-05-28
Applicant: 复旦大学
Abstract: 本发明属于计算机技术领域,具体涉及面向小样本视频动作分类的方法。本发明针对现有小样本视频动作分类的设定存在训练集与测试集类别交叉的问题,提出基于智能人体的小样本视频识别新模式,利用3D智能虚拟人体与虚拟环境交互的方式生成相同动作的大量虚拟视频,为深度神经网络提供训练样本;此外,还提出基于视频段替换的数据增强方法,通过用语义相近的视频片段替换原视频中某个片段的方法扩充有限的数据集。实验表明该方法对于小样本视频动作识别能起到很大的促进作用,且具有较好的鲁棒性与较强的算法可移植性。
-
公开(公告)号:CN110175580A
公开(公告)日:2019-08-27
申请号:CN201910459028.4
申请日:2019-05-29
Applicant: 复旦大学
Abstract: 本发明属于计算机图像分析技术领域,具体为一种基于时序因果卷积网络的视频行为识别方法。本发明方法包括使用时序因果三维卷积神经网络对多个视频片段提取时空语义特征表示,得到预测的行为类别;对到当前时刻为止的帧序列进行建模抽取时空高层语义特征,用于行为定位和精度预测。其中设计了空间卷积和时序卷积的融合机制以及因果时空注意力机制。本发明方法具有精度高、计算效率高、实时性等优点,不仅适用于在线的实时视频行为检测分析任务,也能使用于离线视频行为识别、异常事件监测等任务。
-
-
-
-
-
-
-
-
-