-
公开(公告)号:CN116543390A
公开(公告)日:2023-08-04
申请号:CN202310536598.5
申请日:2023-05-12
Applicant: 复旦大学
IPC: G06V30/146 , G06V30/18 , G06V30/16 , G06V30/19 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/047 , G06N3/08
Abstract: 本发明提供了一种基于注意力增强薄板样条变换的图像文本矫正方法,具有这样的特征,包括以下步骤:步骤S1,对不规则文本图像进行处理得到预处理文本图像;步骤S2,根据预处理文本图像得到尺度特征图;步骤S3,根据尺度特征图进得到编码特征图和解码特征图;步骤S4,根据编码特征图得到前景控制点;步骤S5,根据编码特征图得到各个前景控制点的预测偏移量;步骤S6,根据预测偏移量得到回归前景控制点;步骤S7~S9,根据解码特征图和解码特征图得到公式;步骤S10,根据公式得到矫正特征图;步骤S11,根据矫正特征图生成矫正结果。总之,本方法能够提高图像文本的矫正质量进而提高识别准确性。
-
公开(公告)号:CN111488760B
公开(公告)日:2023-05-02
申请号:CN201910073611.1
申请日:2019-01-25
Applicant: 复旦大学
IPC: G06V40/10 , G06V10/46 , G06V10/774 , G06V10/762 , G06V10/82 , G06N3/0464
Abstract: 本发明涉及一种基于深度多示例学习的少样本行人重识别方法,包括三个阶段:网络预训练阶段、数据集扩充阶段、网络微调阶段。行人重识别特征提取子网络预训练之后,利用行人关键点特征区域交换算法进行数据扩充;利用扩充的数据集对行人重识别特征提取子网络和特征聚合子网络进行微调;迭代重复数据集扩充和网络微调,直到特征提取子网络和特征聚合子网络收敛。一旦训练完成,即实现了利用少样本将原始域上的行人重识别模型迁移扩展至目标域上。本发明在给定目标域少量学习样本的前提上,能有效地将行人重识别模型迁移扩展到目标域监控网络中,具有精确度高、鲁棒性好、扩展性佳、可迁移的优点。
-
公开(公告)号:CN111967336B
公开(公告)日:2022-08-19
申请号:CN202010722710.0
申请日:2020-07-24
Applicant: 复旦大学
IPC: G06V20/40 , G06F16/71 , G06F16/901
Abstract: 本发明属于视频分析与理解技术领域,具体为一种视觉关系检测的关系片段连接方法。本发明针对视频视觉关系检测这一任务中极易出现的物体轨迹检测不准确与关系片段预测不准确的问题,采用多假设的思想,通过建立树的结构保留关系片段间多种可能的连接方式,然后利用前后文的信息来进行各个连接方式间的选择和处理。本发明对物体轨迹检测模型与关系预测模型的偏差提供了较好的包容性,能够实现在关系片段连接的步骤中消除一部分模型效果不佳带来的影响,从而得到更为准确的完整视觉关系的检测结果。
-
公开(公告)号:CN112686083A
公开(公告)日:2021-04-20
申请号:CN201910991629.X
申请日:2019-10-18
Applicant: 复旦大学
Abstract: 本发明提供一种基于组合对抗生成网络的人脸微表情深度学习识别系统,对用于进行人脸微表情识别的模型进行训练从而完成对待识别图像的人脸微表情识别,其特征在于,包括:模型存储部,存储有预先训练完成的用于进行微表情识别、姿态分类以及人脸识别的多功能识别网络以及基于组合对抗生成网络的微表情人脸图像生成网络;待识别图像获取部,用于获取待识别图像;特征提取部,将待识别图像输入多功能识别网络从而得到对应身份、姿态、微表情的特征信息;以及微表情识别部,根据特征信息完成人脸微表情识别。
-
公开(公告)号:CN109858392B
公开(公告)日:2021-02-02
申请号:CN201910026923.7
申请日:2019-01-11
Applicant: 复旦大学
Abstract: 本发明公开了一种用于化妆前后人脸图像自动识别方法,包括如下步骤S1,对人脸数据进行特征提取;S2,使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集;S3,构建多示例的训练数据集;S4,采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取,其后采用注意力机制的特征信息融合方法获得训练数据的最终特征,并不断训练和微调网络;S5,不断迭代重复步骤S2和步骤S3,直至网络收敛,实现人脸识别网络的训练;S6,在测试数据集上,给定待识别的化妆前后人脸数据,通过训练得到的人脸识别网络进行特征提取和相似度计算,从而实现人脸识别。
-
公开(公告)号:CN109063568B
公开(公告)日:2020-12-22
申请号:CN201810721097.3
申请日:2018-07-04
Applicant: 复旦大学
Abstract: 本发明公开了一种基于深度学习的花样滑冰视频自动打分的方法。本发明根据花样滑冰运动的技术总分(TES)与节目内容分(PCS)的定义以及针对的不同方面,基于深度学习的思想提出了自注意力机制的局部信息提取模块以及多尺度卷积神经网络的全局信息提取模块,并且联合这两个模块提出了基于视频片段级特征的花样滑冰视频自动打分的方法。该方法具有精度高、鲁棒性好等优点,不仅适用于花样滑冰运动,也适用于依据技术动作和整体表现进行打分的其他运动。
-
公开(公告)号:CN107563279B
公开(公告)日:2020-12-22
申请号:CN201710603212.2
申请日:2017-07-22
Applicant: 复旦大学
Abstract: 本发明属于计算机视觉图像处理技术领域,具体为针对人体属性分类的自适应权重调整的多任务模型训练方法。本发明提出一种新颖的多任务模型,通过引入了一个基于验证误差大小及变化趋势从而更新相应任务权重的算法,在训练过程中自适应动态地调整每个任务的相应权重值。具体步骤包括:(1)人脸以及行人图片的收集和属性类别的标注;(2)构建深度神经网络;(3)训练深度神经网络;(4)利用深度网络模型,进行人体属性预测;本发明方法具有速度快、精确度高、鲁棒性好等优点,非常适用于人体相关的检测、识别、分类等实际应用。
-
公开(公告)号:CN111967336A
公开(公告)日:2020-11-20
申请号:CN202010722710.0
申请日:2020-07-24
Applicant: 复旦大学
IPC: G06K9/00 , G06F16/71 , G06F16/901
Abstract: 本发明属于视频分析与理解技术领域,具体为一种视觉关系检测的关系片段连接方法。本发明针对视频视觉关系检测这一任务中极易出现的物体轨迹检测不准确与关系片段预测不准确的问题,采用多假设的思想,通过建立树的结构保留关系片段间多种可能的连接方式,然后利用前后文的信息来进行各个连接方式间的选择和处理。本发明对物体轨迹检测模型与关系预测模型的偏差提供了较好的包容性,能够实现在关系片段连接的步骤中消除一部分模型效果不佳带来的影响,从而得到更为准确的完整视觉关系的检测结果。
-
公开(公告)号:CN107491782B
公开(公告)日:2020-11-20
申请号:CN201710603221.1
申请日:2017-07-22
Applicant: 复旦大学
Abstract: 本发明属于计算机图像处理技术领域,具体为利用语义空间信息的针对少量训练数据的图像分类方法。本发明利用语义空间信息联合自动编码器来扩增数据,从而在少量样本情况下获得更多有效的样本;利用这些扩增的数据训练一个基于深度神经网络的分类器;再将分类器网络与特征提取网络连接在一起训练,获得一个端到端的神经网络,实现给定一张图片,直接输出分类信息的功能。本发明使用数据扩增的方法来增加所拥有的数据,从而使得训练深度神经网络变的更加有效;算法是端到端的神经网络,所以只需要给出一张图片,就可以给出相应的分类结果。
-
公开(公告)号:CN110175266B
公开(公告)日:2020-10-30
申请号:CN201910453196.2
申请日:2019-05-28
Applicant: 复旦大学
IPC: G06F16/783 , G06N3/04
Abstract: 本发明属于计算机视频分析技术领域,具体为一种用于多段视频跨模态检索的方法。本发明针对长文本跨模态检索多段视频任务,基于预检索与排序的思路提出了相关视频片段预选取方法和多段无序视频语义排序网络架构,并设计了双边自注意力方法提取视频中与检索文本相关的特征。本方法首先使用带有自注意力机制的跨模态检模型初选出一小部分相关的视频片段,再根据同模态和跨模态相似度进一步精选视频片段,最后用语义排序网络将视频片段序列与文本句子序列对齐。本发明方法具有鲁棒性高,速度快等优点,设计的多文本多视频片段语义对齐方法,不仅适用于等长序列的对齐问题,也适用于非等长序列的对齐问题。
-
-
-
-
-
-
-
-
-