一种基于移动平台的增强现实的系统及方法

    公开(公告)号:CN104834897A

    公开(公告)日:2015-08-12

    申请号:CN201510165584.2

    申请日:2015-04-09

    Applicant: 东南大学

    Inventor: 姚莉 江浩

    Abstract: 本发明涉及计算机视觉、图像处理领域,本发明公开的一种基于移动平台的增强现实系统设计方法。首先,通过移动设备摄像头实时的对人脸进行预览,并实时的从视频流中提取图像帧,同时对单帧图像进行人脸检测与跟踪,确定人脸的位置及大小。在此基础上,根据人脸的实时位置,在当前视频图像中实时的渲染三维场景,并与人脸相结合,根据人脸的位置,图形可进行相应的平移、缩放,达到增强现实的效果。本发明可以应用于移动平台上的视频类应用软件,提高人脸检测与跟踪的实时性与准确度的同时通过渲染虚拟三维场景以达到增强现实的效果。

    一种基于GPU加速的虚拟视点合成方法

    公开(公告)号:CN104822059A

    公开(公告)日:2015-08-05

    申请号:CN201510195978.2

    申请日:2015-04-23

    Applicant: 东南大学

    Inventor: 姚莉 韩应栋

    Abstract: 本发明公开了一种基于GPU加速的虚拟视点合成方法,利用基于深度图像的绘制(DIBR)技术和GPU多线程并行特性来加速合成高质量的虚拟视点图像,包括以下步骤:首先对左右两个参考视点的深度图像进行平滑处理;其次,通过3D映射将平滑处理后的左右两个参考视点的深度图像中各像素点的二维平面坐标还原到三维空间;然后使用图形学API渲染将三维空间中的坐标投影到虚拟视点成像平面,得到合成虚拟视点图像;最后,对合成虚拟视点图像进行空洞填补。本发明能够利用GPU强大的并行计算能力,对传统的虚拟视点合成算法进行加速,有效的减少绘制时间,并可以为实时虚拟视点合成提供很大的借鉴。

    眼镜式和自由式二合一立体电视机

    公开(公告)号:CN104796641A

    公开(公告)日:2015-07-22

    申请号:CN201510164960.6

    申请日:2015-04-09

    Inventor: 梁宁 姚莉

    Abstract: 本发明公开了眼镜式和自由式二合一立体电视机;包括:电视机主板、数据处理电路、液晶光栅驱动电路、液晶光栅、显示液晶驱动电路、显示液晶屏、眼镜同步发射器。液晶光栅驱动电路用于控制液晶光栅工作在透明玻璃模式的无源模式或狭缝光栅模式的有源模式;所述电视机主板还用于输出眼镜同步信号给眼镜同步发射器,对外发射眼镜同步信号,以控制3D眼镜接收到同步信号,实现观察者的左眼看到左眼图像,右眼看到右眼图像。本发明即具有眼镜式3D电视体验3D时串扰小、3D效果好的优点,又具有自由式3D电视无须佩戴眼镜的优点,同时,还解决了现有自由式3D电视因粘贴柱镜光栅膜导致图像分辨率受损的问题。

    三维点模型的数字水印嵌入与提取方法

    公开(公告)号:CN102044059A

    公开(公告)日:2011-05-04

    申请号:CN201010581488.3

    申请日:2010-12-09

    Applicant: 东南大学

    Inventor: 姚莉 吴含前

    Abstract: 一种针对三维点模型的数字水印嵌入和提取方法,首先利用主成分分析方法重构模型的坐标,然后通过可视化算子,以重心为视点,在以重心为球形的球面内部形成多幅投影图像,将三维模型转换为二维图像,然后运用二维频域分析方法,对于低频部分的谱系数进行调整,并且映射回三维模型上,实现三维点模型的水印嵌入与提取。本发明计算量适中,水印容量大,适用于大规模点模型,并且能够抵抗各种仿射变换攻击,并且对顶点重排序、重采样等多种攻击都有一定的鲁棒性,有效地保护了三维数字产品的版权。

    一种基于几何信息增强的类别级6D姿态估计方法

    公开(公告)号:CN118261979A

    公开(公告)日:2024-06-28

    申请号:CN202410445701.X

    申请日:2024-04-15

    Applicant: 东南大学

    Inventor: 姚莉 董汇

    Abstract: 一种基于几何信息增强的类别级6D姿态估计方法,引入法向角图作为额外深度表征,设计深度几何信息增强模块融合物体的几何特征和外观纹理特征,从而促使姿态估计模型更好的感知物体几何形状信息;此外引入类别形状先验并自适应的匹配目标实例的几何形变,以此克服同一类别下不同物体的巨大类内差异对模型预测精确度和泛化性的影响。首先对输入的单张RGB‑D图像进行实例分割得到目标实例的信息,结合深度图计算出法向角图以及实例在三维空间的点云,并根据实例的所在类别输入对应的类别形状先验;基于一种多分支的网络结构,分别融合实例几何特征和类别先验特征,进而重建出目标实例在标准化物体坐标空间下的三维点云;最后解算出目标物体的姿态信息。

    一种针对多焦段场景的图像拼接方法

    公开(公告)号:CN111899164B

    公开(公告)日:2022-11-15

    申请号:CN202010486681.2

    申请日:2020-06-01

    Applicant: 东南大学

    Inventor: 姚莉 杜俊康

    Abstract: 本发明针对未知排列的多焦段图像对,利用先验的RANSAC方法和多种图像对齐约束优化图像配准效果,使用基于图像对重叠区域细节增强的缝合线检测算法来优化多焦段场景下的拼接效果。在配准阶段,使用基于最近邻距离比值的特征匹配算法获取点线特征匹配对集合;其次,使用先验知识的RANSAC方法快速筛选出精确的特征匹配对集合;接着,对图像实施网格变形方法,提出多项图像对齐约束用于约束点线特征以及网格的变形过程,并使用柱面投影变换将图像对投影至同一平面,利用渐入渐出融合算法来形成一幅宽视野的高分辨拼接图像。本发明能够应对多焦段场景下的拼接需求,并能有效地提升位置排列多焦段相机图像的拼接效果,生成一幅高质量的图像拼接结果。

    高分辨率单目2D视频到双目3D视频的转制方法

    公开(公告)号:CN112543317B

    公开(公告)日:2022-07-12

    申请号:CN202011395559.0

    申请日:2020-12-03

    Applicant: 东南大学

    Abstract: 本发明公开一种高分辨率单目2D视频到双目3D视频的转制方法,在深度信息提取阶段,使用现有的3D电影作为源数据集训练一个U型结构的卷积网络,得到性能优越的网络模型对2D视频进行逐帧的深度估计,利用小型的神经网络对深度图进行保边平滑的优化处理。在视点合成阶段,提出无相机参数的基于深度图的视点合成算法,采用对称式的由中间向两边渲染的策略进行左右虚拟视点合成。最后,在图像修复阶段,提出了结合时域信息的基于块匹配的图像修复算法,对左右视点中的裂痕空洞进行填充修复。本发明能够在原2D视频无任何相关参数信息的前提下,对其进行2D到3D的视频转制,不仅可以有效地处理高分辨率画面,且转制效果好、速度快。

    双目全景图像获取方法及装置

    公开(公告)号:CN107666606B

    公开(公告)日:2019-07-12

    申请号:CN201610621487.4

    申请日:2016-07-29

    Abstract: 本发明公开了一种双目全景图像获取方法及装置,属于图像处理领域。所述方法包括:获取通过两个全景摄像头得到的第一全景图像和第二全景图像;获取相互匹配的各组位于第一全景图像上的第一像素点和位于第二全景图像上的第二像素点;计算各组第一像素点和第二像素点的距离差值,根据距离差值得到两个全景图像对应的深度信息;将两个全景图像中的一个作为第一单眼全景图,结合对应的深度信息及预定瞳距映射出第二单眼全景图;将第一单眼全景图和第二单眼全景图显示在对应的显示区域。本发明解决了相关技术中通过图像拼接导致获取时间长,获取到的双目全景图像质量低的技术问题,达到了高效率获取高质量的双目立体全景图像的效果。

    基于显著性分析的轨道板病害检测方法

    公开(公告)号:CN109064444A

    公开(公告)日:2018-12-21

    申请号:CN201810687093.8

    申请日:2018-06-28

    Applicant: 东南大学

    CPC classification number: G06T7/0008 G06K9/6268 G06T7/90 G06T2207/10016

    Abstract: 本发明公开了一种基于显著性分析的轨道板病害检测方法,主要包括:(1)、对视频做光照预处理,并融合颜色、亮度、方向特征提取车载视频的空间显著性。(2)一方面对监测期轨道视频做稀疏采样,比较当前监测视频帧与对应的采样视频帧,选取变化较大的视频帧作为可靠帧。另一方面,选取相对上下帧来说,具有突变特征的轨道视频帧,作为可靠帧。(3)、通过融合空间显著性图和时间显著性图得到粗糙的时空显著图处理。对粗糙显著图考虑背景先验、中心先验以及空间紧密度因素,得到改进的时空显著性图。(4)、根据显著图得到轨道病害显著权值,利用权值采用基于显著性加权模型的半监督分类方法对高速铁路轨道病害进行识别分类。本发明可以实时的检测出轨道病害。

    一种基于改良区域回归的行人检测方法

    公开(公告)号:CN109063559A

    公开(公告)日:2018-12-21

    申请号:CN201810685848.0

    申请日:2018-06-28

    Applicant: 东南大学

    CPC classification number: G06K9/00362 G06N3/0454

    Abstract: 本发明公开了一种基于改良区域回归的行人检测方法,包括标记训练样本;构建包括卷积特征提取、语义分割层、分类层和区域回归层的区域生成网络,利用训练样本迭代更新其参数;构建包括卷积特征提取、语义分割层和分类层的深度卷积神经网络,利用前一步获取到的多个候选区域迭代更新其参数;获取待检测行人的图像;将待检测图像输入训练好的区域生成网络,得到多个候选区域及每个候选区域p被预测为行人和背景的置信度评分;将前一步得到的多个候选区域,选择前Ntop个输入训练好的深度卷积神经网络,得到每个候选区域q被预测为行人和背景的置信度评分;融合前两步的结果,得到候选区域q被预测为行人的概率。该方法通过融合多网络输出,能够提供端到端的行人检测方案。

Patent Agency Ranking