-
公开(公告)号：CN118014966A
公开(公告)日：2024-05-10
申请号：CN202410187751.2
申请日：2024-02-20
Applicant: 上海大学
IPC: G06T7/00 , G06V10/52 , G06V10/766 , G06V10/80 , G06V10/82 , G06N3/0499 , G06N3/0455 , G06N3/084
Abstract: 本发明公开了一种基于Transformer的端到端无参考全景图像质量评价方法及系统，包括：确定特征视点；对特征视点进行采样视口图像；对视口图像进行特征提取，基于Swin Transformer网络确定单个视口图像的多尺度特征；将所有视口图像的多尺度特征融合输入特征交互网络，确定需要回归质量分数的交互特征；通过提取出的交互特征回归全景图像的质量分数。本发明基于强大的特征提取能力，充分利用视口有效信息，完成建模视口提取，深入探讨人眼视觉观看过程；应用Transformer网络，在全景图像的不同部分捕捉并建模视觉信息的局部关系，使机器更全面地理解人眼在观看全景图像时的注意力分布和信息处理机制。
-
公开(公告)号：CN116934647A
公开(公告)日：2023-10-24
申请号：CN202310989156.6
申请日：2023-08-08
Applicant: 上海大学
Abstract: 本公开提供一种基于空间角度可变形卷积网络的压缩光场质量增强方法，所述方法包括：获取压缩失真光场数据集；根据压缩失真光场数据集的视点位置，确定压缩失真光场数据集的局部视点和全局视点；根据局部视点和空间角度可变形卷积网络，确定压缩失真光场数据集的局部特征；将全局视点进行特征提取处理，确定压缩失真光场数据集的全局特征；将局部特征与全局特征进行融合处理后输入预设的密集残差网络，确定质量增强的压缩光场生成图像。通过本公开，采用可变形卷积隐式聚合压缩光场空间特征、角度特征，采用密集残差网络引入全局的残差学习，实现对压缩光场的质量增强。
-
公开(公告)号：CN113592716B
公开(公告)日：2023-08-01
申请号：CN202110906481.2
申请日：2021-08-09
Applicant: 上海大学
Abstract: 本发明公开了一种光场图像空间域超分辨率方法、系统、终端及存储介质，包括：将视点图像按照角度位置分为多组，对应设置多个视点图像对齐方案；将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，利用基于频域图像金字塔分解的视差提取方法，对其周围不同预设对齐范围内的待对齐视点图像进行视差对齐，对齐至中心视点图像位置；将待训练视点图像先剪裁后下采样再对齐，然后进行训练，得到光场图像超分辨率模型；将对齐后的待测试视点图像输入到光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。本发明，将基于相位的视点图像视差对齐与基于深度学习的光场图像超分辨率方法相结合，得到了质量更高的超分辨率结果。
-
公开(公告)号：CN119516115A
公开(公告)日：2025-02-25
申请号：CN202411662193.7
申请日：2024-11-20
Applicant: 上海大学
IPC: G06T17/00 , G06T19/20 , G06N3/0455 , G06V10/40 , G06V10/42 , G06V10/44 , G06N3/0499
Abstract: 本公开提供一种基于Transformer的三维人体点云补全方法、系统、介质及设备，其中，方法，包括：获取三维人体网格数据集；根据三维人体网格数据集，确定残缺点云和关节点坐标；将残缺点云输入预设的基于Transformer的双支路关节增强型编码器，确定残缺点云的全局特征、局部特征以及关节点特征；将全局特征和关节点特征进行级联处理，确定增强的全局特征；根据增强的全局特征和局部特征，确定补全点云的种子点；根据补全点云的种子点和残缺点云，确定完整的人体点云形状。通过本公开，预测人体关节点，并基于Transformer结构的自注意力机制建立空间中离散三维点间的关系，采用预测的人体关节点对点云残缺部分进行引导补全，实现在复杂非刚性物体上人体点云补全。
-
公开(公告)号：CN114862677B
公开(公告)日：2024-12-13
申请号：CN202210483032.6
申请日：2022-05-05
Applicant: 上海大学
Abstract: 本发明提供基于网格变形和低阶近似的光场拼接方法，包括：获得待拼接光场的深度图；根据所述深度图将中心子孔径图像分为前景、后景；提取特征点后，对左、右两光场的后景进行匹配；基于传统二维图像，拼合所述中心子孔径图像；使用控制点引导网络变形方法校准两个不同的光场到全景图上；用光场的低秩特征，在不使用四维图割的前提下，寻找校准后光场的缝合线并进行融合。本发明使用控制点引导网格变形技术校准两个不同的光场到全景图上，并应用低秩近似直接采用传统的二维图割取代四维图割从而降低方法的时间复杂度。与其他的光场拼接算法相比具有更好的拼接质量、角度域一致性以及更低的时间复杂度。
-
Patent Agency Ranking
公开(公告)号：CN118803180A
公开(公告)日：2024-10-18
申请号：CN202410963352.0
申请日：2024-07-18
Applicant: 上海大学
IPC: H04N7/01 , G06N3/0464 , G06N3/0442 , G06N3/049 , G06N3/0499 , G06N3/08
Abstract: 本发明提供了一种基于Transformer和可变形卷积的视频插帧方法及系统，其中方法包括：将原视频转化为第一帧序列；利用Transformer，对所述第一帧序列进行时空特征提取，并利用可变形卷积，基于提取的所述时空特征进行帧合成，生成目标帧；利用所述目标帧对所述第一帧序列进行插帧处理，得到第二帧序列，将所述第二帧序列转化为新视频。本发明利用Transformer结构的自注意力机制建立视频帧间和帧内的长距离依赖关系，同时依靠可变形卷积来进行帧合成，能够较好的应对帧间大运动和复杂运动情况，在量化指标与可视化指标上均有较大提升。
-
公开(公告)号：CN118247458A
公开(公告)日：2024-06-25
申请号：CN202410206489.1
申请日：2024-02-26
Applicant: 上海大学
IPC: G06T17/20 , G06V40/10 , G06V10/80 , G06V10/82 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/084
Abstract: 本发明提供一种基于参数化模型的轻量化手部网格重建方法和系统，包括：获取手部数据集，确定手部数据集的参数化手部模型参数和手部网格，训练时作为groundtruth使用；其中，手部数据集包括手部图片和手部3D关节点坐标；根据轻量化编码器，确定手部数据集中手部图片的全局特征和热点图；将全局特征和热力图进行处理，确定手部图片的关节点和表面特征点；将关节点和表面特征点进行融合处理后输入预设的解码网络，确定参数化手部模型参数。本发明利用轻量化编码器提供多分辨特征分支的能力，利用3D关节点和表面特征点的融合，实现对单视点手部整体感知提升，在保持较好量化指标与可视化指标的同时具有较小的网络参数量和计算量。
-
公开(公告)号：CN114897956A
公开(公告)日：2022-08-12
申请号：CN202210473102.X
申请日：2022-04-29
Applicant: 上海大学
Abstract: 本发明提供一种光场相机阵列成像系统，包括：包括光场相机阵列和相机阵列处理模块；所述光场相机阵列，包括：相机组，所述相机组包括若干个记录不同场景角度的子相机；轨道，所述轨道放置所述相机组；LED照明设备，所述LED照明设备为所述相机组拍摄时提供光照；处理器，所述处理器与相机阵列处理模块连接，处理所述相机组拍摄的照片；PCIE采集卡，所述PCIE采集卡为所述相机组和所述处理器之间的通信提供接口。本发明采集模式更多样化；采集到的光场图像视差一致性更加精确。
-
-
公开(公告)号：CN112950629A
公开(公告)日：2021-06-11
申请号：CN202110359001.5
申请日：2021-04-02
Applicant: 上海大学
Abstract: 本发明公开了一种无参考全景图像质量评价方法及系统，该方法包括：计算相邻像素差分图像，得到差分图；设置差分图的阈值T，差分图的值大于T或小于‑T的值均置为T或‑T；在每一个差分图上计算马尔可夫过程，得到马尔可夫概率模型；将马尔可夫概率模型的概率分布作为特征输入到回归模型中进行训练及预测，得到全景图像的最终质量分数。该系统包括：差分图获得模块、阈值设置模块、马尔可夫概率模型获得模块、模型训练及预测模块。通过本发明，结合了全景图像的统计特性，与其他的无参考图像质量评价相比，具有更好的准确性。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.018 seconds)
