-
公开(公告)号:CN119049137A
公开(公告)日:2024-11-29
申请号:CN202411175698.0
申请日:2024-08-26
Applicant: 上海交通大学
IPC: G06V40/40 , G06V40/16 , G06N3/0455 , G06V10/80 , G06V10/82 , G06N3/0464 , G06V10/74 , G06N3/0895
Abstract: 本发明提供多模态人脸防伪模型训练方法、系统及人脸防伪检测方法,包括:获取多模态人脸图像训练集;对每个人脸图像样本随机丢弃模态模拟模态缺失的场景,根据训练困难程度,确定对不同缺失模态场景的丢弃策略以及进行批次级别和样本级别的随机模态丢弃;基于多模态人脸图像的模态缺失场景和批次级别和样本级别的随机丢弃,确定正负样本;构建多模态人脸防伪模型,采用缺失模态场景下的多模态人脸图像以及正负样本作为输入,得到人脸防伪结果,利用正负样本进行对比训练,确定多模态人脸防伪网络模型。本发明能够针对自然光、红外和深度相机等设备采集的不同模态或模态组合的图像,适应不同伪造人脸方式,具备低成本、高精度、高鲁棒性的特点。
-
公开(公告)号:CN119048393A
公开(公告)日:2024-11-29
申请号:CN202411173829.1
申请日:2024-08-26
Applicant: 上海交通大学
Abstract: 本发明提供一种上下文增强的图像生成方法、模型训练方法及系统,包括:获取训练图像数据集;利用预设的加噪机制对训练图像进行多步加噪,每一步所加的高斯噪声的方差取决于当前步数并逐渐增大,直至将未加噪的训练图像转换为标准高斯噪声,得到各步的加噪图像;利用随机掩码机制生成掩码,并根据掩码对加噪图像进行掩码区域的丢弃和对未加噪图像进行未掩码区域的丢弃;基于采用未丢弃的加噪图像和未加噪图像重建丢弃区域,对上下文增强的图像生成模型进行训练,得到训练好的图像生成模型。本发明能有效提升图像生成方法的上下文理解能力,提高图像生成质量,实现高分辨率多样性的图像生成。
-
公开(公告)号:CN118984392A
公开(公告)日:2024-11-19
申请号:CN202411119988.3
申请日:2024-08-15
Applicant: 上海交通大学
IPC: H04N19/147 , H04N19/13 , H04N19/124 , G06N3/0464
Abstract: 本发明公开一种矢量量化熵建模的图像编码、解码、压缩方法及系统,包括:获取待编码图像的第一特征图;获取第一特征图的超先验二进制码流以及超先验信息;用晶格矢量量化器对所述第一特征图进行量化;将量化的第一特征图投影到晶格矢量量化器的整数系数域,获得第二特征图;将第二特征图的分布参数化建模为各维度相互独立的高斯分布,通过组合所述超先验信息和空间上下文模型预测所述高斯分布的均值和方差;采用松弛边界划分晶格矢量量化器的整数系数域,根据预测的高斯分布的均值和方差进行概率估计及算术编码,获得特征二进制码流,与超先验特征二进制码流合并,得到压缩图像二进制码流。本发明通过对三维特征采用更高效的晶格矢量量化,提升图像压缩的率失真性能。
-
公开(公告)号:CN117301068A
公开(公告)日:2023-12-29
申请号:CN202311501158.2
申请日:2023-11-10
Applicant: 上海交通大学
IPC: B25J9/16
Abstract: 本发明提供了一种适用于机器人自适应不同任务的双重鲁棒增强的控制方法,其基于元强化学习在具有不同目标和潜在动力学的机器人控制任务上采样机器人控制过程中的信号用于训练,同时考虑将各个任务上的控制信号用其他任务上的奖励函数进行重标注来增强训练数据集,采用双重鲁棒估计的方法估计重标注后信号的状态价值,最终实现机器人能够通过少量采样自适应解决具有不同目标或不同潜在动力学的机器人控制任务。本发明解决了机器人控制任务中,在不同任务场景下同时存在目标和潜在动力学不同,且存在奖励信号稀疏的问题,增强了机器人控制方法对于不同环境和任务目标的适应能力,为机器人提供了性能更好的控制方法。
-
公开(公告)号:CN113674403B
公开(公告)日:2023-12-26
申请号:CN202110986829.3
申请日:2021-08-26
Applicant: 上海交通大学
IPC: G06T17/00 , G06V10/74 , G06V10/774 , G06V10/82 , G06N3/042 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本发明提供了一种三维点云上采样方法、系统与装置,包括:将三维点云划分为能覆盖所有点的固定点数可重叠点云块;根据点云块中点坐标提取层次化特征;利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展;从所述扩展特征重建上采样的三维点云中点坐标。本发明能够对空间稀疏非均匀分布的三维点云进行不同精细粒度的细节信息增强,同时对潜在的噪声扰动与局部形变具备良好的稳定性。与现有方法相比,能够促进上采样稠密点云空间分布的均匀性,保证了对于目标物体几何结构的精确表示,获得性能提升。
-
公开(公告)号:CN117119204A
公开(公告)日:2023-11-24
申请号:CN202311084166.1
申请日:2023-08-25
Applicant: 上海交通大学
IPC: H04N19/91 , H04N19/124 , H04N19/62 , H04N19/17 , H04N19/132 , H04N19/42
Abstract: 本发明公开一种基于条件扩散的概率熵建模图像编码、解码、压缩方法,包括:获取待编码图像的第一特征图和第二特征图;获取第二特征图的超先验特征二进制码流以及超先验信息;将第二特征图划分为多个通道分组,将每个通道分组划分为两个空间分组;将每个空间分组的分布参数化建模为混合高斯分布,通过条件扩散从高斯噪声逐次采样预测混合高斯分布的均值、方差和权重;根据混合高斯分布对第二特征图进行概率估计,并进行算术编码,获得每个空间分组的特征二进制码流并合并为特征二进制码流,进一步与超先验特征二进制码流合并,得到压缩图像二进制码流。本发明可以更精确地对三维特征的分布进行建模和估计码率,提升图像压缩的率失真性能。
-
公开(公告)号:CN117115042A
公开(公告)日:2023-11-24
申请号:CN202311284271.X
申请日:2023-09-29
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于协方差优化扩散模型的图像处理方法、系统及装置,用于图像重构、图像去噪、图像复原、图像去模糊或图像超分辨率。所述方法包括:获取测量值;在基于扩散模型理论的基础上,建立基于引导无条件预训练扩散模型实现条件概率采样,最终采样结果作为重建图像;在所述条件概率采样中使用极大似然法获得最优后验协方差,作为所述引导中高斯近似的协方差。本发明能够提高现有图像重构的精度,降低了对模型参数的敏感度,适用于图像去噪、复原与增强等各种重建问题的广泛场景。
-
公开(公告)号:CN113747163B
公开(公告)日:2023-09-26
申请号:CN202110940403.4
申请日:2021-08-17
Applicant: 上海交通大学
IPC: H04N19/147 , H04N19/189 , G06N3/0464 , G06N3/08 , G06N3/084
Abstract: 本发明提供一种基于上下文重组建模的图像编码、解码方法及压缩方法,其中,采用第一卷积神经网络生成图像的多通道特征图,作为第一特征图;对第一特征图按照通道间相似性分组,重新排列特征通道,输出重组的多通道特征图,作为第二特征图,输出通道索引二进制码流;将第二特征图量化为整数;根据量化后的第二特征图,提取超先验信息,获取超先验信息二进制码流;生成重构超先验信息,利用重构的超先验信息及量化后的第二特征图的上下文信息,获得特征图二进制码流;合并上述三种码流,得到压缩图像二进制码流。本发明可更高效地利用特征图中通道的相关性,通过控制通道分组的组别数在可降低性能的条件下提高编解码效率。
-
公开(公告)号:CN116777015A
公开(公告)日:2023-09-19
申请号:CN202310788877.0
申请日:2023-06-30
Applicant: 上海交通大学
IPC: G06N20/20 , G06V10/42 , G06V10/764 , G06V10/774
Abstract: 本发明涉及一种基于全局特征共享的个性化联邦学习方法、装置及系统。基于全局特征共享的个性化联邦学习方法应用于客户端,包括:接收服务器发送的全局特征提取器模型和全局特征;根据全局特征提取器模型和本地分类器模型,初始化本地模型;将本地图像数据输入经过初始化的本地模型进行模型训练,确定本地模型的损失函数,损失函数包括本地图像数据的训练标签和真实标签之间的交叉熵损失、条件互信息正则项;根据本地模型的损失函数,基于反向传播对本地模型进行第一更新处理;当本地模型收敛时,确定目标本地模型。本公开通过引入全局特征和条件互信息正则项,共享全局特征,提高本地模型的泛化表现,并防止本地模型的过拟合。
-
公开(公告)号:CN113810693B
公开(公告)日:2022-11-11
申请号:CN202111018763.5
申请日:2021-09-01
Applicant: 上海交通大学
IPC: H04N19/124 , H04N19/186 , H04N19/625 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种JPEG图像无损压缩和解压缩方法、系统与装置,包括:将JPEG图像部分解码,得到亮度和色度的DCT系数和量化表,进行缓存;将所述DCT系数按照对应频带排序,将排序后的DCT系数划分为若干个频率组;对所述频率组,逐个采用卷积神经网络从所属频带的DCT系数提取上下文;根据所述上下文,预测所述DCT系数的概率分布,进行算术编码,得到二进制码流。本发明在仅对JPEG图像部分解码的前提下,提高JPEG图像的压缩率,且不改变图像中的任何内容。本发明能兼容当前广泛使用的JPEG图像编码格式。
-
-
-
-
-
-
-
-
-