-
-
公开(公告)号:CN116342749A
公开(公告)日:2023-06-27
申请号:CN202310004034.7
申请日:2023-01-03
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于神经网络的视频着色方法及系统,涉及视频着色领域,该方法包括:对待着色视频的首帧图像和尾帧图像进行着色,获得首尾帧着色后的视频;将所述首尾帧着色后的视频输入视频着色模型,获得对各中间帧图像着色后的视频,所述中间帧图像为所述首帧图像和所述尾帧图像之间的视频帧图像;所述视频着色模型对所述中间帧图像着色时,分别以所述首帧图像和所述尾帧图像作为参考帧,所述视频着色模型为根据训练集对视频着色网络训练确定的。本发明提高了视频着色质量。
-
公开(公告)号:CN115879542A
公开(公告)日:2023-03-31
申请号:CN202211647916.7
申请日:2022-12-21
Applicant: 南京理工大学
IPC: G06N3/098 , G06N3/084 , G06N3/0475 , G06N3/045
Abstract: 本申请提供一种面向非独立同分布异构数据的联邦学习方法,方法包括:模型初始化:客户端训练:使用客户端分配的私有数据xi和服务器端共享的条件生成模型G(z|y)训练本地的分类模型Ei(x);训练生成模型:在服务器端利用各个客户端模型Ei(x)和服务器端模型E(x)训练条件生成网络G;聚合参数;将当前轮次聚合之后的新模型E(x)当前参数传播给所有客户端模型;模型测试;服务器端判断是否继续下一次通信,若继续下一次通信,则返回前述步骤,否则结束通信,保存全局网络模型参数。本申请削弱数据量过少以及数据分布不均衡导致的全局网络模型训练不足问题。
-
公开(公告)号:CN111985405B
公开(公告)日:2022-07-26
申请号:CN202010846892.2
申请日:2020-08-21
Applicant: 南京理工大学
Abstract: 本发明涉及一种人脸年龄合成方法及系统,涉及人脸合成技术领域,人脸年龄合成方法包括:将测试图像进行预处理后输入人脸年龄合成模型中,得到不同年龄段的人脸图像;其中,人脸年龄合成模型的训练包括根据注意力掩码和合成人脸图像利用生成器网络的损失函数对生成器网络的参数进行优化,然后将合成人脸图像和对应原始输入作为负样本,合成时随机产生的目标年龄标签中的随机挑选的人脸图像作为正样本,输入到判别器网络得到对应的人脸图像的真实性的概率,根据这些概率利用判别器网络的损失函数对判别器网络的参数进行优化。当迭代次数到达最大迭代次数时,得到训练好的人脸年龄合成模型。本发明能够实现人脸年龄合成视觉质量的提升。
-
公开(公告)号:CN114333057A
公开(公告)日:2022-04-12
申请号:CN202111639981.0
申请日:2021-12-29
Applicant: 南京理工大学
IPC: G06V40/20 , G06V20/40 , G06V10/80 , G06V10/764
Abstract: 本发明公开了一种基于多级别特征交互融合的组合动作识别方法及系统,该方法包括步骤:位置到外观的特征提取,利用位置信息从低级别的外观信息中提取以实例为中心的联合特征;语义特征交互,进一步探索联合特征与实例身份之间的语义交互;语义到位置的预测,将语义特征再映射回低维的位置空间以实现实例位置预测;动作类别预测,聚合以实例为中心的特征实现动作识别。本发明可有效的融合不同来源的特征,提升组合动作识别的准确率。
-
公开(公告)号:CN113743497A
公开(公告)日:2021-12-03
申请号:CN202111025778.4
申请日:2021-09-02
Applicant: 南京理工大学
Abstract: 本发明提供了一种基于注意力机制与多尺度特征的细粒度识别方法及系统,方法包括:获取待识别图片;将待识别图片输入类别确定模型中,得到所述待识别训练图片的类别。本发明中的类别确定模型能够同时捕获图片的整体特征和细节特征,能够提高小样本细粒度识别的识别精度。
-
公开(公告)号:CN112767250B
公开(公告)日:2021-10-15
申请号:CN202110067977.5
申请日:2021-01-19
Applicant: 南京理工大学
IPC: G06T3/40
Abstract: 本发明提供了一种基于自监督学习的视频盲超分辨率重建方法及系统,方法包括:首先采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络;基于模糊核估计网络,利用第一分辨率视频序列估计模糊核;其次基于光流估计网络和第一分辨率视频序列确定形变矩阵;然后利用特征提取网络提取第一分辨率视频序列中各视频帧的特征,根据形变矩阵对齐各视频帧的特征;再次利用潜在高分辨率中间帧重建网络和对齐后各视频帧的特征来构建第二分辨率中间视频帧;最后基于第二分辨率中间视频帧确定第二分辨率视频。本发明采用自监督方法能够有效改善重建高分辨率视频时虚假伪影以及错误结构信息,进一步提高视觉效果。
-
公开(公告)号:CN112016456B
公开(公告)日:2021-06-22
申请号:CN202010880004.9
申请日:2020-08-27
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于自适应反向投影深度学习的视频超分辨率方法及系统,包括:根据待处理视频帧序列块确定运动补偿邻帧特征;采用多幅图像神经网络得放大运动补偿邻帧特征集合;采用第二卷积层得参考帧特征;采用深度反向投影网络得放大参考帧特征;将放大参考帧特征与邻帧的放大运动补偿邻帧特征作差,对差值特征提取得差值特征;根据参考帧特征确定标准化注意力参数;差值特征点乘标准化注意力参数加上放大参考帧特征得隐藏特征;将隐藏特征保存于列表中;将缩小隐藏特征更新为参考帧特征,重复上述步骤,直到确定每个邻帧的隐藏特征;将列表中的隐藏特征拼接,采用第三卷积层得超分辨率图像。通过本发明上述方法能有效提升视频图像的重建结果。
-
公开(公告)号:CN111986114A
公开(公告)日:2020-11-24
申请号:CN202010847027.X
申请日:2020-08-21
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于自监督约束的双尺度图像盲去噪方法及系统。该方法包括:根据小尺度的噪声图像和大尺度的噪声图像,构建双尺度的边缘保持自监督约束、双尺度的背景一致性自监督约束和双尺度的结构相似性注意力自监督约束,以各自监督约束为约束条件,根据小尺度的噪声图像数据集和大尺度的噪声图像数据集训练盲去噪网络,通过训练后的盲去噪网络实现噪声图像的自监督去噪。
-
公开(公告)号:CN107222795B
公开(公告)日:2020-07-31
申请号:CN201710486660.9
申请日:2017-06-23
Applicant: 南京理工大学
IPC: H04N21/8549 , H04N21/44
Abstract: 本发明提供了一种多特征融合的视频摘要生成方法,包括以下步骤:获取视频并将视频作为输入数据;对输入的视频数据进行片段的分割,记录分割点和视频片段的个数;提取每个视频片段中的视频帧和视频帧中心块;分别对提取的视频帧和视频帧中心块进行特征和图像质量的计算;根据得到的特征进行全局重要性和局部重要性的计算;对得到的每一帧的全局重要性和局部重要性进行融合得到融合重要性;根据分割点对每个视频片段进行重要性的计算;根据得到的每个视频片段的重要性和设定阈值,对视频片段进行选择,选出一个优化的视频片段子集;根据选出的视频片段子集进行视频摘要的合成。
-
-
-
-
-
-
-
-
-