-
公开(公告)号:CN119784576A
公开(公告)日:2025-04-08
申请号:CN202510279546.3
申请日:2025-03-11
IPC: G06T3/04 , G06V40/16 , G06V10/82 , G06N3/0464 , G06N3/08 , G06N3/0455
Abstract: 本申请属于图像处理技术领域,公开了基于扩散模型和面部关键点的面部表情迁移方法及系统,该方法包括:获取包括源人脸关键点、目标人脸图像、表情迁移结果的训练样本对;采用Swin Transformer模块替换原始稳定扩散模型的文本编码器,得到改进后的稳定扩散模型;根据改进后的稳定扩散模型的预训练神经网络块,拷贝得到副本网络块,在副本网络块加入零卷积层,得到ControlNet架构;根据改进后的稳定扩散模型和ControlNet架构搭建表情迁移模型;基于训练样本对,使用控制损失函数和依赖时间步长的身份保持损失函数训练表情迁移模型,以生成保留身份特征的表情迁移结果。该方法能够将源人脸图像的面部表情迁移至不同表情的目标人脸的同时保留目标人脸的身份信息。
-
公开(公告)号:CN116152885A
公开(公告)日:2023-05-23
申请号:CN202211540523.6
申请日:2022-12-02
Applicant: 南昌大学
IPC: G06V40/16 , G06V10/82 , G06N3/0455
Abstract: 本发明公开了一种基于特征解耦的跨模态异质人脸识别和原型修复方法,技术路线为:先从输入人脸图片学习到潜在特征空间,并在特征空间中解耦原型特征和源域特征,再用目标域特征替换源域特征,进而解码到像素空间中生成目标域的人脸原型图片。不同于现有跨模态人脸识别技术只关注系统自动识别准确率,本发明引入了跨模态人脸原型修复过程,提供了人工鉴别和比对途径,进而提高了复杂环境下人脸识别系统的鲁棒性。此项发明技术尤其适用于刑事侦查和犯罪识别。发明融合了解耦表征学习与生成对抗学习技术,通过在潜在特征空间中仅解耦原型和域特征,进而在像素空间中自适应地移除了人脸变化信息。
-
公开(公告)号:CN115689868A
公开(公告)日:2023-02-03
申请号:CN202211280760.3
申请日:2022-10-19
Applicant: 南昌大学
IPC: G06T3/00 , G06V10/774 , G06V40/16
Abstract: 本发明公开了一种基于身份保持的跨风格人脸原型重建技术,包括以下步骤:S1:建立基于GAN的跨风格人脸原型重建模型,S2:建立模型的损失函数引导模型的训练过程,最终使得生成器在转换不同域的人脸图片风格的同时能够保留图片的原有身份特征;S3:将来自域A和域B的带有身份标签的人脸图片训练集输入到模型中进行模型训练,并构建测试集,查看训练好的模型在测试人脸图片上的人脸原型重建效果。本发明克服了现有跨风格人脸生成方法无法同时处理风格迁移和面部变化消除的缺点,可以实现跨光谱和跨艺术风格的人脸原型重建,避免了面部变化建模困难的问题。
-
公开(公告)号:CN120014386A
公开(公告)日:2025-05-16
申请号:CN202510467393.5
申请日:2025-04-15
Applicant: 南昌大学
IPC: G06V10/774 , G06V10/764 , G06V20/62 , G06N3/0895 , G06N3/096
Abstract: 本发明涉及机器学习技术领域,具体涉及胸部影像人工智能模型训练方法、电子设备和存储介质。在本发明中,将学生图像编码器和教师图像编码基于图像对提取的第一视角胸片特征和/或第二视角胸片特征分别进行对比学习,将学生文本编码器和教师文本编码器基于文本对提取的原始报告文本特征和/或润色文本特征分别进行对比学习,并将原始报告文本特征和/或润色文本特征与第一视角胸片特征和/或第二视角胸片特征分别进行对比学习;而且,通过相关性矩阵衡量学生模型和教师模型预测结果之间的一致性。
-
公开(公告)号:CN119477800A
公开(公告)日:2025-02-18
申请号:CN202411433559.3
申请日:2024-10-15
Applicant: 南昌大学
IPC: G06T7/00 , G06V40/70 , G06V40/16 , G06V40/20 , G06V10/80 , G06V20/40 , G06V10/774 , G06V10/82 , G06N3/0455 , G06N3/0475 , G06N3/094 , G06N3/0464
Abstract: 本发明涉及数据处理技术领域,特别涉及一种融合人脸表情与行为步态数据的帕金森智能评估方法,包括三个步骤:第一,对帕金森病患者的行为步态视频进行数据清洗,并使用YOLOv8模型将患者从视频中分割出来,再利用HRNet提取骨骼关键点,使用STGCN++获取特征;第二,使用StyleGAN生成保留患者身份信息的病前图像,将训练多个深度学习模型用于将收集到的每人的六种基本情绪的面部表情图像进行面部表情分类,并使用效果最好的预训练模型,用于提取患者面部表情的特征;第三,将提取到的步态特征和面部表情特征进行多模态特征融合,用于帕金森病预测。本发明方法显著提高了诊断的准确性,减少漏诊误诊的问题。
-
公开(公告)号:CN119418915A
公开(公告)日:2025-02-11
申请号:CN202510031898.7
申请日:2025-01-09
Applicant: 南昌大学
IPC: G16H50/20 , G16H50/70 , G06V40/16 , G06V10/52 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/08
Abstract: 本申请涉及人工智能辅助疾病检测技术领域,公开了帕金森病评估模型训练方法、系统及帕金森病评估方法,该模型训练方法包括:获取多个样本对象的多类面部表情图像,并为每个样本对象标注真实类别标签(PD患者或非PD患者);通过初始模型的分支网络模块提取多尺度特征,并利用初始模型的注意力融合模块对多尺度特征进行自适应加权融合,形成面部表情融合特征;通过初始模型的分类模块对面部表情融合特征进行分类,得到预测结果;根据预测结果与真实标签的差异构建联合损失函数,以优化模型的分类性能;基于联合损失函数对初始模型进行训练,最终得到目标帕金森病评估模型。该目标帕金森病评估模型能进一步提升帕金森疾病的评估。
-
公开(公告)号:CN118334473B
公开(公告)日:2024-08-23
申请号:CN202410757677.3
申请日:2024-06-13
Applicant: 南昌大学
IPC: G06V10/774 , G06V10/80 , G06V10/82 , G06V10/44 , G06N3/0455 , G06N3/084
Abstract: 本发明提出了一种基于语义解纠缠的深度伪造图像检测方法,包括如下步骤:S1、设计第一阶段训练的模型架构;S2、设计第二阶段训练的模型架构;S3、检验多尺度高频特征提取模块和多尺度高频特征融合模块的效果;S4、分析方法检测深度伪造图像的性能。第一阶段训练模型和第二阶段训练模型用于解纠缠图像共同伪造语义、图像特殊伪造语义和图像无关内容语义,以用于提高取证的鲁棒性和泛化能力。设计了自适应的高通滤波器、多尺度高频特征提取模块和多尺度高频特征融合模块,用于充分利用高频信息。提出了双阶段训练的方法,加强语义的解纠缠,提升提取的伪造语义的独立性,提高了语义在取证中的有效性。
-
公开(公告)号:CN115601379A
公开(公告)日:2023-01-13
申请号:CN202211280474.7
申请日:2022-10-19
Applicant: 南昌大学(CN)
Abstract: 本发明公开了一种基于数字图像处理的表面裂纹精确检测技术,包括裂纹图像采集、图像预处理、阈值分割、图像形态学处理、曲线拟合和实际值转换。本发明针对大理石块表面裂纹提出了一种普适性的表面裂纹检测方案。通过本方案能较为精确地检测裂纹的位置、长度、宽度等特征。利用本方案对表面裂纹进行实时监测,可以在如交通、电力、建筑和文物保护等多个领域内发挥作用。与其他裂纹检测技术相比,本方案采用数字图像处理技术,不仅能对表面裂纹进行无损检测,而且还具有再现性良好、处理精度较高、检测速度快以及成本低廉等特点,体现出了较大的推广优势。
-
公开(公告)号:CN119418915B
公开(公告)日:2025-04-29
申请号:CN202510031898.7
申请日:2025-01-09
Applicant: 南昌大学
IPC: G16H50/20 , G16H50/70 , G06V40/16 , G06V10/52 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/08
Abstract: 本申请涉及人工智能辅助疾病检测技术领域,公开了帕金森病评估模型训练方法、系统及帕金森病评估方法,该模型训练方法包括:获取多个样本对象的多类面部表情图像,并为每个样本对象标注真实类别标签(PD患者或非PD患者);通过初始模型的分支网络模块提取多尺度特征,并利用初始模型的注意力融合模块对多尺度特征进行自适应加权融合,形成面部表情融合特征;通过初始模型的分类模块对面部表情融合特征进行分类,得到预测结果;根据预测结果与真实标签的差异构建联合损失函数,以优化模型的分类性能;基于联合损失函数对初始模型进行训练,最终得到目标帕金森病评估模型。该目标帕金森病评估模型能进一步提升帕金森疾病的评估。
-
公开(公告)号:CN118629632A
公开(公告)日:2024-09-10
申请号:CN202410764544.9
申请日:2024-06-14
Applicant: 南昌大学
IPC: G16H50/20 , G06N3/0455 , G06N3/098 , G16H50/70 , G06F18/24 , G06N3/0464 , G06F18/22
Abstract: 本发明涉及数据处理技术领域,特别涉及一种基于联邦学习模型的帕金森疾病智能评估方法与系统,从三个角度测量客户端贡献,并受启发于经典博弈合作中的贡献计算方式Shapley Value,大大简化了客户端贡献估计的复杂度,在保护隐私的同时,激励多个医疗机构协同训练帕金森疾病诊断模型。本发明一种基于联邦学习模型的帕金森疾病智能评估方法与系统,从梯度下降速率、梯度多样性、数据多样性三个维度估计各个医疗机构的贡献,并在中心服务器聚合模型时,使用此贡献对各个客户端模型加权得到中心模型,实现公平,增加了医疗机构参与训练的意愿,激励各个医疗机构进行联合学习,得到一个更好的帕金森疾病分类模型。
-
-
-
-
-
-
-
-
-