-
公开(公告)号：CN119832929A
公开(公告)日：2025-04-15
申请号：CN202510311256.2
申请日：2025-03-17
Applicant: 华侨大学 , 信泰(福建)科技有限公司 , 福建省万物智联科技有限公司
IPC: G10L21/10 , G10L25/24 , G06V40/16 , G06N3/045 , G06N3/0455 , G06N3/0464 , G06N3/0475 , G06N3/094 , G06V10/44 , G06V10/54
Abstract: 一种基于深度感知融合的语音驱动人脸视频生成方法及装置，涉及计算机视觉与图像处理领域，方法包括：S1，获取具有音频片段和参考图像的人脸说话视频数据集，对数据集进行预处理后，分为训练数据集和测试数据集；S2，构建人脸视频生成模型；包括音频编码器、图像编码器、深度编码器、交叉参考模块和跨模态注意力模块；S3，使用训练数据集合训练人脸视频生成模型，得到训练好的人脸视频生成模型；S4，将测试数据集输入训练好的人脸视频生成模型，输出生成的结合音频和视频的人脸视频。本发明通过在人脸视频生成模型中引入交叉参考模块和跨模态注意力模块，有效地在提高了人脸视频的面部结构准确度的同时兼顾了运动的细粒度细节。
-
Patent Agency Ranking
公开(公告)号：CN117456480A
公开(公告)日：2024-01-26
申请号：CN202311769679.6
申请日：2023-12-21
Applicant: 华侨大学 , 星宸科技股份有限公司
IPC: G06V20/54 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种基于多源信息融合的轻量化车辆再辨识方法，涉及计算机视觉与机器学习技术领域，包括：构建神经网络；所述神经网络包括依次连接的ResNet50网络、局部特征融合网络和混合注意力模块；使用监督对比损失和多源信息识别损失对神经网络进行联合训练，直至收敛，得到教师网络；选取计算量和参数量比教师网络均小的模型作为学生网络；通过知识蒸馏，对学生网络进行监督，训练直至收敛，得到轻量化的车辆再辨识模型；基于轻量化的车辆再辨识模型，输出再辨识结果。本发明利用多源信息融合的方式协调不同传感器数据以提高再辨识性能，并辅以知识蒸馏，实现在有限的计算资源下，实现高质量的再辨识，从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号：CN118379777B
公开(公告)日：2024-11-22
申请号：CN202410807403.0
申请日：2024-06-21
Applicant: 华侨大学
IPC: G06V40/16 , G06N3/0442 , G06N3/0475 , G06N3/094 , G06V10/774 , G06V10/82 , G06V20/40 , G06V40/20 , G10L21/10
Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统，涉及图像处理技术领域，方法包括：构建人脸视频生成模型，包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器，所述人脸视频生成模型接收人脸图像和语音音频，生成人脸说话视频；获取训练数据集并对人脸视频生成模型进行预训练；构建唇型同步判别器作为判别器，对预训练人脸视频生成模型进行生成对抗训练；利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模，并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度，同时兼顾视频的逼真度，使得其更加真实、自然，从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号：CN118379777A
公开(公告)日：2024-07-23
申请号：CN202410807403.0
申请日：2024-06-21
Applicant: 华侨大学
IPC: G06V40/16 , G06N3/0442 , G06N3/0475 , G06N3/094 , G06V10/774 , G06V10/82 , G06V20/40 , G06V40/20 , G10L21/10
Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统，涉及图像处理技术领域，方法包括：构建人脸视频生成模型，包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器，所述人脸视频生成模型接收人脸图像和语音音频，生成人脸说话视频；获取训练数据集并对人脸视频生成模型进行预训练；构建唇型同步判别器作为判别器，对预训练人脸视频生成模型进行生成对抗训练；利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模，并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度，同时兼顾视频的逼真度，使得其更加真实、自然，从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号：CN117456480B
公开(公告)日：2024-03-29
申请号：CN202311769679.6
申请日：2023-12-21
Applicant: 华侨大学 , 星宸科技股份有限公司
IPC: G06V20/54 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种基于多源信息融合的轻量化车辆再辨识方法，涉及计算机视觉与机器学习技术领域，包括：构建神经网络；所述神经网络包括依次连接的ResNet50网络、局部特征融合网络和混合注意力模块；使用监督对比损失和多源信息识别损失对神经网络进行联合训练，直至收敛，得到教师网络；选取计算量和参数量比教师网络均小的模型作为学生网络；通过知识蒸馏，对学生网络进行监督，训练直至收敛，得到轻量化的车辆再辨识模型；基于轻量化的车辆再辨识模型，输出再辨识结果。本发明利用多源信息融合的方式协调不同传感器数据以提高再辨识性能，并辅以知识蒸馏，实现在有限的计算资源下，实现高质量的再辨识，从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号：CN117036911A
公开(公告)日：2023-11-10
申请号：CN202311301590.7
申请日：2023-10-10
Applicant: 华侨大学 , 星宸科技股份有限公司 , 厦门瑞为信息技术有限公司
IPC: G06V10/82 , G06N3/0464 , G06N3/08 , G06V10/74
Abstract: 本发明公开了一种基于神经架构搜索的车辆再辨识轻量化方法及系统，涉及计算机视觉与机器学习技术领域，方法包括：S1，构建网络模型，给定硬件约束以生成对应的架构生成器，利用测试集训练架构生成器；S2，将硬件约束输入到架构生成器，得到多个轻量化神经网络架构模型；S3，采集车辆再辨识数据并进行数据增强；S4，利用车辆再辨识数据集对轻量化神经网络架构模型进行训练及验证，选择效果最好的作为轻量化车辆再辨识网络；S5，基于轻量化车辆再辨识网络进行车辆再辨识。本发明利用神经架构搜索自适应地依据硬件约束进行神经网络的搭建，得到兼具效率与性能的轻量化网络，可以在大规模的神经网络设计中减轻人工设计和调试的负担。
-
-
-
-
-
Search Results
6
records
(took 0.012 seconds)
