公开(公告)号：CN116798092B

公开(公告)日：2024-08-30

申请号：CN202310591810.8

申请日：2023-05-24

Applicant: 哈尔滨工业大学

Inventor： 闫子飞 ,  温茗杰 ,  王忠礼 ,  王迎龙

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 构建个性化皮影头茬属性编辑生成器的方法，涉及计算机图像生成领域。解决了现有基于深度学习的人脸到皮影头茬的翻译方法，难以平衡生成图像保持原图中人脸可辨识特征的同时，兼顾拥有皮影头茬的结构要求的问题。本发明方法先构建皮影头茬样本集和人脸侧脸样本集，再对其样本集中样本进行预处理获得一组训练样本，通过一组训练样本对侧脸中间特征编码器EC、语义风格编码器ES和风格融合生成器G进行训练，且训练过程中通过计算总损失对上述三者进行参数更新，完成图像生成器的训练。本发明主要应用在由人脸图像到皮影头茬图像的翻译中。

公开(公告)号：CN120048231A

公开(公告)日：2025-05-27

申请号：CN202510119054.8

申请日：2025-01-24

Applicant: 哈尔滨工业大学

Inventor： 闫子飞 ,  渠涵 ,  王忠礼

IPC: G10H1/00 ,  G06F16/68 ,  G06V40/16 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 一种视频背景音乐生成系统，属于跨模态音乐生成技术领域。本发明针对现有视频背景音乐的生成未与视频情感表达关联，造成音乐与视频内容匹配度低的问题。包括：视频描述生成模块，用于对输入视频进行视频内容特征提取，获得视频内容文本描述；视频情感分析模块，用于对输入视频进行情感特征提取，获得视频情感类别文本描述；文本融合模块，用于对所述视频内容文本描述、所述视频情感类别文本描述和用户输入的音乐类型文本描述进行融合，得到背景音乐文本描述；音乐生成器，用于根据背景音乐文本描述生成目标背景音乐。本发明应用在用户生产内容模式下的短视频生成背景音乐中。

公开(公告)号：CN116798092A

公开(公告)日：2023-09-22

申请号：CN202310591810.8

申请日：2023-05-24

Applicant: 哈尔滨工业大学

Inventor： 闫子飞 ,  温茗杰 ,  王忠礼 ,  王迎龙

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 构建个性化皮影头茬属性编辑生成器的方法，涉及计算机图像生成领域。解决了现有基于深度学习的人脸到皮影头茬的翻译方法，难以平衡生成图像保持原图中人脸可辨识特征的同时，兼顾拥有皮影头茬的结构要求的问题。本发明方法先构建皮影头茬样本集和人脸侧脸样本集，再对其样本集中样本进行预处理获得一组训练样本，通过一组训练样本对侧脸中间特征编码器EC、语义风格编码器ES和风格融合生成器G进行训练，且训练过程中通过计算总损失对上述三者进行参数更新，完成图像生成器的训练。本发明主要应用在由人脸图像到皮影头茬图像的翻译中。