公开(公告)号：CN116740450A

公开(公告)日：2023-09-12

申请号：CN202310726324.2

申请日：2023-06-19

Applicant: 南京大学

Inventor： 沈勇 ,  刘天宇 ,  孙戈非 ,  冯雪磊 ,  刘紫赟

IPC: G06V10/764 ,  G06V10/77 ,  G06V10/40 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/084 ,  G06N3/096

Abstract: 一种基于联邦迁移学习的音视频匹配方法及系统，本发明所述方法基于大量情感数据，训练出预训练模型，个人用户在预训练模型上基于联邦迁移学习，使用少量个人数据，即可获得适用于自己需求的音视频匹配模型。本发明训练过程中数据隔离，解决了音视频匹配中可能存在的数据泄露风险，保障了用户的版权和隐私。同时保证了模型的质量无损传输，不会出现负迁移。

公开(公告)号：CN116778291A

公开(公告)日：2023-09-19

申请号：CN202310742204.1

申请日：2023-06-21

Applicant: 南京大学

Inventor： 沈勇 ,  刘天宇 ,  孙戈非 ,  冯雪磊 ,  刘紫赟

IPC: G06V10/80 ,  G06V10/774 ,  G06V20/40 ,  G10L25/63

Abstract: 一种基于视听融合效应的音视频跨模态搜索方法，对于用户给出的音频或视频，本发明可以通过训练好的人工智能网络，进行跨模态的搜索，即通过音频搜索视频或通过视频搜索音频。对于输入的其进行情感特征的提取，并以特征向量的余弦距离在素材库中进行搜索。本发明可以适配目前常见音视频格式的要求，内容上视频适用场景包括电影、纪录片、广告片等，音频适用场景包括古典乐、流行乐、爵士乐等。