公开(公告)号：CN119418673A

公开(公告)日：2025-02-11

申请号：CN202411547506.4

申请日：2024-11-01

Applicant: 新疆大学

Inventor： 库尔班·吾布力 ,  伊斯马伊力·图尔荪 ,  依力哈木·艾力 ,  西尔艾力·阿布来提 ,  李帅 ,  吐鲁呼娜依·苏里坦尼

IPC: G10H1/00 ,  G10H1/34 ,  G06V20/40 ,  G06V40/10 ,  G06V10/82 ,  G06N3/0455 ,  G06F16/71

Abstract: 本发明公开了一种基于深度学习的都塔尔演奏识别并生成曲谱的方法，是一个基于目标检测网络，关键点检测网络和语音识别网络的识别都塔尔演奏状态的方法；本方法通过对都塔尔的品位点和按压品位的手部空间位置关系计算出当前的品位状态，因此通过目标检测网络来检测视频当前帖的都塔尔和按压品位的手，然后在通过关键点检测网络来分别对都塔尔和按压品位的手进行关键点检测，再通过都塔尔品位关键点和手部关键点的空间位置关系来确定当前的品位状态；一个演奏状态由一个品位状态和一个扫弦状态组成，又因为扫弦状态归纳为两种状态的声音（向上扫弦和向下扫弦），因此可以通过语音识别网络来确定当前的扫弦状态；结合品位状态和扫弦状态生成输入视频中都塔尔演奏曲子的曲谱；基于本框架可以做出用在生成曲谱和辅助教学视频的系统，并也可以通过该系统建立一个标准的都塔尔弹奏数据库，用户可以从这数据库中学习自己想学的内容，也可以做出通过比较用户上传的视频的演奏方式和标准数据库中的演奏方式指出用户的错误的系统，也可以作出辅助整理都塔尔曲谱的系统。