公开(公告)号：CN115870980A

公开(公告)日：2023-03-31

申请号：CN202211585522.3

申请日：2022-12-09

Applicant: 北部湾大学

Inventor： 罗俊琦 ,  朱留存 ,  陈明友 ,  张振宇 ,  刘纪元 ,  经展鹏 ,  李亮 ,  白文豪 ,  洪培涛

IPC: B25J9/16 ,  G06V30/304 ,  G06V30/18 ,  G06V10/28 ,  G06T7/73

Abstract: 本发明提供了一种基于视觉的弹琴机器人控制方法及装置，方法包括：利用获取到的视觉信息对机器人末端的手爪和琴键进行标定，得到琴键图像坐标系与手爪空间坐标系的变换关系；利用获取到的曲谱图像进行自主识别，得到曲谱信息；根据所述曲谱信息规划机械臂和手爪的最优动作组合；根据所述最优动作组合确定控制指令，并将所述控制指令发送至所述机械臂和手爪，以使所述机械臂和手爪进行动作。本发明能够实现弹琴机器人“手—琴”的便捷标定和曲谱图像的自主识别，并对弹琴机器人的弹奏动作组合进行优化，有效的提升弹琴机器人的弹奏效率和效果。

公开(公告)号：CN115870980B

公开(公告)日：2024-08-09

申请号：CN202211585522.3

申请日：2022-12-09

Applicant: 北部湾大学

Inventor： 罗俊琦 ,  朱留存 ,  陈明友 ,  张振宇 ,  刘纪元 ,  经展鹏 ,  李亮 ,  白文豪 ,  洪培涛

IPC: B25J9/16 ,  G06V30/304 ,  G06V30/18 ,  G06V10/28 ,  G06T7/73

Abstract: 本发明提供了一种基于视觉的弹琴机器人控制方法及装置，方法包括：利用获取到的视觉信息对机器人末端的手爪和琴键进行标定，得到琴键图像坐标系与手爪空间坐标系的变换关系；利用获取到的曲谱图像进行自主识别，得到曲谱信息；根据所述曲谱信息规划机械臂和手爪的最优动作组合；根据所述最优动作组合确定控制指令，并将所述控制指令发送至所述机械臂和手爪，以使所述机械臂和手爪进行动作。本发明能够实现弹琴机器人“手—琴”的便捷标定和曲谱图像的自主识别，并对弹琴机器人的弹奏动作组合进行优化，有效的提升弹琴机器人的弹奏效率和效果。