公开(公告)号：CN117130383B

公开(公告)日：2024-03-29

申请号：CN202311186940.X

申请日：2023-09-14

Applicant: 之江实验室

Inventor： 王沛东 ,  陈付幸 ,  王令

IPC: G05D1/495 ,  G05D1/46 ,  G05D101/15 ,  G05D109/20

Abstract: 本申请提供一种无人机视觉跟踪方法、系统、无人机及可读存储介质。获取无人机所固联的云台上相机采集的目标图像；识别被跟踪目标在目标图像中相对于图像中心区域的相对偏移位置；根据相对偏移位置，通过强化学习算法，得到无人机及云台的控制量信息；根据控制量信息，以图像中心区域为基准，联合控制无人机及云台以使被跟踪目标处于图像中心区域。如此，根据被跟踪目标在目标图像中相对于图像中心区域的相对偏移位置，得到无人机及云台的控制量信息，不需要云台姿态和无人机姿态耦合，也不需要建立无人机的模型和云台的模型，也不需要解耦，从而不存在解耦的难度。

公开(公告)号：CN115990883A

公开(公告)日：2023-04-21

申请号：CN202310085704.2

申请日：2023-01-12

Applicant: 之江实验室

Inventor： 王沛东 ,  李楠 ,  陈文轩 ,  汪江平

IPC: B25J9/16

Abstract: 本说明书公开了一种机器人的控制方法及装置，可以根据视觉传感器对目标物进行定位，得到定位结果，并根据该定位结果，控制机器人接近目标物，而后，若根据视觉传感器的定位结果，确定机器人位于距离目标物的预设距离范围内，监测力传感器测量得到的机器人被施加的外力，进而根据外力以及定位结果，确定机器人接近目标物所需的加速度，并根据该加速度，计算出相应的速度和位置增量，控制机器人不断接近目标物，直到监测到机器人接触到目标物，调整机器人持有的指定工具与目标物之间的角度，以通过机器人执行针对目标物的操作，结合力传感器与视觉传感器共同控制机器人进行针对目标物的操作，避免损坏工具或目标物，达到柔顺操控的效果。

公开(公告)号：CN117182906A

公开(公告)日：2023-12-08

申请号：CN202311228833.9

申请日：2023-09-21

Applicant: 之江实验室

Inventor： 王沛东 ,  陈付幸 ,  王令

IPC: B25J9/16

Abstract: 本申请提供一种生物实验机器人及其控制方法。机器人采用移动平台搭载双机械臂的结构，在移动平台上安装3D相机作为全局相机，在各自机械臂上安装3D相机作为局部相机。该方法包括：预先通过标定获取机器人与3D相机之间的位姿转换关系；预先训练获得实验用具识别模型；利用全局相机拍摄生物实验台图像，识别出待抓取的目标实验用具，获取其类别及在相机坐标系中的位置；求得目标实验用具在机器人坐标系中的位姿；进行机器人的双臂协同作业路径规划；在全局相机的引导下，联合控制移动移动平台和双机械臂接近目标实验用具；及在各自局部相机的引导下，控制双机械臂精确运动到目标实验用具；随后切换至力控模式，进行生物实验操作。

公开(公告)号：CN115990883B

公开(公告)日：2024-04-26

申请号：CN202310085704.2

申请日：2023-01-12

Applicant: 之江实验室

Inventor： 王沛东 ,  李楠 ,  陈文轩 ,  汪江平

IPC: B25J9/16

Abstract: 本说明书公开了一种机器人的控制方法及装置，可以根据视觉传感器对目标物进行定位，得到定位结果，并根据该定位结果，控制机器人接近目标物，而后，若根据视觉传感器的定位结果，确定机器人位于距离目标物的预设距离范围内，监测力传感器测量得到的机器人被施加的外力，进而根据外力以及定位结果，确定机器人接近目标物所需的加速度，并根据该加速度，计算出相应的速度和位置增量，控制机器人不断接近目标物，直到监测到机器人接触到目标物，调整机器人持有的指定工具与目标物之间的角度，以通过机器人执行针对目标物的操作，结合力传感器与视觉传感器共同控制机器人进行针对目标物的操作，避免损坏工具或目标物，达到柔顺操控的效果。

公开(公告)号：CN117130383A

公开(公告)日：2023-11-28

申请号：CN202311186940.X

申请日：2023-09-14

Applicant: 之江实验室

Inventor： 王沛东 ,  陈付幸 ,  王令

IPC: G05D1/08 ,  G05D1/10

Abstract: 本申请提供一种无人机视觉跟踪方法、系统、无人机及可读存储介质。获取无人机所固联的云台上相机采集的目标图像；识别被跟踪目标在目标图像中相对于图像中心区域的相对偏移位置；根据相对偏移位置，通过强化学习算法，得到无人机及云台的控制量信息；根据控制量信息，以图像中心区域为基准，联合控制无人机及云台以使被跟踪目标处于图像中心区域。如此，根据被跟踪目标在目标图像中相对于图像中心区域的相对偏移位置，得到无人机及云台的控制量信息，不需要云台姿态和无人机姿态耦合，也不需要建立无人机的模型和云台的模型，也不需要解耦，从而不存在解耦的难度。