-
公开(公告)号:CN116360492B
公开(公告)日:2024-01-30
申请号:CN202310345807.8
申请日:2023-04-03
Applicant: 北京科技大学
IPC: G05D1/46 , G05D1/495 , G05D101/15 , G05D109/20
Abstract: 本发明涉及扑翼飞行机器人视觉跟踪技术领域,特别是指一种扑翼飞行机器人目标跟踪方法及系统。包括:初始化机载视觉处理模块与机载相机云台模块;机载相机云台模块获取扑翼飞行机器人的长焦相机航拍图像以及短焦相机航拍图像;机载视觉处理模块基于短焦相机航拍图像以及目标跟踪算法,选取待跟踪目标;机载视觉处理模块通过目标跟踪算法,获取待跟踪目标的像素位置;机载视觉处理模块根据待跟踪目标的像素位置,通过云台控制器控制机载相机云台模块转动;机载视觉处理模块通过相机映射关系获得待跟踪目标在长焦相机航拍图像中的位置,实现对待跟踪目标的实时跟踪。采用本发明,可以缩小目标匹配的范围,提高扑翼飞行机器人目标跟踪的稳定性。(56)对比文件Najmaddin Abo Mosali等.Twin DelayedDeep Deterministic Policy Gradient-BasedTarget Tracking for Unmanned AerialVehicle With Achievement Rewarding andMultistage Training《.IEEE Access》.2022,全文.Hongwei She等.Design andimplementation of a target tracking andranging system based on binocular vision《.2021 IEEE International Conference onRecent Advances in Systems Science andEngineering (RASSE)》.2022,全文.付强等.仿生扑翼飞行器的视觉感知系统研究进展.工程科学学报.2019,(第12期),全文.沈旭等.机载平台下基于深度检测网络的目标跟踪重捕算法.红外技术.2020,(第07期),全文.余志超等.结合深度轮廓特征的改进孪生网络跟踪算法.西安电子科技大学学报.2020,(第03期),全文.黄一凡等.基于二自由度转台的双目视觉跟踪技术研究.电子设计工程.2018,(第14期),全文.
-
公开(公告)号:CN117032303A
公开(公告)日:2023-11-10
申请号:CN202311024379.5
申请日:2023-08-14
Applicant: 北京科技大学
IPC: G05D1/10
Abstract: 本发明提供一种基于视觉引导的扑翼飞行机器人自主降落方法,属于仿生扑翼飞行机器人应用技术领域。所述方法包括:步骤1,将ArUcoMarker嵌套组合的降落标志固定在降落平台上;步骤2,引导扑翼飞行机器人在降落平台上空盘旋绕圆飞行;步骤3,拍摄降落标志,解算出扑翼飞行机器人与降落标志的相对位姿;步骤4,生成低于当前飞行高度的飞行航点坐标引导扑翼飞行机器人围绕降落标志绕圆飞行下降高度;步骤5,判断扑翼飞行机器人是否下降至一定的高度,若否,则重复执行步骤3和步骤4的操作;步骤6,若是,则生成降落标志的飞行航点坐标引导扑翼飞行机器人朝降落平台直线飞行,直至降落在降落平台上。采用本发明,能够提高扑翼飞行机器人自主降落的精度。
-
公开(公告)号:CN117032303B
公开(公告)日:2024-04-30
申请号:CN202311024379.5
申请日:2023-08-14
Applicant: 北京科技大学
Abstract: 本发明提供一种基于视觉引导的扑翼飞行机器人自主降落方法,属于仿生扑翼飞行机器人应用技术领域。所述方法包括:步骤1,将ArUcoMarker嵌套组合的降落标志固定在降落平台上;步骤2,引导扑翼飞行机器人在降落平台上空盘旋绕圆飞行;步骤3,拍摄降落标志,解算出扑翼飞行机器人与降落标志的相对位姿;步骤4,生成低于当前飞行高度的飞行航点坐标引导扑翼飞行机器人围绕降落标志绕圆飞行下降高度;步骤5,判断扑翼飞行机器人是否下降至一定的高度,若否,则重复执行步骤3和步骤4的操作;步骤6,若是,则生成降落标志的飞行航点坐标引导扑翼飞行机器人朝降落平台直线飞行,直至降落在降落平台上。采用本发明,能够提高扑翼飞行机器人自主降落的精度。
-
公开(公告)号:CN116862944B
公开(公告)日:2024-04-26
申请号:CN202310768372.8
申请日:2023-06-27
Applicant: 北京科技大学
Abstract: 本发明公开了一种面向扑翼飞行机器人的实时电子稳像方法及系统,所述方法包括:获取扑翼飞行机器人进行飞行航拍时,实时采集的视频流;对视频流中的每帧图像分别进行网格划分,并对每帧图像中的像素点分别进行等间隔采样,得到特征点;基于预设的光流估计网络确定每一帧图像中的每一特征点的光流信息;通过对每一网格顶点附近的特征点的光流信息进行滤波,得到各网格顶点的光流信息,进而得到原始运动路径;结合扑翼运动周期,对原始运动路径进行平滑滤波,生成一条平滑路径;进而根据生成的平滑路径对图像序列进行反向位置补偿,生成稳定后的视频流。本发明方案计算量小,拥有实时处理能力,可较好地满足扑翼飞行机器人的实时航拍画面稳定需求。
-
公开(公告)号:CN115840459B
公开(公告)日:2023-05-16
申请号:CN202310005579.X
申请日:2023-01-04
Applicant: 北京科技大学
Abstract: 本发明公开了一种面向扑翼飞行器的单目视觉避障系统,包括机载环境感知模块、地面信号处理模块和飞行器控制模块;机载环境感知模块实时拍摄被控扑翼飞行器飞行过程中前方的视频图像,并发送至地面信号处理模块;飞行器控制模块实时采集被控扑翼飞行器的飞行状态信息,并发送至地面信号处理模块;地面信号处理模块结合上述信息,估算出当前场景的深度信息,确定当前姿态下的障碍物检测区域,进行障碍物检测,生成避障控制指令,并发送给飞行器控制模块,控制飞行器执行相应的飞行动作。本发明解决了在扑翼飞行器上使用深度图像进行环境感知时对地面区域的障碍物误检问题。具有结构简单,控制效果好等优势,较好地解决了扑翼飞行器自主避障问题。
-
公开(公告)号:CN117784693A
公开(公告)日:2024-03-29
申请号:CN202311856309.6
申请日:2023-12-29
Applicant: 北京科技大学
IPC: G05B19/042
Abstract: 在扑翼飞行机器人领域,本发明提供一种面向扑翼飞行机器人的云台控制系统及控制方法,包括:两轴云台,IMU惯导单元,磁编码器模块,云台控制模块和俯仰缓冲稳像模块,两轴云台包括俯仰电机和偏航电机;IMU惯导单元安装在扑翼飞行机器人机身上,IMU惯导单元检测俯仰自由度倾角;磁编码器模块将俯仰电机的转子转动角度和偏航电机的转子转动角度反馈至云台控制模块;云台控制模块根据转子转动角度进行计算,得到下一时刻两轴云台的控制信号,云台控制模块将下一时刻两轴云台的控制信号发送至两轴云台;俯仰缓冲稳像模块根据俯仰自由度倾角调整两轴云台位置,本发明解决了实际应用中缺乏面向扑翼飞行机器人的小型云台精准控制系统。
-
公开(公告)号:CN115840459A
公开(公告)日:2023-03-24
申请号:CN202310005579.X
申请日:2023-01-04
Applicant: 北京科技大学
Abstract: 本发明公开了一种面向扑翼飞行器的单目视觉避障系统,包括机载环境感知模块、地面信号处理模块和飞行器控制模块;机载环境感知模块实时拍摄被控扑翼飞行器飞行过程中前方的视频图像,并发送至地面信号处理模块;飞行器控制模块实时采集被控扑翼飞行器的飞行状态信息,并发送至地面信号处理模块;地面信号处理模块结合上述信息,估算出当前场景的深度信息,确定当前姿态下的障碍物检测区域,进行障碍物检测,生成避障控制指令,并发送给飞行器控制模块,控制飞行器执行相应的飞行动作。本发明解决了在扑翼飞行器上使用深度图像进行环境感知时对地面区域的障碍物误检问题。具有结构简单,控制效果好等优势,较好地解决了扑翼飞行器自主避障问题。
-
公开(公告)号:CN114604439B
公开(公告)日:2022-10-18
申请号:CN202210289540.0
申请日:2022-03-23
Applicant: 北京科技大学
Abstract: 本发明公开了一种面向扑翼飞行机器人的航拍视频稳像系统,包括云台模块、相机模块和处理模块;处理模块用于接收扑翼飞行机器人飞行过程中的机翼扑动频率、机翼扑动幅度、机身姿态信息,还用于接收相机模块的旋转运动信息和相机模块的视频图像,并对上述接收信息进行处理,基于处理结果控制视频稳像系统的运行。本发明所述视频稳像系统将云台机械稳像、电子滤波稳像、扑翼飞行机器人飞行过程中机身信息进行深度融合,最终输出稳像后的视频图像到地面接收机。本发明所述视频稳像系统融合了多种稳像方法的优势,并与扑翼飞行机器人飞行状态结合,较好地解决了扑翼飞行机器人航拍画面抖动问题。
-
公开(公告)号:CN114604439A
公开(公告)日:2022-06-10
申请号:CN202210289540.0
申请日:2022-03-23
Applicant: 北京科技大学
Abstract: 本发明公开了一种面向扑翼飞行机器人的航拍视频稳像系统,包括云台模块、相机模块和处理模块;处理模块用于接收扑翼飞行机器人飞行过程中的机翼扑动频率、机翼扑动幅度、机身姿态信息,还用于接收相机模块的旋转运动信息和相机模块的视频图像,并对上述接收信息进行处理,基于处理结果控制视频稳像系统的运行。本发明所述视频稳像系统将云台机械稳像、电子滤波稳像、扑翼飞行机器人飞行过程中机身信息进行深度融合,最终输出稳像后的视频图像到地面接收机。本发明所述视频稳像系统融合了多种稳像方法的优势,并与扑翼飞行机器人飞行状态结合,较好地解决了扑翼飞行机器人航拍画面抖动问题。
-
公开(公告)号:CN116778360B
公开(公告)日:2024-03-19
申请号:CN202310682584.4
申请日:2023-06-09
Applicant: 北京科技大学
IPC: G06V20/17 , G01C11/04 , G01C11/02 , G01C21/16 , G06V20/40 , G06V10/82 , G06N3/0464 , G06N3/08 , G06T7/70
Abstract: 本发明涉及无人机视觉技术领域,特别是指一种面向扑翼飞行机器人的地面目标定位方法及装置。通过长短焦组合相机,对周围环境进行拍摄,获得周围环境视频图像;通过机身传感器收集信息,获得多传感器数据;在周围环境视频图像中,发现跟踪目标,进行连续拍摄;基于多传感器数据,在拍摄中进行机械稳像,获得目标视频图像;根据目标视频图像以及多传感器数据进行计算,获得地面目标定位结果。本发明是一种高精度、低负载的适用于扑翼飞行机器人的地面目标定位方法。
-
-
-
-
-
-
-
-
-