吊舱视觉追踪
1.启动指令
- 小吊舱G1启动指令
roslaunch p600_experiment p600_outdoor_target_tracking_g1.launch
- 大吊舱Q10f启动指令
roslaunch p600_experiment p600_outdoor_target_tracking_q10f.launch
Tip: simarpn模型文件由onnx文件在线转化为tensorrt engine,转化过错较慢,所以启动速度较慢,整个项目全部启动完成实测大约需要40秒左右,请耐心等待
2.跟踪实现
1.手动解锁起飞到一定高度,运行目标追踪launch文件(以小吊舱G1为例)
2.依次检查四个终端打印信息均正常、无报错后,在切换offboard模式前,重新对目标进行框选,观察终端打印数据是否正常(比如X_VELOCITY等速度值是否过快,防止产生意外,猛冲等情况;正常情况下,xyz轴方向的速度接近于0)
3.切换offboard模式,无人机进行追踪
3.终端讲解
1.launch文件运行的窗口可实时反映出px4_sender节点反馈的相关信息,例如速度信息,加速度信息,位姿信息等
2.左边第二个窗口可云台控制节点,实现吊舱角度控制,速度控制功能,发布图形等功能
3.左边第三个窗口基于SiamPRN的视觉追踪算法,获取图像数据,通过对吊舱发布控制误差量,对吊舱运动进行闭环控制,使吊舱对目标进行追踪
4.最后一个窗口发布control_command话题,提供给px4_sender节点数据,使px4_sender对无人机进行位置、速度等控制,实现追踪
吊舱跟踪视频演示
-
Q10f吊舱演示
-
G1吊舱演示