吊舱视觉追踪

1.启动指令

  • 小吊舱G1启动指令
roslaunch p600_experiment p600_outdoor_target_tracking_g1.launch
  • 大吊舱Q10f启动指令
roslaunch p600_experiment p600_outdoor_target_tracking_q10f.launch

Tip: simarpn模型文件由onnx文件在线转化为tensorrt engine,转化过错较慢,所以启动速度较慢,整个项目全部启动完成实测大约需要40秒左右,请耐心等待

2.跟踪实现

1.手动解锁起飞到一定高度,运行目标追踪launch文件(以小吊舱G1为例)

Untitled.png

2.依次检查四个终端打印信息均正常、无报错后,在切换offboard模式前,重新对目标进行框选,观察终端打印数据是否正常(比如X_VELOCITY等速度值是否过快,防止产生意外,猛冲等情况;正常情况下,xyz轴方向的速度接近于0)

Untitled 1.png

3.切换offboard模式,无人机进行追踪

Untitled 2.png

3.终端讲解

1.launch文件运行的窗口可实时反映出px4_sender节点反馈的相关信息,例如速度信息,加速度信息,位姿信息等

Untitled 3.png

Untitled 4.png

2.左边第二个窗口可云台控制节点,实现吊舱角度控制,速度控制功能,发布图形等功能

Untitled 5.png

Untitled 6.png

Untitled 7.png

3.左边第三个窗口基于SiamPRN的视觉追踪算法,获取图像数据,通过对吊舱发布控制误差量,对吊舱运动进行闭环控制,使吊舱对目标进行追踪

Untitled 8.png

Untitled 9.png

4.最后一个窗口发布control_command话题,提供给px4_sender节点数据,使px4_sender对无人机进行位置、速度等控制,实现追踪

Untitled 10.png

Untitled 11.png

Untitled 12.png

吊舱跟踪视频演示

  • Q10f吊舱演示

  • G1吊舱演示