在RTX 3060、Ubuntu18.04、X86主机环境中通过测试,其他环境(如ARM上)可能会遇到问题

介绍

Prometheus开源视觉模块,内置多种无人机视觉模块包括:二维码检测、YOLOv3目标识别算法(开箱即用)、YOLOv5目标识别算法、高速轻量的KCF跟踪算法,以及先进的高精度跟踪算法SiamPRN,同时也包含一些基础的知识,例如相机标定。

整个Prometheus开源视觉模块由视觉图像输入、视觉算法、无人机控制算法组成,各个部分相互解耦合实现模块复用。视觉图像输入包含USB相机、MIPI相机、视频流、视频文件、转化为ROS图像话题发布。视觉算法从ROS图像话题中获取图像,识别处理图像后,发布从图像中获取相应到信息(目标像素位姿,类别等)以及可视化处理后的图像话题。无人机控制算法获取到目标信息后给无人机发送相应指令,完成相关程序任务(如降落,跟踪)。

目录

  1. 环境安装与配置
  2. 视觉功能汇总
  3. 仿真教学例程
    1. 二维码自主降落
    2. 二维码探寻降落
    3. SiamRPN框选追踪
    4. YOLOv5+SiamRPN点击跟踪
  4. 扩展知识阅读(可选)
    1. SiamRPN算法概述
    2. YOLOv5算法概述
    3. YOLOv5自定义数据模型训练
    4. 二维码检测原理概述
    5. 图像输入话题
    6. 相机标定
    7. 配置目标的实际长宽