双车组三轮图像处理总结

或许是有幸，参加了第十五届智能车竞赛，在这一年里，经历了很多，少有满意，认识了很多人，感谢相识。比赛将要结束，我也将离智能车越来越远。但毕竟也曾热爱、付出过，希望能把我的一些经验写下来，至少留下一个痕迹，也能给一些准备比赛或像参加比赛的选手提供一些帮助。

可能由于疫情原因，比赛不仅提前了，而且准备时间还相比之前减少了很多，因此第十五届智能车竞速赛的赛道元素相比去年删去了一些，而仅仅新加了一个车库元素。因此，在图像方面，负担减轻了很多。

• 车模基本参数：

  车模：F车模

  摄像头：130°普通无畸变摄像头

  高度：摄像头镜面中心高度18.5cm

  前瞻：前瞻2.5-3m

感谢聪聪在八领域方面的帮助@zcc。八领域实现原理在网上可以很容易找到，不再赘述。

主要讲一讲我是如何使用八领域的。

1.寻找赛道

1）种子寻找

定一个底行初始位置，从中间分别向两边寻找边线的种子。

2）八领域寻线

利用八领域，由种子生长出整条边界。

3）在边界中提取边线

通过遍历八领域得到的连续边界，提取出用于计算中值的边线。

图中，左边蓝线与右边绿线为每行的边线，下图为分离图：

4）计算中值

2.赛道信息提取

1）边界生长方向信息

可以把领域的生长方向记录下来，作为边界的特征之一

2）拐点的寻找

【①直角型拐点】

直角型拐点的特征较为明显，边界在直角的顶点会急剧转向接近90°的另一个方向，常出现在十字中。拿十字举例：

• 二值图：

• 边界图：

• 搜索边界方向：

可以通过边界生长方向的变化来寻找：

• 搜索斜率突变：

或者通过斜率的突变来寻找：

【②圆弧形拐点】

因为赛道弯曲形成的拐点，回拐的程度较小，常出现在弯道或环岛中。拿小弯举例：

• 二值图：

• 边界图：

• 拐点位置：

3）边界的方差（或绝对值）计算

【①最小二乘法】

这里使用最简单的拟合一次函数曲线的最小二乘法，网上很多教程与实例，不再赘述。

用最小二乘法拟合出的直线计算与边界像素点的方差（或绝对值）

如图所示，可以直观看出像素点偏移直线程度。

4）边界的斜率

由最小二乘法得到的一次函数得到边界的总体斜率。

1.正如十字元素

也就是正入十字。

1）判断条件

• 二值图：

• 边界图：

• 判断步骤：

  ① 找到左前拐点

  ②左边线向左横向生长像素点较多

  ③找到右前拐点

  ④右边线向右横向生长像素点较多

2）拉线处理

【①十字前】

分别将左右前后两个拐点相连：

【②十字中】

找到两个后拐点，利用最小二乘法前拉边线：

2.斜入十字（举一种情况）

1）判断条件

• 二值图：

• 边界图：

• 判断步骤：

  ①找到右前拐点

  ②右前边界向右横向生长的点数较多

  ③找到右后拐点

  ④找到左后拐点

2）拉线处理

①将右边两个拐点相连

②利用最小二乘法前拉左后拐点高行的直线

3.环岛元素

1）判断条件

以左环岛为例。

• 二值图：

• 边界图：

• 判断步骤：

  ①左拐点

  ②左前边线横向生长的点较多

  ③右边界从底行到高行为直线，方差很小 判断条件较为简单，如果不放心，可以再提取左上圆环特征。

2）拉线处理

整个环岛处理为一个状态机，大致拉线如下：

① 左前直角型拐点与左后圆弧形拐点相连

② 左后圆弧形拐点拉线

③ 入环拐点拉到右边低行

④ 内正常边线

⑤ 开始出环先拉右线

⑥ 左后拐点与左前边线起始处相连

⑦ 二乘法将左后拐点拟线前拉

4.车库元素-入车库

1）判断条件

• 二值图：

• 边界图：

• 判断步骤：

  ①找到左前拐点

  ②右边界为直线，方差较小

  ③扫到斑马线

  ④横向生长的点数较多（或左前拐点后的边界斜率很小很小）

2）拉线处理

① 将左后拐点拉到左前拐点纵坐标位置的右边线

② 将左后边线的起始位置拉到右下角

③ 当左后拐点小于一定行数，利用最小二乘法将左后拐点的线拟合到右下角

④ 进入车库，正常扫线

5.车库元素-出库车库

1）判断条件

无需判断，手动预设

2）拉线处理（以右出库为例）

① 在库内，拉直线

② 左前拐点小于某行或丢失，开始拉线

③ 避开斑马线进行扫线，直接拉到左下角

④ 出库基本完成，正常扫线

6.坡道元素

• 二值图：

• 边线图：

1）判断条件

• 判断条件：

  ① 高行行间距变小

  ② 高行与低行都是直线，方差很小

2）状态判断

①上坡前，边线延伸至顶行，行间距较大

②上坡时，边线顶端只能够到达中间行

③下坡时，边线又延伸至顶端，高行行间距变小

④下到坡底，行间距变宽

⑤坡道结束，回到正常赛道

3）拉线处理

①在坡顶时，只处理低行中线，减少因坡顶的视野太远导致的误扫边界的影响

②其他时候正常扫线

7.会车

1）判断条件

• 二值图：

• 边界图：

在道路中间由下往上找种子，找到后车车模并扫线：

①找到车的四个拐点

②拐点前后边界的生长特征

③两个前拐点之间的距离符合正常后车长度

2）拉线处理

①将两个拐点中间的像素点作为后车中点

②将中点与最低行中点拉线

8.弯道

1）小弯道

• 判断标准：

  ①多处圆弧型拐点

  ②边界存在一定的方差

  ③边界的斜率一定范围内

2）大弯道

• 判断标准：

  ①一处圆弧拐点

  ②边线方差较大

  ③边界的斜率超出一定范围

9.长直道

• 判断标准：

  ①不存在圆弧拐点

  ②边线方差很小

  ③边界的斜率稳定在很小范围之内

10.反光判断

利用生长方向的异常来判断是否反光。

• 二值图：

• 边界图：

智能车让我学到了很多。