厚勢按：在現(xiàn)有車道線識別算法的基礎上，本文提出了一種更完善的檢測算法。通過逆透視投影變換轉換坐標，對輸入圖像應用雙邊濾波、大律法二值化、形態(tài)學處理等前處理過程，消減噪聲；最后使用 Canny 算子進行邊緣檢測，并利用 Hough 變換識別直線，對結果進行篩選。實驗證明車道線識別算法能在不同環(huán)境下成功地識別出車道線，該算法有著較好的實時性和魯棒性。

本文來自 2018 年 8 月 15 日出版的《公路交通科技（應用技術版）》，作者是交通運輸部科學研究院交通信息中心黃窈蕙。

視覺圖像處理技術是智能駕駛汽車的基礎，車道線的檢測是這其中最重要的一部分。本文針對智能駕駛汽車視覺圖像處理技術中的車道線檢測算法進行了研究。

首先利用逆透視變換將攝像頭獲取的圖像轉換到世界坐標下，通過一系列的預處理過程衰減噪聲，突出車道線邊緣信息。然后對圖像應用邊緣檢測，使用 Hough 變換識別車道線。并利用識別結果的斜率篩選所識別的直線，最終得到車道線檢測結果。

在機器視覺領域，當前的比較流行的開發(fā)模式是「軟件平臺+工具包」的組合。常用的軟件平臺包括了：VC、C#、VB 等，而比較流行的工具包包括：OpenCV、halcon、邁斯肯等。

OpenCV 是一個開源項目，對多個操作系統(tǒng)平臺都有很好的兼容性，可以在 Linux、Windows 和 Mac OS 操作系統(tǒng)上使用。它的算法具有很高的效率。OpenCV 包含了大量的基于 C 語言的函數(shù)和 C++ 類構成，對于其他常用的編程語言也開放了接口，因此我們可以使用 Python、Ruby、MATLAB 等語言編輯相關算法。因為其開源性，OpenCV 很好的包含了圖像處理和計算機視覺方面的一系列基礎的處理過程。

由于 OpenCV 在計算機圖像處理方面的優(yōu)勢，本文采用 OpenCV 和 VS 平臺的結合，進行車道線檢測相關算法實現(xiàn)，基于 Windows 系統(tǒng)平臺進行開發(fā)。

1. 圖像預處理

基于針孔透視的基本模型，現(xiàn)實世界中平行的車道線，在攝像機獲取的圖像中，往往是不平行甚至是相交的。經(jīng)典的車道線識別方法直接識別這些相交的車道線，而本章的車道線識別算法第一步則是通過逆透視投影變換，將攝像頭圖像轉換為世界坐標下，從而得到道路的俯視圖，便于后續(xù)處理。在逆透視投影變換中，需要用到攝像頭的相關參數(shù)：標定后的攝像頭內參數(shù)（包括了焦距，光學中心）及外參數(shù)（俯仰角，航向角，攝像機距地面高度）。

假設圖像平面上其中一個像素點的坐標為；iP ={u，v，1，1}，轉化為地面坐標 gP = {xg，yg，－h(huán)，1}，可以通過以下變換實現(xiàn)：

??

其中，{f_u，f_v}是水平和豎直方向的焦距長，{c_u，c_v}是攝像頭光學中心，而且 c1 = cosα，c2 = cosβ，s1= sinα，s2 = sinβ。

圖 1  車道圖像

圖 2  逆投影透視變換后

經(jīng)過了逆投影透視變換后，在現(xiàn)實中平行的車道線在世界坐標中也為平行狀態(tài)，后續(xù)通過霍夫變換檢測的車道直線很容易由斜率篩選出來，同時也便于后續(xù)的形態(tài)學處理。在逆投影透視變換的過程中，也過濾了大部分的無關區(qū)域，減少了大量的計算時間，提高了算法的實時性。

在車輛攝像頭獲取單目圖像的過程中，由于光照的變化、車輛本身姿態(tài)的不穩(wěn)定以及成像系統(tǒng)及其傳輸介質的不完善，攝像頭獲取的數(shù)字圖像往往會受到多種噪聲的污染。同時，在圖像處理的過程中，一些操作也會引入一部分噪聲，對之后的操作造成影響。

圖像濾波，指的是在盡量不破壞輸入圖像細節(jié)特征的前提下，減少輸入圖像的噪點。常用的線性濾波手段包括了：均值濾波和高斯濾波。

• 均值濾波，是最直接簡潔的一種濾波算法，對輸入圖像內核里對應像素求平均值，得到輸出。在均值濾波中，內核越大，圖像處理的結果越模糊，從而對細節(jié)信息的損害也就越嚴重，這是均值濾波方法的根本缺陷，即在圖像濾波的過程中也失去了大量的細節(jié)特征，對后續(xù)的識別算法帶來不好的影響。

• 高斯濾波是一種線性平滑濾波手段，相比較于直接對鄰近像素點求平均值，高斯濾波對圖像進行的是加權平均的處理，在處理的時候，輸出圖像上點的灰度值，都等于它本身及其鄰域內的相關像素的值，經(jīng)過加權平均后計算得出。高斯濾波的具體操作是：用定義好的內核逐個處理圖像中的像素，處理后內核中心像素點的灰度值，就等于用內核大小確定的鄰域內所有像素值的加權平均值。采用高斯濾波，可以有效的抑制服從正態(tài)分布的噪聲，但同樣也在處理的過程中丟失了大量的圖像細節(jié)信息。

常用的非線性濾波手段包括了：中值濾波，雙邊濾波等。

• 中值濾波是現(xiàn)今車道識別算法中比較流行的一種非線性濾波方法，該算法既能有效的消減椒鹽噪點、脈沖噪點，也能較好的保存圖像的細節(jié)信息，特別是對車道處理非常重要的邊緣細節(jié)。中值濾波的計算過程如下：計算圖像上每個點一定鄰域范圍內各個像素點的灰度值，求出中間值，用這個中間值作為輸出值代替原圖像像素點的值，從而減少圖像中由于各種原因產生的噪聲點。中值濾波能很好的抑制椒鹽噪聲，但在實際使用過程中，若內核大小選擇不當，則很可能在處理后丟失細節(jié)信息，因此在車道線檢測中，傳統(tǒng)的中值濾波手段并不是最優(yōu)的濾波方法。

  
  

• 本文采用雙邊濾波的方法對圖像進行濾波：

??

其中，式中對應每一個像素點的加權系數(shù) w(i，j)，是空間臨近度和亮度相似度兩個相關因子的積。

在圖像變化比較緩和的區(qū)域，這就等效于一個低通的濾波器；而在圖像灰度有很大跳躍的區(qū)域，算法就利用像素點附近像素灰度的平均值來替換原值。

從攝像頭獲取的一般為彩色圖像，而車道線的識別一般是基于圖像的邊緣特征而非色彩特征。將彩色圖像轉變?yōu)榛叶葓D像，大大加快了算法的運算速度，提高了實時性。

根據(jù)閾值選取辦法的不同，二值化方法包括了全局閾值法和局部閾值法。本文使用整體最優(yōu)閾值法（Otsu 法）進行二值化分割。

圖 3  原車道圖像

圖 4  全局閾值法與 Ostu 整體最優(yōu)閾值法分割

整體最優(yōu)閾值法（Otsu 法）是 Otsu 在 20 世紀 70 年代提出的，這種二值法相對簡單，是基于對最小方差法原理的理解和推算，主要任務是根據(jù)圖像計算一個最優(yōu)的閾值，使不同類間的分離性最好，是一種可以用客觀評價因子來描述效果的圖像閾值分割方法。

其原理是計算圖像像素點灰度值的分布特點，把類間的方差作為判斷標準，選擇使得類間方差取到極值的灰度值作為我們需要的自適應的閾值。

在數(shù)字圖像處理中，形態(tài)學操作的基本的運算子包括了：膨脹、腐蝕、開和閉。設有二維空間 F 和 G，在其上分別定義 f(x) 和 g(x) 兩個函數(shù)，其中 f(x) 為原始圖，g(x) 為變換函數(shù)，則 f(x) 對于 g(x) 的腐蝕和膨脹分別定義為：

??

開運算指的是對圖像先后應用上述兩式的運算?？梢韵龍D像中小的噪聲點、使圖像邊緣較細的地方分離、平滑圖像中占比較大的圖形邊界的同時基本不增大或減小其面積。f(x) 對于 g(x) 的開運算定義為：

同理，閉運算指的是對圖像先后應用上述兩式的運算。用來填滿圖形內部的小洞、使靠近的圖形連接、平滑圖形的邊界的同時基本不增大或減少其面積。

邊緣檢測是計算機視覺領域內的最重要的檢測方式之一，這類方法可以計算出圖像中色彩值增減明顯的像素點坐標。經(jīng)過了邊緣檢測后的圖像，信息量大大減小，但卻留下對其他圖像處理手段來說非常必要的邊緣特征。

圖像中色彩值跳躍并不明顯的區(qū)域，鄰近的像素點間色彩值變化不大，對色彩值求一階導數(shù)，導數(shù)接近于零，但是圖像中色彩值跳躍明顯的區(qū)域，一階導數(shù)的值則較大，據(jù)此可以計算邊緣所經(jīng)過的坐標。然后對色彩值求二階導數(shù)，用結果判定該坐標在檢測出的邊緣的哪一邊。

1986 年，Canny 提出了 Canny 邊緣檢測算法。Canny 算子求邊緣點算法主要有 4 個步驟：

用高斯濾波器平滑圖像：

計算梯度的幅值和方向：

幅值和方位角的表示：

??

進行非極大值抑制。遍歷圖像， 核的中心像素點 M[x，y] 與沿著水平方向和垂直方向的臨近像素點進行對比，如果 M[x，y] 的梯度小于這兩個方向的像素點梯度，則令 M[x，y]= 0。

識別和鏈接邊緣。設定兩個閾值為 t1 和 t2，在本章中設定 t1 = 0.33t2。當在某一坐標上輸入圖像中梯度值小于 t1 時，將該坐標灰度大小輸出為 0，得到圖像 1。當在某一坐標上輸入圖像中梯度值小于 t2 時，將灰度大小輸出為 0，得到圖像 2。因為對圖像 1 檢測的閾值大于 2 的閾值，處理后圖像 2 保留的信息量要小于圖像 1?？梢砸詧D像 1 為基礎，以圖像 2 作為補充連接圖像邊緣。

2. 車道線的識別和后處理

道路模型分為 2 種，直線和非直線。非直線模型包括了：二次函數(shù)曲線模型，三次 B 樣條曲線模型等。相對于曲線車道模型，直線的車道模型更加簡單，能符合車道識別算法實時性的要求。又因為在車輛行駛速度不快的情況下，近場的車道線可近似看做平行的直線。

因此在本章中，車道模型選擇了近場的直線模型：

其中，u，v 分別代表車道圖像的橫、縱坐標，用 k 代表直線的斜率，b 代表截距，h 為消失點在圖像坐標下的縱坐標大小。

對直線的識別常用 Hough 變換及最小平方法擬合。最小平方法通過計算誤差平方和的最小值來尋找最佳的匹配直線，計算量較小，但在圖像處理中因為對噪聲相對敏感而較少使用在直線的檢測中。使用霍夫變換檢測直線計算量大，但可以容忍一定噪聲的存在，具有更好的魯棒性，因此多用于車道線的檢測。

Hough 變換是一種空間之間的變換，它把直線從平面圖像空間轉換到參數(shù)空間，可以用于識別圖像中具有函數(shù)定義的目標，例如直線、圓等。

圖 5  圖像空間與參數(shù)空間的映射關系

ρ 是在極坐標系下，坐標原點到直線的法向距離，θ 定義如圖所示，因此我們可以由 ( p，Θ) 唯一地確定一條直線。同時，對于像素點空間 f( x，y) 中的任意一點 fi(x，y)，使用變換轉換關系 p = xcosΘ + ysinΘ 變換為極坐標形式。

圖像中的一點 p( x，y) 通過此式轉換為參數(shù)空間中的一條三角函數(shù)曲線，這條曲線的相位和幅值由參數(shù) x，y 決定，輸入圖像中位于同一條直線上的幾個點 1，2，3 映射在參數(shù) ( p，Θ) 空間的三角函數(shù)曲線都會相交于同一點 p(x，y)。

本章提出的車道線檢測算法基于近場車道線是直線的假設，逆透視投影變換后，車道線應為平行的直線，斜率接近于正負無窮，而停止線則應為斜率接近于零的直線。因此利用斜率可以過濾掉一部分誤檢測的直線，同樣可以分辨普通車道線和停止線。

圖 6 多車道情況的車道識別效果

圖 7  車道標線不全時的識別效果

圖 8  路面紋路復雜時的識別效果

圖 9  車道線為彎道時的識別效果

本章的算法利用基于 Visual Studio 2010 的 OpenCV 2. 11 開發(fā)，運行環(huán)境為 Windows 7 系統(tǒng)。用于測試的道路圖像來自加州理工學院的道路圖片庫，該圖庫的圖片被廣泛用在道路識別算法的驗證中。作為補充，一部分從網(wǎng)上搜集的道路圖片也被應用于測試。

3. 結論

研究了基于單目視覺的車道線檢測算法，對攝像頭獲取的彩色圖像進行預處理，應用逆透視變換將圖像轉換到世界坐標上。

然后對圖像應用雙邊濾波，衰減噪聲；將圖像從 RGB 色彩空間簡化為灰度圖，然后進行基于 OSTU 大律法的自適應二值化處理。對結果應用形態(tài)學操作，減小噪聲并平滑邊界，利用 Canny 算子進行邊緣識別。

最后基于近場的直線模型，使用 Hough 變換識別二值圖中的直線。在世界坐標下利用斜率篩選識別出的直線。

實驗證明該算法能較好的識別變化環(huán)境下的車道線，有較強的魯棒性。

參考文獻

[1] Lee J W. A Machine Vision System for Lane-Departure Detection. Computer Vision ＆ Image Understanding，2002，86(1):52-78

[2] Young Uk Yim，Se-Young Oh.  Three-feature based automatic lane detection algorithm (TFALDA) for autonomous driving. IEEE Transactions on Intelligent Transportation Systems，2003，4

[3] Bucher T. Image processing and behavior planning for intelligent vehicles. IEEE Transactions on Industrial Electronics，2003，50(1):62-75

[4] Yue Wang， Eam Khwang Teoh，Dinggang Shen. Lane detection and tracking using B-Snake. Image Vision Comput., 2004，22

[5] Yue Wang，Dinggang Shen，Eam Khwang Teoh. Lane detection using spline model.  Pattern Ｒecognition Letters，2000，218

[6] Kluge K. Sridhar Lakshmanan，A Deformable-Template Approach to Lane Detection.  Proceedings of IEEE Intelligent Vehicles，1995

[7] Antonio Guiducci. Parametric Model of the Perspective Projection of a Road with Applications to Lane Keeping and 3D Road Reconstruction. Computer Vision and Image Understanding，1999，733

[8] Camillo J. Taylor，Jana Kosecká，Robert Blasi，Jitendra Malik. A Comparative Study of Vision-Based Lateral Control Strategies for Autonomous Highway Driving. I. J. Robotic Res., 1999，18

[9] Kluge K，Johnson G. Statistical characterization of the visual characteristics of painted lane markings.  Proceedings of IEEE Conference on Intelligent Transportation Systems，1995:488-493

[10] Enkelmann W，Struck G，Geisler J. ROMA - a system for model-based analysis of road markings. IEEE Proceedings of the Intelligent Vehicle ’95 Symposium，1995:356-360