使用Python OpenCV進行實時車道檢測

taotao_2016 2020-05-29

展開全文

大約十年前，當谷歌還在試驗一輛原型車的時候，我想到了自己的第一輛自動駕駛汽車，當時我立刻被這個想法迷住了。不可否認的是，我必須等待一段時間，直到這些概念向社區(qū)開放，現(xiàn)在看來等待確實是值得的！

我最近試驗了一些與計算機視覺有關(guān)的自動駕駛汽車概念，里面包括車道檢測，它實際上是設(shè)計任何一款自主汽車的核心概念。

以下是我們將在本視頻中構(gòu)建的車道檢測系統(tǒng)：https:///sYhZbhT-Smw

很酷，對吧？在這個教程中，我會使用OpenCV庫進行車道檢測和自動駕駛汽車。當然，在本教程中，我們還將引入Python代碼。

車道檢測概念解釋

那么什么是車道檢測？以下是百度百科對車道的定義：

車道，又稱行車線、車行道，是用在供車輛行經(jīng)的道路，在一般公路和高速公路都有設(shè)置，高速公路對車道使用帶有法律性質(zhì)的規(guī)則，例如行車道和超車道。

對其進行定義是很重要的，因為它使我們能夠繼續(xù)進行車道檢測概念。我們在建立一個系統(tǒng)時不能有任何含糊不清的地方。

正如我前面提到的，車道檢測是自動駕駛汽車的關(guān)鍵組成部分，這是駕駛場景理解的重要研究課題之一。一旦獲得車道位置，車輛就知道去哪里，并避免撞上其他車道或離開道路。這樣可以防止駕駛員/車輛系統(tǒng)偏離車道。

以下是一些隨機道路圖像（第一行）及其檢測到的車道（第二行）：

問題陳述

我們希望執(zhí)行的任務(wù)是實時檢測視頻中的車道。我們可以通過多種方式進行車道檢測，我們可以使用基于學(xué)習(xí)的方法，例如在帶注釋的視頻數(shù)據(jù)集上訓(xùn)練深度學(xué)習(xí)模型，或者使用預(yù)訓(xùn)練好的模型。

然而，也有更簡單的方法來執(zhí)行車道檢測。在本文中，我將向你展示如何在不使用任何學(xué)習(xí)模型的情況下完成此任務(wù)。但是我們將使用Python中流行的OpenCV庫。

下面是我們將要處理視頻的一個幀：

正如我們在這張圖片中看到的，我們有四條車道被白色的車道標線隔開。所以，要檢測車道，我們就必須檢測車道兩邊的白色標記。這就引出了一個關(guān)鍵問題——我們?nèi)绾螜z測車道標線？

除了車道標線之外，場景中還有許多其他對象，如道路上有車輛、路側(cè)護欄、路燈等。在視頻中，每一幀都會有場景變化，這很好地反映了真實的駕駛情況。

因此，在解決車道檢測問題之前，我們必須找到一種方法來忽略駕駛場景中不需要的對象。

我們現(xiàn)在能做的一件事就是縮小感興趣的領(lǐng)域。與其使用整個幀，不如只使用幀的一部分。在下面的圖像中，除了車道的標記之外，其他所有內(nèi)容都隱藏了。當車輛移動時，車道標線將或多或少地落在該區(qū)域內(nèi)：

在下一節(jié)中，我將向你展示如何編輯視頻幀以選擇特定區(qū)域。你還將了解一些必要的圖像預(yù)處理操作。

什么是幀掩碼(Frame Mask)？

在這里，幀掩碼只是一個NumPy數(shù)組。當我們想對圖像應(yīng)用掩碼時，只需將圖像中所需區(qū)域的像素值更改為0、255或任何其他數(shù)字。下面給出了一個圖像掩蔽的例子，圖像中某個區(qū)域的像素值已設(shè)置為0：

這是一種非常簡單但有效的從圖像中去除不需要的區(qū)域和對象的方法。

車道檢測的圖像預(yù)處理

我們將首先對輸入視頻中的所有幀應(yīng)用掩碼，然后我們將應(yīng)用圖像閾值化和霍夫線變換來檢測車道標線。

圖像閾值化

在這種方法中，灰度圖像的像素值根據(jù)閾值被指定為表示黑白顏色的兩個值之一，因此如果一個像素的值大于一個閾值，它被賦予一個值，否則它被賦予另一個值。

如上所示，對蒙版圖像應(yīng)用閾值后，我們只得到輸出圖像中的車道標線?，F(xiàn)在我們可以通過霍夫線變換很容易地檢測出這些標記。

霍夫線變換

霍夫線變換是一種檢測任何可以用數(shù)學(xué)方法表示形狀的方法。

例如，它可以檢測矩形、圓、三角形或直線等形狀。我們感興趣的是檢測可以表示為直線的車道標線。

這是相關(guān)文檔：https://opencv-python-tutroals./en/latest/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html

在執(zhí)行圖像閾值化后對圖像應(yīng)用霍夫線變換將提供以下輸出：

我們需要對所有幀執(zhí)行此過程，然后將生成的幀縫合到新視頻中。

用OpenCV在Python中實現(xiàn)車道檢測

是時候用Python實現(xiàn)這個車道檢測項目了！我推薦使用Google Colab，因為構(gòu)建車道檢測系統(tǒng)需要計算能力。

首先導(dǎo)入所需的庫：

import osimport reimport cv2import numpy as npfrom tqdm import tqdm_notebookimport matplotlib.pyplot as plt

讀取視頻幀

我已經(jīng)從這個YouTube視頻中抽取了一些視頻片段。你可以從這個鏈接下載:https://drive.google.com/file/d/1e4cc4zFFna3Owyym6aq7ZXoquHA2l95O/view?usp=sharing。

# 獲取幀的文件名col_frames = os.listdir('frames/')col_frames.sort(key=lambda f: int(re.sub('\D', '', f)))
# 加載幀col_images=[]for i in tqdm_notebook(col_frames):    img = cv2.imread('frames/'+i)    col_images.append(img)

讓我們繪制一個幀：

# 指定一個索引idx = 457

# plot frameplt.figure(figsize=(10,10))plt.imshow(col_images[idx][:,:,0], cmap= 'gray')plt.show()

幀掩碼創(chuàng)建

我們感興趣的區(qū)域是一個多邊形。我們想掩蓋除了這個區(qū)域以外的一切。因此，我們首先必須指定多邊形的坐標，然后使用它來準備幀掩碼：

# 創(chuàng)建0矩陣stencil = np.zeros_like(col_images[idx][:,:,0])
# 指定多邊形的坐標polygon = np.array([[50,270], [220,160], [360,160], [480,270]])
# 用1填充多邊形cv2.fillConvexPoly(stencil, polygon, 1)

# 畫出多邊形plt.figure(figsize=(10,10))plt.imshow(stencil, cmap= 'gray')plt.show()

# 應(yīng)用該多邊形作為掩碼img = cv2.bitwise_and(col_images[idx][:,:,0], col_images[idx][:,:,0], mask=stencil)
# plot masked frameplt.figure(figsize=(10,10))plt.imshow(img, cmap= 'gray')plt.show()

圖像預(yù)處理

我們必須對視頻幀執(zhí)行一些圖像預(yù)處理操作來檢測所需的車道。預(yù)處理操作包括：

圖像閾值化
霍夫線變換

1.圖像閾值化

# 應(yīng)用圖像閾值化ret, thresh = cv2.threshold(img, 130, 145, cv2.THRESH_BINARY)

# 畫出圖像plt.figure(figsize=(10,10))plt.imshow(thresh, cmap= 'gray')plt.show()

2.霍夫線變換

lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)
# 創(chuàng)建原始幀的副本dmy = col_images[idx][:,:,0].copy()
# 霍夫線for line in lines:  x1, y1, x2, y2 = line[0]  cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)
# 畫出幀plt.figure(figsize=(10,10))plt.imshow(dmy, cmap= 'gray')plt.show()

現(xiàn)在我們將對每個幀應(yīng)用所有這些操作。我們還將結(jié)果幀保存在新目錄中：

cnt = 0

for img in tqdm_notebook(col_images):

# 應(yīng)用幀掩碼 masked = cv2.bitwise_and(img[:,:,0], img[:,:,0], mask=stencil)

# 應(yīng)用圖像閾值化 ret, thresh = cv2.threshold(masked, 130, 145, cv2.THRESH_BINARY)

# 應(yīng)用霍夫線變換 lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200) dmy = img.copy()

#畫出檢測到的線 try: for line in lines: x1, y1, x2, y2 = line[0] cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)

cv2.imwrite('detected/'+str(cnt)+'.png',dmy)

except TypeError: cv2.imwrite('detected/'+str(cnt)+'.png',img)

cnt+= 1

視頻準備

# 輸入幀的路徑pathIn= 'detected/'
#輸出視頻路徑pathOut = 'roads_v2.mp4'
# 視頻每秒的幀數(shù)fps = 30.0

from os.path import isfile, join

# 獲取幀的文件名files = [f for f in os.listdir(pathIn) if isfile(join(pathIn, f))]files.sort(key=lambda f: int(re.sub('\D', '', f)))

接下來，我們將把檢測到的車道上的所有幀放入一個列表中：

frame_list = []
for i in tqdm_notebook(range(len(files))):    filename=pathIn + files[i]    #讀取每一個文件    img = cv2.imread(filename)    height, width, layers = img.shape    size = (width,height)
    #將幀插入圖像數(shù)組    frame_list.append(img)