為了在自動駕駛拍攝圖像并360度范圍的測量物體的距離，需要小巧且低成本的設(shè)備，我們一直在開發(fā)一種全景立體相機，利用兩個雙曲面鏡和一組鏡頭和傳感器，這使得這款相機結(jié)構(gòu)緊湊，成本低廉。這里我們建立了一種新的相機標(biāo)定方法，該方法考慮了高階徑向畸變、切向畸變、圖像傳感器傾斜和透鏡-鏡面的偏移，我們的方法將上視圖和下視圖圖像的校準(zhǔn)誤差分別降低了6.0倍和4.3倍，距離測量的隨機誤差為4.9%，相距14米的物體的系統(tǒng)誤差為5.7%，與傳統(tǒng)方法相比提高了近9倍，距離誤差是由于原型的光學(xué)分辨率降低，我們計劃在未來的工作中進一步改進。

自動駕駛汽車需要感知周圍環(huán)境，例如接近的汽車和行人，因此，需要傳感器來檢測和測量360度范圍物體的距離，該傳感器的要求是大視場（FoV），能夠檢測物體，足夠的距離精度，以及可承受的成本。一些研究和公司嘗試使用激光雷達（光探測和測距）和相機的組合來滿足這些要求。在激光雷達的系統(tǒng)中，激光雷達能夠提供大視場和1 cm的極高距離精度，相機提供用于目標(biāo)檢測的圖像，然而，該系統(tǒng)的主要問題是成本高，這激光雷達的高成本是該系統(tǒng)成為自動駕駛中的最大挑戰(zhàn)之一，另一種方案則選擇是采用雙目立體攝像機，立體攝像機能夠使用圖像檢測物體，并能夠計算出適當(dāng)精度的物體距離，由于單臺相機的視場限制在120度左右，因此一種可能的解決方案是在一輛車周圍放置多臺相機，以實現(xiàn)更大的視場，然而，這使得系統(tǒng)變得昂貴和復(fù)雜。解決這個問題的一個可能方法是擴大單個立體相機的視場，為此，我們開發(fā)了一種具有新型光學(xué)系統(tǒng)的全向立體相機，其設(shè)計見我們之前的研究（3,4）。該相機由兩個雙面雙曲鏡、一個廣角鏡頭和一個圖像傳感器組成，該系統(tǒng)滿足上述所有要求，首先，雙曲面鏡可以實現(xiàn)360度的大視場，第二，由于這是一個立體相機，可以同時獲得目標(biāo)檢測圖像和距離信息，第三，該相機僅利用一組鏡頭和傳感器從兩個視點獲取立體視覺所需的圖像，從而節(jié)省了一組鏡頭和傳感器的成本，此外，作為實現(xiàn)360度視野的一種方式，雙曲線鏡與魚眼透鏡相比具有成本效益，該光學(xué)系統(tǒng)設(shè)計用于滿足14米距離物體5%的距離誤差，當(dāng)帶有此攝像頭的自動駕駛汽車進入十字路口時，此功能足以定位十字路口的物體，包括其他車輛和行人。

這里還需要開發(fā)一種新的校準(zhǔn)方法，對傳感器圖像進行畸變校正，以獲得準(zhǔn)確的距離信息，因為光學(xué)系統(tǒng)非常新穎，F(xiàn)oV比普通透視相機大得多，Zhang提出了一種使用棋盤的方法，可以靈活地放置棋盤，這是一種簡單校準(zhǔn)方法，Mei和Rives將張的方法擴展到全方位相機，包括使用雙曲鏡的相機，由于我們的光學(xué)系統(tǒng)是由兩個雙曲面鏡和一個廣角成像透鏡組合而成，因此他們的方法基本上可以應(yīng)用于我們的系統(tǒng)，但是，它不處理廣角成像鏡頭和系統(tǒng)的一些失真，校準(zhǔn)不足也會導(dǎo)致距離信息不準(zhǔn)確甚至丟失。

圖1，（左）全向立體相機的光學(xué)設(shè)計，彩色線顯示入射光線，這些光線被雙曲鏡反射并進入透鏡系統(tǒng)。（右）按照光學(xué)設(shè)計建造原型。

全向立體相機的光學(xué)設(shè)計

全向立體相機的光學(xué)設(shè)計如圖1的左圖所示，該系統(tǒng)由兩個雙曲面鏡、一個圖像傳感器和一個魚眼狀廣角透鏡單元組成，入射到雙曲鏡焦點的光線在透鏡單元的方向上反射，并在圖像傳感器上成像，這意味著上下反射鏡反射的光線分別構(gòu)成上視圖和下視圖圖像，前一種光線由上反射鏡反射，在傳感器的內(nèi)部區(qū)域成像，后一種光線由下反射鏡反射，在外部區(qū)域成像，透鏡單元設(shè)計用于減少由反射鏡引起的共焦像差和像散，該系統(tǒng)具有成本效益，因為它使用雙曲面鏡而不是魚眼透鏡來獲得360度的圖像。另一個原因是，它只使用一組鏡頭和傳感器就可以獲得上下圖像。相距14米的物體的目標(biāo)距離誤差為5%。當(dāng)使用兩個相距約2米的攝像機時，這種精度反過來對應(yīng)于相距300米的物體的5%距離誤差。

構(gòu)建的原型

構(gòu)建的原型顯示在圖1的右面板中。除了光學(xué)設(shè)計中描述的部件外，還添加了一個玻璃圓柱體，用于固定上下后視鏡。我們使用IDS UI-3592LE-C版本的圖像傳感器。其分辨率為4912×3684，雖然這種光學(xué)系統(tǒng)可以實現(xiàn)360度FoV，但當(dāng)攝像頭安裝在汽車的一個角落時，F(xiàn)oV的一部分將變得無效，因此，對于該原型，圖像傳感器被放置在離軸位置，以使水平FoV為270度，上下圖像的垂直視場來自?50度到+10度以及從分別為-20度到+10度。圖2顯示了原型獲得的傳感器圖像。

圖2，該相機拍攝的傳感器圖像，內(nèi)部和外部區(qū)域分別對應(yīng)于上視圖和下視圖圖像

新的校準(zhǔn)方法

這里將介紹一種新的全向立體相機校準(zhǔn)方法?；贛ei和Rives程序，我們新考慮了魚眼狀廣角成像透鏡、圖像傳感器的傾斜以及反射鏡和透鏡之間的偏移。從傳感器圖像獲取距離信息的過程中，有三個步驟：

第一步是展開圖像。我們采用圓柱形展開，因為我們聚焦的區(qū)域的圖像不會因該投影而顯著失真。另一個原因是，在短距離配置中，每個圖像中的對應(yīng)點以垂直線對齊，這使得應(yīng)用傳統(tǒng)塊匹配過程變得容易。在進行上述圓柱擴展的同時，我們消除了圖像失真。這稱為攝像機校準(zhǔn)程序。

第二步是圖像校正，將上視圖和下視圖圖像變換為投影到同一圓柱體上，最后一步是執(zhí)行塊匹配過程以計算兩幅圖像之間的差異，對于可靠的距離測量，需要精確校準(zhǔn)，由于我們的鏡頭單元有很大的失真，并且原型可能會受到一些失調(diào)的影響，因此我們需要一種考慮這些因素的新校準(zhǔn)方法。此外，該原型的大視場使得精確校準(zhǔn)變得困難。我們的方法基于Mei和Rives的全向相機校準(zhǔn)方法，該方法采用了使用標(biāo)定板的靈活校準(zhǔn)方法。該方法采用參數(shù)化光學(xué)模型來模擬光學(xué)系統(tǒng)，如果模型足夠精確，在充分再現(xiàn)畸變和未對準(zhǔn)的情況下，也可以進行精確的圓柱形膨脹。

為了構(gòu)造精確的光學(xué)模型，基于MEI和 Rives模型，考慮附加的五個因素：高階徑向畸變、切向畸變的徑向依賴性、薄棱鏡畸變、圖像傳感器的傾斜和透鏡鏡偏移。具體公式有興趣可查看原文。

圖4，從圖2中顯示的傳感器圖像計算圖像。（中上部和中上部）使用我們的新光學(xué)模型以圓柱體投影的上視圖和下視圖圖像。（中下部）根據(jù)上面兩幅圖像計算的視差圖像。近和遠的對象分別以紅色和藍色顯示。（下）根據(jù)使用先前模型校準(zhǔn)的上視圖和下視圖圖像計算的視差圖像

我們以與OpenCV（開源計算機視覺）庫中實現(xiàn)的omnidir:：calibrate函數(shù)相同的方式對參數(shù)進行優(yōu)化，這里使用圓形網(wǎng)格板，其性能優(yōu)于棋盤，優(yōu)化參數(shù)如表1和表2所示。圓柱形投影的結(jié)果如圖4上部兩個面板所示，使用OpenCV庫中實現(xiàn)的cv:：stereoBM函數(shù)計算視差圖像，如圖4中下部面板所示。為了進行比較，我們還在圖4的下面板中提供了一個使用先前模型計算的視差圖像。我們的標(biāo)定方法得到了更大的視差和清晰的地面梯度。

校準(zhǔn)誤差的評估

評估校準(zhǔn)精度的方法之一是評估傳感器圖像上模型的精度，我們計算標(biāo)定板檢測到的圖像和模型預(yù)測的圓位置之間的差異，向量的長度和方向表示模型在每個點的系統(tǒng)誤差量和方向。雖然使用之前的模型時仍存在系統(tǒng)誤差，但我們的模型顯著減少了誤差。對于上視圖和下視圖圖像，前一模型的差異均方根分別為1.67像素和1.12像素，這對距離精度具有不可忽略的影響。另一方面，使用我們的光學(xué)模型，上視圖和下視圖圖像的均方根分別從1.67像素提高到0.28像素，從1.12像素提高到0.26像素。對于上視圖和下視圖圖像，這分別是改進的6.0倍和4.3倍。4.2. 獲得的視差圖像和點云為了展示我們相機的精度和局限性，我們在圖6和圖7中顯示了RGB圖像、視差圖像和點云。在圖6中，顯示了在內(nèi)部拍攝的圖像和點云。相距14米的物體，包括平坦的地板、植物、木架和桌子都被復(fù)制出來。圖7顯示了在室外拍攝的圖像和點云。在14米的范圍內(nèi)，鋪砌道路、樹木和路緣石的結(jié)構(gòu)被復(fù)制。這一結(jié)果證明，該攝像機能夠滿足自動駕駛汽車檢測范圍內(nèi)行人、其他車輛和障礙物的要求。

圖5，上部分和下部分視圖圖像檢測到的圖像和模型預(yù)測的圓位置之間的組合差異，左面板和右面板分別顯示了先前模型和新光學(xué)模型的結(jié)果，矢量顯示像素單位的位置差異，但放大了200倍，而彩色貼圖顯示像素單位的差異量，傳感器區(qū)域顯示為灰色矩形

圖6，RGB圖像、視差圖像和內(nèi)部場景的點云，為清晰起見，我們僅顯示視場的180度，A、 B、C和D顯示了相應(yīng)的對象，在對象C的四個表中，最近的和最遠的分別位于距離攝像機4.5米和12米的位置

圖8，測量距離與實際距離之間的距離介于4.5和14 m之間。藍色點顯示圖6所示的點云部分的每個點，黑點表示箱子中的平均值和垂直誤差條1?? 標(biāo)準(zhǔn)差，粗灰色線表示精確的距離測量，細灰色線顯示與真實值的偏差為5%。

我們已經(jīng)為我們的全向立體相機開發(fā)了一種新的校準(zhǔn)方法，以便通過短距離配置精確校正畸變，以實現(xiàn)14米距離物體5%的距離誤差，在Mei和Rives以前的校準(zhǔn)方法的基礎(chǔ)上，我們考慮了高階徑向畸變，提高了校準(zhǔn)精度，詳細介紹了切向失真、圖像傳感器傾斜和透鏡-鏡偏移。我們的方法將上視圖和下視圖圖像的校準(zhǔn)精度的均方根分別降低了6.0倍和4.3倍。距離的系統(tǒng)誤差為5.7%，最大距離為14米的物體，與先前方法計算的距離相比，提高了近9倍，與5%的目標(biāo)值幾乎相同。標(biāo)準(zhǔn)偏差不超過4.9%。作為未來的工作，光學(xué)分辨率的提高可導(dǎo)致精度的進一步提高。我們已經(jīng)證明，我們的攝像頭能夠定位14米范圍內(nèi)的物體，如行人、其他車輛和障礙物。除了本文描述的距離測量外，自動駕駛還需要目標(biāo)識別。進一步改進和優(yōu)化我們的暫定識別系統(tǒng)將使這款相機成為一款經(jīng)濟高效的用于自動駕駛傳感器。

參考文獻

(1) Ishii, T., Shimano, T., Takemura, M. et al., "Development of Omnidirectional 3 Dimensional Surround Sensing System Composed of Single-Eye Stereo Cameras," JSAE Annual Congress (Spring) Proceedings, No. 52-19 (2019).

(2) Shimano, T., Ishii, T., Ohta, M. et al., "Vertical disparity single-eye stereo camera for wide angle 3 dimensional surround sensing of automobiles," JSAE Annual Congress (Spring) Proceedings, No. 52-19 (2019)

掃描下方微信視頻號二維碼可查看最新研究成果及相關(guān)開源方案的演示：