1. 什么是視覺

視覺是一個古老的研究課題，同時又是人類觀察世界、認(rèn)知世界的重要功能和手段。人類從外界獲得的信息約有75%來自視覺系統(tǒng)，用機(jī)器模擬人類的視覺功能是人們多年的夢想。視覺神經(jīng)生理學(xué)，視覺心里學(xué)，特別是計算機(jī)技術(shù)、數(shù)字圖像處理、計算機(jī)圖形學(xué)、人工智能等學(xué)科的發(fā)展，為利用計算機(jī)實(shí)現(xiàn)模擬人類的視覺成為可能。在現(xiàn)代工業(yè)自動化生產(chǎn)過程中，計算機(jī)視覺正成為一種提高生產(chǎn)效率和檢驗(yàn)產(chǎn)品質(zhì)量的關(guān)鍵技術(shù)之一，如機(jī)器零件的自動檢測、智能機(jī)器人控制、生產(chǎn)線的自動監(jiān)控等;在國防和航天等領(lǐng)域，計算機(jī)視覺也具有較重要的意義，如運(yùn)動目標(biāo)的自動跟蹤與識別、自主車導(dǎo)航及空間機(jī)器人的視覺控制等。

人類視覺過程可以看作是一個從感覺到知覺的復(fù)雜過程，從狹義上來說視覺的最終目的是要對場景作出對觀察者有意義的解釋和描述；從廣義上說，是根據(jù)周圍的環(huán)境和觀察者的意愿，在解釋和描述的基礎(chǔ)上做出行為規(guī)劃或行為決策。計算機(jī)視覺研究的目的使計算機(jī)具有通過二維圖像信息來認(rèn)知三維環(huán)境信息的能力，這種能力不僅使機(jī)器能感知三維環(huán)境中物體的幾何信息(如形狀、位置、姿態(tài)運(yùn)動等)，而且能進(jìn)一步對它們進(jìn)行描述、存儲、識別與理解，計算機(jī)視覺己經(jīng)發(fā)展起一套獨(dú)立的計算理論與算法。

2. 什么是計算機(jī)雙目立體視覺

雙目立體視覺(Binocular StereoVision)是機(jī)器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應(yīng)點(diǎn)間的位置偏差，來獲取物體三維幾何信息的方法。融合兩只眼睛獲得的圖像并觀察它們之間的差別，使我們可以獲得明顯的深度感，建立特征間的對應(yīng)關(guān)系，將同一空間物理點(diǎn)在不同圖像中的映像點(diǎn)對應(yīng)起來，這個差別，我們稱作視差(Disparity)圖像，如圖一。

雙目立體視覺測量方法具有效率高、精度合適、系統(tǒng)結(jié)構(gòu)簡單、成本低等優(yōu)點(diǎn)，非常適合于制造現(xiàn)場的在線、非接觸產(chǎn)品檢測和質(zhì)量控制。對運(yùn)動物體（包括動物和人體形體）測量中，由于圖像獲取是在瞬間完成的，因此立體視覺方法是一種更有效的測量方法。

雙目立體視覺系統(tǒng)是計算機(jī)視覺的關(guān)鍵技術(shù)之一，獲取空間三維場景的距離信息也是計算機(jī)視覺研究中最基礎(chǔ)的內(nèi)容。

雙目立體視覺的開創(chuàng)性工作始于上世紀(jì)的60年代中期。美國MIT的Roberts通過從數(shù)字圖像中提取立方體、楔形體和棱柱體等簡單規(guī)則多面體的三維結(jié)構(gòu)，并對物體的形狀和空間關(guān)系進(jìn)行描述，把過去的簡單二維圖像分析推廣到了復(fù)雜的三維場景，標(biāo)志著立體視覺技術(shù)的誕生。隨著研究的深入，研究的范圍從邊緣、角點(diǎn)等特征的提取，線條、平面、曲面等幾何要素的分析，直到對圖像明暗、紋理、運(yùn)動和成像幾何等進(jìn)行分析，并建立起各種數(shù)據(jù)結(jié)構(gòu)和推理規(guī)則。特別是上世紀(jì)80年代初，Marr首次將圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)和臨床精神病學(xué)的研究成果從信息處理的角度進(jìn)行概括，創(chuàng)立了視覺計算理論框架。這一基本理論對立體視覺技術(shù)的發(fā)展產(chǎn)生了極大的推動作用，在這一領(lǐng)域已形成了從圖像的獲取到最終的三維場景可視表面重構(gòu)的完整體系，使得立體視覺已成為計算機(jī)視覺中一個非常重要的分支。

經(jīng)過幾十年來的發(fā)展，立體視覺在機(jī)器人視覺、航空測繪、反求工程、軍事運(yùn)用、醫(yī)學(xué)成像和工業(yè)檢測等領(lǐng)域中的運(yùn)用越來越廣。

3. 雙目立體視覺系統(tǒng)

立體視覺系統(tǒng)由左右兩部攝像機(jī)組成。如圖二所示，圖中分別以下標(biāo)l和r標(biāo)注左、右攝像機(jī)的相應(yīng)參數(shù)。世界空間中一點(diǎn)A(X，Y，Z)在左右攝像機(jī)的成像面Cl和Cr上的像點(diǎn)分別為al(ul，vl)和ar(ur，vr)。這兩個像點(diǎn)是世界空間中同一個對象點(diǎn)A的像，稱為“共軛點(diǎn)”。知道了這兩個共軛像點(diǎn)，分別作它們與各自相機(jī)的光心Ol和Or的連線，即投影線alOl和arOr，它們的交點(diǎn)即為世界空間中的對象點(diǎn)A(X，Y，Z)。這就是立體視覺的基本原理。

4. 博安盈雙目立體視覺系統(tǒng)：平行光軸的系統(tǒng)結(jié)構(gòu)

在平行光軸的立體視覺系統(tǒng)中（圖三），左右兩臺攝像機(jī)的焦距及其它內(nèi)部參數(shù)均相等，光軸與攝像機(jī)的成像平面垂直，兩臺攝像機(jī)的x軸重合，y軸相互平行，因此將左攝像機(jī)沿著其x軸方向平移一段距離b（稱為基線baseline）后與右攝像機(jī)重合。

由空間點(diǎn)A及左右兩攝像機(jī)的光心Ol、Or確定的極平面（Epipolar plane）分別與左右成像平面Cl、Cr的交線pl、pr為共軛極線對，它們分別與各自成像平面的坐標(biāo)軸ul、ur平行且共線。在這種理想的結(jié)構(gòu)形式中，左右攝像機(jī)配置的幾何關(guān)系最為簡單，極線已具有很好的性質(zhì)，為尋找對象點(diǎn)A在左右成像平面上的投影點(diǎn)al和ar之間的匹配關(guān)系提供了非常便利的條件。

5. 雙目立體視覺智能視頻分析技術(shù)

恢復(fù)場景的3D信息是立體視覺研究中最基本的目標(biāo)，為實(shí)現(xiàn)這一目標(biāo)，一個完整的立體視覺系統(tǒng)通常包含六個模塊：圖像獲取、攝像機(jī)標(biāo)定、特征提取、立體匹配、三維恢復(fù)和視頻分析（運(yùn)動檢測、運(yùn)動跟蹤、規(guī)則判斷、報警處理）。

5.1. 圖像獲?。↖mageAcquisition）

數(shù)字圖像的獲取是立體視覺的信息來源。常用的立體視覺圖像一般為雙目圖像，有的采用多目圖像。圖像獲取的方式有多種，主要由具體運(yùn)用的場合和目的決定。立體圖像的獲取不僅要滿足應(yīng)用要求，而且要考慮視點(diǎn)差異、光照條件、攝像機(jī)性能和場景特點(diǎn)等方面的影響。

5.2. 攝像機(jī)標(biāo)定（CameraCalibration）

立體視覺系統(tǒng)攝像機(jī)標(biāo)定是指對三維場景中對象點(diǎn)在左右攝像機(jī)圖像平面上的坐標(biāo)位置al(ul，vl)、ar(ur，vr)與其世界空間坐標(biāo)A(X，Y，Z)之間的映射關(guān)系的確立，是實(shí)現(xiàn)立體視覺三維模型重構(gòu)中基本且關(guān)鍵的一步。

5.3. 特征提?。‵eatureAcquisition）

特征提取的目的是要獲取匹配賴以進(jìn)行的圖像特征，圖像特征的性質(zhì)與圖像匹配的方法選擇有著密切的聯(lián)系。目前，還沒有建立起一種普遍適用的獲取圖像特征的理論，因此導(dǎo)致了立體視覺研究領(lǐng)域中匹配特征的多樣化。特征可以是像素相位匹配是近二十年才發(fā)展起來的一類匹配算法。相位作為匹配基元，本身反映信號的結(jié)構(gòu)信息，對圖像的高頻噪聲有很好的抑制作用，適于并行處理，能獲得亞像素級精度的致密視差。但存在相位奇點(diǎn)和相位卷繞的問題，需加入自適應(yīng)濾波器解決?；蛘呤窍袼氐募希部梢允撬鼈兊某橄蟊磉_(dá)，如圖像結(jié)構(gòu)、圖像目標(biāo)和關(guān)系結(jié)構(gòu)等。常用的匹配特征主要有點(diǎn)狀特征、線狀特征和區(qū)域特征等幾種情形。

一般而言，尺度較大的圖像特征蘊(yùn)含較多的圖像信息，且特征本身的數(shù)目較少，匹配效率高；但特征的提取和描述過程存在較大的困難，定位精度也較差。而對于尺度較小的圖像特征來說，對其進(jìn)行表達(dá)和描述相對簡單，定位精度較高；但由于其本身數(shù)目較多，所包含的圖像信息少，在匹配時需要采用較嚴(yán)格的約束條件和匹配策略，以盡可能地減少匹配歧義和提高匹配效率。總的來說，好的匹配特征應(yīng)該具有要可區(qū)分性、不變性、唯一性以及有效解決匹配歧義的能力。

5.4. 圖像匹配（ImageMatching）

在立體視覺中（圖二、圖三），圖像匹配是指將三維空間中一點(diǎn)A(X，Y，Z)在左右攝像機(jī)的成像面Cl和Cr上的像點(diǎn)al(ul，vl)和ar(ur，vr)對應(yīng)起來。圖像匹配是立體視覺中最重要也是最困難的問題，一直是立體視覺研究的焦點(diǎn)。當(dāng)空間三維場景經(jīng)過透視投影（PerspectiveProjection）變換為二維圖像時，同一景物在不同視點(diǎn)的攝像機(jī)圖像平面上的成像會發(fā)生不同程度的扭曲和變形，而且場景中的光照條件、被測對象的幾何形狀和表面特性、噪聲干擾和畸變、攝像機(jī)特性等諸多因素的影響都被集中體現(xiàn)在單一的圖像灰度值中。顯然，要對包含了如此之多不利因素的圖像進(jìn)行準(zhǔn)確匹配是很不容易的。

5.5. 三維恢復(fù)（3DReconstruction）

在完成立體視覺系統(tǒng)的攝像機(jī)標(biāo)定和圖像匹配工作以后，就可以進(jìn)行被測對象表面點(diǎn)的三維信息恢復(fù)。影響三維測量精度的因素主要有攝像機(jī)標(biāo)定誤差、CCD成像設(shè)備的數(shù)字量化效應(yīng)、特征提取和匹配定位精度等。

5.6. 視頻分析（運(yùn)動檢測、運(yùn)動跟蹤、規(guī)則判斷、報警處理）

通過視差計算，得到全屏幕的視差圖像后，采用背景建模的方式，得到運(yùn)動前景物體的視差圖像，再進(jìn)行膨脹和腐蝕算法進(jìn)行圖像預(yù)處理，得到完整的可供分析的前景運(yùn)動物體視差圖。采用運(yùn)動跟蹤算法，全屏實(shí)時檢測物體的大小、運(yùn)動軌跡，并與事先設(shè)置的規(guī)則進(jìn)行對比，如果有人進(jìn)入或離開設(shè)置報警區(qū)域，系統(tǒng)則實(shí)時報警。

5.7. 視差效果圖：

注：過濾掉距離地面60cm以內(nèi)，200cm以上的視差值，即檢測范圍為60－200cm之間。故左邊蹲下的人沒有視差值。