1、傾斜攝影測(cè)量概述

1860 年， James Wallace Black 在美國(guó)波士頓上空獲得了世界上第一張傾斜影像. 1930 年美國(guó)地質(zhì)調(diào)查局(USGS)和美國(guó)陸軍工程兵部隊(duì)(U. S. Army Corps of Engineers)開(kāi)始使用Fairchild T-3A 五鏡頭傾斜相機(jī)開(kāi)展制圖、監(jiān)視和偵察工作. 20 世紀(jì)初至20 世紀(jì)末， 傾斜攝影和傾斜影像主要用于軍事目的[1-2]. 隨著傾斜攝影平臺(tái)和傳感器硬件的精度和集成度不斷提高， 攝影測(cè)量和三維計(jì)算機(jī)視覺(jué)領(lǐng)域涌現(xiàn)出許多新理論和新方法， 使傾斜攝影測(cè)量技術(shù)逐漸走向?qū)嵱谩?與常規(guī)航空攝影相比， 傾斜攝影的優(yōu)勢(shì)在于能夠獲得地物的立面影像， 使影像解譯變得更簡(jiǎn)單、更直觀. 目前， 傾斜攝影測(cè)量技術(shù)已被廣泛用于測(cè)繪與城市三維建模、城市規(guī)劃與管理、智慧旅游和突發(fā)事件應(yīng)急響應(yīng)等眾多領(lǐng)域[3-5]。

傾斜攝影測(cè)量技術(shù)的核心硬件是傾斜航空攝影相機(jī)， 目前市面常見(jiàn)的傾斜航空攝影相機(jī)包括SWDC-5、Leica RCD30 Oblique、UltraCam Osprey 和A3 Edge 等，如圖1 所示。

Maltese 十字(Maltese-cross)是一種典型的傾斜攝影系統(tǒng)相機(jī)安置方式， 其安置示意圖如圖2 所示。由圖2 可以看出， Maltese 十字由一個(gè)垂直安置的相機(jī)和4 個(gè)45°傾斜安置的相機(jī)構(gòu)成。攝影系統(tǒng)一次曝光獲得具有一定重疊度的5 張照片， 大大增加了影像的獲取效率。

圖2 Maltese 十字相機(jī)安置示意圖

隨著無(wú)人機(jī)的廣泛使用， 國(guó)內(nèi)外陸續(xù)出現(xiàn)了一些適合無(wú)人機(jī)搭載的小型傾斜攝影系統(tǒng). 文獻(xiàn)[6]對(duì)幾種常見(jiàn)的傾斜攝影系統(tǒng)的技術(shù)指標(biāo)進(jìn)行了比較分析， 本文在此不作贅述.

2、關(guān)鍵技術(shù)

在獲取數(shù)據(jù)后， 傾斜攝影測(cè)量通過(guò)對(duì)傾斜影像、POS 數(shù)據(jù)和地面控制點(diǎn)數(shù)據(jù)進(jìn)行一系列的攝影測(cè)量處理以獲取測(cè)區(qū)的數(shù)字表面模型. 常見(jiàn)的傾斜攝影測(cè)量軟件系統(tǒng)包括ContextCapture、PhotoScan 和Pix4Dmapper. 傾斜攝影測(cè)量的具體技術(shù)流程如圖3 所示. 傾斜攝影測(cè)量的關(guān)鍵技術(shù)包括數(shù)據(jù)預(yù)處理、影像匹配、影像定向、密集匹配和表面模型構(gòu)建5 個(gè)部分， 下文分別對(duì)這5 個(gè)部分的研究?jī)?nèi)容和進(jìn)展進(jìn)行介紹.

2.1 數(shù)據(jù)預(yù)處理

在數(shù)據(jù)獲取階段， 利用傾斜攝影系統(tǒng)獲取測(cè)區(qū)的傾斜影像， 利用飛行平臺(tái)搭載的POS 系統(tǒng)獲取攝影系統(tǒng)的位置和姿態(tài)， 在選定的坐標(biāo)系下測(cè)量地面控制點(diǎn)的坐標(biāo). 攝影測(cè)量需要在三維直角坐標(biāo)系下進(jìn)行計(jì)算， 因此需要將POS 數(shù)據(jù)變換到選定的測(cè)量坐標(biāo)系下. 通過(guò)對(duì)航空影像進(jìn)行增強(qiáng)處理可以使影像中地物的紋理細(xì)節(jié)更為突出， 增強(qiáng)處理后的影像也可以改善三維模型的視覺(jué)效果.

2.2 影像匹配

影像匹配為影像定向提供同名點(diǎn)坐標(biāo)觀測(cè)值， 其精度很大程度上決定了攝影測(cè)量最終成果的精度， 而影像匹配的速度是影響攝影測(cè)量效率的重要因素. 因此， 精確且高效的影像匹配構(gòu)成了傾斜攝影測(cè)量的重要研究?jī)?nèi)容.

常規(guī)航測(cè)僅采集下視影像， 良好的飛行控制能夠保證較小的尺度、視角和轉(zhuǎn)角變化， 因此同名點(diǎn)的點(diǎn)位可以預(yù)測(cè). 從這些前提條件出發(fā)， 早期的影像匹配方法在常規(guī)航測(cè)處理中能夠取得比較理想的匹配效果. 而傾斜影像的尺度、視角和轉(zhuǎn)角變化較大， 利用傳統(tǒng)航測(cè)影像匹配方法難以實(shí)現(xiàn)影像的穩(wěn)健匹配.

SIFT 算子可以從影像中提取大量尺度和旋轉(zhuǎn)不變的特征點(diǎn)， 而特征點(diǎn)對(duì)仿射變換和光照變化具有良好的適應(yīng)性[7]， 因此被廣泛用于攝影測(cè)量和三維計(jì)算機(jī)視覺(jué)[8-10]. SIFT 算子能夠提取特征點(diǎn)的位置、尺度及特征點(diǎn)所在鄰域的特征描述. SIFT 特征描述以128 維向量表達(dá)， 用于對(duì)特征點(diǎn)進(jìn)行匹配. 特征描述向量的匹配可采用最近鄰搜索算法實(shí)現(xiàn)， 也可使用Hash 算法實(shí)現(xiàn).

基于最近鄰搜索的影像匹配結(jié)果通常存在誤匹配， 將誤匹配同名點(diǎn)的坐標(biāo)觀測(cè)值引入平差計(jì)算將引起空三精度的下降， 甚至導(dǎo)致影像定向不收斂. 一對(duì)真實(shí)的同名點(diǎn)應(yīng)嚴(yán)格滿足核線約束， 利用少量同名點(diǎn)觀測(cè)值可以解算表達(dá)核線約束的基礎(chǔ)矩陣(fundamental matrix)[11]. 因此， 在RANSAC 框架下[12]， 利用核線約束可剔除大部分誤匹配的特征點(diǎn)， 從而在很大程度上解決了影像的穩(wěn)健匹配問(wèn)題.

SIFT 算子并不具備仿射變換不變性， 傾斜影像較大的視角變化使得基于SIFT 算子的影像匹配精度出現(xiàn)下降， 因而出現(xiàn)了許多改進(jìn)方法. PCA-SIFT 使用主成份分析(principal component analysis， PCA)法對(duì)鄰域梯度導(dǎo)數(shù)向量進(jìn)行降維處理， 并將降維結(jié)果作為鄰域特征描述[13]. 實(shí)驗(yàn)結(jié)果顯示使用該方法所得鄰域特征描述具有更強(qiáng)的區(qū)分度， 對(duì)仿射變換也具有更好的適應(yīng)性[14]. Morel 和Yu[15]提出的ASIFT 算子具有仿射變換不變性， 能夠提高傾斜影像的特征點(diǎn)匹配數(shù)量和精度. 也有研究利用POS 數(shù)據(jù)將傾斜影像重投影生成下視影像，再利用SIFT算子對(duì)重投影影像進(jìn)行匹配[16].SIFT影響了許多特征點(diǎn)提取算子，包括GLOH、SURF、ORB 和BRIEF 等.

隨著多處理器并行特別是圖形處理單元(graphics processing unit， GPU)技術(shù)的不斷進(jìn)步， 對(duì)影像匹配進(jìn)行并行化可以大大縮短匹配時(shí)間[17-18].

2.3 影像定向

影像定向的目的是解算整個(gè)測(cè)區(qū)全部影像的攝影位置和姿態(tài)， 同時(shí)求解影像同名點(diǎn)的地面測(cè)量坐標(biāo). 帶附加參數(shù)的自檢校光束法區(qū)域網(wǎng)平差還可以解算內(nèi)方位元素和相片畸變參數(shù)以補(bǔ)償系統(tǒng)誤差.

將自動(dòng)匹配的同名像點(diǎn)作為觀測(cè)值參與平差的關(guān)鍵在于同名點(diǎn)的匹配精度. 研究顯示， 大量準(zhǔn)確的多余觀測(cè)將顯著提高空三的精度[19-20]. 在影像穩(wěn)健匹配的基礎(chǔ)上， 利用基于代數(shù)方程解的相對(duì)定向方法可以求解大視角變化下影像的相對(duì)位置和姿態(tài)[21]. 盡管利用核線約束條件可以剔除大部分誤匹配的特征點(diǎn)， 但不能完全清除誤匹配. 在相對(duì)定向和自由網(wǎng)構(gòu)建的過(guò)程中， 基于重投影誤差、光束交會(huì)角和冗余度等約束條件可以進(jìn)一步過(guò)濾不可靠的同名點(diǎn)， 從而得到較精確的同名點(diǎn)觀測(cè)值.

傾斜攝影系統(tǒng)通常需要配備高精度的POS 系統(tǒng)以獲取影像的外方位元素. 精確的POS 數(shù)據(jù)可作為觀測(cè)值參與影像定向[22]. 盡管POS 數(shù)據(jù)的精度較以往已有了很大改進(jìn)， 但不依賴地面控制點(diǎn)的大比例尺航空攝影測(cè)量依然十分少見(jiàn). 絕大部分研究工作仍將地面控制點(diǎn)坐標(biāo)作為帶權(quán)觀測(cè)值參與平差， 從而實(shí)現(xiàn)對(duì)攝影測(cè)量區(qū)域網(wǎng)結(jié)構(gòu)的嚴(yán)密控制.

參與平差的觀測(cè)數(shù)據(jù)通常包括同名點(diǎn)的影像坐標(biāo)、地面控制點(diǎn)坐標(biāo)及其像點(diǎn)坐標(biāo)以及利用POS 系統(tǒng)獲取的影像外方位元素值. 對(duì)大量參數(shù)進(jìn)行整體優(yōu)化需要依賴大規(guī)模光束法區(qū)域網(wǎng)平差[23]， 而解算光束法區(qū)域網(wǎng)平差目前普遍采用Levenberg-Marquardt 算法. 光束法區(qū)域網(wǎng)平差的法方程系數(shù)矩陣具有稀疏性， 利用舒爾補(bǔ)(Schur complement)矩陣可將整個(gè)法方程的求解分為相機(jī)參數(shù)的改正數(shù)求解和物方坐標(biāo)的改正數(shù)求解， 從而大大降低了計(jì)算復(fù)雜度. 此外，通過(guò)并行化處理也可以提高大規(guī)模光束法區(qū)域網(wǎng)平差的求解效率[24-26].

2.4 密集匹配

密集匹配是在影像定向的基礎(chǔ)上求解密集同名像點(diǎn)的過(guò)程. 在傾斜攝影引入攝影測(cè)量前， 密集匹配主要用于計(jì)算測(cè)區(qū)的數(shù)字高程模型， 通過(guò)逐像素匹配， 能夠獲得與航測(cè)影像具有相同地面采樣距離(ground sample distance， GSD)的數(shù)字高程模型.隨著傾斜攝影引入攝影測(cè)量， 密集匹配被應(yīng)用于傾斜影像.通過(guò)對(duì)相鄰影像進(jìn)行密集匹配可以獲得視差圖(disparity map)， 利用視差圖可以計(jì)算像點(diǎn)的深度， 進(jìn)而獲得地物的三維點(diǎn)云.

按照匹配策略可以將密集匹配方法分為局部方法和全局方法. 局部匹配方法基于預(yù)先設(shè)定的匹配窗口搜索待匹配影像的局部區(qū)域， 利用影像相關(guān)方法計(jì)算視差，這類匹配算法包括差異平方和(sum of squared differences， SSD)、歸一化交叉相關(guān)(normalized cross correlation， NCC)和差異絕對(duì)值和(sum of absolute differences， SAD)等方法. 局部匹配方法暗含了影像局部區(qū)域光滑的假設(shè)， 然而由于匹配窗口不能保證與影像中線條的邊緣對(duì)齊， 因此對(duì)對(duì)象表面不連續(xù)的邊界區(qū)域重建結(jié)果不佳. 有學(xué)者通過(guò)增加邊緣像素的權(quán)重來(lái)解決該問(wèn)題[27-28]， 但匹配窗口的選擇難以兼顧局部的精度、匹配成功率以及遍歷整個(gè)視差空間的巨大計(jì)算量，影響了局部匹配方法的計(jì)算效率和準(zhǔn)確性[29].

全局匹配方法將立體匹配轉(zhuǎn)化為像素標(biāo)記問(wèn)題(pixel labeling problem). 從統(tǒng)計(jì)學(xué)習(xí)的角度可以將這類方法看作貝葉斯統(tǒng)計(jì)推斷， 即在給定影像觀測(cè)和有關(guān)場(chǎng)景結(jié)構(gòu)先驗(yàn)假設(shè)的條件下推斷視差圖. 假設(shè)一個(gè)像素的標(biāo)記僅與其近鄰像素有關(guān)， 則像素標(biāo)記問(wèn)題就可利用馬爾可夫隨機(jī)場(chǎng)(markov random field， MRF)建模， 并通過(guò)能量最小化解算[30]. 然而， 基于MRF 的能量函數(shù)全局最小化是NP 難題.針對(duì)該問(wèn)題，學(xué)者提出了基于圖割(graph cut)和置信度傳播(belief propagation)的近似化算法[31-32]. Hirschmüller[33]提出的半全局匹配(semi-global matching， SGM)算法是一種對(duì)全局MRF推斷的近似化， 但較高的計(jì)算復(fù)雜度和較大的標(biāo)記搜索空間導(dǎo)致全局匹配方法難以大規(guī)模擴(kuò)展. 針對(duì)該問(wèn)題， 學(xué)者們提出了2 種改進(jìn)策略， 一種是將最大匹配度所對(duì)應(yīng)的視差作為當(dāng)前像素的視差， 另一種是采用金字塔匹配策略以降低視差搜索范圍.

另一類近似化算法基于塊的匹配方法(patchbased matching method)， 以影像定向后精確匹配的同名點(diǎn)及其鄰域作為種子塊， 采用基于塊的近似度量方法和置信度傳播方法對(duì)種子塊進(jìn)行擴(kuò)展， 最終獲得對(duì)象的三維表面結(jié)構(gòu)[34-35].此外， 傾斜影像呈現(xiàn)較大的視角和尺度變化， 采用多尺度重建方法有助于改善對(duì)象表面細(xì)部的重建效果[36].

2.5 表面模型構(gòu)建

傾斜影像經(jīng)過(guò)密集匹配后可以得到測(cè)區(qū)地物的密集點(diǎn)云， 基于點(diǎn)云數(shù)據(jù)可以建立測(cè)區(qū)內(nèi)陸物的真三維數(shù)字表面模型(digital surface model， DSM). 表面模型構(gòu)建通常包括三角網(wǎng)構(gòu)建和紋理映射. 經(jīng)過(guò)學(xué)者們的多年研究， 基于三維三角網(wǎng)的數(shù)字表面模型建模算法已經(jīng)比較成熟. 其中， 泊松表面重建(Poisson surface reconstruction)被廣泛應(yīng)用于三維表面模型的構(gòu)建[37].

三角網(wǎng)構(gòu)建完成后， 表面模型需要通過(guò)紋理映射建立彩色紋理圖像與三角網(wǎng)結(jié)構(gòu)的對(duì)應(yīng)關(guān)系. 經(jīng)過(guò)影像定向后， 影像與三維模型的相對(duì)幾何關(guān)系已經(jīng)確定， 將構(gòu)成三角網(wǎng)的每個(gè)三角形投影至對(duì)應(yīng)的影像上即可實(shí)現(xiàn)模型的紋理映射[38].

3、 展望

近年來(lái)， 傾斜攝影測(cè)量的相關(guān)理論與方法取得了巨大研究進(jìn)展. 盡管如此， 傾斜攝影測(cè)量仍處于發(fā)展階段， 依然存在很多問(wèn)題有待深入研究.

首先， 在影像匹配方面， 對(duì)于存在大面積水域或植被等紋理單一的影像， 由于特征點(diǎn)的局部鄰域十分近似， 導(dǎo)致鄰域特征描述區(qū)分度較小， 引起難以檢測(cè)的匹配粗差. 此外， 地物結(jié)構(gòu)的對(duì)稱性和遮擋也可能引起誤匹配. 圖4 為一座電塔的多視角傾斜影像匹配結(jié)果， 匹配所得同名點(diǎn)用綠色十字標(biāo)記. 由圖4 可以看出， 由于視線遮擋， 部分同名點(diǎn)觀測(cè)值可能出現(xiàn)較大誤差[39]. 通過(guò)引入高精度POS 數(shù)據(jù)或相機(jī)間的相對(duì)定向參數(shù)作為輔助信息， 為影像匹配附加約束條件，并采用更為穩(wěn)健的匹配算法， 有望進(jìn)一步剔除影像匹配中的粗差[41-42].

圖4 多視傾斜影像匹配

其次， 參與傾斜影像定向的多種觀測(cè)值具有不同的測(cè)量精度， 而同一類型觀測(cè)值的精度也可能不同，如下視和傾斜影像中同名點(diǎn)的觀測(cè)精度可能存在較大差異. 因此， 如何合理選擇觀測(cè)數(shù)據(jù)， 在光束法區(qū)域網(wǎng)平差中為不同類型、不同精度的觀測(cè)值合理定權(quán)， 從而提高影像定向的精度值得進(jìn)一步研究.

第三， 由于缺乏紋理的影像區(qū)域缺少有效的同名點(diǎn)觀測(cè)， 造成密集匹配方法難以獲得初始值， 從而導(dǎo)致密集匹配失敗. 另一方面， 盡管傾斜攝影能夠獲取建筑立面的紋理影像， 但較大的觀測(cè)角度容易引起影像變形， 導(dǎo)致模型的精度下降， 造成三維模型的立面視覺(jué)效果不佳. 通過(guò)引入街景影像、車載/地面激光掃描數(shù)據(jù)等多源數(shù)據(jù)， 利用在地面附近獲取的建筑立面影像和三維點(diǎn)云等觀測(cè)數(shù)據(jù)對(duì)傾斜攝影測(cè)量結(jié)果進(jìn)行補(bǔ)充和完善，可以實(shí)現(xiàn)更為精確和逼真的三維重建.

第四， 大范圍傾斜攝影測(cè)量需要對(duì)影像匹配、影像定向和密集匹配等關(guān)鍵環(huán)節(jié)進(jìn)行并行化以提高處理效率. 而在硬件條件受限的情況下， 可借助外存(out-of-core)處理技術(shù)或流式(streaming)處理技術(shù)應(yīng)對(duì)大規(guī)模數(shù)據(jù)處理任務(wù)[43].

最后， 利用傾斜攝影測(cè)量技術(shù)重建出的數(shù)字表面模型通常存儲(chǔ)為統(tǒng)一的三維三角網(wǎng)結(jié)構(gòu). 但現(xiàn)有三維建模和管理系統(tǒng)通常以建筑單體的形式存儲(chǔ)和管理建筑三維模型及其屬性數(shù)據(jù)， 因此將傾斜攝影測(cè)量所得表面模型進(jìn)行建筑單體化是生產(chǎn)部門迫切需要解決的問(wèn)題. 從相關(guān)部門獲取測(cè)區(qū)大比例尺建筑底圖或從機(jī)載激光掃描點(diǎn)云中自動(dòng)提取建筑輪廓線， 并將這些數(shù)據(jù)或信息作為輔助可以實(shí)現(xiàn)傾斜攝影測(cè)量的建筑單體化.