視覺(jué)測(cè)量使用的日益廣泛和頻繁，對(duì)于基礎(chǔ)知識(shí)的學(xué)習(xí)是掌握機(jī)器視覺(jué)的學(xué)習(xí)的關(guān)鍵；本文針對(duì)成像模型，坐標(biāo)系轉(zhuǎn)換和相機(jī)標(biāo)定等知識(shí)進(jìn)行簡(jiǎn)介，雖然網(wǎng)上相關(guān)資料很多，但是本人在學(xué)習(xí)過(guò)程中同樣為某些概念所困擾，寫(xiě)下學(xué)習(xí)總結(jié)一方面希望通過(guò)本文能為初學(xué)者解答相關(guān)概念，另一方面希望能夠作為總結(jié)，加深自身印象。

文章包含 3 大部分，第一部分介紹相機(jī)成像模型，針對(duì)小孔成像原理和透視成像原理進(jìn)行描述；第二部分介紹成像過(guò)程中的四個(gè)坐標(biāo)系和三次坐標(biāo)轉(zhuǎn)換；第三部分介紹使用最多的自由平面相機(jī)標(biāo)定法：張氏標(biāo)定法；

在實(shí)際成像過(guò)程中，經(jīng)常會(huì)使用針孔模型作為相機(jī)成像模型的近似；針孔成像的原理：現(xiàn)實(shí)世界源于物體的光線穿過(guò)針孔，在底板上投影成一幅倒立的圖像；

圖一：針孔成像原理

圖二：左圖為2維針孔成像模型；右圖為透視投影模型

對(duì)針孔模型進(jìn)行二維化簡(jiǎn)，可以看出物體光線經(jīng)過(guò)小孔后成倒立的像；但是成倒立的像表述比較口；因此對(duì)小孔成像進(jìn)行化簡(jiǎn)成右圖的形式，右圖也稱(chēng)為透視投影模型；透視成像模型與小孔模型相比，光心位于成像平面的后方，成正立的實(shí)像，更符合實(shí)際成像過(guò)程；

透視投影將三維空間點(diǎn)投影到二維平面上，對(duì)于三維空間中一點(diǎn)，與相機(jī)光心，投影點(diǎn)三點(diǎn)連線在同一條線上；后續(xù)我們將使用透視投影模型作為成像分析的基礎(chǔ)。

在投射投影模型中成像具有以下幾個(gè)過(guò)程，涉及到 4 個(gè)坐標(biāo)系之間的三個(gè)轉(zhuǎn)換：

圖三：相機(jī)成像過(guò)程

1.空間三維坐標(biāo)系

三維空間坐標(biāo)系即世界坐標(biāo)系，是一個(gè)絕對(duì)的坐標(biāo)系，所有三維點(diǎn)在世界坐標(biāo)系下能夠反映各自的位置關(guān)系；世界坐標(biāo)系的原點(diǎn)是不固定的，隨著應(yīng)用場(chǎng)景不同，世界坐標(biāo)系原點(diǎn)不同；在相機(jī)標(biāo)定過(guò)程中，世界坐標(biāo)系置于標(biāo)定板的棋盤(pán)格的左上端。

圖四：世界坐標(biāo)系

世界坐標(biāo)系和相機(jī)三維坐標(biāo)系都是三維坐標(biāo)系，但是坐標(biāo)系原點(diǎn)不同；兩個(gè)三維坐標(biāo)系可通過(guò)平移和旋轉(zhuǎn)進(jìn)行相互轉(zhuǎn)換；物理意義：一個(gè)三維點(diǎn)在世界坐標(biāo)系下的坐標(biāo)可通過(guò)平移和旋轉(zhuǎn)，轉(zhuǎn)換到另一個(gè)不同原點(diǎn)的三維坐標(biāo)系下。

圖五：平移和旋轉(zhuǎn)轉(zhuǎn)換三維坐標(biāo)系

假設(shè)世界坐標(biāo)系下物體點(diǎn) P 的坐標(biāo)( Xw, Yw, Zw)，經(jīng)過(guò)旋轉(zhuǎn)矩陣 R 和平移矩陣 t 變換后，轉(zhuǎn)換為相機(jī)坐標(biāo)系下坐標(biāo)( Xc, Yc, Zc )，則轉(zhuǎn)換過(guò)程可表為：

用矩陣表達(dá)：

是相機(jī)模型的外參

2.相機(jī)三維坐標(biāo)系

相機(jī)坐標(biāo)系是以相機(jī)光心 O 為原點(diǎn)的三維坐標(biāo)系，世界坐標(biāo)系下的三維點(diǎn)通過(guò)歐式變換(平移和旋轉(zhuǎn))，可轉(zhuǎn)換到相機(jī)坐標(biāo)系中；相機(jī)坐標(biāo)系的點(diǎn)到圖像坐標(biāo)系的點(diǎn)，通過(guò)透視變換進(jìn)行轉(zhuǎn)換；其中圖像坐標(biāo)系是一個(gè)二維坐標(biāo)系，可理解為相機(jī)坐標(biāo)系中距離相機(jī)光心 距離為f(Zc=f) ，與光心 Zc=0平 面平行的一個(gè)平面；

圖六：透視變換

將所有相機(jī)光心的坐標(biāo)投影到 Zc=f 的平面上則：

矩陣形式：

3.圖像坐標(biāo)系

圖七：圖像坐標(biāo)系

圖像坐標(biāo)系（ Zc = f 的平面）是二維坐標(biāo)系，描述相機(jī)坐標(biāo)系中投影點(diǎn)在圖像上的投影位置，一般坐標(biāo)中心在相機(jī)Zc坐標(biāo)軸上，xy坐標(biāo)軸分別與相機(jī)坐標(biāo)系中 XY軸平行；圖像坐標(biāo)系描述透視變換后空間點(diǎn)在圖像上成像的位置坐標(biāo)；

4.像素坐標(biāo)系

圖像坐標(biāo) （x,y） 轉(zhuǎn)換到像素坐標(biāo) (u,v) ，通過(guò)量化像素大小，計(jì)算投影點(diǎn)所在的像素位置；其中單個(gè)像素在x軸上的大小dx，y軸上的大小dy；一般在攝影測(cè)量中像素坐標(biāo)系的原點(diǎn)在左下方；計(jì)算機(jī)視覺(jué)中像素坐標(biāo)系的原點(diǎn)在左上方；本文以計(jì)算機(jī)視覺(jué)為準(zhǔn)，原點(diǎn)在左上方如圖7所示；

使用矩陣的形式表達(dá)：

為了獲取齊次坐標(biāo)，最后一行可以添加 1 進(jìn)行補(bǔ)充；

由于存在加工誤差，像素不是絕對(duì)的矩形，是平行四邊形形狀；引入傾斜因子 

圖八：像素傾斜

此時(shí)公式(3)可描述成，在實(shí)際標(biāo)定過(guò)程中有時(shí)可認(rèn)為 s=0，進(jìn)行省略。 

通過(guò)推導(dǎo)相機(jī)模型，知道相機(jī)的內(nèi)參 K 和外參[R t]，下面將介紹如何求解相機(jī)內(nèi)參和外參；對(duì)于相機(jī)標(biāo)定我們介紹張氏標(biāo)定；后續(xù)會(huì)出相機(jī)標(biāo)定的專(zhuān)題，介紹 DLT 直接線性求解法，Tsai 兩步法等常見(jiàn)的標(biāo)定方法，畸變矯正方法以及相關(guān)的非線性?xún)?yōu)化知識(shí)等。

相機(jī)標(biāo)定，是使用大量觀測(cè)值進(jìn)行參數(shù)模型擬合的過(guò)程，在此擬合的參數(shù)模型是已知的，所以盡可能探索獲取大量觀察值的方案，如果觀測(cè)值之間還滿(mǎn)足一些其他的幾何約束，就更有助于求解具體單個(gè)參數(shù)值；

張氏標(biāo)定是一種提供觀察值的方案，同時(shí)觀察值之間還滿(mǎn)足一定的幾何約束(平面約束)；

假設(shè)某圖像上坐標(biāo)m=，齊次表達(dá)式m? =，世界坐標(biāo)系一點(diǎn)坐標(biāo)??=，齊次形式M?=；

則相機(jī)模型為：

其中s為尺度因子，外參[Rt]，內(nèi)參矩陣A

其中為焦距的值（像素為單位），(u0,v0)為像主點(diǎn)坐標(biāo)（像素單位）；為像元軸的傾斜因子；

使用張氏標(biāo)定時(shí)，世界坐標(biāo)系固定在標(biāo)定板上，且Z=0：

因此：

又由于：

張氏標(biāo)定通過(guò)觀察置于一個(gè)平面的標(biāo)定圖像，獲取與的映射關(guān)系單應(yīng)性矩陣H，然后計(jì)算內(nèi)參和外參的過(guò)程。

由于 r1, r2 是正交矩陣的列向量，兩兩正交且為單位向量；

則具有如下兩個(gè)約束：

則：

令：

注意到B是對(duì)稱(chēng)矩陣，可用6維向量表示：

已知 1 個(gè)單應(yīng)性矩陣提供 2 個(gè)約束，線性方程組 b 有 6 個(gè)未知數(shù)(5 個(gè)內(nèi)參+1 個(gè)尺度因子)，

n>=3 個(gè)單應(yīng)性矩陣可求取全部未知數(shù)；

n=2 時(shí)，令 γ=0，此時(shí)添加一個(gè)約束：

n=1 時(shí)可計(jì)算兩個(gè)內(nèi)參 α 和 β，此時(shí)要求 u0 和 v0是已知的；

由矩陣，內(nèi)參矩陣可通過(guò) B 矩陣進(jìn)行求解：

求取內(nèi)參之后，根據(jù)內(nèi)參矩陣 A 矩陣獲取外參：

對(duì)于上面的解法，都在旋轉(zhuǎn)矩陣 R=是正交矩陣約束下求解的；

但是實(shí)際上由于噪聲和干擾的存在，旋轉(zhuǎn)矩陣不一定是正交的，因此此種計(jì)算方式獲取的內(nèi)參和外參有一定的誤差；為了獲取較精準(zhǔn)的結(jié)果，可通過(guò)先對(duì)旋轉(zhuǎn)矩陣 R 求取最接近的正交矩陣，

計(jì)算

式中R為要求的旋轉(zhuǎn)矩陣，Q為上式中初步求取的含噪聲的旋轉(zhuǎn)矩陣；

公式（15）計(jì)算最小的F范數(shù)轉(zhuǎn)換成獲取最大的矩陣的跡。

對(duì) Q 矩陣進(jìn)行奇異值分解為,其中S=。此時(shí)定義一個(gè)正交矩陣 Z，則Z=,則

從等式中可以計(jì)算當(dāng)存在最大值，此時(shí)Z=I為公式(15)的解。

上面的通過(guò)最小化代數(shù)幾何獲取的近似解求取的參數(shù)矩陣，不具有物理意義；通過(guò)最大似然估計(jì)進(jìn)行計(jì)算精確值；上述計(jì)算的結(jié)果存在噪聲，以旋轉(zhuǎn)矩陣為正交舉證為假設(shè)的前提進(jìn)行計(jì)算的，雖然通過(guò)計(jì)算獲取了最接近的正交旋轉(zhuǎn)舉證，但是前面的計(jì)算已經(jīng)包含了誤差的影響，對(duì)于高精度的結(jié)果影響較大，下面需要通過(guò)非線性?xún)?yōu)化進(jìn)行計(jì)算相機(jī)參數(shù)模型的精確解；

我們通過(guò)獲取的n張圖片，每張圖片上面m個(gè)模型點(diǎn)。假設(shè)圖片上的點(diǎn)具有隨機(jī)正態(tài)分布的噪聲點(diǎn)；則最大似然估計(jì)結(jié)果由下面的最小化公式獲?。?/span>

其中中，為第 i 張圖片中三維空間中的投影點(diǎn)。旋轉(zhuǎn)矩陣R 由一個(gè)三維向量進(jìn)行參數(shù)化參與計(jì)算，三維向量與旋轉(zhuǎn)軸平行，數(shù)值與旋轉(zhuǎn)角大小一致；矩陣 R 和向量 r 通過(guò)羅德里格斯公式進(jìn)行計(jì)算。最小化的過(guò)程是一個(gè)非線性最小化問(wèn)題，根據(jù) Levenberg-Marquardt 算法進(jìn)行求解；求解過(guò)程中需要給定初始值A，，可將上面計(jì)算的近似解作為初始值使用。

到目前為止，我們還未考慮畸變情況，所有推導(dǎo)都是無(wú)畸變的理想狀態(tài)；對(duì)視對(duì)于便攜式鏡頭的畸變是不可忽略的，廣角鏡頭和魚(yú)眼鏡頭畸變更大，尤其是徑向畸變；在本節(jié)中我們將討論畸變情況，一般只考慮2項(xiàng)徑向畸變，3 項(xiàng)切向畸變；在實(shí)際效果中，對(duì)像素畸變大小的影響排序：

圖九：畸變圖像

徑向畸變是由于鏡頭自身凸透鏡的固有特效造成，光線在遠(yuǎn)離透鏡中心的地方比靠近中心的地方更加彎曲，因此鏡頭的畸變與距離鏡頭中心距離有關(guān)；

畸變是影響鏡頭透視成像結(jié)果，對(duì)于透視成像無(wú)畸變坐標(biāo)(x,y)，施加畸變后成像坐標(biāo)，則

其中：，表示距離鏡頭中心的距離；

對(duì)于透視變換的畸變對(duì)像素坐標(biāo)的影響，無(wú)畸變的理想像素(??,??)，經(jīng)過(guò)畸變影響后位置；由公式可知，像素坐標(biāo)和相機(jī)坐標(biāo)的變換關(guān)系：

假設(shè)，則畸變對(duì)像素坐標(biāo)影響的數(shù)學(xué)模型為：

切向畸變是由于透鏡和 CCD 的安裝位置誤差導(dǎo)致。因此，如果存在切向畸變，一個(gè)矩形被投影到成像平面上時(shí)，很可能會(huì)變成一個(gè)梯形。切向畸變需要兩個(gè)額外的畸變參數(shù)來(lái)描述，矯正前后的像素坐標(biāo)關(guān)系為：

綜述我們一般使用 5 個(gè)畸變參數(shù)來(lái)描述透鏡畸變，對(duì)于高精度測(cè)量，可選用更多項(xiàng)畸變系數(shù)進(jìn)行畸變描述和校正；

則最終含有5項(xiàng)畸變系數(shù)的標(biāo)定模型：

至此張氏標(biāo)定理論部分基本已經(jīng)講完，后續(xù)將會(huì)介紹實(shí)踐部分和精度影響。

1. 打印一個(gè)標(biāo)定棋盤(pán)格，棋盤(pán)格粘貼在平面上；(進(jìn)行高精度標(biāo)定，可在陶瓷板上面達(dá)標(biāo)棋盤(pán)格)

2. 移動(dòng)棋盤(pán)格進(jìn)行拍攝圖片，為了獲取最佳標(biāo)定結(jié)果，一般拍攝 10 張以上圖片會(huì)更好；

3. 提取圖片中的角點(diǎn)坐標(biāo)m（u，v)；

4. 通過(guò)近似解估計(jì)內(nèi)參和外參結(jié)果；

5. 使用線性最小二乘法估算畸變系數(shù)；

6. 最小化所有參數(shù)；

實(shí)驗(yàn)部分使用α和β的相對(duì)誤差及u0和v0的絕對(duì)誤差探究0均值高斯噪聲，標(biāo)定圖片數(shù)量以及標(biāo)定平面傾斜角度對(duì)誤差的影響結(jié)果；

1. 高斯噪聲對(duì)標(biāo)定結(jié)果的影響

3個(gè)確定位置的平面進(jìn)行標(biāo)定，對(duì)不同的標(biāo)定圖片施 0均值不同σ的高斯噪聲，則α和β的相對(duì)誤差及u0 和v0的絕對(duì)誤差線性變化，數(shù)值從0.1pixel到 1.5pixel；說(shuō)明隨著高斯噪聲的σ越大對(duì)誤差的影響越大；

2. 標(biāo)定圖片數(shù)量對(duì)結(jié)果影響

隨著標(biāo)定圖片數(shù)量的增加，相對(duì)誤差和絕對(duì)誤差的數(shù)值越來(lái)越低，因此一般標(biāo)定建議標(biāo)定數(shù)量至少10張圖片；

3. 標(biāo)定平面傾斜角度對(duì)結(jié)果的影響

當(dāng)兩幅圖片只具有位移，沒(méi)有旋轉(zhuǎn)時(shí)，外參不會(huì)分別產(chǎn)生約束，兩個(gè)單應(yīng)矩陣具有一定的轉(zhuǎn)化關(guān)系，此時(shí)兩張圖片產(chǎn)生退化配置，只有一張圖片提供外參約束；因此在標(biāo)定板移動(dòng)時(shí)，旋轉(zhuǎn)角度要大一些，實(shí)驗(yàn)探究旋轉(zhuǎn)角度對(duì)標(biāo)定結(jié)果的影響；當(dāng)兩幅圖片的旋轉(zhuǎn)角度小于 5°時(shí)，產(chǎn)生退化配置，標(biāo)定誤差非常大；一般建議移動(dòng)標(biāo)定板時(shí)，角度 45°和 70°之間最佳；

本文介紹相機(jī)的成像模型以及常見(jiàn)的 2 維平面標(biāo)定方法，介紹小孔成像模型以及透視成像模型，成像過(guò)程中 4 個(gè)坐標(biāo)系和 3 次坐標(biāo)系變換，以及常見(jiàn)的 2D平面標(biāo)定法，張氏標(biāo)定的相關(guān)介紹；本文的來(lái)源參考網(wǎng)上的知識(shí)進(jìn)行相關(guān)知識(shí)的總結(jié)，后續(xù)也將推出視覺(jué)測(cè)試方面的連載系列博客；如果能夠?yàn)橥瑢W(xué)解答一些小的疑惑，本人將無(wú)比榮幸；本人知識(shí)有限，寫(xiě)作手法生疏，如果有些地方描述不清晰煩請(qǐng)指教，本人將在下次寫(xiě)作中改正；歡迎各位同學(xué)進(jìn)行相關(guān)知識(shí)交流。

1.  Z. Zhang, 'A flexible new technique for camera calibration,' in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, Nov. 2000,doi: 10.1109/34.888718.