from http://m.blog.csdn.net/blog/wangxiaokun671903/38322771

關(guān)于3D 匹配的一個(gè)blog: http://blog.csdn.net/wsj998689aa/article/details/44411215

相機(jī)成像的模型如下圖所示：

        P為空間中的點(diǎn)，P1和P2是點(diǎn)P在左右像平面上的成像點(diǎn)，f是焦距，OR和OT是左右相機(jī)的光心。由下圖可見左右兩個(gè)相機(jī)的光軸是平行的。XR和XT是兩個(gè)成像點(diǎn)在左右兩個(gè)像面上距離圖像左邊緣的距離。

     若兩個(gè)相機(jī)已經(jīng)校正完成即達(dá)到極線平行，兩條光軸方向也平行。則視差和物體深度的關(guān)系式如下：

假設(shè)像平面的size為K:
                                                       x3 = XR - K/2 

                                                      x4 = K/2 - XT

                                                   d = x3 + x4 = XR - XT

                                                   b - XR+ XT 就是上面那個(gè)三角形的底邊的長(zhǎng)度。

下面利用相似三角形公式來(lái)得到視差d(=XR -XT)和Z的關(guān)系

                          (1)

可推導(dǎo)到：

                   (2)

       證明過(guò)程：
       已知：

       由相似三角形原理：

     （1）+（2）有：

(5)

       其中b1可以用b、XR和XT表示。

       可得（5）式變?yōu)椋?）式：。證畢。

      由上面兩幅圖，可知距離像面越近的點(diǎn)，它在左右相機(jī)中的視差越大，距離像面越遠(yuǎn)的點(diǎn)，它在左右相機(jī)中的視差越小。

深度Z和視差的關(guān)系圖如下：

http://blog.csdn.net/tianwaifeimao/article/details/19544861

三維空間中一點(diǎn)p，投影到兩個(gè)不同的平面I1、I2，投影點(diǎn)分別為p1，p2。

p、p1、p2在三維空間內(nèi)構(gòu)成一個(gè)平面S。

S與面I1的交線L1過(guò)p1點(diǎn)，稱之為對(duì)應(yīng)于p2的極線。同理S與I2的交線稱之為對(duì)應(yīng)于p1

的極線（對(duì)應(yīng)于左邊圖像點(diǎn)的極線在右邊圖像上，右邊與之相同）。如圖：

極線約束Epipolar constraint   極線幾何Epipolar geometry

所謂極線約束就是說(shuō)同一個(gè)點(diǎn)在兩幅圖像上的映射，已知左圖映射點(diǎn)p1，那么右圖映射點(diǎn)p2一

定在相對(duì)于p1的極線上，這樣可以減少待匹配的點(diǎn)數(shù)量。

對(duì)于極線約束方程可以由以下來(lái)表示：

三維向量x和x'存放相關(guān)點(diǎn)，F(xiàn)為一個(gè)3*3且秩為2的基礎(chǔ)矩陣，那么：

且左右兩個(gè)平面的兩條極線的方程為（注意 ’）：

對(duì)于兩條直線，以連續(xù)點(diǎn)的方式存儲(chǔ)：I和I‘分別在左右兩幅圖像上，若他們倆有對(duì)應(yīng)關(guān)系，那么認(rèn)為他們兩條直線之間的點(diǎn)依次的存在對(duì)應(yīng)關(guān)系

對(duì)于左側(cè)圖像中直線I上的一點(diǎn)x，那么對(duì)應(yīng)于右側(cè)圖像中直線I’中的點(diǎn)x‘可以按照下面方式求得：

對(duì)應(yīng)于x的極線為I'e，I'e與直線I‘的交點(diǎn)為x對(duì)應(yīng)的點(diǎn)x’因此：

http://www./article/431969/

一、對(duì)極幾何約束基本概念

對(duì)極幾何中的重要概念（參考下圖）：

極點(diǎn)：極點(diǎn)elel:右相機(jī)坐標(biāo)原點(diǎn)在左像平面上的像；極點(diǎn)erer:左相機(jī)坐標(biāo)原點(diǎn)在右像平面上的像

極平面：由兩個(gè)相機(jī)坐標(biāo)原點(diǎn)OlOl、OrOr和物點(diǎn)P組成的平面

級(jí)線：極平面與兩個(gè)像平面的交線，即plelplel和prerprer

級(jí)線約束：兩極線上點(diǎn)的對(duì)應(yīng)關(guān)系

1. 找到物點(diǎn)P在左像平面上的像點(diǎn)pl；

2. 畫出極線plel；

3. 找到極平面Olplel與右像平面的交線，即得極線prer；

4. 像點(diǎn)pl的對(duì)應(yīng)點(diǎn)一定在極線prer上。

知道這一點(diǎn)就行了。這些對(duì)應(yīng)點(diǎn)之間的存在的對(duì)應(yīng)關(guān)系：基礎(chǔ)矩陣。

參考http://www.cnblogs.com/gemstone/archive/2011/12/20/2294805.html

二、求解基礎(chǔ)矩陣和極線

求解基礎(chǔ)矩陣的方法，有8點(diǎn)算法、LMed算法、RANSAC算法。

設(shè)兩攝像頭所確定的線為基線，外極線的幾何示意圖如下：   C1PC2構(gòu)成了一個(gè)平面，和兩個(gè)相機(jī)的像平面各有一條交線，這條交線就是極線。比如圖中的P1E1，P2E2。 因此P在這兩個(gè)像平面上的投影一定是在這兩條交線上，這就是極線約束。 基線與像平面I1的焦點(diǎn)E1稱為像平面I1的外極點(diǎn)?；€與像平面I2的交點(diǎn)E2稱為平面I2的外極點(diǎn)。設(shè)空間中有一點(diǎn)P，在I1上的投影為P1，在I2上的投影為P2。將有點(diǎn)P和基線所確定的平面稱為外極平面。外極平面與像平面I1的交線P1E1稱為極點(diǎn)E1的外極線，外極平面與像平面I2的交線P2E2稱為極點(diǎn)E2的外極線。像平面I1上的點(diǎn)P1在平面I2上的對(duì)應(yīng)點(diǎn)一定位于極點(diǎn)E2的外極線上。這一約稱為外極線約束。 在平行雙目視覺(jué)系統(tǒng)中，由于兩個(gè)攝像頭的光軸平行且位于同一水平高度的情況下，兩條外極線與水平軸平行且位于同一水平高度，即垂直坐標(biāo)相同。SIFT特征匹配過(guò)程中加入極限約束方法就可以很好的去除誤匹配。                                         Image rectilinear for stereo https://en./wiki/Image_rectification 通過(guò)rectilinear把不共面的像平面校正成共面。     the search space before (1) and after (2) rectification Stereo vision uses triangulation based on epipolar geometry to determine distance to an object. More specifically, binocular disparity is the process of relating the depth of an object to its change in position when viewed from a different camera, given the relative position of each camera is known. With multiple cameras it can be difficult to find a corresponding point viewed by one camera in the image of the other camera (known as the correspondence problem). In most camera configurations, finding correspondences requires a search in two-dimensions. However, if the two cameras are aligned correctly to be coplanar, the search is simplified to one dimension - a horizontal line parallel to the line between the cameras. Furthermore, if the location of a point in the left image is known, it can be searched for in the right image by searching left of this location along the line, and vice versa (see binocular disparity). Image rectification is an equivalent (and more often used[1]) alternative to perfect camera alignment. Even with high-precision equipment, image rectification is usually performed because it may be impractical to maintain perfect alignment between cameras. Transformation[edit] If the images to be rectified are taken from camera pairs without geometric distortion, this calculation can easily be made with a linear transformation. X & Y rotation puts the images on the same plane, scaling makes the image frames be the same size and Z rotation & skew adjustments make the image pixel rows directly line up[citation needed]. The rigid alignment of the cameras needs to be known (by calibration) and the calibration coefficients are used by the transform.[2] In performing the transform, if the cameras themselves are calibrated for internal parameters, an essential matrix provides the relationship between the cameras. The more general case (without camera calibration) is represented by the fundamental matrix. If the fundamental matrix is not known, it is necessary to find preliminary point correspondences between stereo images to facilitate its extraction.[2]