雙目立體視覺原理大揭秘（一）

——雙目視覺導(dǎo)航、定位；

雙目立體視覺是一門有著廣闊應(yīng)用前景的學(xué)科，根據(jù)雙目立體視覺CCAS提供的思路及組成原理，隨著光學(xué)、電子學(xué)以及計算機(jī)技術(shù)的發(fā)展，將不斷進(jìn)步，逐漸實用化，不僅將成為工業(yè)檢測、生物醫(yī)學(xué)、虛擬現(xiàn)實等領(lǐng)域的關(guān)鍵技術(shù)，還有可能應(yīng)用于航天遙測、軍事偵察等領(lǐng)域。目前在國外，雙目體視技術(shù)已廣泛應(yīng)用于生產(chǎn)、生 活中。雙目立體視覺是計算機(jī)視覺的一個重要分支，單從雙目視覺的應(yīng)用來說，主要分為四大部分：

一 雙目視覺導(dǎo)航、定位；

二 三維重構(gòu)；

三 雙目立體測量；

四 空間三維立體跟蹤。

很多科研項目或工業(yè)現(xiàn)場需要用雙目視覺來解決問題時，很多人都不知道該從哪里著手。其實只要理解了雙目視覺的基本原理，以上應(yīng)用都是大同小異的事情。本文僅從“基于雙目視覺的導(dǎo)航、定位”方面講述其基本原理及實現(xiàn)過程。

雙目視覺的基本原理就是模擬人眼并利用空間幾何模型推導(dǎo)出相應(yīng)的算法來解決實際問題。再說白一點，雙目視覺最基本的目的就是從復(fù)雜的客觀世界中提取出我們感興趣的“點”、“線”、“面”，再用數(shù)字來描述，從而精確的理解并控制它們。這個原理里面包含三大部分內(nèi)容：

下面以機(jī)器人導(dǎo)航應(yīng)用為例進(jìn)行說明，在這個應(yīng)用中需要做的事情就是告訴機(jī)器人：在它的前方有障礙物、還要告訴它該障礙物在機(jī)器人的導(dǎo)航坐標(biāo)系中的位置信息。這樣機(jī)器人才能做出判斷并進(jìn)行規(guī)避。實現(xiàn)這個功能的時候，就包含了以下三部分內(nèi)容。

第一、提取感興趣的點（特征檢測）。就是把我們感興趣的物體分割出來，針對導(dǎo)航、定位來說就是把機(jī)器人前面的障礙物找到。這種應(yīng)用在特征點提取這部分的特點是：需要提取的特征點較少、提取速度要求高。具體速度需要根據(jù)機(jī)器人的總體精度來衡量。一般來說一秒鐘至少要給機(jī)器人5個以上的信號，也就是說每秒至少采集5幀以上的圖像并分別處理。

在這個過程中，首先必須得提取到障礙物的信息，我們很容易想到可以給機(jī)器人上面安裝一個攝像頭來對前方的道路情況進(jìn)行拍攝。但是如果是用一個攝像頭，我們只能得到障礙物的平面信息，也就是X、Y坐標(biāo)信息，機(jī)器人并不知道應(yīng)該再走多遠(yuǎn)才能實施避障動作。所以我們需要再加一個攝像頭從另外的角度去拍攝這個障礙物。這樣一來就能得到2張從不同角度來描述該障礙物的圖片了。然后再加入一些合適的預(yù)處理算法（圖像處理），比如二值化、邊緣提取、特征點去噪（需要根據(jù)具體的場景，選擇合適的算法）等把兩張圖片中的障礙物提取、分割出來。這樣就完成了特征點提取，為下一步“精確化數(shù)字描述”做好了基礎(chǔ)。

第二、精確化數(shù)字描述（立體匹配、姿態(tài)測量）。這部分指的是分割出障礙物的特征點以后需要用有效的數(shù)值來描述，在雙目視覺系統(tǒng)中當(dāng)然就是用三維坐標(biāo)來描述了。如果在安裝好雙目相機(jī)的同時還進(jìn)行了單目相機(jī)標(biāo)定和雙目相機(jī)標(biāo)定（見第三部分），確認(rèn)了雙相機(jī)、鏡頭的參數(shù)矩陣，得到平移向量和旋轉(zhuǎn)矩陣。那么根據(jù)雙目立體匹配原理帶入就可以得出該障礙物的三維坐標(biāo)值了。把該三維坐標(biāo)值輸入機(jī)器人控制系統(tǒng)，機(jī)器人就可以智能的實現(xiàn)避障了。

在這部分中用到了“立體匹配”算法，其實該算法是和雙目標(biāo)定相結(jié)合，該算法根據(jù)特征點在左右圖像中的坐標(biāo)點進(jìn)行基礎(chǔ)矩陣的計算并將左右圖像的同名坐標(biāo)點一一對應(yīng)。在這個過程中用到的“平移向量”和“旋轉(zhuǎn)矩陣”就是下一步雙目標(biāo)定中給出的參數(shù)。

第三、雙目標(biāo)定。雙目標(biāo)定就是利用已知世界坐標(biāo)系（標(biāo)定板）和圖像坐標(biāo)系（對標(biāo)定板圖像處理后結(jié)果）的對應(yīng)關(guān)系，計算出雙目相機(jī)在當(dāng)前位置關(guān)系下的參數(shù)信息。標(biāo)定完成后，用該雙目系統(tǒng)去觀測未知世界坐標(biāo)系時就可以得到其三維信息了。事實上，在雙目標(biāo)定前，還需要對每個相機(jī)做單相機(jī)標(biāo)定，以確定其畸變系數(shù)、相機(jī)內(nèi)參矩陣等。這樣做的目的是為了使左右相機(jī)獲取到的圖像都能校正為標(biāo)準(zhǔn)圖像后再進(jìn)行處理。

一般來說，只要涉及到的是雙目項目，這一步是通用的且是必不可少的。針對不同應(yīng)用，只是在獲取到具體的世界坐標(biāo)體系的時候再做不同的處理即可。非常感謝CCAS雙目視覺軟件對我們研究解析的大力支持，關(guān)于這方面的內(nèi)容可以去試試CCAS雙目視覺軟件，感興趣的朋友可以去網(wǎng)上找找相關(guān)資料。

事實上，雙目立體視覺的算法研究順序應(yīng)該是先雙目標(biāo)定、再立體匹配、最后進(jìn)行特征點檢測。本文為了讓讀者易于理解，所以先講結(jié)果、再講原因。后續(xù)再講三維重構(gòu)、三維測量及空間跟蹤應(yīng)用。