雙目圖像校正VLSI硬件電路結(jié)構(gòu)設(shè)計

衛(wèi)欽智，陳 松

(中國科學(xué)技術(shù)大學(xué) 國家示范性微電子學(xué)院，安徽 合肥 230026)

0 引言

雙目立體視覺是一種重要的虛擬現(xiàn)實技術(shù)，通過模擬人類雙眼的成像原理，即由左右兩臺攝像機(jī)拍攝同一場景，得到左右兩幅圖像，在同一設(shè)備中顯示出來。

目前市場上的所有便攜設(shè)備，諸如手機(jī)、平板、筆記本電腦等，都配備了具有強(qiáng)大功能的普通或者廣角攝像頭，獲取更多信息的同時也帶來視頻圖像的不同程度的畸變，畸變的引入不符合人眼的視覺感官，也不利于對圖像進(jìn)行特征提取、圖像識別、圖像分割等后續(xù)的處理。為了消除畸變，通常假設(shè)一個包含徑向和切向畸變的模型[1]，利用該模型校正圖像。因此，圖像校正一般也作為圖像處理中的預(yù)處理操作。

一般，左右攝像機(jī)在實際中的擺放不完全滿足理想配置，導(dǎo)致獲得的左右圖像不僅含有畸變，還存在一定的垂直視差，不利于后續(xù)的立體匹配[2]或者三維重建，所以合理的雙目校正非常關(guān)鍵?；贔PGA的硬件雙目圖像幾何校正處理方式不僅效果理想，還可以滿足對實時性具有更高要求的場合。由于雙目圖像幾何校正模型具有較高的計算復(fù)雜度，傳統(tǒng)的硬件雙目圖像校正方式通常是基于查找表來實現(xiàn)雙目畸變圖和校正圖像之間的映射[3]，避免了在硬件內(nèi)部復(fù)雜的計算，但是會消耗大量的緩存去存儲原始的畸變圖像，不適用于高分辨率雙目圖像。

鑒于以往的幾何校正模型較高的計算復(fù)雜度，不適合硬件實現(xiàn)以及需要消耗大量緩存的缺點，本文設(shè)計了一種循環(huán)式緩存方式[4]存儲圖像和一種適合硬件實現(xiàn)的高效的雙目幾何校正模型。

1 雙目圖像校正幾何原理與過程

圖像產(chǎn)生幾何畸變是指像素點在空間中發(fā)生位移，造成圖像局部的變形。造成幾何畸變的主要原因有光敏器件質(zhì)量差、相機(jī)視場角度問題、視覺系統(tǒng)理論誤差等。對于雙目相機(jī)而言，還存在因左右相機(jī)空間位置差異和極線不平行造成的相同物體的成像點偏離理論位置，給雙目圖像匹配帶來誤差的問題。針對左右相機(jī)的空間位置變形，也需要對左右圖像進(jìn)行立體校正，減少后續(xù)深度信息計算誤差。

如圖1所示，F(xiàn)l和Fr為左右相機(jī)光心，它們的連線即為基線，基線與左右成像平面的交點分別為對極點el和er，目標(biāo)點p在原始畸變圖中的位置分別為左圖中的l1和右圖中的r1，el和l1連線即為左極線，er和r1連線即為右極線，Rl和Rr為p點在校正圖中的位置。

經(jīng)過雙目校正后得到的無畸變圖像，使得左、右兩幅圖無畸變，目標(biāo)點在校正后的兩幅圖像中對齊無垂直差距，左右極線二維坐標(biāo)系重合，便于對校正好的雙目圖像進(jìn)行立體匹配等操作。

圖1 雙目校正示意圖

本文設(shè)計的雙目校正幾何模型主要是針對具有桶形畸變的廣角雙目圖像，使得校正后的圖像視頻呈現(xiàn)出更好的視覺效果，更加符合人類感官，便于對獲得的信息進(jìn)行立體匹配、目標(biāo)識別、對象跟蹤、圖像分割和圖像特征提取等后續(xù)處理。

圖2為雙目圖像幾何校正流程。相機(jī)標(biāo)定法：用于標(biāo)定單目相機(jī)的網(wǎng)格模板標(biāo)定法，獲取畸變校正參數(shù)后進(jìn)行畸變校正；基于MATLAB標(biāo)定工具箱[4-5]的雙目相機(jī)標(biāo)定法，得到外部標(biāo)定參數(shù)進(jìn)行雙目圖像立體校正。根據(jù)畸變模型和空間位置關(guān)系，利用雙線性插值[6-7]進(jìn)行像素重建。

圖2 雙目校正結(jié)構(gòu)流程圖

2 單目畸變校正模型和雙目校正模型

如果用f(x，y)來表示輸入的畸變圖像的灰度函數(shù)，同樣用g(x，y)來表示輸出的校正圖像的灰度函數(shù)，那么，輸入和輸出之間的空間點的對應(yīng)關(guān)系就可以用數(shù)學(xué)方法來描述，其一般定義如下：

f(x′,y′)=g(x,y)=g[a(x,y),b(x,y)]

(1)

其中，x′=a(x,y),y′=b(x,y)，x′、y′表示輸入的畸變像素點，x、y是輸出的校正圖像素點。為了描述相機(jī)的成像幾何關(guān)系，需要選定畸變校正模型并且對使用的雙目廣角相機(jī)進(jìn)行標(biāo)定，本文使用的標(biāo)定方法有2種，分別為網(wǎng)格模板標(biāo)定和基于MATLAB工具箱的黑白棋盤標(biāo)定。

圖像映射通常被應(yīng)用于縮放、平移、旋轉(zhuǎn)和拼接等多種圖像處理方式中[8]。圖像映射方式分為：向前映射和向后映射[9]。

向前映射：又稱像素移交映射，是一種由畸變圖像(輸入圖像)到校正圖像(輸出圖像)的映射方式。其在校正過程中可能出現(xiàn)映射超出索引維度，即由畸變圖像得到的校正圖像像素超出圖像分辨率維度，導(dǎo)致圖像像素丟失。

向后映射：向后映射是一種由校正圖像到畸變圖像映射，又稱圖像填充映射。已知輸出圖像像素(整點坐標(biāo))在原圖像中的坐標(biāo)位置，通常是非整數(shù)坐標(biāo)；利用畸變圖像中非整數(shù)坐標(biāo)點周圍的整數(shù)坐標(biāo)的像素的灰度值進(jìn)行插值得到校正圖像中對應(yīng)整數(shù)點的像素灰度值，一般不會導(dǎo)致像素浪費或丟失現(xiàn)象，實現(xiàn)時效率更高。因此，本文所采用的校正模型是基于向后映射的校正方式。圖3即為向后映射原理。

圖3 向后映射方式

2.1 單目畸變校正模型

畸變校正模型的選擇應(yīng)該切合實際，需要考慮實現(xiàn)的效果和算法實現(xiàn)時的計算復(fù)雜度，更要考慮是否適合硬件實現(xiàn)及其資源消耗和實現(xiàn)效果。

校正模型實現(xiàn)時要準(zhǔn)確對應(yīng)所在坐標(biāo)系。坐標(biāo)系的變換順序為：相機(jī)坐標(biāo)系→像素坐標(biāo)系→圖像坐標(biāo)系→像素坐標(biāo)系，其中圖像坐標(biāo)系用來實現(xiàn)畸變校正，輸入輸出對應(yīng)圖像數(shù)據(jù)則是在像素坐標(biāo)系中。

圖4給出了對應(yīng)坐標(biāo)系轉(zhuǎn)換關(guān)系，p為目標(biāo)點，OcYcXcZc為相機(jī)坐標(biāo)系,oxy是圖像坐標(biāo)系，ouv是像素坐標(biāo)系。

圖4 坐標(biāo)系轉(zhuǎn)換關(guān)系圖

對于廣角相機(jī)產(chǎn)生的桶形畸變，其主要由徑向畸變和切向畸變組成。下面給出幾組適用于廣角相機(jī)的畸變校正模型：

(2)

公式(2)的模型考慮主要的桶形畸變中的徑向畸變量，復(fù)雜度大大降低，能達(dá)到基本校正效果，易于計算和實現(xiàn)，但是缺乏靈活性。

(3)

公式(3)模型精度高，效果理想，但是參數(shù)眾多，計算復(fù)雜度較高，硬件實現(xiàn)上沒有優(yōu)勢，并且通常的桶形畸變以徑向畸變?yōu)橹?，即第一個括號內(nèi)的值。故本文提出了一種更為適合硬件實現(xiàn)的畸變校正模型，見公式(4)：

(4)

模型(4)參數(shù)數(shù)量適中，復(fù)雜度不高，適合硬件實現(xiàn)。

2.2 單目畸變標(biāo)定參數(shù)獲取

網(wǎng)格標(biāo)定法，首先制作標(biāo)準(zhǔn)網(wǎng)格點圖，本文的網(wǎng)格點8×10的網(wǎng)格圖，由邊長為1 cm的正方形方格組成。

獲得網(wǎng)格點后，利用雙目相機(jī)拍攝對應(yīng)網(wǎng)格點，得到畸變的網(wǎng)格圖，通過匹配標(biāo)準(zhǔn)網(wǎng)格和變形網(wǎng)格中的網(wǎng)格點，得到每個網(wǎng)格點的坐標(biāo)偏移量，從而建立畸變圖和校正圖之間的幾何關(guān)系，求得畸變校正模型參數(shù)，圖5為對應(yīng)網(wǎng)格標(biāo)定流程。

圖5 網(wǎng)格標(biāo)定流程圖

利用網(wǎng)格標(biāo)定分別對模型(2)、(3)、(4)進(jìn)行了驗證，模型(4)能有效去除畸變，并且適合硬件實現(xiàn)，同時，在4個校正參數(shù)中k1，k2，k3，k4不僅可以控制校正效果，還可以對圖像內(nèi)容的損失作調(diào)整，因此選定了模型(4)作為畸變校正模型。

2.3 雙目校正模型及標(biāo)定參數(shù)獲取

使用MATLAB標(biāo)定工具箱對雙目相機(jī)進(jìn)行標(biāo)定，本文使用的是BOUGUET J Y發(fā)布的Calibration Toolbox for Matlab，與HEIKKILTI J和SILVEN O的四步標(biāo)定法[10]也極為相似。其內(nèi)部畸變模型與公式(3)大致相同，區(qū)別在于本文將坐標(biāo)系轉(zhuǎn)換單獨處理。

本文主要是用標(biāo)定工具箱的雙目標(biāo)定確定外部參數(shù)，完成幾何校正模型中的立體校正環(huán)節(jié)。下面介紹本文雙目標(biāo)定的實施過程：

(1)用雙目相機(jī)拍攝足量黑白棋盤圖，分別重命名為左圖像和右圖像；

(2)要標(biāo)定雙目相機(jī)，首先要對單目相機(jī)內(nèi)部參數(shù)進(jìn)行標(biāo)定，啟動單目標(biāo)定程序，先讀入左圖的20幅圖依次進(jìn)行標(biāo)定，如圖6所示，將標(biāo)定得到的結(jié)果分別命名保存，然后對右圖的20幅圖進(jìn)行同樣操作，完成標(biāo)定，得到左右2相機(jī)內(nèi)部參數(shù)；

圖6 待標(biāo)定的左右棋盤圖

(3)啟動雙目立體標(biāo)定，加載左右相機(jī)內(nèi)部標(biāo)定參數(shù)，進(jìn)行立體標(biāo)定得到外部標(biāo)定參數(shù)旋轉(zhuǎn)矩陣om和平移矩陣T，om、T都是3維列向量。

圖7給出了模擬的雙目相機(jī)的空間位置關(guān)系圖，可以用公式(5)的立體校正模型表示。根據(jù)左右相機(jī)之間位置關(guān)系得到右圖像相對于左圖像的新的坐標(biāo)。

XR=R*XL+T

(5)

其中，XL，XR是左右圖像對應(yīng)的三維坐標(biāo)，R由om經(jīng)羅德里格斯變換得到。

圖7 模擬的雙目相機(jī)位置關(guān)系

3 雙目校正VLSI硬件實現(xiàn)

本文提出的雙目圖像硬件電路設(shè)計架構(gòu)如圖8所示。

圖8 雙目圖像校正電路硬件架構(gòu)圖

本文所提出的硬件架構(gòu)，采用同步時鐘設(shè)計，具體步驟如下：

(1)使用隨機(jī)存取存儲器作為緩存設(shè)備，控制左右圖像的像素數(shù)據(jù)的寫入、讀出，并且基于隨機(jī)存取存儲器設(shè)計line-buffer控制模塊；

(2)計算幾何校正模型，將計算結(jié)果輸出至line-buffer模塊讀取像素信息，同時，將插值參數(shù)輸出至像素重建模塊；

(3)根據(jù)插值參數(shù)和來自line-buffer模塊的像素信息，利用雙線性插值進(jìn)行像素重建硬件電路結(jié)構(gòu)設(shè)計。

3.1 基于隨機(jī)存取存儲器的line-buffer控制模塊電路結(jié)構(gòu)

圖9所示是line-buffer控制模塊電路結(jié)構(gòu)，左右圖像具有相同結(jié)構(gòu)的line-buffer。line-buffer由指定數(shù)量隨機(jī)存取存儲器RAM組成，然后進(jìn)行分組，每組由相同數(shù)量的RAM組成。RAM數(shù)量與圖像畸變大小有直接關(guān)系，畸變越大所需要的RAM就越多，本文采用的廣角相機(jī)具有一定幅度畸變，故需要一定數(shù)量的RAM用來緩存部分圖像數(shù)據(jù)信息。

寫入和讀出的控制模塊均相同，讀數(shù)據(jù)的信號是根據(jù)line-buffer得到來自畸變圖像和校正圖像之間對應(yīng)像素的空間位置關(guān)系來決定。

3.2 雙目圖像幾何校正模型電路結(jié)構(gòu)

本文幾何校正模型包括單目畸變校正模型和立體校正模型。左右圖像的單目畸變校正模型相同。首先將標(biāo)定得到的畸變校正參數(shù)和外部參數(shù)做定點化處理，作為參數(shù)內(nèi)置于硬件電路中,其中畸變校正參數(shù)k1、k2、k3、k4分別對應(yīng)para_x0、para_x1、para_y0、para_y1。

圖9 line-buffer電路結(jié)構(gòu)圖

圖10和圖11分別給出了幾何校正中單目畸變校正模型和立體校正模型的電路結(jié)構(gòu)?；冃ＵＰ蜑?級流水線設(shè)計。將公式(4)展開，先處理3級流水線的乘法樹結(jié)構(gòu)，然后處理3級流水線的加法樹結(jié)構(gòu)，輸出畸變圖像與校正圖像之間的行里對應(yīng)關(guān)系，整數(shù)部分給到line-buffer模塊作為讀信號去讀取相應(yīng)數(shù)據(jù)，小數(shù)部分給到像素重建模塊作為插值參數(shù)。立體校正主要的作用在于做空間坐標(biāo)變換，使得左右圖像坐標(biāo)平行對齊，在硬件設(shè)計中根據(jù)實際情況做二維圖像坐標(biāo)的變換即可。

圖10 畸變校正模型電路結(jié)構(gòu)圖

圖11 立體校正電路結(jié)構(gòu)

3.3 雙目圖像校正的像素重建模塊電路結(jié)構(gòu)

本模塊是基于雙線性插值設(shè)計的電路結(jié)構(gòu)，雙線性插值原理如圖12所示。

圖12 雙線性插值原理圖

假設(shè)p點為所求像素，設(shè)f(x)為求對應(yīng)點像素值的函數(shù)，其中x2-x1=1,y2-y1=1。

(6)

(7)

(8)

如圖13所示，左圖和右圖的像素重建模塊結(jié)構(gòu)相同。電路結(jié)構(gòu)采用2級流水線設(shè)計，對來自line-buffer模塊的4個圖像像素數(shù)據(jù)和來自幾何校正模型的插值參數(shù)重新插值計算校正后的像素。

4 實驗結(jié)果

本文使用的是分辨率為1 280×960的130°雙目廣角相機(jī)，雙目相機(jī)基線長為8.0 cm，焦距為2.6 mm。

實驗軟件版本為Xilinx Vivado2017.1，實驗平臺為Xilinx 7z020開發(fā)板，頻率為85 MHz。主要的資源消耗見表1，圖14 給出了雙目圖像左右原圖像和校正圖像對比結(jié)果。

表1 資源消耗表

圖13 像素重建電路結(jié)構(gòu)圖

圖14 雙目校正左右原圖與校正圖對比

5 結(jié)果分析

本文在研究前人關(guān)于雙目視覺校正的基礎(chǔ)上，設(shè)計了一種高效雙目圖像幾何校正硬件架構(gòu)，效果較好，適合硬件實現(xiàn)。

對于具有較大畸變的雙目相機(jī)能夠完成雙目幾何校正，完成校正后圖像邊界不會出現(xiàn)大面積的黑色區(qū)域或像素缺失，將所有缺失都轉(zhuǎn)換到右圖像下邊界或者右邊界區(qū)域，利于后續(xù)的圖像裁剪，且分辨率損失較小，實現(xiàn)效果較好。