基于雙DSP立體測距系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

劉麗偉，馬松全，馬麗蓉

(1.長春工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，長春130012;2.空軍航空大學(xué)，長春130022)

獲取空間三維場景［1］的距離信息是計(jì)算機(jī)視覺研究中最基礎(chǔ)的內(nèi)容，而立體視覺是計(jì)算機(jī)視覺中測距方法中最重要的距離感知技術(shù)，它直接模擬人類視覺處理景物的方式，可在多種條件下靈活的獲取景物的立體信息。雙目立體視覺直接模擬人類雙眼處理景物的方式，可靠簡便，在許多領(lǐng)域均極具應(yīng)用價(jià)值，如微操作系統(tǒng)的檢測與控制、機(jī)器人的導(dǎo)航與航測、車載攝像頭、三維測量學(xué)和虛擬現(xiàn)實(shí)等。

雙目立體視覺是計(jì)算機(jī)視覺的一個(gè)重要分支其思想起源于對人的雙眼視覺的研究，是指由不同位置的兩臺攝像機(jī)拍攝同一幅場景，通過計(jì)算空間點(diǎn)在兩幅圖像中的視差，獲得該點(diǎn)的三維坐標(biāo)值。若空間一物點(diǎn)在不同方位所投影得兩個(gè)該物點(diǎn)的投影圖像坐標(biāo)，根據(jù)這兩個(gè)圖像坐標(biāo)，即可求得該物點(diǎn)的三維坐標(biāo)。要實(shí)現(xiàn)這種坐標(biāo)變換過程，必須知道坐標(biāo)之間的變換關(guān)系，這主要由攝像機(jī)內(nèi)外參數(shù)描述，確定攝像機(jī)內(nèi)外參數(shù)的過程叫做攝像機(jī)標(biāo)定。

此外，還需要得到同一物點(diǎn)在兩幅圖像中的圖像坐標(biāo)，要根據(jù)一物點(diǎn)在一幅圖像中的坐標(biāo)得到該物點(diǎn)在另外一副圖像中的圖像坐標(biāo)，這個(gè)過程叫圖像匹配。一套完整的雙目立體系統(tǒng)可分為以下主要部分:圖像獲?。?］、攝像機(jī)標(biāo)定、特征提取、立體匹配和深度計(jì)算。其中攝像機(jī)標(biāo)定、圖像角點(diǎn)的提取與匹配是雙目立體視覺實(shí)現(xiàn)過程中重要步驟。

筆者通過采用雙TMS320DM642數(shù)字信號處理器，在硬件平臺上實(shí)現(xiàn)了實(shí)時(shí)數(shù)字圖像處理系統(tǒng)的結(jié)構(gòu)和相關(guān)算法。

1 雙DSP實(shí)時(shí)數(shù)字圖像處理系統(tǒng)硬件的構(gòu)成

該系統(tǒng)采用了美國TI公司的高速數(shù)字信號處理器，以兩片TMS320DM642為核心，以可編程邏輯陣列CPLD和現(xiàn)場可編程門陣列FPGA以及高速視頻A/D和D/A等器件構(gòu)成了實(shí)時(shí)高速數(shù)字圖像處理系統(tǒng)。系統(tǒng)的工作原理是:由CCD輸出模擬視頻信號，經(jīng)過時(shí)序產(chǎn)生及圖像預(yù)處理后，通過高速視頻A/D將模擬信號轉(zhuǎn)換為數(shù)字信號。分離出來的同步信號由CPLD地址發(fā)生器產(chǎn)生數(shù)字圖像的存儲地址，在可選擇的任意大小的范圍內(nèi)，圖像數(shù)據(jù)依照地址發(fā)生器產(chǎn)生的地址依次存入圖像存儲器(雙口RAM)。數(shù)字信號處理器DSP1將圖像存儲器(雙口RAM)中的圖像以EDMA方式存在同步動態(tài)存儲器 SDRAM中。SDRAM為4M Byts×64 Byts，時(shí)鐘主頻為 166 MByt MHz，這樣保證了工作時(shí)所需要的存儲容量和實(shí)時(shí)性要求。由DSP1和SDRAM組成的數(shù)字處理單元1將數(shù)據(jù)通過MCBSP傳遞給數(shù)字信號處理器DSP2及其所帶的SDRAM;數(shù)據(jù)處理單元2在對所傳來的目標(biāo)圖像數(shù)據(jù)進(jìn)行處理后，通過高速D/A轉(zhuǎn)化成為模擬視頻信號，以用于輸出。

圖1 雙DSP系統(tǒng)硬件原理框圖Fig.1 Dual DSP system hardware block diagram

1.1 雙DSP之間的通信

雙DSP之間的通信是保證數(shù)字圖像處理系統(tǒng)性能的關(guān)鍵。只有保證了雙DSP通信的正常，才能保證系統(tǒng)的工作狀態(tài)和系統(tǒng)的實(shí)時(shí)性。在系統(tǒng)設(shè)計(jì)時(shí)，采用MCBSP同步串口方式進(jìn)行雙DSP之間通信。

1.2 A/D和D/A的轉(zhuǎn)換

模擬全視頻信號，經(jīng)高速A/D視頻芯片進(jìn)行數(shù)字化轉(zhuǎn)換后，存入圖像存儲器中，供DSP處理。高速視頻D/A芯片將DSP處理完畢的數(shù)字視頻圖像信號轉(zhuǎn)化為模擬的全視頻信號輸出。A/D的最高采樣頻率為40 MHz，數(shù)字輸出格式為YUV，確保了所產(chǎn)生的模擬視頻信號輸出的可用性。

1.3 通訊接口

DSP1是由16C550擴(kuò)展出的對外通訊串口，采用RS422串口和RS232串口兩種模式，上位控制機(jī)通過串口將控制命令傳輸給DSP，保證了系統(tǒng)按照要求進(jìn)行工作，同時(shí)系統(tǒng)又把圖像處理的結(jié)果，如目標(biāo)位置等，通過串口傳輸給上位控制機(jī)。

2 雙目立體視覺三維測量原理

雙目視覺模型［3－6］，是指把2個(gè)參數(shù)相同攝像頭且光心平行放于一條直線上，構(gòu)成平行雙目立體視覺系統(tǒng)。再通過各個(gè)部分的幾何關(guān)系分析，從而獲取目標(biāo)物的距離信息。幾何關(guān)系的獲得關(guān)鍵在于找出左右圖像中對于同一個(gè)物體對應(yīng)的兩個(gè)像素點(diǎn)，然后根據(jù)投影中心、焦距、攝像機(jī)的幾何位置等，由三角幾何測距原理恢復(fù)物體的三維信息。

圖2 雙目視覺成像原理Fig.2 Binocular vision imaging principle

根據(jù)照相機(jī)成像的線性理論［1］可推導(dǎo)出像素坐標(biāo)和世界坐標(biāo)之間的關(guān)系

其中G1、G2分別為點(diǎn)P在左右兩個(gè)攝像機(jī)坐標(biāo)系中光軸上的坐標(biāo);(u1v11)、(u2v21)分別為圖2中P點(diǎn)在左右圖像坐標(biāo)系下的齊次坐標(biāo)，N1和N2分別為兩個(gè)攝像頭的內(nèi)參矩陣;和分別為兩個(gè)攝像頭之間的旋轉(zhuǎn)平移矩陣;(XwYwZw1)是圖2中空間點(diǎn)P在世界坐標(biāo)系下的齊次坐標(biāo)。

兩幅圖像的投影變換矩陣［4］如下:

將式(3)、式(4)與式(1)、式(2)式聯(lián)立可得:

由解析幾何知，三維空間的平面方程為線性方程，兩個(gè)平面方程聯(lián)立得到空間的直線方程，式(5)和式(6)的幾何意義是圖2中過點(diǎn)P到兩攝像機(jī)焦點(diǎn)的直線方程。所以聯(lián)立式(5)、(6)可求出空間點(diǎn)P點(diǎn)的三維坐標(biāo)。由此，通過兩幅圖片便可得到現(xiàn)場的三維信息，其中就是所要求的距離。

3 圖像的角點(diǎn)提取與匹配

根據(jù)雙目視覺的原理，系統(tǒng)需要獲取同一物體的2幅圖像。并對2幅圖像進(jìn)行預(yù)處理以提供高質(zhì)量的圖像，然后進(jìn)行角點(diǎn)提取。角點(diǎn)通常是圖像中周圍亮度變化劇烈的點(diǎn)或者圖像邊界曲線上具有足夠大曲率的點(diǎn)。角點(diǎn)也是圖像三維信息的控制點(diǎn)，它們描述了物體的輪廓和紋理，計(jì)算他們的三維信息也就計(jì)算出了物體的三維信息。而且角點(diǎn)的數(shù)據(jù)量一般是非常少的，可有效的減少信息的數(shù)據(jù)量，提高運(yùn)算的速度，然后進(jìn)行角點(diǎn)匹配。最后綜合攝像機(jī)的參數(shù)，得出物體的三維深度信息。整個(gè)系統(tǒng)的框架如圖3所示。

在整個(gè)系統(tǒng)中，角點(diǎn)提取算法與角點(diǎn)匹配算法，是影響整個(gè)系統(tǒng)的測量精度和實(shí)時(shí)性最重要，也是最核心的算法。

圖3 雙目視覺系統(tǒng)Fig.3 Binocu lar vision system

如果用傳統(tǒng)的匹配［2］，模板會從圖像的原點(diǎn)開始，從上到下從左到右遍歷搜索，直到匹配成功。這樣算法的復(fù)雜度就非常大，不利于快速處理。但是根據(jù)平行光軸的雙目視覺系統(tǒng)的特點(diǎn)，匹配的點(diǎn)在左右2副圖像中，縱向坐標(biāo)是一致的(即雙目視覺中的Y坐標(biāo)是相等的)。所以把模板從平面的二維移動，限制在直線的一維運(yùn)動。模板只需要按自己的縱坐標(biāo)位置，做水平移動模板，就一定能在這條直線上找到匹配點(diǎn)。

在平行雙目視覺中，兩副圖像是通過固定的位置，是平行的攝像頭采集獲得的，所以同一物點(diǎn)在左右圖像橫坐標(biāo)都相差一個(gè)常數(shù)。當(dāng)然角點(diǎn)也在左右圖像中的橫坐標(biāo)都相差一個(gè)相同的數(shù)值，這個(gè)條件也可以簡化搜索的策略達(dá)到快速定位。設(shè)左圖像中的一個(gè)角點(diǎn)坐標(biāo)為I(x，y)，那么該點(diǎn)的橫坐標(biāo)水平方向平移一定的位移m，就可在右圖像中的T(x+m，y)附近(左右5個(gè)像素點(diǎn))找到其匹配點(diǎn)。位于右圖像中T(x，y)的特征點(diǎn)，可在左圖像中的I(x－m，y)附近找到與之匹配的特征點(diǎn)。根據(jù)這個(gè)約束條件，就不必每次模板從左到右開始水平移動，可從一個(gè)固定值m處附近尋找匹配點(diǎn)，這樣加快了系統(tǒng)的效率。

4 實(shí)驗(yàn)數(shù)據(jù)及結(jié)果

筆者選用兩個(gè)規(guī)格相同的攝像機(jī)。以橫向平行的方式固定在支架上，兩個(gè)攝像機(jī)之間的基線距離取50 cm，取左攝像機(jī)坐標(biāo)系為世界坐標(biāo)系，建立雙目立體視覺距離測量模型。選擇張正友標(biāo)定法［4］，對80×80 cm的棋盤格進(jìn)行角點(diǎn)提取與標(biāo)定，圖4、圖5分別是距離為15 m時(shí)的角點(diǎn)提取與標(biāo)定圖片，根據(jù)標(biāo)定結(jié)果算出最優(yōu)的投影變換矩陣M，進(jìn)而計(jì)算出前方目標(biāo)的距離。

圖4 15 m時(shí)的角點(diǎn)提取Fig.4 15 m Corner extraction

圖5 15 m時(shí)的圖像標(biāo)定Fig.5 15 m Image calibration

雙目視覺測量的數(shù)據(jù)統(tǒng)計(jì)如表1所示。

表1 實(shí)驗(yàn)結(jié)果數(shù)據(jù)表Table 1 The experimental results data table

該實(shí)驗(yàn)選取間隔為10 m的5組距離進(jìn)行實(shí)驗(yàn)，通過所得的數(shù)據(jù)可知，測得的距離與實(shí)際距離相差不大，但隨著距離的增大，圖像的畸變嚴(yán)重，誤差也隨之增大。其誤差的主要原因是采集到的圖片模糊導(dǎo)致提取的坐標(biāo)值不精確，所以圖像的預(yù)處理就顯得非常重要。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠滿足實(shí)際距離較短的檢測精度及實(shí)時(shí)性要求。

5 結(jié)論

以嵌入式平臺作為實(shí)驗(yàn)平臺，對關(guān)鍵算法提出了自己的解決方法。使用筆者的研究方法對實(shí)際物體的三維信息進(jìn)行了測量，測量結(jié)果驗(yàn)證了系統(tǒng)的正確性。但是筆者的雙目視覺三維測量技術(shù)現(xiàn)在還處于簡單的針對單一背景，紋理簡單的測量物體，如何針對多樣化，復(fù)雜的測量物體，仍然要進(jìn)行大量的實(shí)驗(yàn)。

［1］趙光興，于春雨.基于雙目視覺三維測量系統(tǒng)平臺的搭建與實(shí)現(xiàn)［J］.合肥工業(yè)大學(xué)學(xué)報(bào)，2009，26(4): 403－404.

Zhao Guang－xing，Yu Chun－yu.3D measurement system platform based on binocular vision to build and Implementation［J］.Journal of Hefei Technology University，2009，26(4):403－404.

［2］陳利軍.圖像角點(diǎn)檢測和匹配算法的研究［D］.西安:西安電子科技大學(xué)通信工程學(xué)院，2008.

Chen Li－jun.The image cornermonitoring and matching algorithm［D］.Xi’an:School of Telecommunications Engineering，Xidian University，2008.

［3］Myron Z，Darius B，Gregory D.Advances in computational stereo［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(8):993－1008.

［4］Zhang Zheng－you.A flexible new technique for camera calibration［J］.IEEE Trans on PAMI，2000，22(11): 374－376.

［5］岡薩雷斯.數(shù)字圖像處理［M］，北京:電子工業(yè)出版社，2010.

［6］劉濤.基于平行雙目視覺的目標(biāo)距離計(jì)算［J］.青島大學(xué)學(xué)報(bào)，2009，23(4):13－17.

Liu Tao.Calculated based on the the parallel binocular visual target distance［J］.Journal of Qingdao University，2009，23(4):13－17.