基于TOF的快速加權(quán)中值濾波深度成像系統(tǒng)

陳旭鳳 李玉龍 侯志奇 溫彬彬 胡雪花 黃文靜

摘 要：本文介紹了一種基于飛行時間（TOF）的快速加權(quán)中值濾波深度成像系統(tǒng)。本系統(tǒng)結(jié)合了高分辨率（HR）三視圖立體RGB相機（1280×960）和低分辨率（LR）TOF景深相機（176×144）。首先進行相機標定，以獲得彩色和深度相機的內(nèi)在和外在參數(shù)。由于同一場景下深度圖像的分辨率遠小于相應(yīng)的彩色圖像，因此采用快速加權(quán)中值濾波（WMF）對低分辨率深度圖像進行深度上采樣。最后，利用基于深度圖像的繪制（DIBR）技術(shù)，通過上采樣深度圖像和HR彩色圖像結(jié)合生成場景的立體三維（S3D）圖像。實驗結(jié)果表明，與不同的濾波方法相比，本文提出的深度成像系統(tǒng)能生成高質(zhì)量的深度圖，并能高速生成S3D圖像。

關(guān)鍵詞：攝像機標定;深度圖像;加權(quán)中值濾波;立體成像

深度感知是計算機視覺的基本挑戰(zhàn)之一。在三維技術(shù)研究中，一個好的場景深度圖質(zhì)量是至關(guān)重要的。由于各領(lǐng)域?qū)Ω哔|(zhì)量、合理分辨率的深度圖的要求，研究者們提出了多種提高深度圖質(zhì)量的算法，并逐漸將不同深度的傳感器組合起來，以產(chǎn)生一個獲取深度圖的成像系統(tǒng)。到目前為止，許多研究人員已經(jīng)開發(fā)了不同類型的深度成像系統(tǒng)。為了達到使傳感器更穩(wěn)定、準確、實時的目的，系統(tǒng)設(shè)置趨向于相機組合。目前組合方式以立體相機與深度相機融合為主。

受前人工作的啟發(fā)，本文設(shè)計實現(xiàn)了一種基于飛行時間（TOF）相機和快速加權(quán)中值濾波的深度成像系統(tǒng)。該系統(tǒng)將彩色和深度相機結(jié)合起來實現(xiàn)高質(zhì)量的深度成像：采用一個最大分辨率為1280×960像素的三視圖無源傳感器相機和一個分辨率為176×144像素的有源TOF深度傳感器（Mesa SwissRanger SR4000），利用基于WMF的深度上采樣和DIBR來獲得HR深度圖像并生成S3D圖像。

本文提出的深度成像方法概述如下：首先進行相機校準，以結(jié)合不同的分辨率傳感器，通過攝像機標定，得到LR深度圖像;其次利用雙三次插值上采樣對其進行調(diào)整，由于插值處理后的深度圖像中存在一些不必要的噪聲和黑色區(qū)域，因此基于快速WMF進行了深度優(yōu)化，在增強邊界的同時降低噪聲;最后，使用DIBR結(jié)合彩色圖像及其對應(yīng)的深度圖像生成S3D圖像。本系統(tǒng)方法流程如下圖所示。

1 相機標定

1.1 相機坐標系校準

相機標定目標是將TOF相機捕獲的深度圖映射到立體相機捕獲的一幅彩色圖像上，得到相應(yīng)的立體加深度圖像組。本文從ToF相機的三維坐標出發(fā)，去尋找它在RGB相機圖像中的對應(yīng)二維坐標。列出TOF相機的針孔相機模型矩陣，利用深度圖像提供的各點到TOF相機的距離，可以將比例因子s分解為該深度值，計算出三維坐標X、Y、Z，再將XYZ的值投影到RGB相機的坐標系中，獲取到X'、Y'、Z'即為RGB相機的三維坐標。重新計算s尺度因子，在Z'不為零的情況下，RGB彩色圖像的坐標可以通過計算得到。這使得我們可以將深度圖像中的任意像素投影到RGB圖像上的正確坐標。在這項工作中，我們使用L支架來固定每個相機的垂直位移和TOF相機的水平位移，這使得我們可以靈活地選擇基準傳感器。

1.2 相機參數(shù)校準

本文利用自制的一個棋盤平面，以20組合理的姿態(tài)拍攝所得圖像作為數(shù)據(jù)集。為了減少TOF相機拍攝的低光亮度圖像引起的計算誤差，本文在立體標定前進行了直方圖均衡化。然后利用Matlab校準工具箱，通過單次校準和立體校準計算校準參數(shù)如下：（1）坐標系的校準步驟為我們提供了每個相機的內(nèi)部參數(shù)：焦距fc，投影中心點坐標cc，斜角αc，畸變系數(shù)kc。這些校準讓我們排除了透鏡畸變對采集圖像的影響（使用OpenCV undistort算法）。（2）立體標定步驟為我們提供了外部相機參數(shù)：旋轉(zhuǎn)矢量R，平移矢量t，選取TOF相機的位置作為原始坐標系，這些參數(shù)反映了TOF相機向右相機的旋轉(zhuǎn)和平移。

2 深度上采樣

在相機標定后，得到了一個經(jīng)過校正的深度圖D。但是，D是一個低分辨率圖像，在物體邊界上有不需要的黑色區(qū)域，即孔洞，因此有必要對d進行上采樣和優(yōu)化。為了提高光滑區(qū)域的質(zhì)量，保持物體邊界附近的細節(jié)，本文使用的深度上采樣主要包括以下三個步驟：

（1）雙三次插值：為了保證快速深度成像的要求，本文使用雙三次插值將D的大小調(diào)整到與彩色圖像相同的大小。然而，在物體邊界附近存在一些意想不到的噪聲和大量不需要的孔洞。

（2）裁剪：為了去除相機鏡頭畸變造成的黑色周邊，本文根據(jù)深度圖將深度圖像和RGB圖像裁剪成合理的尺寸。

（3）快速WMF：由于裁剪后深度圖像中仍然存在不必要的噪聲，本文利用快速的WMF來保持對象邊界，減少運行時間。此外，利用深度圖像及其對應(yīng)的顏色圖像，快速的WMF方法可以降低噪聲、保持圖像細節(jié)，生成高質(zhì)量的HR深度圖Dref。

3 3D立體成像

該系統(tǒng)采用DIBR方法生成三維圖像。由于獲得了深度圖像及其對應(yīng)的彩色圖像，因此，通過將單幅圖像的像素投影到適當?shù)娜S位置，并將其重新投影到虛擬圖像平面上，從而可以呈現(xiàn)出任何鄰近像素的虛擬視圖，采用紅藍眼鏡觀察圖像可以感受到立體視覺效果。設(shè)Cc為原始參考圖像的視點，Cl和Cr分別是要呈現(xiàn)的虛擬左眼視圖和右眼視圖的視點。tx是兩個虛擬攝像機之間的距離。在此相機配置下，在（xl，y），（xc，y），（xr，y）三個相機的像平面上投影一個世界坐標系深度為Z的點P：

其中f為焦距，tx為兩個虛擬相機之間的距離。利用三維圖像的翹曲DIBR技術(shù)，由初始的一個圖像及其深度圖即可以生成該場景虛擬的左眼和右眼視圖。

4 實驗結(jié)果分析

為了驗證該系統(tǒng)的性能，本文在Windows 7環(huán)境的Intel（R）Core（TM）2雙核CPU（2.66GHZ）和2.00GB RAM的PC機上進行了實驗，使用Matlab標定工具箱對攝像機標定，使用Visual Studio 2010和OpenCV作為立體成像系統(tǒng)的運行環(huán)境，該交互系統(tǒng)利用了立體攝像機和TOF攝像機的API函數(shù)。