Kinect深度測(cè)量的系統(tǒng)誤差補(bǔ)償研究

張 洪，鄭梓均，孫春龍

(江南大學(xué)機(jī)械工程學(xué)院，江蘇省食品先進(jìn)制造裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇無(wú)錫 214122)

?

Kinect深度測(cè)量的系統(tǒng)誤差補(bǔ)償研究

張 洪，鄭梓均，孫春龍

(江南大學(xué)機(jī)械工程學(xué)院，江蘇省食品先進(jìn)制造裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇無(wú)錫 214122)

Kinect在測(cè)量深度時(shí)往往存在系統(tǒng)誤差，為此提出了一種基于數(shù)學(xué)統(tǒng)計(jì)的Kinect系統(tǒng)誤差補(bǔ)償方法。該方法設(shè)計(jì)了一個(gè)使用高精度激光掃描儀獲取深度參考值的裝置，然后根據(jù)Kinect的系統(tǒng)誤差模型，將深度參考值與Kinect的深度測(cè)量值相互匹配，進(jìn)行二次曲線擬合。結(jié)果表明，經(jīng)過(guò)補(bǔ)償之后的Kinect深度數(shù)據(jù)相比原始數(shù)據(jù)精度顯著提高了。

Kinect；深度值；系統(tǒng)誤差；數(shù)學(xué)統(tǒng)計(jì)；激光掃描儀；曲線擬合

0 引言

微軟的Kinect是近幾年中比較熱門(mén)的一款消費(fèi)級(jí)深度傳感器。Kinect的設(shè)計(jì)初衷是為了給電腦游戲服務(wù)的，然而剛一推出，其同時(shí)獲取彩色信息和深度信息的特點(diǎn)，便吸引了其他領(lǐng)域的研究者們[1]。然而研究者們發(fā)現(xiàn)Kinect的精度和準(zhǔn)確性并無(wú)法滿(mǎn)足所有研究的需求，因?yàn)镵inect的深度測(cè)量值和真實(shí)深度之間存在著明顯的系統(tǒng)性的偏移[2]。Kinect系統(tǒng)誤差的補(bǔ)償，一般在Kinect相機(jī)標(biāo)定時(shí)進(jìn)行。由于微軟并未將Kinect的內(nèi)部算法開(kāi)源，基于統(tǒng)計(jì)學(xué)的補(bǔ)償方法被廣泛應(yīng)用[3-5]，即建立一條深度測(cè)量值和真實(shí)深度的關(guān)系曲線。Smisek[4]等建立了包含有深度補(bǔ)償?shù)腒inect標(biāo)定模型，而Daniel[5]等在前者的基礎(chǔ)上，考慮到了同深度下不同像素點(diǎn)之間深度測(cè)量值存在差異的現(xiàn)象，對(duì)每一個(gè)像素都進(jìn)行了深度補(bǔ)償。Kourosh[6]等提出了Kinect的三角測(cè)量模型，并據(jù)此分析了Kinect的深度分辨率和隨機(jī)誤差模型，但他的誤差模型同樣適用于Kinect的系統(tǒng)誤差。

本文只闡述Kinect深度測(cè)量的系統(tǒng)誤差補(bǔ)償，Kinect相機(jī)的標(biāo)定作為預(yù)先的工作已經(jīng)完成。本文設(shè)計(jì)了一個(gè)基于2D激光掃描儀的真實(shí)深度參考值采集裝置，獲取了更加可靠的真實(shí)深度參考值，然后根據(jù)三角測(cè)量的誤差模型，選擇二次曲線模型進(jìn)行擬合補(bǔ)償，取得了更好的補(bǔ)償效果。

1 Kinect測(cè)量原理和誤差分析

1.1 Kinect的測(cè)量原理

Kinect使用光編碼技術(shù)[7]來(lái)測(cè)量物體深度，其關(guān)鍵在于紅外發(fā)射器發(fā)射的紅外激光經(jīng)過(guò)光柵衍射后在物體表面形成的激光散斑。Kinect會(huì)事先獲得不同深度下的激光散斑圖案作為參考圖案，并存儲(chǔ)在Kinect內(nèi)部，這個(gè)步驟被稱(chēng)為Kinect的光源標(biāo)定。

測(cè)量時(shí)，Kinect獲取投射到被測(cè)物體表面的激光散斑圖案，然后在低分辨率模式下，與參考圖案序列依次做灰度級(jí)對(duì)比，便能獲得灰度級(jí)最接近的參考圖案，并且以該參考圖案的深度作為初步估計(jì)的深度。

隨后Kinect通過(guò)三角測(cè)量的方法獲得更加精確的深度值的。如圖1所示，參考平面的深度Zo在先前的步驟中已知，f為紅外相機(jī)的焦距，b為基線長(zhǎng)度，當(dāng)被測(cè)物體偏離參考平面時(shí)，其散斑圖案會(huì)在X軸方向同樣產(chǎn)生一個(gè)偏移，即視差d。根據(jù)三角形相似可知

(1)

且

(2)

聯(lián)立式(1)和式(2)，消去D得到被測(cè)物體的深度Zk：

(3)

圖1 三角測(cè)量原理[6]

1.2 Kinect系統(tǒng)誤差模型

Kinect的系統(tǒng)誤差主要來(lái)源于2方面：(1)作為比較廉價(jià)的深度信息采集設(shè)備，Kinect的鏡頭的制造精度和整體的裝配精度并不算特別高；(2)不同的Kinect使用相同的參考圖像序列和處理程序。Kinect的系統(tǒng)誤差，體現(xiàn)在測(cè)量深度值與真實(shí)深度之間產(chǎn)生了偏差，并且每一個(gè)像素點(diǎn)的偏差都不一樣。

事實(shí)上， Kinect的系統(tǒng)誤差在測(cè)量時(shí)直接反映在被測(cè)物體散斑圖案的視差d的誤差上。令Δd表示由系統(tǒng)誤差引起的視差d的誤差，ΔZk代表相應(yīng)的深度測(cè)量誤差，那么

(4)

化簡(jiǎn)可得

(5)

由于Kinect系統(tǒng)誤差是固定的，那么 也是固定的，從而可以得知Kinect的深度測(cè)量誤差跟物體距離的平方成正比。

2 2D激光掃描儀獲取真實(shí)深度參考值

采用數(shù)學(xué)統(tǒng)計(jì)補(bǔ)償Kinect深度測(cè)量的系統(tǒng)誤差，需要獲取被測(cè)物體的真實(shí)深度參考值。真實(shí)深度參考值的準(zhǔn)確性直接關(guān)系到深度補(bǔ)償?shù)男Ч?。本文選取了與Kinect平行的平面(如平整的墻面)作為被測(cè)物體，平行平面能夠覆蓋整個(gè)Kinect視野，以便補(bǔ)償每一個(gè)像素點(diǎn)的系統(tǒng)誤差。

以往的研究中，研究者常常使用卷尺或者1D測(cè)距傳感器來(lái)獲取真實(shí)深度參考值，但這樣無(wú)法保證Kinect與被測(cè)平面的平行度。本文中設(shè)計(jì)了一個(gè)基于高精度的2D激光掃描儀的真實(shí)深度參考值采集裝置，在獲取精確的真實(shí)深度參考值的同時(shí)，保證了被測(cè)平面與Kinect的平行性，具體原理如下所述。

如圖2所示，激光掃描儀和Kinect安放于待測(cè)平面前，激光掃描儀中心和Kinect基線的距離為dt，同時(shí)保證二者平行。激光掃描儀的掃描范圍為θ=θ1+θ2，其始末兩端的測(cè)量距離為DL和DR，DM為其每次掃描的中間時(shí)刻的測(cè)量值。

圖2 2D激光掃描儀獲取真實(shí)深度參考值

在測(cè)量過(guò)程中，若DL=DR，則θ1=θ2，進(jìn)而可以得知DM即為激光掃描儀中心到待測(cè)墻面的垂直測(cè)量距離。由于Kinect基線與激光掃描儀平行，那么Kinect到墻面的距離為Zr=Dm+dt，Zr即為Kinect對(duì)于該墻面的真實(shí)深度參考值。

本文中所選用的2D激光掃描儀為UTM-30LX激光掃描儀，最大測(cè)量范圍270°，角度分辨率為0.25°，最大測(cè)量距離60 m，距離分辨率可達(dá)1 mm，可以滿(mǎn)足本文的測(cè)量要求。

3 數(shù)據(jù)預(yù)處理

任何傳感器在測(cè)量時(shí)都會(huì)產(chǎn)生隨機(jī)誤差。Kinect的隨機(jī)誤差體現(xiàn)在：某一深度下，任意一個(gè)像素點(diǎn)所測(cè)得的深度值往往在幾個(gè)固定值之間"閃爍"的現(xiàn)象。與此同時(shí)，激光掃描儀獲得的深度數(shù)據(jù)也是波動(dòng)的。為了保證獲得的深度信息的可靠性，需要進(jìn)行數(shù)據(jù)的預(yù)處理，減小隨機(jī)誤差的影響。

3.1 激光數(shù)據(jù)的預(yù)處理

由于需要不斷地對(duì)比DL與DR，采用卡爾曼濾波更加適應(yīng)于激光掃描儀的數(shù)據(jù)預(yù)處理?？柭鼮V波是以最小均方差作為估計(jì)的最佳準(zhǔn)則，來(lái)尋求一種遞推估計(jì)的算法，適合于實(shí)時(shí)處理和計(jì)算機(jī)運(yùn)算。

對(duì)于卡爾曼濾波中所涉及的幾個(gè)參數(shù)，過(guò)程方差Q，測(cè)量方差R和初始值的估計(jì)方差P，需要在卡爾曼濾波前初始化。過(guò)程方差Q，反映連續(xù)2個(gè)采樣時(shí)刻的距離方差，考慮到激光掃描儀采樣間隔極短，取Q=0.01；測(cè)量方差，反映激光傳感器在某一距離下的測(cè)量精度，通過(guò)預(yù)先計(jì)算100組數(shù)據(jù)的方差獲得，取R=11；初始值的估計(jì)方差，取與測(cè)量方差相等的值，即P=11。

卡爾曼濾波的效果如圖3所示。可以看出，經(jīng)過(guò)卡爾曼濾波的預(yù)處理之后，采樣值的波動(dòng)明顯變小了，隨機(jī)干擾得到了有效的抑制。

圖3 卡爾曼濾波效果

3.2 Kinect的數(shù)據(jù)預(yù)處理

對(duì)于如圖4所示的Kinect的深度值"閃爍"現(xiàn)象，可以統(tǒng)計(jì)各個(gè)離散的深度值的出現(xiàn)的頻率，并且選擇頻率最高的那個(gè)深度值作為Kinect在該深度下該像素點(diǎn)的最終深度測(cè)量值。若有任意一個(gè)像素點(diǎn)，標(biāo)記為(u,v)，獲得其在N次測(cè)量中的每一次的深度值Zi(u,v)，那么對(duì)應(yīng)的最終深度測(cè)量Zk(u,v)可由式(6)得到：

(6)

圖4 Kinect深度值的隨機(jī)誤差

某像素點(diǎn)經(jīng)過(guò)數(shù)據(jù)預(yù)處理的Kinect深度測(cè)量值序列如圖5(a)所示，隨著參考深度的增大，測(cè)量值逐漸偏離參考值。該點(diǎn)在不同深度下的深度測(cè)量的系統(tǒng)誤差如圖5(b)所示，通過(guò)Matlab擬合得到Kinect測(cè)量深度的系統(tǒng)誤差曲線。可以發(fā)現(xiàn)，Kinect深度測(cè)量的系統(tǒng)誤差曲線與參考深度的平方成正比，這與誤差模型基本一致。

(a)預(yù)處理后的深度測(cè)量值

(b)不同深度下的系統(tǒng)誤差圖5 Kinect數(shù)據(jù)預(yù)處理效果

4 Kinect系統(tǒng)誤差的補(bǔ)償

微軟推薦的Kinect工作范圍是0.5～3.5 m，0.5 m以下處于Kinect的視野盲區(qū)，而3.5 m以上則超過(guò)了Kinect參考圖像序列的最大距離，隨機(jī)誤差的影響過(guò)大?；谝陨峡紤]，本文將系統(tǒng)誤差的補(bǔ)償范圍限定在0.5～3.5 m。在之前的數(shù)據(jù)采集階段，在0.5～3.5 m的范圍內(nèi)，每隔50 mm，獲取Kinect和2D激光掃描儀的深度數(shù)據(jù)，以便進(jìn)行深度曲線的擬合。

4.1 擬合深度曲線

Daniel[5]和Carolina[8]等人在擬合深度曲線時(shí)，都采用了指數(shù)關(guān)系模型。這種模型在測(cè)量深度值較小的情況下，取得了較好的補(bǔ)償效果。但是這種模型并沒(méi)有與Kinect的三角測(cè)量誤差模型相關(guān)聯(lián)，所以當(dāng)測(cè)量深度較大時(shí)，補(bǔ)償效果無(wú)法令人滿(mǎn)意。

鑒于三角測(cè)量的誤差模型中，Kinect的深度測(cè)量誤差與物體距離的平方成正比，本文考慮將每一個(gè)像素點(diǎn)的真實(shí)深度參考值Zr(u,v)擬合為關(guān)于Kinect測(cè)量深度Zk(u,v)的二次曲線，即：

(7)

式中a(u,v)、b(u,v)、c(u,v)分別代表二次項(xiàng)系數(shù)、一次項(xiàng)系數(shù)和常數(shù)項(xiàng)。

擬合采用最小二乘法，圖6顯示了每一個(gè)像素點(diǎn)的深度曲線的二次項(xiàng)系數(shù)、一次項(xiàng)系數(shù)和常數(shù)項(xiàng)以及擬合的均方根誤差。從均方根誤差值可以看出，由于曲線擬合的范圍在0.5～3.5 m，少數(shù)像素點(diǎn)的均方根誤差較大，但整體的擬合效果是較好的。

(a) 一次項(xiàng)系數(shù)a(u,v)

(b) 二次項(xiàng)系數(shù)b(u,v)

(c) 一次項(xiàng)系數(shù)c(u,v)

(d) 均方根誤差

4.2 擬合效果對(duì)比

確定了每個(gè)像素點(diǎn)的擬合函數(shù)之后，只要輸入一個(gè)深度測(cè)量值，便可以得到該點(diǎn)經(jīng)過(guò)補(bǔ)償之后的深度估計(jì)值。選取1～3 m的深度范圍，計(jì)算采用本文方法補(bǔ)償后的所有像素點(diǎn)的深度值系統(tǒng)誤差的標(biāo)準(zhǔn)差，并與原始誤差和Daniel等人的方法做了對(duì)比，結(jié)果如圖7所示。從圖中可以發(fā)現(xiàn)，在1～3 m的深度范圍內(nèi)，補(bǔ)償前的標(biāo)準(zhǔn)差隨著深度的增加而急劇上升，經(jīng)過(guò)補(bǔ)償后的標(biāo)準(zhǔn)差基本在5 mm以下，這個(gè)效果相比Daniel等人的補(bǔ)償效果顯著提高了。

圖7 系統(tǒng)誤差補(bǔ)償效果

選擇2.5 m的深度，計(jì)算補(bǔ)償前后深度圖中各像素點(diǎn)的真實(shí)誤差值，分別如圖8和圖9所示。通過(guò)對(duì)比可以發(fā)現(xiàn)，補(bǔ)償后的深度誤差明顯比補(bǔ)償前小了很多，像素點(diǎn)之間的差異得到了有效的抑制。

5 結(jié)束語(yǔ)

基于數(shù)學(xué)統(tǒng)計(jì)的Kinect系統(tǒng)誤差補(bǔ)償，其效果依賴(lài)于真實(shí)深度參考值的準(zhǔn)確性和擬合曲線模型的適用性。

圖8 補(bǔ)償前各像素點(diǎn)的誤差

圖9 補(bǔ)償后各像素點(diǎn)的誤差

本文從這兩方面著手，首先設(shè)計(jì)了基于2D激光掃描儀的真實(shí)深度參考值采集裝置，并經(jīng)過(guò)數(shù)據(jù)預(yù)處理，獲取了可靠性較高的真實(shí)深度參考值；然后根據(jù)三角測(cè)量的誤差模型，選取了二次曲線模型進(jìn)行擬合，獲得了更好的補(bǔ)償效果。但是為每一個(gè)像素點(diǎn)都擬合一條二次曲線，總計(jì)需要存儲(chǔ)90多萬(wàn)個(gè)參數(shù)。當(dāng)進(jìn)行補(bǔ)償時(shí)，需要將這90多萬(wàn)個(gè)參數(shù)一一調(diào)用，影響了深度測(cè)量的實(shí)時(shí)性。如何簡(jiǎn)化二次曲線的數(shù)量，卻不使補(bǔ)償效果下降太多，是今后的工作方向。

[1] AVRAHAMI D,CONSOLVO S.RGB-D: Techniques and us-ages for Kinect style depth cameras [EB/OL].[2015-02-06]．http://ils.intel-research.net/projec ts/rgbd.

[2] KHOSHELHAM K.Accuracy analysis of Kinect depth data.International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences，Calgary,2011.

[3] BURRUS N.Kinect calibration[EB/OL].[2015-02-06]．http://nicolas.burrus.name/ind ex.php/Research/KinectCalibration.

[4] SMISEK J,JANCOSEK M,PAJDLA T.3D with Kinect.IEEE ICCV Workshops,Barcelona.

[5] HERRERA D,KANNALA J,HEIKKIL A J.Joint depth and color camera calibration with distortion correction.IEEE Trans.Pattern Anal.Mach.Intell.,2012(34):2058-2064.

[6] KHOSHELHAM K,ELBERINK S O.Accuracy and resolution of Kinect depth data for indoor mapping applications.Sensors,2012,2(12): 1437-1454.

[7] GARCIA J,ZALEVSKY Z.Range mapping using speckle decorrelation.United States: 7433024.2008-10-07.

[8] CHOW J C K,LICHTI D D.Photogrammetric Bundle Adjustment With Self-Calibration of the Prime Sense 3D Camera Technology: Microsoft Kinect.Access,IEEE，2013(1):465-474.

Research on System Error Compensation in Depth Measurement of Kinect

ZHANG Hong,ZHENG Zi-jun,SUN Chun-long

(Jiangsu Provincial Key Laboratory of Advanced Food Manufacturing Equipment andTechnology,Jiangnan University,Wuxi 214122,China)

A statistics-based method was proposed in this paper in order to compensate the system error of Kinect sensor in depth measurement.In this method,a high-precision laser scanner was used to obtain a series of depth reference value in varying depths.According to the system error model,the Kinect depth data was mapped into the reference value with a second order polynomial.It was proved that the Kinect depth data after compensation is more accurate than before.

Kinect;depth;system error;statistics;laser scanner;curve fitting

2015-03-07 收修改稿日期：2015-07-02

TP391

A

1002-1841(2015)12-0120-03

張洪(1966—)，博士，副教授，主要研究方向?yàn)闄C(jī)電測(cè)試與控制技術(shù)、機(jī)器人技術(shù)。E-mail：1105399774@qq.com 鄭梓均(1990—)，碩士研究生，主要研究移動(dòng)機(jī)器人技術(shù)。E-mail：382319032@qq.com