利用激光散斑獲取深度圖

張紹陽，侯旭陽，崔 華，高小梅

(長安大學(xué) 信息工程學(xué)院，陜西 西安 710064)

?

利用激光散斑獲取深度圖

張紹陽*，侯旭陽，崔 華，高小梅

(長安大學(xué) 信息工程學(xué)院，陜西 西安 710064)

相對于普通灰度和彩色二維圖像，深度圖像可以得到物體的三維信息，使視覺識別和人機(jī)交互更加智能。國內(nèi)外目前還沒有低成本、公開的實(shí)時獲取高質(zhì)量深度圖的方法。本文在對散斑圖獲取深度圖原理研究的基礎(chǔ)上，采取激光散斑的方式，運(yùn)用塊匹配的方法給出了一種大范圍深度圖的獲取方法。首先，從原理上驗(yàn)證了塊匹配方法的可行性；然后，分別從理論和實(shí)驗(yàn)兩個方面對深度圖的計(jì)算公式進(jìn)行了推導(dǎo)和驗(yàn)證；再次，對深度圖恢復(fù)過程進(jìn)行了詳細(xì)敘述，包括散斑圖像的預(yù)處理和塊匹配的過程；最后，給出了運(yùn)用該塊匹配方法得到的實(shí)驗(yàn)數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，本文方法在物體距離相機(jī)50 cm左右時精度可以達(dá)到5 mm，200 cm時精度可以達(dá)到5 cm，可以滿足室內(nèi)大部分對象的識別要求。

激光散斑；深度圖；塊匹配；塊匹配快速算法

1 引 言

如何快速、準(zhǔn)確地獲取圖像深度信息一直是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)。一般來說，根據(jù)測量方法的不同，光學(xué)三維測量主要分為：被動式和主動式[1]。被動式是指利用周圍環(huán)境條件成像，不需要主動投射，如雙目測距，即通過兩個攝像頭對同一場景拍攝，再進(jìn)行匹配，從而進(jìn)行測距。主動式是指用專門的能量束(激光、超聲波等)照射到物體上，并檢測接收回波，主流技術(shù)包括TOF(Time-of-Flight)測距和結(jié)構(gòu)光測距等。TOF通過測量光照射到物體并返回的時間進(jìn)行測距，原理類似于雷達(dá)測距。結(jié)構(gòu)光法是光源投影特定的編碼圖案到物體上，把深度變化信息轉(zhuǎn)換成編碼圖案的變化，通過檢測編碼圖案的變化從而獲取深度信息。結(jié)構(gòu)光法包括點(diǎn)結(jié)構(gòu)光、線結(jié)構(gòu)光、面結(jié)構(gòu)光。單點(diǎn)結(jié)構(gòu)光測量法每次只投影一點(diǎn)，測量精度高，效率很低；線結(jié)構(gòu)光法包括單線結(jié)構(gòu)光和多線結(jié)構(gòu)光法，指的是光源向物體投影一條線或者多條線，精度較高，效率較低；面結(jié)構(gòu)光是光源向物體投射平面幾何圖案，精度低，但是效率最高，成本較低。激光散斑屬于面結(jié)構(gòu)光的一種，是將激光透過毛玻璃形成隨機(jī)干涉斑點(diǎn)，在毛玻璃與激光條件不變的情況下，利用激光散斑的分布隨距離呈現(xiàn)出規(guī)律性的變化，從而進(jìn)行深度信息獲取[2-5]。

與TOF技術(shù)相比，基于散斑圖像的深度攝像頭，同樣能實(shí)現(xiàn)實(shí)時性，但其成本大幅下降。微軟的體感相機(jī)Kinect正是基于此技術(shù)實(shí)現(xiàn)的，Kinect深度圖像處理的核心芯片PS1080由以色列Prime Sense公司生產(chǎn)，其核心技術(shù)正是使用散斑圖像來獲取深度圖[6]。但是微軟的Kinect價格較高并且技術(shù)封閉。Jan SMISEK在文獻(xiàn)[7]中對Kinect做了比較系統(tǒng)的研究，介紹了Kinect的硬件結(jié)構(gòu)和成像原理，并與單反相機(jī)成像性能、TOF成像性能做了比較，但其文章側(cè)重于Kinect的應(yīng)用與校準(zhǔn)，對于Kinect原理的介紹不是很詳細(xì)。王一嬌在對結(jié)構(gòu)光深度圖像獲取算法研究中，對Kinect成像原理與算法做了詳細(xì)的介紹[1]，但其算法運(yùn)算量非常大，需要使用高性能計(jì)算機(jī)才能快速恢復(fù)出高質(zhì)量的深度圖，使用條件受到限制。

本文在對獲取的散斑圖自相關(guān)性和互相關(guān)性進(jìn)行詳細(xì)研究的基礎(chǔ)上，給出一種使用散斑圖進(jìn)行塊匹配的深度獲取算法，計(jì)算量小，便于更廣泛的應(yīng)用，有助于降低深度圖成像設(shè)備的成本。

2 深度圖獲取算法

2.1 散斑圖的獲取

紅外激光發(fā)射器發(fā)射紅外激光，然后紅外激光通過毛玻璃，照射到物體表面[8-11]，再通過紅外攝像頭拍攝紅外激光在物面所形成的散斑圖[12-17]。散斑圖獲取的示意圖如圖1所示。

圖1 散斑圖獲取示意圖 Fig.1 Schematic diagram of laser speckle′s acquisition

2.2 散斑圖獲取深度的理論依據(jù)

基于散斑圖采用塊匹配方法獲取深度圖，即在測試圖中取任意一個小塊，在參考圖中搜索與其最相似的塊。要利用散斑圖進(jìn)行塊匹配，散斑圖必須具有很好的自相關(guān)性和互相關(guān)性，即散斑圖中的某一小塊與自己的相關(guān)系數(shù)要高，與其它塊的相關(guān)性要低，這樣才能匹配得到。其次要驗(yàn)證與相機(jī)不同距離的平面上邊的塊要有很好的互相關(guān)性，這樣才能實(shí)現(xiàn)準(zhǔn)確匹配。

本文選用距相機(jī)1 m的一個平面進(jìn)行測試，紅外攝像頭的分辨率是1 280 pixel×720 pixel。選取平面上的一個點(diǎn)，并以該點(diǎn)為中心，取一個31 pixel×31 pixel的塊。用該塊與平面內(nèi)所有點(diǎn)為中心的相同大小的塊進(jìn)行互相關(guān)計(jì)算(距邊界15 pixel的點(diǎn)除外)。這里以點(diǎn)(768,450)為例，計(jì)算出的互相關(guān)系數(shù)畫成三維圖如圖2所示。

圖2 同一平面點(diǎn)(768,450)與整幅圖互相關(guān)系數(shù)三維圖 Fig.2 Cross-correlation coefficient′s 3D graph of the same plane′s point(768,450) and the whole image

圖2中最大的互相關(guān)系數(shù)是1，且互相關(guān)系數(shù)的峰值出現(xiàn)在點(diǎn)(768,450)處。從圖2可以看出， 相關(guān)系數(shù)只有一個峰值，在其它地方的互相關(guān)系數(shù)值都非常小。也就是說一幅散斑圖中的某一塊，只與自身有很大的相關(guān)性，與其它塊相關(guān)性非常低，這是這種散斑圖的一個非常重要性質(zhì)，具備這種性質(zhì)塊匹配的方法才可行。

在一幅散斑圖中，某一塊只與自身有較高的相關(guān)性，與其它塊相關(guān)性很低。接下來需要測試不同深度的散斑圖散斑規(guī)律是否會發(fā)生變化。

這里以1 m和0.9 m的兩個平面進(jìn)行測試。隨機(jī)抽取0.9 m平面上一個點(diǎn)為中心的31 pixel×31 pixel的塊在1 m的平面上進(jìn)行匹配。以點(diǎn)(768,450)為例，計(jì)算出的互相關(guān)系數(shù)畫成三維圖如圖3所示。圖3中，最大的互相關(guān)系數(shù)是0.799 034，且互相關(guān)系數(shù)的峰值出現(xiàn)在1 m平面的點(diǎn)(762,450)處，也就是說橫向偏移了6 pixel。

圖3 不同平面點(diǎn)(768,450)與整幅圖互相關(guān)相關(guān)系數(shù)三維圖 Fig.3 Cross-correlation coefficient′s 3D graph of the different plane′s point (768,450) and the whole image

為了驗(yàn)證橫向偏移是由深度變化引起，而不是由物體本身的移動所導(dǎo)致，分別在距相機(jī)0.9 m和0.8 m處，移動物體，重復(fù)測試其與1 m參考平面的橫向偏移，發(fā)現(xiàn)0.9 m處的物體橫向偏移恒為6 pixel，0.8 m的物體橫向偏移恒為15 pixel，這說明深度變化會引起散斑圖像的橫向偏移。

從圖3的互相關(guān)系數(shù)三維圖可以看出，不同平面匹配也有很好的相關(guān)性，匹配到的互相關(guān)系數(shù)值要比沒有匹配到的互相關(guān)系數(shù)值大得多，且只有一個峰值。這說明不同平面，散斑模式?jīng)]有變化，只是散斑的亮度發(fā)生變化，散斑位置發(fā)生橫向偏移。這個結(jié)論說明可以采用塊匹配的方法，通過檢測塊的橫向偏移來獲取深度值。

以上兩個實(shí)驗(yàn)驗(yàn)證了散斑圖的兩個重要性質(zhì)：(1)一幅散斑圖中的任意一塊，只與自身有較大的相關(guān)性，與其它塊相關(guān)性都很?。?2)隨著物體與相機(jī)距離的變化，散斑圖只是發(fā)生橫向偏移，散斑模式不發(fā)生變化。

2.3 深度圖計(jì)算公式推導(dǎo)和驗(yàn)證

2.3.1 公式推導(dǎo)

圖4 光路幾何圖 Fig.4 Geometric graph of light path

從2.2節(jié)實(shí)驗(yàn)得出的結(jié)論可知，物體距離相機(jī)距離發(fā)生變化，其散斑圖模式不改變，只發(fā)生橫向偏移。故可以選取一個平面作為參考圖，檢測測試圖上每一塊相對于參考圖發(fā)生的橫向偏移量，從而獲取深度信息。散斑圖的光路分析如圖4所示。其中，D點(diǎn)為紅外激光發(fā)射器，C點(diǎn)為紅外相機(jī)鏡頭，D點(diǎn)發(fā)射的紅外激光照射到參考平面E點(diǎn)，在紅外相機(jī)中成像點(diǎn)為B點(diǎn)，若光路中間有F點(diǎn)遮擋，并反射紅外光，其成像點(diǎn)就會是A點(diǎn)，通過測量A點(diǎn)與B點(diǎn)的距離，就可以利用三角測距得出F點(diǎn)距離相機(jī)的距離[1]。設(shè)參考平面距離相機(jī)的距離是L，深度計(jì)算公式推導(dǎo)過程如下：

做輔助線FG，G點(diǎn)為CF延長線與參考平面的交點(diǎn),設(shè)相機(jī)的焦距為f，一個像素點(diǎn)的實(shí)際距離為p，偏移的像素量為n。

則AB=np

∵△ABC與△CGE相似

帶入GE，得：

(1)

式中，CD表示紅外攝像頭和紅外激光發(fā)射器的距離，L表示參考平面離相機(jī)的距離， f表示相機(jī)的焦距，n表示偏移的像素量，p表示一個像素格的實(shí)際距離，文中其它公式中的變量與式(1)的意義相同。

同理可以推導(dǎo)出當(dāng)物體距離比參考平面遠(yuǎn)時，

即偏移的像素要記為負(fù)值。

當(dāng)物體在參考平面上時，偏移像素為0，即Dis=L，故上面推導(dǎo)出的距離計(jì)算公式同時滿足物體近于參考平面、遠(yuǎn)于參考平面和在參考平面上的情況。

2.3.2 深度圖公式驗(yàn)證實(shí)驗(yàn)

為了驗(yàn)證以上公式的正確性，在0.5m到2.0m范圍內(nèi)，每隔10cm拍攝一幅平面圖。以1m處的平面作為參考平面，計(jì)算每一個平面上每一個點(diǎn)(邊界小于匹配塊的一半的點(diǎn)除外)相對于參考平面的偏移量，并求其平均值，作為該平面相對于參考平面的偏移量。

經(jīng)過測試，得到不同深度圖像與參考圖的橫向與縱向偏移量關(guān)系，如表1所示。

表1 深度與橫向偏移量關(guān)系

從表1可以看出，縱向偏移量在0左右，橫向偏移量隨著深度的變化而變化。把表1中的橫向偏移量和距離擬合成曲線，如圖5所示，其中橫坐標(biāo)是距離,縱坐標(biāo)是像素橫向偏移量。

圖5 實(shí)際測量到的深度與像素橫向偏移量關(guān)系曲線 Fig.5 Curve of measured depth vs. pixel′s crosswise offset

本次測試，式(1)和(2)中的L(相機(jī)距參考平面的距離)為100 cm，CD(紅外激光發(fā)射器與紅外相機(jī)的距離)為5 cm，p(一個像素點(diǎn)代表的實(shí)際距離)，f(相機(jī)焦距)，都是紅外相機(jī)的參數(shù)，f/p=1 187.464。把以上值帶入式(1)中，得到深度值與橫向偏移的關(guān)系為：

.

同樣，Dis在50 cm到200 cm范圍內(nèi)式(3)畫出的曲線圖如圖6所示。

圖6 公式計(jì)算到的深度與像素橫向偏移量關(guān)系曲線 Fig.6 Curve of depth computed with formula vs. pixel′s crosswise offset

對比圖5和圖6，兩個曲線基本重合，說明了式(1)的正確性，因此可以用該公式來計(jì)算深度值。

3 基于塊匹配的深度圖獲取過程

基于塊匹配的深度圖獲取算法，其具體的恢復(fù)過程如下：

首先，選擇一幅平面散斑圖作為參考圖，以1 m作為示例。然后，在測試圖上逐點(diǎn)進(jìn)行匹配(邊緣小于匹配塊寬度一半的點(diǎn)除外)，測試圖上每一個點(diǎn)(x,y)的匹配方法為以(x,y)為中心，選擇一個31 pixel×31 pixel的塊，在參考圖上搜索與其相匹配的塊，并計(jì)算在參考圖上匹配到點(diǎn)的坐標(biāo)與(x,y)坐標(biāo)的橫向偏移量，向右偏移記為正，向左偏移記為負(fù)，把計(jì)算出的偏移量帶入式(1)就可以得到點(diǎn)(x,y)的深度值。依次計(jì)算每一個點(diǎn)的深度值，就恢復(fù)出了深度圖像。

這里的關(guān)鍵問題就在于如何在參考圖上搜索與測試圖中塊相匹配的塊。在2.2節(jié)散斑特性分析中，求兩個塊間的互相關(guān)系數(shù)可以用于匹配兩個塊。但是互相關(guān)系數(shù)的計(jì)算量非常大，測試圖中每一個點(diǎn)對應(yīng)的塊，都要與參考圖中不同偏移處對應(yīng)的塊進(jìn)行互相關(guān)計(jì)算。以1 280 pixel×720 pixel大小的散斑圖，要計(jì)算的目標(biāo)深度范圍為50～200 cm為例，要在參考圖中搜索的偏移范圍為90×3(如表1所示，深度為50 cm時，測試圖相對于參考圖橫向偏移量為58 pixel，深度為200 cm時，橫向偏移量為-28 pixel，故在參考圖中的搜索范圍取橫向偏移量為-30～60 pixel比較合適；由于縱向也會有少量偏移，故除了搜索測試圖所在行外，最好搜索與其相鄰的上下兩行)，所以計(jì)算互相關(guān)系數(shù)的次數(shù)大概為1 280×720×90×3，這個計(jì)算量相當(dāng)巨大，計(jì)算速度也會很慢。

所以要用更加簡單的計(jì)算方法進(jìn)行匹配。這里對散斑圖像進(jìn)行二值化，二值化后的參考圖像與測試圖像直接計(jì)算異或，測試圖的亮斑處異或值為1表示未匹配到，為0則表示匹配到。

3.1 散斑圖像預(yù)處理

首先對拍攝到的散斑圖進(jìn)行二值化，在二值化的過程中主要有兩個問題：(1)同一深度散斑圖像不同位置亮度相差較大；(2)不同深度散斑圖像亮度相差較大。所以選用的二值化方法是局部自適應(yīng)二值化。局部自適應(yīng)二值化圖的一部分如圖7所示。

從二值化圖中可以看到，每一個亮斑都是一塊并不是單點(diǎn)，有些地方兩個塊也連接到一起，而且圖中出現(xiàn)單點(diǎn)的噪聲點(diǎn)。所以接下來要剔除二值化圖中的每一個孤立點(diǎn)，這些孤立點(diǎn)指一個亮點(diǎn)上下為黑或者左右均為黑的點(diǎn)。剔除點(diǎn)后的散斑圖如圖8所示。

圖8 剔除后的散斑二值化圖 Fig.8 Speckle binary image after excluding isolated points

圖9 單點(diǎn)散斑圖 Fig.9 Single points speckle image

剔除后的散斑圖把孤立點(diǎn)都剔除掉了，被連接在一起的塊也被分開。接下來把每一個連通域處理成單點(diǎn)即可。最后二值化的結(jié)果如圖9所示。

3.2 塊匹配過程

把參考圖像和測試圖像都處理成圖9所示的單點(diǎn)散斑圖。然后，測試圖從向左偏移60 pixel(對應(yīng)最近距離50 cm相對100 cm的橫向偏移量)到向右偏移30 pixel(對應(yīng)最遠(yuǎn)距離200 cm相對100 cm的橫向偏移量)，一個像素一個像素的移動，分別與參考圖計(jì)算異或圖，測試圖與參考圖不重疊部分不進(jìn)行計(jì)算。如圖10所示，黑色表示參考圖，灰色表示測試圖。圖10(a)表示測試圖向左偏移時，與參考圖異或的示意圖，圖10(b)表示測試圖向右偏移時，與參考圖異或的示意圖。

圖10 參考圖與測試圖異或區(qū)域示意圖 Fig.10 Schematic diagram of reference image and test image′s xor area

圖9所示的塊與參考圖在某個偏移上匹配到時和未匹配到時的異或圖如圖11和圖12所示。

圖11 匹配到的異或圖 Fig.11 Matched Xor image

圖12 未匹配到的異或圖 Fig.12 Unmatched Xor image

對比圖11和圖12可以看出，未匹配到時，測試圖與參考圖中的亮點(diǎn)在異或圖中都為亮點(diǎn)，且對應(yīng)的亮點(diǎn)間有一定的距離；匹配到的時候，在異或圖中，要么對應(yīng)的點(diǎn)成了黑點(diǎn)，要么對應(yīng)的兩個點(diǎn)相鄰，極個別的點(diǎn)不相鄰。

并不是所有匹配到的點(diǎn)都是黑點(diǎn)的原因是距離不同時斑點(diǎn)除了橫向偏移外，其整體亮度分布也有微量變化，這就導(dǎo)致3.1節(jié)中二值化后把斑點(diǎn)縮小成一個單點(diǎn)的時候位置會有微量變化。

同一個斑點(diǎn)，在距離相機(jī)90 cm和100 cm時其散斑圖如圖13(a)、13(b)所示。二值化后的斑點(diǎn)如圖13(c)、13(d)所示，圖中畫圈的地方為把連通域縮小成單點(diǎn)時單點(diǎn)的位置。

圖13 不同距離亮斑圖 Fig.13 Bright speckle image at different distances

從圖13(c)、13(d)可以看出，不同距離同一個斑點(diǎn)縮小的單點(diǎn)位置將會不同，所以導(dǎo)致了同一位置的單點(diǎn)不能完全對應(yīng)到一起，異或結(jié)果不為0。

接下來，需要統(tǒng)計(jì)測試圖上每一個點(diǎn)在所有偏移中對應(yīng)的塊(以該點(diǎn)為中心大小為31 pixel×31 pixel的塊，邊界點(diǎn)除外)上匹配到的點(diǎn)的數(shù)量，匹配到點(diǎn)最多的偏移量記為該點(diǎn)相對于參考圖像的偏移量，帶入式(1)中即可求出該點(diǎn)的深度。以此類推，計(jì)算每一個點(diǎn)的深度。

使用以上匹配方法計(jì)算拍攝到的散斑圖像和參考散斑圖像的異或值，計(jì)算次數(shù)為圖像的像素?cái)?shù)，而且計(jì)算方法非常簡單、快速，算法復(fù)雜度只有O(n)。 使用以上方法匹配到的深度圖如圖14所示。

圖14 測試散斑圖和計(jì)算出的深度圖 Fig.14 Test speckle image and the computed depth image

3.3 深度圖分辨率分析

深度圖分辨率是指在一定距離處，深度值變化最小時，深度圖像可以將其區(qū)分出來。這里以如圖15所示的斜面進(jìn)行分析。

圖15 斜面深度圖 Fig.15 Depth image with inclined plane

取其中一行畫成曲線圖如圖16所示。從斜面曲線圖中可以很明顯地看出，深度為0.9 m時，深度分辨率為1.6 cm，隨著深度的增加，分辨率降低(可分辨的最小距離增大)，深度到1.4 m時，深度分辨率降到了3.5 cm。

圖16 斜面中一行的曲線圖 Fig.16 Curve of graphone row in inclined plane

在相同的深度下，相對于參考平面的橫向偏移量n越大，深度分辨率越高。

變換式(1)可以得到：

.

故增大CD、f或者減小p都可以提高深度分辨率，也就是說要提高深度分辨率，需要增加紅外相機(jī)和紅外攝像頭的距離，或者選用焦距較大和CCD感光點(diǎn)距離更小的相機(jī)。

使用以上方法計(jì)算出的深度與實(shí)際深度對照表如表2所示。

表2 實(shí)際深度與計(jì)算出的深度對比

從表2可以看出，深度為50 cm時，精度可以達(dá)到5 mm，深度為200 cm時，精度可以達(dá)到5 cm。

4 結(jié) 論

本文著重介紹了通過散斑圖像獲取深度圖的理論基礎(chǔ)、原理推導(dǎo)和計(jì)算過程，本文采用的基于散斑的深度恢復(fù)方法，可以快速恢復(fù)大范圍的深度信息，在模式識別，人機(jī)交互方面有廣泛應(yīng)用。目前國內(nèi)還沒有掌握這方面的核心技術(shù)，研究基于散斑的深度獲取方法，可以以低成本獲取一些工程上需要的深度圖。采用本文的方法計(jì)算的深度圖，距離在50 cm左右時精度可以達(dá)到5 mm，到200 cm時精度可以達(dá)到5 cm，能滿足室內(nèi)大多數(shù)物體的識別要求，并且通過改變硬件，提升空間很大，實(shí)用性高。

[1] 王一嬌.結(jié)構(gòu)光深度圖像獲取算法研究[D].北京：清華大學(xué)，2011. WANG Y J. Algorithm of obtaining the structure optical depth image[D]. Beijing：Tsinghua University,2011.(in Chinese)

[2] 朱猛,李翔宇,龍寧波,等.大視場雙縫載頻散斑干涉成像檢測系統(tǒng)[J].光學(xué) 精密工程,2014,22(1):13-17. ZHU M,LI X Y,LONG Y B,etal.. Double-slit based carrier frequency speckle interferometric system with large viewing filed[J].Opt.PrecisionEng.,2014,22(1):13-17.(in Chinese)

[3] 王永紅,梁恒,王碩,等.數(shù)字散斑相關(guān)方法及應(yīng)用進(jìn)展[J].中國光學(xué),2013,6(4):470-480. WANG Y H,LIANG H,WANG SH,etal.. Advance in digital speckle correlation method and its application[J].ChineseOptics,2013,6(4):470-480.(in Chinese)

[4] 王希軍.納米磁流體動態(tài)散斑干涉場的奇異場分布[J].中國光學(xué),2015(6):919-925. WANG X J. Singularity distribution of the dynamic specklein the nano-magnetic fluid interferometry[J].ChineseOptics,2015(6):919-925.(in Chinese)

[5] 王永紅,李駿睿,孫建飛,等.散斑干涉相位條紋圖的頻域?yàn)V波處理[J].中國光學(xué),2014,7(3):389-395. WANG Y H,LI J R,SUN J F,etal.. Frequency domain filtering for phase fringe patterns of digital specklepattern interferometry[J].ChineseOptics,2014,7(3):389-395.(in Chinese)

[6] 范哲.基于Kinect的三維重建[D].西安:西安電子科技大學(xué),2013. FAN ZH. Three dimensional reconstruction of Kinect based on[D]. Xi′an:Xi′an Electronic and Science University,2013.(in Chinese)

[7] SMISEK J,JANCOSEK M,PAJDLA T. 3D with Kinect[C]. 2011 IEEE International Conference on Computer Vision Workshops(ICCV Workshops),IEEE,2011:1154-1160.

[8] FREEDMAN B,SHPUNT A,MACHLINE M,etal.. Depth mapping using projected patterns:US,8493496 B2[P]. 2013-07-23.

[9] GARCIA J,ZALEVSKV Z. Range mapping using speckle decorrelation:US,7433024 B2[P]. 2008-10-07.

[10] SPEKTOR E,MOR Z,RAIS D. Integrated processor for 3D mapping:US,8456517[P]. 2013-06-04.

[11] SHPUNT A. Optical designs for zero order reduction:EP,US,8630039[P]. 2014-01-14.

[12] 樊雪松.數(shù)字散斑相關(guān)方法的研究[D].天津：天津大學(xué),2004. FAN X S. Research on digital speckle correlation method[D]. Tianjin：Tianjin University,2004.(in Chinese)

[13] 曾毅.激光散斑測量應(yīng)用研究[D].重慶：重慶大學(xué),2005. ZENG Y. Study on the application of laser speckle measurement[D].Chongqing:Chongqing University,2005.(in Chinese)

[14] 李喜德.散斑檢測技術(shù)及其應(yīng)用[J].理化檢驗(yàn)：物理分冊,2004(5):245-251. LI X D. speckle detection technology and its application[J].PhysicalandChemicalInspection:PhysicalSciences,2004(5):245-251.(in Chinese)

[15] 王夢偉,黃向生,陳則西,等.基于投影散斑的實(shí)時場景深度恢復(fù)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014(8):1304-1313. WANG M W,HUANG X SH,CHEN Z X,etal.. Depth recovery of real time scene based on projection speckle[J].ComputerAidedDesignandGraphicsJournal,2014(8):1304-1313.(in Chinese)

[16] 金觀昌,孟利波,陳俊達(dá),等.數(shù)字散斑相關(guān)技術(shù)進(jìn)展及應(yīng)用[J].實(shí)驗(yàn)力學(xué),2007,21(6):689-702. JIN G CH,MENG L B,CHEN J D,etal.. Digital speckle correlation technology progress and application[J].ExperimentalMechanics,2007,21(6):689-702.(in Chinese)

[17] 潘兵,吳大方,夏勇.數(shù)字圖像相關(guān)方法中散斑圖的質(zhì)量評價研究[J].實(shí)驗(yàn)力學(xué),2010(2):120-129. PAN B,WU D F,XIA Y. Study on the quality evaluation of speckle patterns in digital image correlation[J].ExperimentalMechanics,2010(2):120-129.(in Chinese)

Depth image acquisition using laser speckle

ZHANG Shao-yang*, HOU Xu-yang, CUI Hua, GAO Xiao-mei

(InformationEngineeringCollege,ChanganUniversity,Xi′an710018,China)

*Correspondingauthor,E-mail:zhsy@chd.edu.cn

Compared with the ordinary 2D gray and color images, 3D information of target can be obtained by depth image, making the visual identification and human-computer interaction more intelligent. There is no open and real-time method to obtain high quality depth image at low cost at home and abroad. In this paper, based on the principle research on obtaining the depth image by laser speckle, a way to obtain wide range of depth image is presented by laser speckle and the method of template matching. Firstly, the feasibility of the method of template matching is proved in this paper. Then, the formula of depth image is calculated and verified from both theory and experiments. After that, the process of recovering depth image is described in detail, including pretreatment of speckle image and the process of block matching. Finally, the experimental data obtained by this template matching method are given. The experimental results show that the precision can reach 5 mm when the objects is 50 cm far from the camera and 5 cm when the object is 200 cm far from the camera by using the method proposed in this paper, which can satisfy the reguirements of most indoor objects' recognition.

laser speckle;depth image;template matching;fast algorithm of template matching

2016-06-22；

2016-07-18

中央高校基本科研業(yè)務(wù)費(fèi)資助項(xiàng)目(自然科學(xué)類)(No.310824152009) Supported by Basic Scientific Research Projects(Natural Sciences) of Central Universities of China(No.310824152009)

2095-1531(2016)06-0633-09

TP391.4

A

10.3788/CO.20160906.0633

張紹陽(1971—)，男，山西襄汾人，博士后，教授，碩士生導(dǎo)師，主要從事交通信息工程、軟件技術(shù)及理論、模式識別等方面的研究。E-mail:zhsy@chd.edu.cn