面向瞬態(tài)成像仿真的遮擋目標(biāo)逆向重構(gòu)方法

李海瑞， 吳　鑫， 張建奇

(西安電子科技大學(xué) 物理與光電工程學(xué)院，陜西 西安 710071)

瞬態(tài)成像(Transient Imaging，TI)是一種新穎的成像方式．瞬態(tài)成像源于上世紀(jì)70年代末由文獻(xiàn)[1]完成的“飛光記錄”(Light-in-Flight)研究，其提出了利用皮秒級(jí)激光照明場(chǎng)景并進(jìn)行全息記錄，能夠?qū)δ骋惶囟〞r(shí)刻的波前進(jìn)行光學(xué)重建．盡管重建場(chǎng)景的復(fù)雜度受全息設(shè)備性能的限制，但其他研究者已經(jīng)利用這一方法進(jìn)行了可見場(chǎng)景三維幾何結(jié)構(gòu)測(cè)量的工作[2]，形成了瞬態(tài)成像的概念．在瞬態(tài)成像過程中，短脈沖激光在遍歷完場(chǎng)景并達(dá)到光能分布平衡之前，就會(huì)以很高的時(shí)間分辨率被探測(cè)到．因此，得到的瞬態(tài)圖像是一系列表示場(chǎng)景對(duì)脈沖響應(yīng)的時(shí)序圖像．

隨著超快成像器件的高速發(fā)展，一個(gè)更簡(jiǎn)單高效的成像方式被提了出來，被稱為瞬態(tài)成像框架(Transient Imaging Framework)[3]．該框架的成像設(shè)備由一個(gè)飛秒級(jí)激光器和一個(gè)條紋相機(jī)組成，其中飛秒級(jí)激光器作為主動(dòng)脈沖照明源，條紋相機(jī)用于捕獲場(chǎng)景對(duì)脈沖響應(yīng)的時(shí)序圖像．這一項(xiàng)新的成像方式催生出了很多新的應(yīng)用，如重建被遮擋場(chǎng)景的幾何結(jié)構(gòu)、獲得物體的表面反射率、復(fù)雜場(chǎng)景中光傳輸?shù)目梢暬痆4]以及透明物體的深度探測(cè)等．遮擋重構(gòu)是一個(gè)重要的研究領(lǐng)域，圖像的形成過程十分復(fù)雜，既包含可見物體的直接反射，還包括遮蔽物體的間接散射．如何把這些反射分離開來，是一個(gè)巨大的挑戰(zhàn)．目前的重構(gòu)方案仍然是以文獻(xiàn)[5-7]所提出的方法為基礎(chǔ)，他們利用一個(gè)嚴(yán)格控制的實(shí)驗(yàn)室設(shè)備演示了遮擋重構(gòu)的過程．盡管重構(gòu)結(jié)果沒有使用到場(chǎng)景先驗(yàn)假設(shè)，但是卻依賴于一個(gè)昂貴的定制設(shè)備，從而具有很大的局限性．近年來，其他研究者相繼提出了兩種更廉價(jià)的瞬態(tài)成像設(shè)備[8-9]，盡管可能犧牲一定的時(shí)間和空間分辨率，卻對(duì)推動(dòng)瞬態(tài)成像技術(shù)的商業(yè)化應(yīng)用具有重要的意義．由于瞬態(tài)成像的基礎(chǔ)理論尚未完全建立，目前的工作中仍然存在一些問題難以回答．文獻(xiàn)[10-11]利用信號(hào)處理方面的理論對(duì)重構(gòu)過程進(jìn)行了詳細(xì)分析，指出可以利用信號(hào)處理方面的理論和方法提高重構(gòu)質(zhì)量．

圖1 激光脈沖的多次反射傳輸模型

筆者利用文獻(xiàn)[12]提出的一個(gè)瞬態(tài)渲染框架獲得場(chǎng)景響應(yīng)的仿真數(shù)據(jù)．針對(duì)瞬態(tài)成像中實(shí)際硬件水平的不足和實(shí)驗(yàn)的復(fù)雜性，改進(jìn)了原有框架的逆向重構(gòu)算法．利用軟件仿真的手段將瞬態(tài)成像過程進(jìn)行可視化分析，提高了目標(biāo)重構(gòu)的效果．

1　逆向重構(gòu)算法的簡(jiǎn)化

圖1是描述了一束激光在場(chǎng)景中傳輸?shù)奈锢砟Ｐ停紫?，由激光器B發(fā)出的一束脈沖光到達(dá)散射墻面R上的點(diǎn)L；然后，光從點(diǎn)L處向四周散射，其中有一小部分沿路徑rl到達(dá)了未知表面S上的點(diǎn)s；接著，光從點(diǎn)s處再次向四周散射，其中有一小部分沿路徑rc到達(dá)了散射墻面R上的點(diǎn)w；最后，光從點(diǎn)w又一次向四周散射，其中一小部分到達(dá)條紋相機(jī)C中的像素p上，并被探測(cè)到．逆向重構(gòu)的任務(wù)是通過對(duì)反射光線的計(jì)算，獲得被遮擋表面S的幾何信息，又稱為繞射探測(cè)或遮擋成像．

1.1　逆向重構(gòu)算法

逆向重構(gòu)算法包括兩個(gè)計(jì)算過程: 工作空間體素化和逆向投影．假設(shè)在空間中存在一個(gè)完全包圍未知表面S的長(zhǎng)方體空間，記為工作空間V，把工作空間V均勻地劃分為一系列邊長(zhǎng)相等的立方體，并稱之為體素，記為v．記激光器發(fā)射激光脈沖為時(shí)間原點(diǎn)，t=0．由圖1可知，在t時(shí)刻，只有滿足以下條件的體素v才對(duì)點(diǎn)w處有光強(qiáng)貢獻(xiàn):

ct=|L-B|+|v-L|+|w-v|+|p-w|．

(1)

由于散射墻面R是可見場(chǎng)景，條紋相機(jī)C和激光器B的設(shè)置已知，因此，變量ct，|L-B|，|p-w|都是可知的．所以有

|v-L|+|w-v|=d,d=ct-|L-B|-|p-w|．

(2)

這是一個(gè)以點(diǎn)L和點(diǎn)w為焦點(diǎn)、長(zhǎng)軸為d的橢球面，稱滿足該式關(guān)系的p,w,v為互相貢獻(xiàn)關(guān)系．

對(duì)于工作空間V中的每一個(gè)體素v，按如下方式計(jì)算一個(gè)關(guān)于v的像素累積函數(shù)H:

(3)

其中，p是所有與體素v為互相貢獻(xiàn)關(guān)系的像素；Ip為像素p處探測(cè)到的光強(qiáng)；a為一常數(shù)因子，通常取a=1．

1.2　逆向重構(gòu)算法的簡(jiǎn)化

將像素累積函數(shù)式(3)簡(jiǎn)化為

(4)

即對(duì)于每個(gè)體素v，其所有的貢獻(xiàn)像素p對(duì)函數(shù)H的貢獻(xiàn)值相同，皆取值為1．這意味著重構(gòu)過程中Ip的大小并不重要，只需記錄體素在光的傳播過程有無響應(yīng)．因此，在重構(gòu)過程中就不必反復(fù)計(jì)算探測(cè)到光強(qiáng)的大小，而只需要判斷能否探測(cè)到光強(qiáng)即可，從而可以極大地簡(jiǎn)化重構(gòu)過程的復(fù)雜度，提高了算法的處理效率．

從式(2)可以看出，在t時(shí)刻，對(duì)點(diǎn)w有光強(qiáng)貢獻(xiàn)的體素不是惟一的．式(2)確定了一個(gè)可能體素的候選范圍，即由式(2)確定的一個(gè)橢球面．假設(shè)光的衰減只與其傳播距離有關(guān)，即滿足Ie=Is/r的關(guān)系．圖2(a)描述了當(dāng)點(diǎn)s在由點(diǎn)L和點(diǎn)w確定的橢圓軌跡上移動(dòng)時(shí)，光經(jīng)過光路rl和rc的衰減程度 |rl| |rc| 是不同的．但是點(diǎn)L處的光強(qiáng)IL卻是相同的，因而到達(dá)點(diǎn)w的光強(qiáng)Ip=IL/ (|rl| |rc|) 就會(huì)不同．利用式(3)計(jì)算，恰好消除了經(jīng)過不同光路衰減程度不同的問題，得到相同貢獻(xiàn)的光強(qiáng)IL．因此，在這一點(diǎn)上，式(4)和式(3)是完全等價(jià)的．

圖2　距離積分布圖

但是實(shí)際上由式(2)確定的橢球面上只有一個(gè)點(diǎn)s對(duì)點(diǎn)w有光強(qiáng)貢獻(xiàn)，即光路是惟一的，光強(qiáng)的衰減程度是惟一的．但當(dāng)按照式(3)對(duì)式(2)確定的橢球面上所有的可能點(diǎn)s計(jì)算時(shí)，同樣大小的Ip卻因?yàn)轶w素v的空間位置不同，而對(duì)H的貢獻(xiàn)大小不同．在xy平面中取兩個(gè)定點(diǎn)F1,F2，其坐標(biāo)分別為 (-c, 0)，(c,0)，這里取c=1．設(shè)點(diǎn)f為平面內(nèi)的任意一點(diǎn)．按下式可以得到一個(gè)距離等積曲線:

|f-F1| |f-F2|=a1，

(5)

其中，a1為一個(gè)常數(shù)．當(dāng)a1從0逐漸增大時(shí)，距離等積曲線的分布如圖2(b)所示．由圖2(b)可以看出，距離等積曲線的分布不是各個(gè)方向均勻的．當(dāng)a1≈c時(shí)，靠近線段F1F2的中垂線的體素v對(duì)函數(shù)H的貢獻(xiàn)更大; 當(dāng)a1?c時(shí)，逐漸接近均勻．這說明利用式(3)進(jìn)行重構(gòu)時(shí)，可能會(huì)使結(jié)果具有一定的空間差異性．

當(dāng)把式(3)簡(jiǎn)化為式(4)后，重構(gòu)問題就會(huì)完全歸結(jié)為一個(gè)概率統(tǒng)計(jì)的問題．對(duì)重構(gòu)問題的分析和研究會(huì)變得更加簡(jiǎn)單．

2　逆向重構(gòu)算法的補(bǔ)充

在對(duì)逆向重構(gòu)算法進(jìn)行簡(jiǎn)化的基礎(chǔ)上，筆者提出了一種與其相適應(yīng)的取樣模式，可以加快重構(gòu)結(jié)果的收斂速度．在描述取樣模式之前，首先利用檢測(cè)概率[13]的概念給出逆向重構(gòu)算法的概率意義．設(shè)v為工作空間V內(nèi)的任意一個(gè)體素，w為散射墻面R上的任意一點(diǎn)，定義事件A(v,w)為在點(diǎn)w處檢測(cè)到體素v．在這里，由式(2)和式(4)可得

(6)

設(shè)W為相機(jī)在散射墻面R上的可探測(cè)范圍，w∈W，對(duì)應(yīng)的函數(shù)H記為HW．對(duì)HW進(jìn)行歸一化處理:

(7)

圖3　取樣過程示意圖

采用如圖3所示的取樣模式．

直接利用上面描述的逆向重構(gòu)算法，可以得到一個(gè)目標(biāo)物體的粗略重構(gòu)結(jié)果，進(jìn)而對(duì)目標(biāo)物體的中心位置O0做出一個(gè)估計(jì)．調(diào)整圖3中的圓心O，使直線OO0垂直于散射墻面R．要求 |w-L|?r，接下來描述時(shí)，把點(diǎn)w和點(diǎn)L簡(jiǎn)化為一點(diǎn)，即點(diǎn)W．規(guī)定點(diǎn)W只能取圖3中圓心O和圓周上的位置．以點(diǎn)(r,0)為第1個(gè)n等分點(diǎn)，按逆時(shí)針方向，順序得到圓周上第i(i=1，2，…，n)個(gè)n等分點(diǎn)(要求n≥3)．記在圓周的第i個(gè)n等分點(diǎn)位置處按式(4)得到的函數(shù)H為Hi．特別地，圓心O處得到的函數(shù)H記為H0．

改進(jìn)后的逆向重構(gòu)算法可以按以下步驟實(shí)現(xiàn):

(8)

(3) 閾值分割．經(jīng)過匯總之后，Hcircle已經(jīng)收斂了，為了獲得比較好的顯示效果，可以選取一個(gè)較小的閾值對(duì)結(jié)果進(jìn)行分割，閾值的選取如下:

Hthresh=β·max{Hcircle(v),v∈V},

(9)

其中，β是一個(gè)常數(shù)因子．取β=0.001～0.010，可以得到較好的結(jié)果．

圖4　仿真場(chǎng)景布局

3　重構(gòu)結(jié)果與分析

圖5　重構(gòu)結(jié)果的三維顯示

圖6　重構(gòu)結(jié)果的二維顯示

3.1　重構(gòu)結(jié)果的可視化顯示

分別以漢字“西”和“電”作為待重構(gòu)目標(biāo)的重構(gòu)結(jié)果的三維顯示如圖5所示．灰色點(diǎn)代表重構(gòu)點(diǎn)，白色點(diǎn)是利用其他方法得到的原模型的點(diǎn)云，作為對(duì)比．重構(gòu)結(jié)果的二維顯示如圖6所示．圖6(a)中的灰度大小表示式(8)中計(jì)算的Hcircle的相對(duì)大?。畧D6(b)為圖6(a)的二值化顯示．

3.2　對(duì)重構(gòu)結(jié)果的分析

記實(shí)際包含待重構(gòu)物體表面點(diǎn)的體素點(diǎn)為“真點(diǎn)”，否則為“假點(diǎn)”．由式(2)可知，雖然該式把“真點(diǎn)”的范圍從整個(gè)工作空間限制到了一個(gè)橢球面上，但橢球面上包含“真點(diǎn)”的同時(shí)，必然包含很多“假點(diǎn)”．因此，僅僅依靠式(6)雖然可以重構(gòu)出“真點(diǎn)”，但必然引入大量的噪聲．值得注意的是，由式(2)引入的“假點(diǎn)”受橢球面的位置和形狀的影響遠(yuǎn)遠(yuǎn)大于“真點(diǎn)”．因此可以通過改變橢球面的形狀和位置得到多組重構(gòu)結(jié)果，然后結(jié)合這些結(jié)果達(dá)到抑制噪聲的目的．上文的取樣模式正是基于這一點(diǎn)提出的．由重構(gòu)結(jié)果可知，通過該方法確實(shí)可以有效地抑制噪聲，從而加快重構(gòu)處理過程．需要指出的是，筆者提出的取樣模式在有效地抑制噪聲的同時(shí)，也會(huì)對(duì)一部分“真點(diǎn)”進(jìn)行抑制．理論上，這種抑制幾乎不會(huì)造成目標(biāo)物體的信息丟失; 但實(shí)際上，由于取樣量少的原因，每組均會(huì)有部分“真點(diǎn)”遺漏，最終造成匯總結(jié)果損失部分信息．因此，每組取樣的量必須足夠大，特別是如圖3中圓周上的位置，需要進(jìn)行多次重復(fù)取樣，以減少信息丟失．

4　結(jié) 束 語(yǔ)

筆者改進(jìn)了瞬態(tài)成像中的逆向重構(gòu)算法，基于文獻(xiàn)[12]提出的瞬態(tài)渲染框架，通過軟件仿真的方法實(shí)現(xiàn)了被遮擋物體幾何結(jié)構(gòu)的重構(gòu)．仿真結(jié)果顯示，改進(jìn)后的逆向重構(gòu)算法不僅大大簡(jiǎn)化了處理過程，而且取得了更好的重構(gòu)效果．文中的仿真方法與結(jié)果有助于深入探索光的傳輸過程，并且對(duì)超高速成像系統(tǒng)的設(shè)計(jì)與測(cè)試也有指導(dǎo)意義．

參考文獻(xiàn)：

[1] ABRAMSON N. Light-in-flight Recording by Holography[J]. Optics Letters, 1978, 3(4): 121-123.

[2]NILSSON B, CARLSSON T E. Direct Three-dimensional Shape Measurement by Digital Light-in-flight Holography[J]. Applied Optics, 1998, 37(34): 7954-7959.

[3]KIRMANI A, HUTCHISON T, DAVIS J, et al. Looking around the Corner Using Ultrafast Transient Imaging[J]. International Journal of Computer Vision, 2011, 95(1): 13-28.

[4]VELTEN A, WU D, MASIA B, et al. Imaging the Propagation of Light through Scenes at Picosecond Resolution[J]. Communications of the ACM, 2016, 59(9): 79-86.

[5]VELTEN A, WILLWACHER T, GUPTA O, et al. Recovering Three-dimensional Shape around a Corner Using Ultrafast Time-of-flight Imaging[J]. Nature Communications, 2012, 3(2): 745.

[6]GUPTA O, WILLWACHER T, VELTEN A, et al. Reconstruction of Hidden 3D Shapes Using Diffuse Reflections[J]. Optics Express, 2012, 20(17): 19096-19108.

[7]RASKAR R, VELTEN A. Methods and Apparatus for Imaging of Occluded Objects from Scattered Light: US9148649[P]. 2015.

[8]HEIDE F, HULLIN M B, GREGSON J, et al. Low-budget Transient Imaging Using Photonic Mixer Devices[J]. ACM Transactions on Graphics, 2013, 32(4): 1-10.

[9]BUTTAFAVA M, ZEMAN J, Tosi A, et al. Non-line-of-sight Imaging Using a Time-gated Single Photon Avalanche Diode[J]. Optics Express, 2015, 23(16): 20997-21011.

[10]KADAMBI A, ZHAO H, SHI B, et al. Occluded Imaging with Time-of-flight Sensors[J]. ACM Transactions on Graphics, 2016, 35(2): 2836164.

[11]BHANDARI A, RASKAR R. Signal Processing for Time-of-flight Imaging Sensor: an Introduction to Inverse Problems in Computational 3-D Imaging[J]. IEEE Signal Processing Magazine, 2016, 33(5): 45-58.

[12]JARABO A, MARCO J, MUNOZ A, et al. A Framework for Transient Rendering[J]. ACM Transactions on Graphics, 2014, 33(6): 1-10.

[13]徐軍, 周翔, 梁昌洪. 一種計(jì)算紅外點(diǎn)目標(biāo)檢測(cè)概率的方法[J]. 西安電子科技大學(xué)學(xué)報(bào), 2001, 28(1): 18-21.

XU Jun, ZHOU Xiang, LIANG Changhong. Calculation of the Detecting Probability of an Infrared Point Target[J]. Journal of Xidian University, 2001, 28(1): 18-21.