基于飛行時(shí)間的三維成像研究進(jìn)展和發(fā)展趨勢(shì)

侯 飛， 韓豐澤， 李國(guó)棟， 孫 怡， 孫志斌

（1.中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，北京100190；2.中國(guó)科學(xué)院大學(xué)，北京100049）

0 引言

TOF（Time of Flight）技術(shù)是一種基于光速不變?cè)?，通過測(cè)量光信號(hào)的傳播時(shí)間來測(cè)量距離的方法。自Einstein提出光電效應(yīng)理論以來，隨著光電子技術(shù)和微電子技術(shù)的發(fā)展，TOF技術(shù)也取得了重要的進(jìn)展。1968年，Koecher首次實(shí)現(xiàn)了基于TOF技術(shù)的距離測(cè)量系統(tǒng)［1］。近年來，隨著CMOS技術(shù)、雪崩光電技術(shù)和光源調(diào)制技術(shù)的發(fā)展，基于TOF的三維成像相機(jī)也得到迅速發(fā)展，并在機(jī)器視覺、工業(yè)檢測(cè)、自動(dòng)駕駛、三維成像、深空探測(cè)、非視域成像、超分辨成像等科學(xué)領(lǐng)域得到了廣泛的應(yīng)用［2?4］。

本文介紹了TOF相機(jī)的最新發(fā)展趨勢(shì)，第一部分介紹TOF相機(jī)的基本原理、誤差分析等關(guān)鍵技術(shù)，第二部分介紹TOF相機(jī)的發(fā)展現(xiàn)狀，第三部分介紹當(dāng)前TOF三維成像相機(jī)的應(yīng)用研究熱點(diǎn)，第四部分討論TOF相機(jī)的發(fā)展趨勢(shì)。

1 飛行時(shí)間三維成像關(guān)鍵技術(shù)

TOF相機(jī)的深度測(cè)量是基于飛行時(shí)間原理，飛行時(shí)間可以通過使用脈沖或連續(xù)波（CW）調(diào)制來測(cè)量，本文著重介紹基于連續(xù)波調(diào)制的TOF三維成像技術(shù)。連續(xù)波調(diào)制的相機(jī)已經(jīng)商業(yè)化超過20年，并廣泛應(yīng)用于多種領(lǐng)域中［5］，而基于脈沖的TOF相機(jī)仍然是稀缺的。

光學(xué)飛行時(shí)間系統(tǒng)的核心由光發(fā)射器和接收器組成，三維TOF相機(jī)通過主動(dòng)發(fā)射調(diào)制過的光源到目標(biāo)面上，然后接收對(duì)應(yīng)的反射回來的光，通過發(fā)射光和反射光之間的相位差可以得到距離信息，通過轉(zhuǎn)化可以進(jìn)一步得到景深，如圖1所示。一般TOF相機(jī)都是使用紅外或近紅外光信號(hào)，這也一定程度上提高了TOF相機(jī)適應(yīng)復(fù)雜光環(huán)境的能力。

1.1 飛行時(shí)間三維成像數(shù)學(xué)模型

TOF深度成像過程如圖2所示，TOF相機(jī)控制器發(fā)出兩個(gè)信號(hào)，m（t）控制激光二極管，r（t－θ）作為TOF傳感器的參考信號(hào)。來自物體的反射信號(hào)apm（t－φp）被TOF像素采集，然后與參考信號(hào)r（t－θ）相關(guān)生成相機(jī)的輸出。

在大多數(shù)商用的TOF相機(jī)中，發(fā)射和快門調(diào)制信號(hào)的形式如下：

式中，cm、am、cr、ar是常數(shù)， 通過改變r(jià)（t）上的延遲，可以捕獲反射信號(hào)和曝光信號(hào)之間的全部相關(guān)性，利用解調(diào)技術(shù)，可以完全恢復(fù)反射信號(hào)。然而，大多數(shù)傳統(tǒng)的TOF傳感器只使用4個(gè)測(cè)量（稱為正交測(cè)量），對(duì)應(yīng)于θ＝0、π/2、π、3π/2，來恢復(fù)反射信號(hào)的振幅ap和相位φp，具體的計(jì)算公式如下：

以dp表示目標(biāo)距離，所以有：

1.2 飛行時(shí)間三維成像相機(jī)系統(tǒng)結(jié)構(gòu)

典型的TOF相機(jī)是一次獲得整個(gè)場(chǎng)景的深度圖，其發(fā)送器一般為激光發(fā)射模塊，該發(fā)送器將調(diào)制光照射到感興趣區(qū)域；其接收器一般為由CCD或CMOS組成的像素陣列，像素陣列從相同的感興趣區(qū)域收集反射回來的光，如圖3所示。由于方波容易由數(shù)字電路實(shí)現(xiàn)，所以大多數(shù)的TOF相機(jī)一般以方波作為其發(fā)射光。

典型的TOF相機(jī)不具有專用的模數(shù)轉(zhuǎn)換器（ADC）和每個(gè)像素的處理模塊，像素陣列中的模擬數(shù)據(jù)必須讀出并進(jìn)行處理。

1.3 飛行時(shí)間相機(jī)誤差分析

TOF相機(jī)系統(tǒng)結(jié)構(gòu)較為復(fù)雜，在測(cè)量深度信息時(shí)，有一些誤差來源可能會(huì)影響TOF相機(jī)的測(cè)量，并且可能限制測(cè)量精度。TOF相機(jī)誤差來源有多種，總體上可以分為系統(tǒng)誤差和非系統(tǒng)誤差。

我一歲生日是在上海友誼餐廳過的。那天晚上我從宴會(huì)沒有開始一直哭到宴會(huì)結(jié)束。我爸爸就抱著我兜啊兜啊，然后是我媽媽抱著我兜啊兜啊……可是完全沒有用，我仍舊哇——哇——哇——哭。那天晚上友誼餐廳里除了我們一家是中國(guó)人，其他都是外國(guó)人。外國(guó)人就都笑著看著我。那天的生日晚宴就這樣被我哭得亂七八糟、一塌糊涂，阿太、爺爺、奶奶、外婆、姑媽、叔叔……所有的人全被我莫名其妙的哭弄得沒有了心思吃。長(zhǎng)大以后，爸爸媽媽問我，那天晚上你為什么哭，是不是看見都是黃頭發(fā)藍(lán)眼睛的外國(guó)人害怕？這我怎么知道，我根本就不記得有哭的事！

系統(tǒng)誤差一般包括積分時(shí)間相關(guān)誤差、振幅相關(guān)誤差和溫度相關(guān)誤差。積分時(shí)間相關(guān)誤差對(duì)于相同的場(chǎng)景，會(huì)引起不同的深度值。這是一個(gè)系統(tǒng)設(shè)計(jì)上存在的誤差，一般無法消除，但是可以得出一般性規(guī)律，一般較長(zhǎng)的積分時(shí)間增加了相機(jī)的信噪比。如圖4所示，較長(zhǎng)的積分時(shí)間（右側(cè)）比較短的積分時(shí)間（左側(cè)）有著更高的深度精確度。

振幅相關(guān)誤差是過低或者過曝的反射光振幅引起的。由于邊緣處發(fā)射光的功率比中心低，所以在圖像的邊緣處相對(duì)容易出現(xiàn)較低的振幅，從而導(dǎo)致圖像邊緣處對(duì)深度的計(jì)算出現(xiàn)較大的誤差。相反，如果對(duì)象距離TOF相機(jī)太近，反射光可能會(huì)出現(xiàn)過飽和，這時(shí)的深度測(cè)量基本是無效的。所以，一般的解決方法都是適當(dāng)加大發(fā)射光的功率并將探測(cè)的場(chǎng)景置于TOF相機(jī)的合適范圍內(nèi)。

溫度相關(guān)誤差的發(fā)生是因?yàn)闇囟葧?huì)影響TOF相機(jī)內(nèi)部的深度處理，TOF相機(jī)得到的深度值可能會(huì)因?yàn)閮?nèi)部溫度而產(chǎn)生漂移，這幾乎是所有電子元器件都會(huì)存在的誤差。當(dāng)前商業(yè)化的相機(jī)，如MESA公司的SR3000和SR4000，一般建議用戶在啟動(dòng)后等待一定的時(shí)間再去使用［7］。除此之外，TI的OPT8241內(nèi)部集成了一款溫度傳感器用于校準(zhǔn)因?yàn)闇囟犬a(chǎn)生的相位偏移，也在一定程度上減小了溫度相關(guān)誤差。

非系統(tǒng)誤差多是由多重反射、散射光和環(huán)境光引起的。TOF相機(jī)測(cè)距時(shí)要求光只反射一次，光線的多次反射會(huì)導(dǎo)致測(cè)量失真。例如，房屋角落和凹陷形狀的物體表面通常會(huì)因?yàn)楣馐嘀胤瓷洚a(chǎn)生誤差，如圖5所示，這也會(huì)使得到的深度圖像中對(duì)象邊界變得模糊。

光散射是因?yàn)樵阽R頭內(nèi)或者鏡頭后產(chǎn)生了多余反射。非?？拷庠吹拿髁帘砻鏁?huì)快速將過量的過線散射到鏡頭中，產(chǎn)生深度失真，使得深度圖像中出現(xiàn)偽影，如圖6所示。一般解決方案是確保在相機(jī)正前方的空間中沒有強(qiáng)烈反光的物體。

盡管TOF相機(jī)都是采用近紅外光作為發(fā)射光源，但是環(huán)境光依然會(huì)對(duì)TOF深度成像產(chǎn)生影響。芯片上的一個(gè)像素可以容納的電荷數(shù)量有限，環(huán)境光占用的容量越多，則為記錄實(shí)際的反射光保留的容量就越少，也就是說，信噪比會(huì)下降。一般的解決方法是在相機(jī)上加上光學(xué)帶通濾光片或者在暗室中使用，這樣可以最大限度地減少環(huán)境光的影響。

2 飛行時(shí)間三維成像發(fā)展現(xiàn)狀

21世紀(jì)以來，隨著微電子學(xué)和光電子技術(shù)的發(fā)展，三維成像技術(shù)已成為當(dāng)前研究的重要發(fā)展方向。目前，三維成像技術(shù)主要有3種：第一種是結(jié)構(gòu)光三維成像技術(shù)，其主要優(yōu)勢(shì)是識(shí)別精度高，但該技術(shù)的硬件難度大且成本較高，適合應(yīng)用于室內(nèi)環(huán)境；第二種是雙目視覺三維成像技術(shù)，該技術(shù)主流的方案是通過兩個(gè)彩色攝像頭模仿人的雙眼進(jìn)行測(cè)距，精度較高且成本低，但對(duì)算力和后期算法要求很高，且受光照影響較大；第三種是TOF三維成像技術(shù)，TOF能夠?qū)崟r(shí)快速地計(jì)算深度信息，在體感應(yīng)用體驗(yàn)上表現(xiàn)優(yōu)異，但是當(dāng)前成本較高，其推廣和發(fā)展需要進(jìn)一步降低成本。3種成像技術(shù)的對(duì)比如表1所示。

相較于其他三維成像技術(shù)，TOF在畫面拍攝后，計(jì)算景深時(shí)不需要后續(xù)處理，因此既可避免時(shí)間延遲，又可節(jié)省采用強(qiáng)大處理系統(tǒng)產(chǎn)生的相關(guān)成本。此外，TOF測(cè)量距離彈性大，多數(shù)情況下只需要改變發(fā)射器脈沖頻率、光學(xué)視野和光源強(qiáng)度即可，適合在近距離范圍內(nèi)的體感、手勢(shì)識(shí)別和跟蹤，以及虛擬現(xiàn)實(shí)下游戲互動(dòng)等操作，潛在的應(yīng)用場(chǎng)景十分廣闊。

表1 3種主流深度成像技術(shù)對(duì)比Table 1 Comparison of three mainstream depth imaging technologies

目前，國(guó)外TOF相關(guān)技術(shù)發(fā)展迅速，Sensor則主要由意法半導(dǎo)體、TI等企業(yè)掌握，奧地利微電子目前也通過收購(gòu)?fù)瓿闪薙ensor技術(shù)的儲(chǔ)備。目前，主流的TOF相機(jī)廠商包括 PMD、MESA、Optrima、微軟、TI少數(shù)幾家。其中，MESA在科研領(lǐng)域使用較大，MESA公司生產(chǎn)的SR40003D測(cè)距相機(jī)能以視頻幀速率實(shí)時(shí)輸出三維距離值和振幅值。PMD Camcube3.0是唯一一款能夠在戶內(nèi)、戶外均能使用的TOF相機(jī)，也是全球第一款可應(yīng)用于室外環(huán)境的高精度深度相機(jī)，為汽車輔助駕駛和移動(dòng)機(jī)器人等應(yīng)用帶來了便利。而Optrima、微軟的相機(jī)主要面向家庭、娛樂應(yīng)用，價(jià)格相對(duì)較低，TI等廠家由于前期的技術(shù)積累也推出了多款TOF相機(jī)。國(guó)內(nèi)TOF技術(shù)處于起步階段，但是發(fā)展也很迅速，以?？低?、樂行天下和中國(guó)科學(xué)技術(shù)大學(xué)為代表的國(guó)內(nèi)公司和高校也相繼推出了基于TOF技術(shù)的深度攝像頭。圖7給出了目前幾款主流的TOF三維成像相機(jī)。

3 基于飛行時(shí)間三維成像技術(shù)的應(yīng)用研究

連續(xù)波飛行時(shí)間相機(jī)由于其成本效益、簡(jiǎn)單性和緊湊的尺寸，得到了廣泛的應(yīng)用。但是由于現(xiàn)在的TOF相機(jī)分辨率還不是很高，探測(cè)距離大約只有10m。因此，TOF相機(jī)現(xiàn)在多數(shù)是應(yīng)用在不需要非常精確但需要快速獲取3D圖像范圍數(shù)據(jù)的場(chǎng)景中， 例如機(jī)器人避障［8?9］、 姿勢(shì)估計(jì)［10?11］、 粗略 3D 對(duì)象重建［12?13］、 人體（部分）識(shí)別和跟蹤［14?16］等。本文將介紹幾種TOF三維成像技術(shù)在交叉領(lǐng)域中的應(yīng)用和研究。

3.1 基于飛行時(shí)間相機(jī)的汽車駕駛輔助系統(tǒng)

最近幾年，隨著人工智能的興起，無人駕駛汽車也在如火如荼地蓬勃發(fā)展。國(guó)內(nèi)外對(duì)于無人駕駛汽車的不斷研究，讓我們看到了在不久的將來無人駕駛汽車會(huì)成為現(xiàn)實(shí)。ADAS（Advanced Driver Assistant System）即高級(jí)駕駛輔助系統(tǒng)，是實(shí)現(xiàn)汽車智能化，同時(shí)也是實(shí)現(xiàn)無人駕駛的基礎(chǔ)條件。

ADAS要求對(duì)行車周邊以及車內(nèi)空間狀況進(jìn)行了解，實(shí)現(xiàn)對(duì)景深的實(shí)時(shí)較為精確的測(cè)量是對(duì)環(huán)境信息解讀必然面臨的問題，而這正為TOF的應(yīng)用提供了廣闊的空間。目前，已有多家公司推出基于TOF相機(jī)的輔助駕駛系統(tǒng)解決方案。如Infineon（英飛凌）公司與科世達(dá)公司推出了基于TOF相機(jī)技術(shù)的攝像頭駕駛員輔助系統(tǒng)；Melexis的TOF傳感器MLX75023，它與3D視覺及手勢(shì)識(shí)別解決方案供應(yīng)商SoftKinetic公司提供的軟件進(jìn)行綁定，以判斷駕駛員的注意力是否集中在駕駛上；SensL公司基于TOF技術(shù)開發(fā)出一套ADAS原理樣機(jī)，如圖8所示，該ADAS原理樣機(jī)探測(cè)距離超過100m。未來隨著汽車智能化過程中ADAS的普及，TOF相機(jī)有望迎來更大的發(fā)展。

3.2 基于飛行時(shí)間相機(jī)的非視域計(jì)算三維成像

近年來，隨著激光技術(shù)的發(fā)展以及相關(guān)探測(cè)器精度的提高，國(guó)外出現(xiàn)了一種新型的成像方式，即非視域成像模式。不同于傳統(tǒng)的光學(xué)成像技術(shù)通過直接照射場(chǎng)景對(duì)視線范圍內(nèi)的場(chǎng)景成像，非視域成像是指能夠?qū)σ暰€范圍外的場(chǎng)景進(jìn)行成像。一般非視域成像是通過一種中介對(duì)隱藏在視野之外的事物進(jìn)行成像，該事物可能在拐角處，或者被煙霧遮擋等。

Hullin［17］提出了一種基于TOF相機(jī)的非視域成像方案，利用TOF相機(jī)的工作原理實(shí)現(xiàn)了對(duì)非視域場(chǎng)景的三維成像。如圖9所示，該方案中，通過調(diào)制的激光光源照射能夠產(chǎn)生漫反射的墻壁，其中一部分光照射到遮光板中的非視域場(chǎng)景，非視域場(chǎng)景將一部分光反射到TOF相機(jī)視野范圍內(nèi)的墻壁上，最終有一部分激光通過反射回到了TOF相機(jī)中。

3.3 基于多相機(jī)飛行時(shí)間系統(tǒng)的三維成像

兩個(gè)或者多個(gè)RGB相機(jī)可以獲得場(chǎng)景的深度信息并可以對(duì)場(chǎng)景進(jìn)行實(shí)時(shí)三維重建，同時(shí)也能獲得更多的目標(biāo)場(chǎng)景信息，這是單個(gè)RGB相機(jī)不能做到的。TOF相機(jī)也能夠?qū)崿F(xiàn)多相機(jī)協(xié)同工作，Shrestha等［18］對(duì)多相機(jī)飛行時(shí)間同步系統(tǒng)的設(shè)計(jì)和應(yīng)用進(jìn)行了探討。如圖10所示，其實(shí)現(xiàn)了一種多TOF相機(jī)同步的方案，并利用Doppler飛行時(shí)間成像技術(shù)獲取了運(yùn)動(dòng)物體的實(shí)時(shí)徑向速度。實(shí)驗(yàn)發(fā)現(xiàn)該系統(tǒng)成像速度快，利用多TOF相機(jī)同步可以有效消除運(yùn)動(dòng)物體的偽影情況，能夠?qū)\(yùn)動(dòng)物體實(shí)時(shí)三維成像。

3.4 基于飛行時(shí)間相機(jī)的超分辨率三維成像

當(dāng)前一代的TOF相機(jī)，其傳感器只能實(shí)現(xiàn)像素尺寸接近10μm，填充因子也只能接近10%。而傳統(tǒng)的CMOS圖像傳感器的像素尺寸已經(jīng)接近1μm，填充因子也大于90%，所以當(dāng)前的TOF相機(jī) “天生”便具有空間分辨率低的劣勢(shì)。大量的研究也在致力于通過各種方式提高TOF相機(jī)的空間分辨率。一些純軟件的算法，包括字典學(xué)習(xí)［19］和深度學(xué)習(xí)［20］算法也被用來提高TOF圖像的橫向和深度分辨率。Li等［21］通過空間光調(diào)制器DMD（數(shù)字微鏡陣列）實(shí)現(xiàn)了TOF相機(jī)的超分辨率三維成像，其設(shè)計(jì)了一種稱為CS?TOF的原型結(jié)構(gòu)，結(jié)合壓縮感知技術(shù)，使得TOF相機(jī)的深度和強(qiáng)度分辨率均得到了極大的提高，效果顯著。具體實(shí)現(xiàn)方案如圖11所示，控制器控制激光二極管和TOF相機(jī)，使它們保持同步，發(fā)射光照射到目標(biāo)物體后，反射光通過透鏡進(jìn)入DMD進(jìn)行調(diào)制，DMD中之前已經(jīng)提前輸入了調(diào)制掩模，最后經(jīng)過DMD調(diào)制后的光通過中繼透鏡進(jìn)入TOF傳感器成像。

4 總結(jié)與展望

本文詳細(xì)介紹了TOF三維成像相機(jī)的發(fā)展、工作原理和誤差來源，并與其他三維成像系統(tǒng)做了對(duì)比研究，分析了當(dāng)前TOF三維成像技術(shù)的應(yīng)用研究熱點(diǎn)。TOF相機(jī)作為一種主動(dòng)式3D成像相機(jī)，具有體積小、幀速高、實(shí)時(shí)性好、能夠同時(shí)記錄深度和強(qiáng)度信息等優(yōu)點(diǎn)。但是，TOF相機(jī)依然需要提高自身的成像分辨率，不斷從軟件和硬件兩個(gè)方面降低誤差的影響，提高TOF相機(jī)的探測(cè)距離。

隨著TOF相機(jī)的成像分辨率的提高，脈沖激光光源技術(shù)的發(fā)展，TOF三維成像技術(shù)在機(jī)器視覺、工業(yè)檢測(cè)、自動(dòng)駕駛、三維成像、深空探測(cè)、非視域成像和超分辨成像等科學(xué)領(lǐng)域?qū)?huì)得到進(jìn)一步的廣泛應(yīng)用。