基于飛行時(shí)間法的3D相機(jī)研究綜述

魏加立，曲慧東，王永憲，朱俊青，關(guān)英俊

（1.長(zhǎng)春工業(yè)大學(xué) 機(jī)電工程學(xué)院，吉林 長(zhǎng)春 130012；2.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春130033）

0 引言

飛行時(shí)間法，即TOF 技術(shù)。TOF 技術(shù)是一種用“光”測(cè)量距離的技術(shù)，所謂“光”測(cè)量距離是通過(guò)向被測(cè)物發(fā)射連續(xù)的光脈沖信號(hào)，隨后傳感器接收由物體反射回來(lái)的信號(hào)，通過(guò)計(jì)算光脈沖的飛行（往返）時(shí)間來(lái)得到目標(biāo)物的距離信息[1]?；赥OF 技術(shù)的3D 相機(jī)是一種新型、結(jié)構(gòu)小型化的立體成像設(shè)備。該類型相機(jī)可以同時(shí)捕獲被測(cè)物體的強(qiáng)度信息與深度圖像信息。因其制造成本低、數(shù)據(jù)處理簡(jiǎn)單、響應(yīng)快、光照不敏感等特點(diǎn)，被廣泛應(yīng)用于游戲娛樂(lè)、虛擬現(xiàn)實(shí)、動(dòng)作識(shí)別與跟蹤、機(jī)器人自主導(dǎo)航、工業(yè)自動(dòng)化裝配[2-6]等領(lǐng)域。

首先提出用光來(lái)測(cè)量距離的是科學(xué)家伽利略，但是由于當(dāng)時(shí)技術(shù)條件的限制，伽利略的實(shí)驗(yàn)未能取得成功。此后的1676年，丹麥天文學(xué)家羅默（Roemer）經(jīng)過(guò)觀測(cè)發(fā)現(xiàn)木星與其衛(wèi)星相互掩食的速度與理論值相比存在一定的誤差，大致估算出了光穿過(guò)地球軌道所需要的時(shí)間，這是人類歷史上第一次推算出光的傳播速度。200 多年后的1849年，法國(guó)物理學(xué)家Fizeau和Foucault 成功設(shè)計(jì)出了世界首臺(tái)可測(cè)量光的飛行時(shí)間的實(shí)驗(yàn)裝置，即在確定的距離上求光的飛行速度，這也正是TOF 技術(shù)的逆運(yùn)用。

光是目前已知具有最快速度的物質(zhì)，因而若想使用光的飛行時(shí)間來(lái)測(cè)量距離的話就需要精確度極高的測(cè)量設(shè)備。1903年德國(guó)工程師Hulsmeyer 將電磁波與TOF 技術(shù)相結(jié)合對(duì)艦船進(jìn)行檢測(cè)實(shí)驗(yàn)，但都是一些TOF 的基礎(chǔ)實(shí)驗(yàn)，其結(jié)果也并不十分精確，直至1968年，美國(guó)科學(xué)家Walter Koechner 才首次完全設(shè)計(jì)出一臺(tái)基于TOF 技術(shù)的并且具有實(shí)用價(jià)值的測(cè)距系統(tǒng)。但受制于當(dāng)時(shí)信號(hào)接收設(shè)備技術(shù)的不成熟，只能獲得少數(shù)幾個(gè)點(diǎn)的距離信息。20世紀(jì)初，科學(xué)家們發(fā)現(xiàn)了光電效應(yīng)這一重要特性，這一重大發(fā)現(xiàn)打開(kāi)電子成像領(lǐng)域的大門(mén)。隨即1939年第一只電子成像管成功面世。1969年美國(guó)貝爾實(shí)驗(yàn)室提出了一種CCD 技術(shù)，基于CCD 技術(shù)生產(chǎn)的固態(tài)圖像傳感器取代了之前傳統(tǒng)的電子攝像管。在過(guò)去的十年間，隨著微電子、微光學(xué)和微技術(shù)的不斷發(fā)展，使TOF 相機(jī)的實(shí)用化發(fā)展成為可能[7]。20世紀(jì)90年代初，首次將基于TOF 的距離測(cè)量技術(shù)與特殊功能的傳感器結(jié)合到一起，生產(chǎn)出了第一代的TOF 相機(jī)[6]。從此眾多公司開(kāi)始對(duì)TOF 相機(jī)進(jìn)行更深層次的開(kāi)發(fā)，其中微軟、MESA 公司、PMD公司、Canesta 公司、Fotonic[8-10]等公司最具代表性。

本文首先介紹了TOF 相機(jī)的測(cè)量原理，隨后針對(duì)TOF 相機(jī)測(cè)量誤差來(lái)源進(jìn)行分析，緊接著介紹了TOF相機(jī)與其他主流的三維成像相機(jī)的區(qū)別，最后將針對(duì)TOF 相機(jī)的最新發(fā)展趨勢(shì)及其應(yīng)用進(jìn)行闡述。

1 TOF 相機(jī)的測(cè)量原理

TOF 相機(jī)廣義的概念就是通過(guò)測(cè)量光脈沖在傳感器與物體表面之間的飛行時(shí)間，其測(cè)得的時(shí)間與光速的乘積就是所需測(cè)量距離的兩倍。其基本原理圖如圖1所示。

圖1 TOF 相機(jī)的工作原理Fig.1 The operational principle of TOF camera

TOF 相機(jī)工作時(shí)是通過(guò)主動(dòng)發(fā)射調(diào)制后的光信號(hào)到被測(cè)物體上，光信號(hào)經(jīng)反射后被光電探測(cè)器接收，隨后根據(jù)探測(cè)器上積聚到的電荷數(shù)來(lái)計(jì)算發(fā)射信號(hào)跟接收信號(hào)之間的相位差Δ?，就可以得到被測(cè)物體與相機(jī)之間的距離D，其計(jì)算公式如下：

式中：D為目標(biāo)物與TOF 之間的距離；c為光速（約為3×108m/s）；f為信號(hào)的調(diào)制頻率。當(dāng)調(diào)制頻率f與光速c確定的情況下，此時(shí)相位差Δ?的大小即代表距離的大小。然而當(dāng)調(diào)制頻率變高時(shí)，量程就會(huì)變小，鑒于光源的功率和光散射等問(wèn)題，通常TOF 技術(shù)的最遠(yuǎn)測(cè)量距離要比光在半個(gè)周期內(nèi)的飛行距離要小，因此，這也屬于3D-TOF 技術(shù)應(yīng)用的難題之一。

目前基于TOF 技術(shù)的測(cè)量設(shè)備根據(jù)測(cè)量傳播時(shí)間方式的不同大致可以分為直接測(cè)量法與間接測(cè)量法[11]兩大類。根據(jù)光源發(fā)射器調(diào)制光脈沖方法的不同，可以分為脈沖調(diào)制法和連續(xù)波調(diào)制法[12]。

1.1 根據(jù)測(cè)量時(shí)間的方式分類

1.1.1 直接測(cè)量法

直接測(cè)量法采用測(cè)量飛行時(shí)間的系統(tǒng)屬于脈沖式飛行時(shí)間系統(tǒng)，一般采用的脈沖是方波脈沖，其測(cè)量方式是利用高精度計(jì)時(shí)器直接計(jì)算從脈沖發(fā)射到接收的時(shí)間差，從而求得距離[13]。由于是直接測(cè)量光脈沖的飛行時(shí)間，所以被稱為直接測(cè)量法，進(jìn)而得到時(shí)間數(shù)據(jù)。此種測(cè)量方法簡(jiǎn)單，響應(yīng)速度快，但對(duì)物理器件的性能要求很高，并且對(duì)時(shí)間測(cè)量精度要求也會(huì)較高。

1.1.2 間接測(cè)量法

與直接測(cè)量法含義相對(duì)的則是間接測(cè)量法，又被稱作相關(guān)法飛行時(shí)間成像，其測(cè)量原理是通過(guò)調(diào)制信號(hào)與解調(diào)信號(hào)相關(guān)函數(shù)計(jì)算得到的相位差，間接地得到調(diào)制光信號(hào)在傳播過(guò)程中的飛行時(shí)間，進(jìn)而計(jì)算出相機(jī)與被測(cè)物之間的距離[13]。其中普遍的調(diào)制信號(hào)有正弦波調(diào)制信號(hào)和線性頻率調(diào)制信號(hào)，調(diào)制信號(hào)通過(guò)往返距離延遲后，到達(dá)光電傳感器的相位或者頻率就會(huì)發(fā)生變化，再利用一定的鑒相/鑒頻技術(shù)來(lái)計(jì)算出相位或頻率的變化值獲得被測(cè)物的距離信息。對(duì)于間接測(cè)量方式還可以利用電容來(lái)對(duì)時(shí)間進(jìn)行計(jì)算，其測(cè)量的方式是利用入射光的光電子給電容進(jìn)行充電，對(duì)于計(jì)算光傳播的時(shí)間，則是通過(guò)電容兩端的電壓隨時(shí)間的變化關(guān)系，間接地計(jì)算得到。

1.2 根據(jù)光源發(fā)射信號(hào)的調(diào)制方式分類

依據(jù)TOF 相機(jī)在測(cè)距時(shí)光源發(fā)射器發(fā)射信號(hào)類別的不同，TOF 相機(jī)就會(huì)對(duì)光信號(hào)進(jìn)行調(diào)制處理，根據(jù)調(diào)制方式的不同可分為脈沖調(diào)制與連續(xù)波調(diào)制。

脈沖調(diào)制法（一般采用方波脈沖調(diào)制）相對(duì)簡(jiǎn)單，是直接通過(guò)計(jì)時(shí)器計(jì)算出脈沖發(fā)射與接收的時(shí)間來(lái)測(cè)算距離。而連續(xù)波調(diào)制法則是指經(jīng)光源發(fā)出的調(diào)制信號(hào)，是以連續(xù)調(diào)制波的形式（通常采用正弦波調(diào)制）發(fā)射與接收的，調(diào)制的方法一般采用頻率調(diào)制和幅度調(diào)制兩種，并且連續(xù)波調(diào)制法不需要特別短的上升和下降時(shí)間，所以光源的選擇就具有可變性與廣泛性。并且當(dāng)連續(xù)波測(cè)量法采用幅度單頻調(diào)制時(shí)可以降低系統(tǒng)對(duì)寬帶的要求，同時(shí)采用幅度調(diào)頻方式可以大大增加TOF 相機(jī)的測(cè)量范圍。連續(xù)波調(diào)制法相較于脈沖調(diào)制法的區(qū)別就是不是直接計(jì)算出光信號(hào)飛行時(shí)間，因?yàn)槠湓谥勒{(diào)制頻率的情況下，光信號(hào)的飛行時(shí)間與相位差是直接相關(guān)的。

當(dāng)采用連續(xù)波測(cè)量法時(shí)就需要利用相位解調(diào)或者通過(guò)頻率調(diào)制與幅度調(diào)制的方法相對(duì)準(zhǔn)確地計(jì)算出光信號(hào)在空間中的飛行時(shí)間。相位解調(diào)就是光源發(fā)射器發(fā)射經(jīng)過(guò)調(diào)制后的連續(xù)波信號(hào)，到達(dá)被測(cè)物體后經(jīng)過(guò)反射回到探測(cè)器，探測(cè)器則是利用與調(diào)制光源信號(hào)相同的解調(diào)信號(hào)，完成解調(diào)進(jìn)而讀取光信號(hào)的相位變化，相位解調(diào)的方式目前可分為兩種，一是相關(guān)函數(shù)法進(jìn)行解調(diào)，第二種是離散傅里葉變換法進(jìn)行解調(diào)，更加詳細(xì)的解調(diào)計(jì)算過(guò)程詳見(jiàn)文獻(xiàn)[14]。離散傅里葉變換法相位解調(diào)的原理圖如圖2所示。

圖2 間接測(cè)量法相位解調(diào)原理圖Fig.2 Schematic diagram of phase demodulation for indirect measurement

2 TOF 相機(jī)誤差分析

TOF 相機(jī)結(jié)構(gòu)系統(tǒng)本身的硬件設(shè)備的復(fù)雜性及外界因素的多樣性，在相機(jī)工作時(shí)，不可避免地會(huì)帶來(lái)某些誤差，從而影響到TOF 相機(jī)的測(cè)量精度。TOF相機(jī)在測(cè)量時(shí)的誤差來(lái)源有很多，但其誤差來(lái)源大致總體可以分為兩大類：一是由系統(tǒng)本身引起的誤差，稱為系統(tǒng)誤差；二是由外界環(huán)境及噪聲等因素引起的誤差，稱為隨機(jī)誤差也被稱為非系統(tǒng)誤差[15]。

2.1 系統(tǒng)誤差

系統(tǒng)誤差是由TOF 相機(jī)本身的配件、成像的硬件設(shè)備、成像條件等一些系統(tǒng)本身所帶來(lái)的誤差，這一類誤差統(tǒng)稱為系統(tǒng)誤差，此種誤差是TOF 相機(jī)誤差來(lái)源中比較常見(jiàn)的誤差，在目前國(guó)內(nèi)外已有的技術(shù)與硬件條件下，視這類誤差為不可規(guī)避的。因而，在考慮造成測(cè)量結(jié)果出現(xiàn)偏差的影響因素時(shí)，系統(tǒng)誤差則是我們首先應(yīng)該考慮的。系統(tǒng)誤差主要是由積分時(shí)間不同、波形不一致、測(cè)量元器件溫度變化所引起。

2.1.1 積分時(shí)間不同

積分時(shí)間的長(zhǎng)短對(duì)相同的場(chǎng)景，會(huì)產(chǎn)生不同的深度值，這是在系統(tǒng)設(shè)計(jì)方面所存在的誤差，一般情況下是無(wú)法去除的[16]。但是TOF 相機(jī)的積分時(shí)間可以通過(guò)編程的方式來(lái)控制，通過(guò)積分時(shí)間的不同對(duì)測(cè)量誤差的影響進(jìn)行研究，從而得到一般性的規(guī)律，一般較長(zhǎng)的積分時(shí)間對(duì)測(cè)量的標(biāo)準(zhǔn)差影響極大，并且較長(zhǎng)的積分時(shí)間還可能增加相機(jī)的信噪比。

2.1.2 波形的不一致

當(dāng)TOF 相機(jī)的測(cè)距系統(tǒng)對(duì)距離和幅度進(jìn)行計(jì)算時(shí)所假定的參考信號(hào)與接收信號(hào)都是正弦波、余弦波或方波等標(biāo)準(zhǔn)波形。但實(shí)際上參考信號(hào)與接收信號(hào)的波形并不是標(biāo)準(zhǔn)波形，因此波形不一致會(huì)給準(zhǔn)確的距離測(cè)量結(jié)果帶來(lái)不可規(guī)避的誤差[14]。

2.1.3 測(cè)量元器件的溫度變化

由于半導(dǎo)體材料的特性會(huì)隨溫度的變化而發(fā)生改變，尤其是在半導(dǎo)體材料較多的傳感器設(shè)備對(duì)TOF相機(jī)的溫度變化特別敏感，因?yàn)闇囟壬邥?huì)導(dǎo)致半導(dǎo)體材料中的熱電子的比率增加，雖然這些熱電子不包含有用的測(cè)量信息，但是卻能減少或抑制有用的光學(xué)性能。因此當(dāng)TOF 相機(jī)持續(xù)測(cè)量工作時(shí)，相機(jī)的內(nèi)部溫度會(huì)發(fā)生顯著的變化，也會(huì)使每個(gè)像素所測(cè)量的深度值發(fā)生變化，從而導(dǎo)致測(cè)量誤差出現(xiàn)。

2.2 隨機(jī)誤差

TOF 相機(jī)在測(cè)量時(shí)，不可避免地會(huì)受到外界因素的影響，此種影響具有不確定性，故屬于隨機(jī)誤差，TOF 相機(jī)的隨機(jī)誤差主要是由物體與相機(jī)間的距離、物體與相機(jī)間互成角度以及被測(cè)物的反射率等因素所引起的。

2.2.1 物體與相機(jī)間的距離

在實(shí)際測(cè)量中信號(hào)的發(fā)射路徑與接收路徑不是完全一致的，由此所測(cè)量距離也就不完全等于被測(cè)對(duì)象與相機(jī)間的實(shí)際距離[17]。如果被測(cè)對(duì)象距離TOF相機(jī)太近，反射光會(huì)出現(xiàn)過(guò)于飽和的狀態(tài)，此時(shí)所測(cè)量的深度信息基本上是無(wú)效的，相對(duì)應(yīng)地，當(dāng)被測(cè)對(duì)象距離TOF 相機(jī)較遠(yuǎn)時(shí)，誤差就會(huì)較小。并且調(diào)制信號(hào)的幅度A與距離d之間的關(guān)系[18]為A∝1/d2，由此可知當(dāng)d越大時(shí)，A就越低，相應(yīng)的測(cè)量精度也就會(huì)降低。

2.2.2 物體與相機(jī)互成角度

在TOF 相機(jī)對(duì)靜態(tài)場(chǎng)景進(jìn)行拍攝時(shí)，一般來(lái)說(shuō)相機(jī)與被測(cè)物之間互成角度，此時(shí)反射光線的分布形態(tài)將會(huì)是橢圓形[17]。并且當(dāng)角度很大時(shí)，經(jīng)被測(cè)物反射回傳感器的光線就會(huì)急劇減少，此時(shí)噪聲在傳感器接收的信號(hào)中所占的比重就會(huì)迅速增加，與此同時(shí)，測(cè)量誤差也會(huì)隨之增大。

2.2.3 被測(cè)物的反射率

在實(shí)際測(cè)量中不同被測(cè)物自身材質(zhì)與形態(tài)會(huì)有差異，此時(shí)被測(cè)物對(duì)光的反射率會(huì)不同，當(dāng)被測(cè)物表面粗糙時(shí)，則易發(fā)生漫反射，導(dǎo)致發(fā)射回傳感器的光會(huì)變少，使得所測(cè)量的深度圖像中的對(duì)象變得模糊。當(dāng)被測(cè)物表面過(guò)于光滑時(shí)，容易發(fā)生鏡面反射，此時(shí)反射信號(hào)會(huì)出現(xiàn)兩個(gè)極端的狀態(tài)，要么光信號(hào)都發(fā)射回到相機(jī)接收器中導(dǎo)致光飽和，或者都沒(méi)返回相機(jī)接收器中使得所接收到的信號(hào)產(chǎn)生接收誤差。

針對(duì)以上所述的不同誤差來(lái)源，國(guó)內(nèi)外研究學(xué)者們也進(jìn)行了不少的研究工作。Ruocco R[19]等人提出利用查表法來(lái)對(duì)系統(tǒng)積分時(shí)間所產(chǎn)生的誤差進(jìn)行修正。Jiyoung Jung[20]等人利用深度圖像與彩色圖像對(duì)TOF相機(jī)所測(cè)得的數(shù)據(jù)進(jìn)行聯(lián)合誤差修正。Fuchs[21]等人則是設(shè)計(jì)出了一個(gè)誤差校正模型，該模型是由若干條樣條曲線組成，每個(gè)樣條曲線的參數(shù)都是由初始位置進(jìn)行估計(jì)的，并且通過(guò)采集到的距離與灰度數(shù)據(jù)來(lái)校正圖像中所出現(xiàn)的誤差。潘華東[22]等人采用B-樣條擬合的方法來(lái)解決由實(shí)際信號(hào)波形與理論波形存在差異而產(chǎn)生的誤差。針對(duì)不同誤差沒(méi)有統(tǒng)一的校正方法，需要對(duì)具體問(wèn)題進(jìn)行具體分析。

3 TOF 成像與其他主流三維成像技術(shù)的比較

目前主流的三維成像技術(shù)按其三維景深信息獲取的方式可以分為雙目視覺(jué)、結(jié)構(gòu)光及飛行時(shí)間系統(tǒng)3 類[23]。其中雙目視覺(jué)采用被動(dòng)式光源對(duì)三維景深進(jìn)行測(cè)量，而結(jié)構(gòu)光與飛行時(shí)間系統(tǒng)則是采用主動(dòng)式光源進(jìn)行測(cè)量（如圖3所示）。

3.1 雙目視覺(jué)

雙目視覺(jué)是基于視差原理來(lái)獲取目標(biāo)深度信息，一般由兩臺(tái)相機(jī)以一定的基線長(zhǎng)度從不同角度對(duì)被測(cè)物進(jìn)行成像，或者由一臺(tái)相機(jī)分別從前后兩個(gè)不同時(shí)間點(diǎn)并從不同角度對(duì)被測(cè)物進(jìn)行成像?；谝暡钤?，通過(guò)測(cè)得的兩幅二維圖像即可恢復(fù)出被測(cè)物的三維信息，進(jìn)而就能對(duì)場(chǎng)景進(jìn)行三維重建并且確定被測(cè)物位置。雙目視覺(jué)的測(cè)距示意圖如圖4所示。

圖3 深度傳感器分類Fig.3 Depth sensor classification

圖4 雙目視覺(jué)測(cè)距示意圖Fig.4 Schematic diagram of binocular visual ranging

圖中X為兩臺(tái)相機(jī)間的距離即基線的長(zhǎng)度，基線長(zhǎng)度決定測(cè)量系統(tǒng)的深度分辨率，基線長(zhǎng)度越大，深度分辨率越高[23]，α、β為兩臺(tái)相機(jī)與被測(cè)物的視場(chǎng)角。根據(jù)這些即可求得被測(cè)物的實(shí)際距離，計(jì)算公式如下：

對(duì)于雙目視覺(jué)而言，因其是采用被動(dòng)光對(duì)物體進(jìn)行測(cè)量，很容易受到外部光線的干擾，如果外部光線較暗時(shí)，或者光線過(guò)強(qiáng)時(shí)，就會(huì)影響到雙目視覺(jué)的特征提取與匹配，進(jìn)而使得立體視覺(jué)效果變差。另外，雙目視覺(jué)系統(tǒng)為實(shí)現(xiàn)立體成像需要很高的計(jì)算資源，在進(jìn)行復(fù)雜的計(jì)算時(shí)就會(huì)導(dǎo)致實(shí)時(shí)性變差，并且通過(guò)此種途徑得到的深度信息通常是稀疏的[24]。TOF 相機(jī)恰恰與之相反，其采用的是主動(dòng)式光源，因此所受外界光線的影響很小，并且TOF 相機(jī)可以同時(shí)得到被測(cè)物的稠密深度信息與強(qiáng)度信息，而且不需要很高的計(jì)算資源即可達(dá)到高實(shí)時(shí)性。

雙目視覺(jué)的優(yōu)點(diǎn)是它的施行成本很低，常見(jiàn)的攝像頭就可以使用，并且因其是利用雙目仿生的原理，所以雙目視覺(jué)所得到的圖像就能呈現(xiàn)出更加直觀的效果。其次，雙目視覺(jué)中的深度分辨誤差是測(cè)量距離的二次函數(shù)，故在測(cè)量較遠(yuǎn)距離物體時(shí)依舊會(huì)保持較高的測(cè)量精度。

3.2 結(jié)構(gòu)光

結(jié)構(gòu)光技術(shù)是基于雙目視覺(jué)而提出來(lái)的，目的是為了解決雙目視覺(jué)中匹配算法復(fù)雜性與魯棒性[25]的問(wèn)題，該技術(shù)解決了雙目視覺(jué)所存在的使用場(chǎng)景缺陷等問(wèn)題?；诮Y(jié)構(gòu)光技術(shù)的深度相機(jī)是由一臺(tái)攝像機(jī)與一臺(tái)投影儀組成，首先是通過(guò)投影儀發(fā)射具有特征的光信號(hào)（結(jié)構(gòu)光）到被測(cè)物表面，由于被測(cè)物表面的凹凸情況會(huì)對(duì)具有特征的光信號(hào)產(chǎn)生特定的變形，即被調(diào)制，隨后再通過(guò)攝像機(jī)對(duì)調(diào)制后的光信號(hào)進(jìn)行再次采集。結(jié)構(gòu)光的基本原理圖如圖5所示。

圖5 結(jié)構(gòu)光基本原理圖Fig.5 Fundamental diagram of structured light

與TOF 相機(jī)相比，結(jié)構(gòu)光采用的是主動(dòng)三角測(cè)量法對(duì)被測(cè)物進(jìn)行測(cè)量，而主動(dòng)三角測(cè)量法所測(cè)量的結(jié)果缺少深度信息。在強(qiáng)光條件下會(huì)導(dǎo)致結(jié)構(gòu)光的核心技術(shù)激光散斑被淹沒(méi)，因此不太適合戶外測(cè)量。在測(cè)量時(shí)被測(cè)物一定要在投影序列時(shí)間段內(nèi)保持相對(duì)靜止，否則會(huì)導(dǎo)致在獲取圖像時(shí)的幀率變低，實(shí)時(shí)性變差。經(jīng)過(guò)最近幾年對(duì)結(jié)構(gòu)光的研究，發(fā)現(xiàn)利用散焦技術(shù)可以估算出深度信息，還可以通過(guò)發(fā)射沿相機(jī)光路的結(jié)構(gòu)光的方式來(lái)提高幀率[26]。

結(jié)構(gòu)光屬主動(dòng)投射編碼光，非常適合在光照條件不足（甚至于無(wú)光）或缺乏紋理的場(chǎng)景使用，以上特點(diǎn)正好解決了雙目視覺(jué)所存在的一些問(wèn)題。結(jié)構(gòu)光投射的圖案一般是經(jīng)過(guò)設(shè)計(jì)的，所以在一定范圍內(nèi)（一般探測(cè)距離在1.5m 以內(nèi)）可以達(dá)到較高的測(cè)量精度。詳細(xì)的3 種主流三維成像技術(shù)性能對(duì)比如表1所示。

4 TOF 相機(jī)的應(yīng)用及發(fā)展趨勢(shì)

4.1 TOF 相機(jī)的應(yīng)用研究

隨著TOF 相機(jī)的快速發(fā)展，因其具備諸多優(yōu)勢(shì)而被廣泛應(yīng)用，如在機(jī)器人、農(nóng)業(yè)、醫(yī)療、工業(yè)自動(dòng)化等領(lǐng)域都發(fā)揮了顯著的作用。

表1 三種主流三維成像技術(shù)性能對(duì)比Table 1 Performance comparison of three mainstream 3D imaging technologies

4.1.1 機(jī)器人領(lǐng)域

Prusak A[27]等人提出了一種基于TOF相機(jī)與球面CCD 相機(jī)相結(jié)合的機(jī)器人導(dǎo)航避障、姿態(tài)估計(jì)和地圖生成的聯(lián)合方法。他們首先是通過(guò)機(jī)器人對(duì)周?chē)h(huán)境進(jìn)行掃描，進(jìn)而通過(guò)TOF 相機(jī)生成三維的全景圖，并且機(jī)器人在沿著預(yù)先定義的路徑進(jìn)行移動(dòng)時(shí)，在移動(dòng)的過(guò)程中利用TOF 相機(jī)的三維圖像導(dǎo)航傳感器進(jìn)行避障，并結(jié)合結(jié)構(gòu)-運(yùn)動(dòng)和模型跟蹤方法進(jìn)行自定位。此種方法充分利用了TOF 相機(jī)實(shí)時(shí)性好、精度高等特點(diǎn)。G.Alenyà[28]等人則利用TOF 相機(jī)與RGB-D（Red Green Blue-Depth Map）相機(jī)結(jié)合的方式，為機(jī)器人提供高分辨率的三維環(huán)境感知能力，其方式是利用RGBD 相機(jī)可以有效彌補(bǔ)TOF 相機(jī)分辨率低的特點(diǎn)，而TOF 相機(jī)也相應(yīng)地彌補(bǔ)RGBD 相機(jī)在測(cè)量深度信息時(shí)誤差大的特點(diǎn)。進(jìn)而兩種相機(jī)起到相輔相成的作用。此種方法提升了機(jī)器人對(duì)目標(biāo)物的識(shí)別能力，并且可以迅速而且精確地完成機(jī)器人障礙物識(shí)別和對(duì)貨物的抓取。

4.1.2 農(nóng)業(yè)領(lǐng)域

司秀娟[29]等人提出將TOF 相機(jī)應(yīng)用于精準(zhǔn)農(nóng)業(yè)，并針對(duì)三維圖像在精準(zhǔn)農(nóng)業(yè)所需的定位、定量研究上的優(yōu)勢(shì)提出了使用TOF 相機(jī)獲取農(nóng)作物深度信息，并對(duì)農(nóng)作物位置信息和表征參數(shù)進(jìn)行檢測(cè)和提取，該方式為T(mén)OF 相機(jī)在精準(zhǔn)農(nóng)業(yè)領(lǐng)域的研究提出了具體的方案，并且驗(yàn)證了TOF 相機(jī)在精準(zhǔn)農(nóng)業(yè)領(lǐng)域的可行性。Vázquez-Arellano[30]等人提出一種玉米作物圖像的三維重建方法，使用高分辨率的三維圖像，最新的軟件技術(shù)將其映射到彩色圖像中。通過(guò)基于迭代最近點(diǎn)算法的點(diǎn)云配準(zhǔn)，對(duì)單個(gè)三維圖像中植物點(diǎn)的近似數(shù)量進(jìn)行計(jì)算得到閾值，再通過(guò)RANSAC（RANdom SAmple Consensus）算法完成植物/土壤的分割，經(jīng)過(guò)定量比較表明TOF相機(jī)所獲得的點(diǎn)數(shù)大約是使用兩個(gè)光探測(cè)測(cè)距系統(tǒng)（激光雷達(dá)）所獲得點(diǎn)數(shù)的23倍，進(jìn)而驗(yàn)證了TOF相機(jī)在作物三維重建等方面應(yīng)用的優(yōu)越性。

4.1.3 醫(yī)療領(lǐng)域

Jochen Penne[31]等人提出了一個(gè)用于計(jì)算病人三維呼吸密度估計(jì)的系統(tǒng)。該系統(tǒng)利用TOF傳感器以超過(guò)每秒15幀的速度來(lái)獲取患者胸部和腹部的致密三維模型，再通過(guò)數(shù)據(jù)驅(qū)動(dòng)算法將不同平面擬合到患者軀干的不同區(qū)域，從而對(duì)胸部和腹部進(jìn)行三維建模。結(jié)果顯示TOF相機(jī)進(jìn)行建模的方法能夠以0.1mm 的精度對(duì)病人的呼吸運(yùn)動(dòng)進(jìn)行無(wú)標(biāo)記、3D、實(shí)時(shí)的跟蹤。SoutschekS[32]等人提出在醫(yī)療成像中應(yīng)用TOF相機(jī)進(jìn)行三維姿態(tài)成像，就是利用內(nèi)窺鏡上的TOF三維圖像導(dǎo)航提供影像數(shù)據(jù)，它為醫(yī)生展示出一個(gè)可視化頁(yè)面，可以有效地避免物理交互設(shè)備對(duì)人體產(chǎn)生不必要的傷害。

4.1.4 工業(yè)自動(dòng)化裝配領(lǐng)域

雷禧生[33]等人應(yīng)用TOF相機(jī)采集工件的三維點(diǎn)云數(shù)據(jù)以獲得工件的輪廓數(shù)據(jù)。由于噴涂生產(chǎn)線軌跡規(guī)劃和噴涂機(jī)器人技術(shù)上大都以工件的在線三維測(cè)量為基礎(chǔ)，所以對(duì)實(shí)時(shí)三維在線軌跡規(guī)劃要求高。TOF相機(jī)會(huì)實(shí)時(shí)提供被測(cè)工件的深度信息，精確地對(duì)工件進(jìn)行噴涂作業(yè)。Ahmad R[34]等人應(yīng)用三維TOF傳感器規(guī)劃出2.5D銑削/鉆削機(jī)床的安全刀具的行走路徑。以避免在多工具工作時(shí)可能造成的碰撞、避免意外的生產(chǎn)中止和機(jī)械設(shè)備的損壞。三維TOF 傳感器提供的制造場(chǎng)景的深度信息，包含TOF相機(jī)的自動(dòng)檢測(cè)與避障等信息，方便生產(chǎn)期間實(shí)現(xiàn)安全的刀具路徑。

除以上應(yīng)用領(lǐng)域外，TOF 相機(jī)還被廣泛地應(yīng)用于多媒體/零售業(yè)、消費(fèi)電子、安全/監(jiān)控[35-37]、超分辨成像[38-39]、非視域成像[40]、自動(dòng)駕駛[41]等領(lǐng)域。

4.2 TOF相機(jī)的發(fā)展趨勢(shì)

TOF相機(jī)是近些年才興起的，目前處于剛剛起步階段，國(guó)內(nèi)TOF相機(jī)在空間中的應(yīng)用還尚未展開(kāi)。隨著技術(shù)的逐漸成熟，未來(lái)TOF相機(jī)勢(shì)必會(huì)被應(yīng)用于空間近距離探測(cè)[42]或空間非合作目標(biāo)近距離測(cè)量[16]等空間任務(wù)中來(lái)。目前中國(guó)科學(xué)院等研究機(jī)構(gòu)正在開(kāi)展對(duì)空間TOF相機(jī)的研制工作，相信不久的將來(lái)TOF相機(jī)會(huì)成為宇航空間近距離測(cè)量中的一種有效的測(cè)量手段。

相信隨著TOF相機(jī)成像分辨率的不斷提高以及光源技術(shù)的快速發(fā)展，TOF三維成像技術(shù)將會(huì)在機(jī)器人視覺(jué)、農(nóng)業(yè)測(cè)量與檢測(cè)、醫(yī)療成像、工業(yè)檢測(cè)等科學(xué)領(lǐng)域得到更加深入的應(yīng)用。圖6給出了我國(guó)目前市面上幾款主流的商用TOF相機(jī)。

圖6 國(guó)內(nèi)外幾款主流TOF相機(jī)Fig.6 Several mainstream TOFcamerasat home and abroad

5 結(jié)語(yǔ)

TOF相機(jī)作為新興立體成像設(shè)備，具有結(jié)構(gòu)簡(jiǎn)單、體積小巧、幀率高、實(shí)時(shí)性強(qiáng)、可以同時(shí)獲得強(qiáng)度信息與深度信息[43]等特點(diǎn)。本文詳細(xì)介紹了TOF相機(jī)的工作原理、誤差來(lái)源，并與其他同類型相機(jī)進(jìn)行對(duì)比研究，同時(shí)針對(duì)當(dāng)前TOF相機(jī)的應(yīng)用領(lǐng)域及發(fā)展趨勢(shì)進(jìn)行了論述，結(jié)合我國(guó)現(xiàn)階段深度信息獲取技術(shù)的發(fā)展現(xiàn)狀，TOF相機(jī)的相關(guān)具體技術(shù)改進(jìn)及其解決途徑如下：

1）進(jìn)一步提高相機(jī)分辨率，提高相機(jī)量程，使相機(jī)獲取的圖像更加清晰，獲取的深度圖像能夠更加精準(zhǔn)地還原被測(cè)物體的細(xì)節(jié)特征。具體可以通過(guò)“插值”算法、像素錯(cuò)位技術(shù)、“陣列外拼接成像原理”、微掃描復(fù)合自適應(yīng)虛擬電子微掃描算法以及圖像傳感器升級(jí)等手段來(lái)提高相機(jī)的分辨率及量程。

2）降低相機(jī)的測(cè)量誤差，從TOF相機(jī)的測(cè)距理論出發(fā)，進(jìn)行更深入的研究，找出控制或消除誤差的方法，將外界因素對(duì)TOF相機(jī)的測(cè)量精度的影響降到最低。目前主要是從軟件和硬件的升級(jí)這兩方面來(lái)降低誤差對(duì)相機(jī)測(cè)量精度的影響。

3）對(duì)相機(jī)進(jìn)行適應(yīng)性改造，針對(duì)相機(jī)工作環(huán)境的復(fù)雜性及其特點(diǎn)（如力、高低溫、真空、輻射等），對(duì)TOF相機(jī)進(jìn)行適應(yīng)性改進(jìn)，進(jìn)而確保相機(jī)在復(fù)雜環(huán)境下的光機(jī)結(jié)構(gòu)系統(tǒng)穩(wěn)定性，以適用于更多應(yīng)用領(lǐng)域。目前主要是通過(guò)對(duì)復(fù)合材料（提高剛度、強(qiáng)度、熱性能等）的探索與研究以及對(duì)結(jié)構(gòu)系統(tǒng)進(jìn)行自動(dòng)化設(shè)計(jì)來(lái)提高相機(jī)光機(jī)結(jié)構(gòu)系統(tǒng)的穩(wěn)定性。

綜上所述，雖然關(guān)于TOF相機(jī)的技術(shù)改進(jìn)、軟硬件升級(jí)、相機(jī)的適應(yīng)性改造及應(yīng)用拓展等研究方向已是國(guó)外科研機(jī)構(gòu)研究的熱點(diǎn)且發(fā)展迅速，但在最近幾年，國(guó)內(nèi)相關(guān)研究工作也已經(jīng)逐步展開(kāi)。就目前來(lái)看，TOF 相機(jī)規(guī)?；a(chǎn)與應(yīng)用還不夠現(xiàn)實(shí)，但相信隨著相機(jī)軟硬件技術(shù)的不斷升級(jí)和對(duì)算法研究的不斷深入，TOF 相機(jī)一定會(huì)成為我國(guó)今后三維測(cè)量領(lǐng)域的新興設(shè)備，引導(dǎo)我國(guó)步入全新的 3D 時(shí)代并助力Industry4.0。