基于光場相機(jī)的深度圖像獲取技術(shù)研究

沈陽理工大學(xué)自動化與電氣工程學(xué)院 牛朦朦

基于光場相機(jī)的深度圖像獲取技術(shù)研究

沈陽理工大學(xué)自動化與電氣工程學(xué)院 牛朦朦

光場相機(jī)近年來已經(jīng)引起越來越多人的關(guān)注，它采用在主透鏡的焦平面處放置一個微透鏡陣列，然后再投影到CCD上，使得圖片能夠記錄下四維光場，從而記錄光線的方向，使得圖片具有重聚焦和在主透鏡的子孔徑范圍轉(zhuǎn)換視角的功能，豐富的信息為獲取深度圖像提供了便利。本文從光場相機(jī)的結(jié)構(gòu)入手，分析和研究基于光場相機(jī)的深度圖像獲取技術(shù)。

光場相機(jī)；重聚焦；深度圖像

引言

隨著科技的發(fā)展，傳統(tǒng)機(jī)器視覺已經(jīng)不能滿足人們針對三維目標(biāo)識別的要求。獲取場景中各點相對攝象機(jī)的距離是計算機(jī)視覺的重要任務(wù)之一，深度圖像中的每一個像素值表示場景中某一點與攝像機(jī)之間的距離。深度圖像對比灰度圖像，具有物體三維特征，即深度信息，由于不受光源照射方向和物體表面發(fā)射特性的影響，且不存在陰影，所以能更準(zhǔn)確的表現(xiàn)物體表面的三維深度信息。

近年來，以光場相機(jī)為基礎(chǔ)的深度圖像估計理論研究取得了較大進(jìn)展。相對于傳統(tǒng)相機(jī)僅記錄場景二維信息，光場相機(jī)能夠記錄位置和方向的四維信息，由于光場相機(jī)提供的視點較多、數(shù)據(jù)集包含的光線角度采樣信息量較大，這些特點為高質(zhì)量的視差估計提供了數(shù)據(jù)，本文從光場相機(jī)的原理特性出發(fā)，分析和研究現(xiàn)有的基于光場相機(jī)的深度圖像獲取技術(shù)。

1.光場相機(jī)成像原理

1.1光場的定義

光場實際上就是空間所有光線光輻射函數(shù)的總體，空間中光線攜帶二維位置信息 （u，v）和二維方向信息（θ，φ）在光場中傳遞。根據(jù) Levoy 的光場渲染理論，空間中攜帶強(qiáng)度和方向信息的任意光線，都可以用兩個互相平行的平面來進(jìn)行參數(shù)化表示，如圖1所示，光線與這兩個平面相交于兩點，形成一個四維光場函數(shù)L（ u，v，x，y）。

圖1　光場四維參數(shù)化

1.2成像原理

光場相機(jī)與傳統(tǒng)相機(jī)相比，由三部分組成：主透鏡、微透鏡陣列與光電探測器。其中微透鏡陣列放置于主透鏡的像平面處，CCD放置在微透鏡的焦距處。具體成像過程為：物體中一點經(jīng)主透鏡聚焦在微透鏡陣列上，然后經(jīng)過單個微透鏡再分散出強(qiáng)度和方向分量，到達(dá)CCD的不同面元，這就是該點的光場信息。此外，為了防止光場的方向信息和成像目標(biāo)空間分布之間的混疊，主透鏡的像方F數(shù)和微透鏡陣列的F數(shù)必須一致。原始圖像是由一系列斑點組成，每個斑點都是微透鏡的成像。

1.3數(shù)字重聚焦

如圖1所示，根據(jù)經(jīng)典的輻射理論，在像平面上的一點的輻射來自鏡頭上所有輻射的權(quán)重積分，即：

其中LF（x，y，u，v）是距離目標(biāo)平面外F距離的光場參數(shù)，通過數(shù)字積分近似估計，即可獲得一幅數(shù)字圖像。

圖2　數(shù)字重聚焦原理圖

如圖2所示，（x，y）面表示重聚焦所在平面，接收到的光輻射量為：

其中α=F’/F為變焦倍率。將（2）式代入（1）式即可獲得重聚焦的成像。由傅里葉切片定理可得，（x，y）面上得到的光輻射量就是的一個切片的投影積分，即通過一次曝光得到的光場信息可用來進(jìn)行不同焦距處圖像的重建。

2.基于光場相機(jī)的深度圖像獲取理論現(xiàn)狀

一直以來，基于圖像的深度圖像的獲取是計算機(jī)視覺中的重點之一，針對人類視覺系統(tǒng)中的不同深度線索，如視差、模糊、陰影、紋理和透視等，研究人員們提出了不同的深度圖像獲取方法。光場相機(jī)由于之前介紹的能夠重聚焦，且由于微透鏡陣列的作用，產(chǎn)生視差角，所以光場相機(jī)具有進(jìn)行一次曝光成像，經(jīng)過后期處理能同時利用散焦測距原理和視差線索進(jìn)行深度圖像的獲取。

Bishop等人在 Plenoptic 1.0 光場采集的數(shù)據(jù)集上，提出一種深度圖估計和圖像超分辨方法，獲取了較高精度的深度圖像。在二維光場極平面圖像上，Wanner 和Goldluecke采用結(jié)構(gòu)張量計算像素匹配方向以實現(xiàn)對場景的深度圖估計。接著，該研究組又分析了光場圖像視差關(guān)系，進(jìn)而實現(xiàn)了光場圖像超分辨率。針對便攜式消費(fèi)級光場相機(jī)，2013年Yu等提出了對遮擋的迭代深度估計，其采用全局優(yōu)化的計算框架，對不同微透鏡后的子圖像的匹配關(guān)系進(jìn)行求解，進(jìn)而實現(xiàn)深度圖像估計；同年，Kim 等在獲取高分辨率光場基礎(chǔ)上，實現(xiàn)高精度場景深度圖估計，其特點在于無需全局優(yōu)化［2］。

和視差線索不同，模糊線索是指同一個相機(jī)對不同深度場景進(jìn)行聚焦，處在非聚焦平面的物體的模糊程度與深度具有一定函數(shù)關(guān)系，利用該關(guān)系進(jìn)行深度圖像的獲取。光場相機(jī)因具有先拍照，后進(jìn)行數(shù)字重聚焦的操作，所以可以利用此線索進(jìn)行深度圖像獲取。

Tao 等人利用lytro消費(fèi)級光場相機(jī)同時利用視差和模糊的線索，對光場中的EPI圖像進(jìn)行視差和模糊線索進(jìn)行運(yùn)算，最后利用馬爾科夫隨機(jī)場算法融合這兩種深度線索，獲得了對近景較為復(fù)雜的情況下的較高精度的深度圖像生成；Wang等人在Tao的工作的基礎(chǔ)上，提出了一種存在遮擋的深度圖像獲取技術(shù)，其利用圖片的一致性，將角度像素塊劃分為存在遮擋與非遮擋區(qū)域，并分別進(jìn)行深度圖像的求取，獲得了良好的深度圖像。

3.結(jié)語

光場相機(jī)由于特殊的相機(jī)結(jié)構(gòu)，相較于傳統(tǒng)相機(jī)，由于圖像具有很大的重塑性，能夠后期進(jìn)行重聚焦操作，且具有大量的視差角線索，為獲取深度圖像提供了另一種方法，基于光場相機(jī)進(jìn)行深度圖像的獲取的研究不斷發(fā)展，但由于相機(jī)的特殊結(jié)構(gòu)，光場相機(jī)多出來的二維信息是犧牲一定的空間分辨率作為代價，現(xiàn)有的光場相機(jī)往往在圖像的空間分辨率上不能滿足需求，二者存在一個折中，如何進(jìn)行進(jìn)一步的優(yōu)化將是后期研究的一個重點，此外微透鏡陣列之間的基線特別短，利用視差因素進(jìn)行深度圖像的求取中存在誤差，后續(xù)還有待進(jìn)一步研究。

［1］Levoy M， Hanrahan P. Light field rendering［C］// Conference on Computer Graphics and Interactive Techniques.ACM，1996：II-64-II-71.

［2］肖照林.基于相機(jī)陣列的光場成像與深度估計方法研究［D］.西安：西北工業(yè)大學(xué)，2014.