基于數(shù)字微鏡器件的自適應(yīng)高動(dòng)態(tài)范圍成像方法及應(yīng)用?

馮維 張福民 王惟婧 曲興華

(天津大學(xué),精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室,天津 300072)

基于數(shù)字微鏡器件的自適應(yīng)高動(dòng)態(tài)范圍成像方法及應(yīng)用?

馮維 張福民?王惟婧 曲興華

(天津大學(xué),精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室,天津 300072)

計(jì)算成像,高動(dòng)態(tài)范圍,編碼曝光,數(shù)字微鏡器件

1 引 言

在數(shù)字圖像中,成像動(dòng)態(tài)范圍表示圖像中包含“最暗”至“最亮”的范圍.相機(jī)的動(dòng)態(tài)范圍越大,表示它能同時(shí)記錄圖像的明暗部細(xì)節(jié)越豐富.而在結(jié)構(gòu)光三維掃描測(cè)量中,被測(cè)物的表面反射特性極大地影響測(cè)量效果,被測(cè)強(qiáng)反射表面因編碼結(jié)構(gòu)光照射后易產(chǎn)生局部鏡面反射的特性,其反射光強(qiáng)動(dòng)態(tài)范圍遠(yuǎn)遠(yuǎn)超過(guò)普通8 bit工業(yè)數(shù)字相機(jī)的成像動(dòng)態(tài)范圍,引起相機(jī)曝光飽和,從而導(dǎo)致其圖像中常伴有高亮光、眩光等光斑現(xiàn)象,淹沒(méi)了所要檢測(cè)的表面幾何特征信息,引起測(cè)量失效或產(chǎn)生較大的測(cè)量誤差,其根本原因是光學(xué)成像動(dòng)態(tài)范圍帶寬不夠.

為提高成像系統(tǒng)的動(dòng)態(tài)范圍,國(guó)內(nèi)外學(xué)者開(kāi)展了深入的研究.多次曝光法是目前最常用的一種方法,該方法需要數(shù)字相機(jī)對(duì)同一場(chǎng)景設(shè)置不同的曝光時(shí)間進(jìn)行多次成像,并將多幅不同曝光量的圖像運(yùn)用圖像處理算法融合成具有高動(dòng)態(tài)范圍的單幅圖像[1?3].然而,多次曝光法僅適宜靜態(tài)物體和穩(wěn)定環(huán)境,并不適用于復(fù)雜多變的工業(yè)現(xiàn)場(chǎng).一些學(xué)者提出采用多個(gè)圖像傳感器同時(shí)曝光融合,以實(shí)現(xiàn)對(duì)動(dòng)態(tài)場(chǎng)景的高動(dòng)態(tài)范圍成像,但這類(lèi)方法需要多個(gè)探測(cè)器和精密的光學(xué)系統(tǒng)作為支撐,導(dǎo)致其光學(xué)系統(tǒng)結(jié)構(gòu)復(fù)雜且昂貴[4,5].此外,通過(guò)改變圖像傳感器的感光單元結(jié)構(gòu)或尺寸等方法以提高原圖像傳感器探測(cè)高動(dòng)態(tài)范圍場(chǎng)景的能力,然而這些硬件方法均需要設(shè)計(jì)復(fù)雜的光電結(jié)構(gòu)與加工工藝,大大增加了生產(chǎn)和制造的難度與成本[6?8].

近年來(lái),新興的計(jì)算成像技術(shù)進(jìn)一步拓展了高動(dòng)態(tài)范圍成像的技術(shù)手段.計(jì)算成像結(jié)合了計(jì)算機(jī)與相機(jī)的優(yōu)勢(shì),通過(guò)計(jì)算機(jī)控制不同類(lèi)型的空間光調(diào)制器(spatial light modulator,SLM)以實(shí)現(xiàn)對(duì)入射光線(xiàn)的精確調(diào)制,從而獲得更加理想的視覺(jué)圖像[9].Mannami等[10]和Li等[11,12]采用液晶類(lèi)SLM,如液晶顯示(liquid crystal display,LCD)和硅基液晶(liquid crystal on silicon,LCoS),以調(diào)制入射光線(xiàn)的強(qiáng)度,提高成像系統(tǒng)的動(dòng)態(tài)范圍.這類(lèi)方法的優(yōu)勢(shì)在于通過(guò)液晶類(lèi)SLM實(shí)現(xiàn)對(duì)空間光線(xiàn)的調(diào)制,使進(jìn)入相機(jī)的入射光強(qiáng)始終處于相機(jī)合適的曝光強(qiáng)度內(nèi),實(shí)現(xiàn)自適應(yīng)的高動(dòng)態(tài)范圍成像.然而,由于液晶類(lèi)SLM的光效率低、對(duì)比度較低等固有物理特性的限制,影響了其在高動(dòng)態(tài)范圍成像技術(shù)中的進(jìn)一步應(yīng)用與發(fā)展.

與上述解決方法不同,本文基于數(shù)字微鏡器件(digital micromirror device,DMD)具有調(diào)制入射光線(xiàn)空間信息的特性,借助DMD具有光效率高、對(duì)比度高等優(yōu)勢(shì),提出了一種基于DMD的自適應(yīng)高動(dòng)態(tài)范圍成像方法,以突破普通數(shù)字相機(jī)動(dòng)態(tài)范圍的限制:設(shè)計(jì)與搭建了一套新型的可編程的計(jì)算成像系統(tǒng),并建立其光學(xué)系統(tǒng)模型;詳細(xì)論述了DMD微鏡與CMOS像素的匹配與映射方法;提出基于DMD的逐像素編碼曝光理論與自適應(yīng)光強(qiáng)編碼控制算法,以精確有效地調(diào)制入射光線(xiàn)強(qiáng)度.實(shí)驗(yàn)表明,本方法能夠擴(kuò)大成像系統(tǒng)的動(dòng)態(tài)范圍,實(shí)現(xiàn)對(duì)強(qiáng)反射表面的局部過(guò)曝光區(qū)域的清晰成像.

2 系統(tǒng)構(gòu)成及分析

2.1 成像系統(tǒng)的設(shè)計(jì)

DMD是一種空間光調(diào)制器,它是由數(shù)百萬(wàn)個(gè)可獨(dú)立控制位置狀態(tài)的高速數(shù)字式微小平面鏡陣列組成.每個(gè)微鏡都有三種可能的狀態(tài),即“開(kāi)”態(tài)、“平”態(tài)和“關(guān)”態(tài),分別對(duì)應(yīng)+12°,0°及?12°的偏轉(zhuǎn)角,通過(guò)二進(jìn)制脈寬調(diào)制技術(shù)能精確地實(shí)現(xiàn)對(duì)微鏡狀態(tài)的快速轉(zhuǎn)換,從而實(shí)現(xiàn)對(duì)入射光線(xiàn)的灰度調(diào)制[13].DMD已經(jīng)在數(shù)字全息、單像素成像、壓縮感知等不同領(lǐng)域得到了廣泛的應(yīng)用[14?20].

本文設(shè)計(jì)了一款新型的可編程的計(jì)算成像系統(tǒng)——DMD相機(jī),如圖1(a)所示.該成像系統(tǒng)主要由DMD、CMOS圖像探測(cè)器、全內(nèi)反射(total internal re flection,TIR)棱鏡、透鏡組1、透鏡組2和處理器共六個(gè)部分組成.DMD作為精密的數(shù)字光學(xué)開(kāi)關(guān),被放置于CMOS圖像探測(cè)器的成像光路上.當(dāng)DMD微鏡設(shè)置為“開(kāi)”狀態(tài)時(shí),從被測(cè)物表面反射的光線(xiàn)能順利通過(guò)透鏡組1和TIR棱鏡將高動(dòng)態(tài)場(chǎng)景成像在DMD表面;經(jīng)過(guò)DMD對(duì)入射光線(xiàn)編碼調(diào)制后,其反射光線(xiàn)以24°偏角再次進(jìn)入TIR棱鏡內(nèi),反射光線(xiàn)因在TIR棱鏡中發(fā)生內(nèi)全反射而改變光線(xiàn)傳播方向,使該光線(xiàn)進(jìn)入到透鏡組2中,經(jīng)該成像物鏡會(huì)聚后在CMOS圖像探測(cè)器上成像.反之,當(dāng)DMD微鏡設(shè)置為“關(guān)”狀態(tài)時(shí),被測(cè)物反射的光線(xiàn)則不能進(jìn)入CMOS圖像探測(cè)器.此外,DMD、CMOS圖像探測(cè)器、透鏡組2和處理器構(gòu)成了一個(gè)完整的光電反饋系統(tǒng).因此,DMD相機(jī)能夠決定入射光線(xiàn)能否進(jìn)入探測(cè)器內(nèi),實(shí)現(xiàn)了在二維空間的可編程成像.

圖1(b)是本實(shí)驗(yàn)中搭建的DMD相機(jī)的硬件原型.為達(dá)到高速高分辨的成像目標(biāo),選用Texas Instruments 0.65 inch DMD為空間光調(diào)制器,其物理有效分辨率為1920×1080,微鏡尺寸為7.6μm,并最高可達(dá)247幀8 bit灰度圖像顯示.CMOS圖像探測(cè)器被固定在一個(gè)高精密六維位移臺(tái)上,能夠?qū)崿F(xiàn)對(duì)xyz-αβθ共六個(gè)方向的微調(diào).TIR棱鏡前置于DMD,它能折疊光路,使成像系統(tǒng)結(jié)構(gòu)更加緊湊.

圖1 基于DMD的計(jì)算成像系統(tǒng) (a)光學(xué)原理圖;(b)內(nèi)部結(jié)構(gòu)圖Fig.1.Computational imaging system based on DMD:(a)Optical principle;(b)hardware prototype.

2.2 基于DMD的自適應(yīng)高動(dòng)態(tài)范圍成像原理

基于DMD的自適應(yīng)高動(dòng)態(tài)范圍成像過(guò)程如圖2所示.首先,所有的DMD微鏡被設(shè)置為“開(kāi)”狀態(tài),因而被測(cè)物的反射光線(xiàn)經(jīng)DMD編碼調(diào)制后可在數(shù)字相機(jī)中成像;接著,該原始圖像被傳輸至計(jì)算機(jī)處理,計(jì)算原圖像中的亮度分布,利用自適應(yīng)閾值分割算法判別編碼圖像中是否存在過(guò)飽和區(qū)域并提取原圖像中的過(guò)飽和區(qū)域;然后,根據(jù)DMD微鏡與CMOS像素的匹配與映射關(guān)系,設(shè)計(jì)自適應(yīng)光強(qiáng)編碼控制算法生成合適的DMD掩模以精確控制DMD各微鏡的狀態(tài),實(shí)現(xiàn)對(duì)相應(yīng)區(qū)域入射光線(xiàn)的有效衰減.依次迭代,直至最終獲得的編碼圖像完整清晰,從而達(dá)到自適應(yīng)高動(dòng)態(tài)范圍成像的目標(biāo).

圖2 基于DMD的自適應(yīng)高動(dòng)態(tài)范圍成像過(guò)程Fig.2.The processing of adaptive high dynamic range imaging based on DMD.

在DMD相機(jī)中,核心成像器件是固態(tài)圖像傳感器,其動(dòng)態(tài)范圍通常被定義為

其中,Imax和Imin分別表示圖像傳感器能探測(cè)到的最大亮度值和最小亮度值.對(duì)于普通8 bit的數(shù)字相機(jī),一般設(shè)定最小亮度值Imin=1,因此8 bit數(shù)字相機(jī)的動(dòng)態(tài)范圍為20·lg255=48.13 dB.

DMD作為光學(xué)衰減器,主要用于記錄入射光的衰減值.設(shè)Tmax和Tmin分別表示DMD微鏡保持“開(kāi)”狀態(tài)的最長(zhǎng)時(shí)間和最短時(shí)間,則DMD相機(jī)的動(dòng)態(tài)范圍可以表示為

當(dāng)用8 bit圖像作為掩模對(duì)DMD進(jìn)行編碼控制時(shí),DMD相機(jī)的動(dòng)態(tài)范圍為20·lg(255×255)=96.26 dB.因此,DMD相機(jī)的動(dòng)態(tài)范圍遠(yuǎn)大于8 bit的普通數(shù)字相機(jī),其性能相當(dāng)于一個(gè)非常昂貴的16 bit的圖像傳感器的動(dòng)態(tài)范圍.

2.3 成像系統(tǒng)的光學(xué)模型

在由DMD與CMOS組成的線(xiàn)性空間不變的成像系統(tǒng)中,CMOS像平面的一個(gè)像點(diǎn)實(shí)際是由被測(cè)物的物平面上的多個(gè)物點(diǎn)疊加而成,這種混合疊加的成像過(guò)程可以用數(shù)學(xué)積分來(lái)表達(dá):

式中,(s,t)和(x,y)分別表示物平面和像平面上二維空間坐標(biāo);f(s,t)表示被測(cè)物的圖像;g(x,y)表示相機(jī)采集到的圖像,又稱(chēng)為降質(zhì)圖像;h(x,y;s,t)表示該DMD相機(jī)的光學(xué)傳遞函數(shù)(PSF).

光強(qiáng)函數(shù)I(x,y)可以表示為像函數(shù)g(x,y)與其共軛像函數(shù)g?(x,y)的點(diǎn)積的時(shí)間平均值:

將(3)式代入(4)式中,光強(qiáng)函數(shù)I(x,y)又可表示為

由于從物體表面反射的光線(xiàn)可以看作是非相干平面波,故(5)式可以進(jìn)一步表示為

設(shè)I(x,y,t)對(duì)應(yīng)于M×N像素鄰域內(nèi)的時(shí)空卷積和相機(jī)積分時(shí)間;M(x,y,t)表示DMD與CMOS之間的調(diào)制函數(shù);T表示相機(jī)的曝光周期;(x,y)表示DMD平面上的任意一點(diǎn),其與CMOS像平面上的某一點(diǎn)相對(duì)應(yīng).因此,DMD相機(jī)的實(shí)際光強(qiáng)函數(shù)V(x,y)可以表示為

(7)式中,M(x,y,t)∈[0,1].當(dāng)M(x,y,t)=0時(shí),所有的DMD微鏡為“關(guān)”態(tài),沒(méi)有光線(xiàn)可以進(jìn)入數(shù)字相機(jī)的像面成像;當(dāng)M(x,y,t)=1時(shí),所有的DMD微鏡為“開(kāi)”態(tài),所有入射光線(xiàn)均可進(jìn)入數(shù)字相機(jī)的像面成像.對(duì)于普通數(shù)字相機(jī),M(x,y,t)=1?(x,y,t).此外,當(dāng)微鏡未偏轉(zhuǎn)(即處于“平”態(tài))時(shí),所有DMD微鏡處于水平位置,入射光線(xiàn)均因微鏡反射而偏離數(shù)字相機(jī)的像面.

3 成像系統(tǒng)的匹配與映射

為了實(shí)現(xiàn)DMD對(duì)CMOS入射光線(xiàn)的像素級(jí)精確控制,必須獲得各DMD微鏡與CMOS像素之間的匹配與映射關(guān)系.

3.1 成像系統(tǒng)的匹配

成像系統(tǒng)的匹配是指DMD微鏡與CMOS像素之間的空間頻率的一致性.由于單個(gè)DMD微鏡與CMOS像素都非常微小,僅通過(guò)微調(diào)平臺(tái)無(wú)法直接消除兩者間的匹配偏差.本文采用莫爾條紋法放大DMD與CMOS的匹配特征,以實(shí)現(xiàn)DMD微鏡與CMOS像素的像素級(jí)匹配[21].

眾所周知,當(dāng)兩塊光柵距相等的光柵以相對(duì)保持一個(gè)較小的夾角θ疊加時(shí),在它們的疊加區(qū)域會(huì)產(chǎn)生肉眼可見(jiàn)的莫爾條紋,這樣就能把微小的柵距位移變成清晰可見(jiàn)的條紋位移.同理,由于DMD與CMOS都是二維離散抽樣結(jié)構(gòu),當(dāng)對(duì)它們的微鏡與像素分別做等間隔采樣時(shí),則它們均可被看作是二維光柵.若它們的空間頻率不一致時(shí),就會(huì)產(chǎn)生清晰可見(jiàn)的莫爾條紋.基于此原理,可先將DMD掩模設(shè)置成周期性條紋光柵圖案,如圖3(a)所示.該條紋圖案在每個(gè)周期方向上由4列微鏡組成,且前兩列為“開(kāi)”狀態(tài),后兩列為“關(guān)”狀態(tài),分別用于衡量x,y兩軸向的空間頻率一致性.接著,CMOS相機(jī)采集DMD像面的圖像,并以每四列為一個(gè)周期進(jìn)行1/4抽樣,而且每個(gè)周期內(nèi)的第一列CMOS像素值被作為采樣值復(fù)制給其同周期內(nèi)的其他三列,使同周期內(nèi)的像素灰度值均相同.當(dāng)DMD微鏡與CMOS像素沒(méi)有完全一一對(duì)應(yīng)時(shí),由于相鄰周期的CMOS采樣值不同,在復(fù)制插值之后就會(huì)出現(xiàn)灰度漸進(jìn)的周期性的莫爾條紋現(xiàn)象;否則,CMOS圖像探測(cè)器采集的圖像中將不會(huì)顯示有莫爾條紋.DMD相機(jī)初始匹配結(jié)果如圖3(b)所示,圖中出現(xiàn)了明暗相間的莫爾條紋,說(shuō)明DMD與CMOS之間未完全匹配.

圖3DMD與CMOS的匹配結(jié)果 (a)DMD匹配掩模;(b)未匹配;(c)已匹配Fig.3.Result of matching between the DMD and the CMOS detector:(a)Matching mask taken by DMD camera;(b)not matched;(c)matched.

實(shí)驗(yàn)中可調(diào)整CMOS在xyz-αβθ六維位移臺(tái)上的位置來(lái)實(shí)現(xiàn)DMD微鏡與CMOS像素的匹配,實(shí)驗(yàn)結(jié)果如圖3(c)所示,CMOS所采集的掩模圖像中的四個(gè)區(qū)域均不存在莫爾條紋,圖案亮度較均勻.因此,該DMD相機(jī)中已實(shí)現(xiàn)了DMD微鏡與CMOS像素的像素級(jí)匹配.

3.2 成像系統(tǒng)的映射

根據(jù)該成像系統(tǒng)的光路特征可得到其坐標(biāo)映射等效示意圖,如圖4所示.可知DMD微鏡陣列與CMOS像素陣列的對(duì)應(yīng)關(guān)系實(shí)際上是一種空間映射關(guān)系,兩坐標(biāo)系間可用三維投影變換矩陣表示.因此,從DMD像面到CMOS像面的像素映射關(guān)系可用如下等式:

其中,U和X分別代表DMD像面和CMOS像面對(duì)應(yīng)映射點(diǎn)的齊次坐標(biāo),R是一個(gè)3×3的非齊次單應(yīng)矩陣,它可表示為

其中,rij為矩陣R的第i行與第j列相交的元素.設(shè)Pd(u,v)和Pc(x,y)分別是DMD像面和CMOS像面上的任意一點(diǎn),則(9)式可以表示為

因此,當(dāng)Pd(u,v)和Pc(x,y)坐標(biāo)均已知時(shí),單應(yīng)矩陣R可采用直接線(xiàn)性變換(DLT)算法求解[22].

圖4DMD與CMOS相機(jī)坐標(biāo)映射關(guān)系的等效示意圖Fig.4.Equivalent schematic diagram of coordinate mapping between DMD and CMOS detector.

事實(shí)上,根據(jù)本成像系統(tǒng)的特點(diǎn),DMD微鏡與CMOS像素的標(biāo)定方法如下.

步驟1DMD顯示棋盤(pán)格標(biāo)定圖案.為了簡(jiǎn)便計(jì)算,設(shè)計(jì)一個(gè)如圖5(a)所示的4×6的棋盤(pán)格陣列,共存在15個(gè)角點(diǎn),且該棋盤(pán)格上各角點(diǎn)坐標(biāo)Pd(u,v)已知.

步驟2CMOS相機(jī)采集DMD像面的圖像,如圖5(b)所示.

步驟3運(yùn)用Harris算法檢測(cè)CMOS相機(jī)中所采集的圖像中存在的角點(diǎn)坐標(biāo)Pc(x,y),檢測(cè)結(jié)果如圖5(c)所示.

步驟4采用DLT算法,由步驟1和步驟3的數(shù)據(jù)計(jì)算即可得到DMD相機(jī)的單應(yīng)矩陣R:

當(dāng)求解出單應(yīng)矩陣R后,根據(jù)CMOS像面上的任意特征點(diǎn)Pc(x,y)都可用表達(dá)式(11)式解出其對(duì)應(yīng)于DMD像面中的微鏡Pd(u,v):

圖5 DMD與CMOS的映射關(guān)系 (a)DMD標(biāo)定圖案;(b)CMOS相機(jī)采集的棋盤(pán)格圖像;(c)角點(diǎn)檢測(cè)結(jié)果Fig.5. Mapping relationship between DMD and the CMOS detector:(a)DMD calibration pattern;(b)the calibration pattern captured by CMOS detector;(c)the result of corner detection.

4 自適應(yīng)高動(dòng)態(tài)范圍成像方法

4.1 基于DMD的逐像素編碼曝光理論

根據(jù)DMD的高速偏轉(zhuǎn)特性,DMD掩模能夠在CMOS的一個(gè)曝光積分周期內(nèi)完成多次狀態(tài)轉(zhuǎn)換.假設(shè)DMD相機(jī)先后采集不同的場(chǎng)景,N幅不同的DMD掩模Mi依次有序地曝光在一個(gè)CMOS相機(jī)曝光周期T內(nèi),每個(gè)DMD掩模的曝光時(shí)間為ti,如圖6所示.

圖6 基于DMD的逐像素編碼曝光原理Fig.6.Principle of per-pixel coded exposure based on DMD.

設(shè)Mi(x,y,t)表示DMD掩模函數(shù),逐像素編碼曝光函數(shù)M(x,y,t)能準(zhǔn)確地揭示DMD對(duì)入射光線(xiàn)像素級(jí)調(diào)制過(guò)程,其表達(dá)式可表示為

此后,一系列的編碼曝光圖像被作為系統(tǒng)輸出而存儲(chǔ).因此,該編碼曝光圖像不僅保存了DMD相機(jī)的分辨率,而且還記錄了原始圖像的時(shí)間和空間信息.結(jié)合DMD相機(jī)的光學(xué)模型,逐像素編碼曝光圖像的灰度值函數(shù)V′(x,y)可以表示為

若在CMOS相機(jī)的一個(gè)曝光周期T內(nèi),只有一幅DMD掩模被曝光,那么此時(shí)DMD被用于調(diào)制入射光線(xiàn)的空間信息,以實(shí)時(shí)衰減入射光線(xiàn)的光強(qiáng).此時(shí),N=1和ti=T.因而由(13)式可進(jìn)一步推導(dǎo)出逐像素編碼曝光理論用于高動(dòng)態(tài)范圍成像中的表達(dá)公式為

根據(jù)DMD的調(diào)制函數(shù)M(x,y),CMOS相機(jī)獲取的圖像灰度值Vhdr(x,y)以及反射曲線(xiàn)D(x),原始高動(dòng)態(tài)場(chǎng)景的實(shí)際光強(qiáng)函數(shù)Ihdr(x,y)可重構(gòu)為

4.2 基于DMD的光強(qiáng)編碼控制算法

設(shè)計(jì)自適應(yīng)光強(qiáng)控制算法是為了有效地調(diào)制各DMD微鏡處于“開(kāi)”狀態(tài)的時(shí)間,使入射光強(qiáng)始終處于CMOS相機(jī)的最佳響應(yīng)區(qū)域內(nèi),從而避免圖像過(guò)飽和現(xiàn)象的發(fā)生.本文設(shè)計(jì)了一種自適應(yīng)光強(qiáng)控制算法用于精確地調(diào)制入射光線(xiàn)的強(qiáng)度.

通常情況下,實(shí)際場(chǎng)景的入射光強(qiáng)不可預(yù)知,因此需要多次迭代以確保CMOS相機(jī)獲得的圖像沒(méi)有出現(xiàn)過(guò)曝光現(xiàn)象.結(jié)合2.2節(jié)的內(nèi)容,本文設(shè)計(jì)的自適應(yīng)光強(qiáng)編碼控制算法如下.

步驟1初始化.所有的DMD微鏡打開(kāi),即M(x,y)=1.此時(shí),CMOS相機(jī)獲得場(chǎng)景的原始圖像Io(x,y).

步驟2分割與判別.對(duì)于8 bit的CMOS相機(jī),圖像中的像素灰度值超過(guò)255意味著圖像中存在過(guò)曝光現(xiàn)象.但由于相機(jī)采集過(guò)程中噪聲是不可避免的,因此像素飽和值Vs應(yīng)被設(shè)定為稍低于255,且該像素飽和值Vs將被用作圖像分割的閾值以判別圖像中的過(guò)飽和區(qū)域.如果圖像中存在過(guò)曝光區(qū)域,則進(jìn)入步驟3;否則,進(jìn)入步驟5.

步驟3提取與映射.經(jīng)過(guò)圖像分割后,用Sobel算子來(lái)檢測(cè)圖像的邊緣,從而可以提取出圖像中的過(guò)飽和區(qū)域Oc(x,y).根據(jù)3.2節(jié)的方法,DMD掩模所對(duì)應(yīng)的區(qū)域Od(u,v)可以表達(dá)為

步驟4DMD掩模設(shè)計(jì).設(shè)DMD掩模的調(diào)制函數(shù)Mi(u,v)與其對(duì)應(yīng)的CMOS相機(jī)圖像Ii(x,y)的關(guān)系如下:其中,α和β都是光強(qiáng)衰減因子,Vc是已知較小的均勻亮度值,C是常數(shù)且0＜C≤255.

根據(jù)(17)式生成新的DMD掩模并導(dǎo)入到DMD中,進(jìn)入步驟2.

步驟5結(jié)束.

因此,所設(shè)計(jì)的基于DMD的光強(qiáng)編碼控制算法的調(diào)制速度是由DMD光強(qiáng)調(diào)制函數(shù)Mi(u,v)決定的,迭代次數(shù)Q可表示為

其中,Q是正整數(shù);num[]是計(jì)數(shù)函數(shù),I是實(shí)際場(chǎng)景的光強(qiáng)值.當(dāng)I和Vc是固定值時(shí),α和β決定著光強(qiáng)調(diào)制函數(shù)的迭代次數(shù).在本實(shí)驗(yàn)中,α=0.85,β=0.1和Vc=26=64,C=255.

5 實(shí)驗(yàn)結(jié)果與對(duì)比分析

強(qiáng)反射表面的三維幾何特征測(cè)量一直是光學(xué)三維測(cè)量研究的熱點(diǎn),其難點(diǎn)在于被測(cè)強(qiáng)反射表面因編碼結(jié)構(gòu)光照射后易導(dǎo)致進(jìn)入普通工業(yè)數(shù)字相機(jī)的圖像中常常出現(xiàn)局部過(guò)曝光現(xiàn)象,影響強(qiáng)反射表面的三維幾何參數(shù)測(cè)量精度,導(dǎo)致該問(wèn)題的原因是實(shí)際被測(cè)表面反射光的動(dòng)態(tài)范圍超過(guò)了普通工業(yè)數(shù)字相機(jī)的成像動(dòng)態(tài)范圍.

為解決強(qiáng)反射表面的視覺(jué)成像難題,實(shí)驗(yàn)中選用金屬鋁制直角件作為被測(cè)對(duì)象,且該被測(cè)物表面的部分區(qū)域經(jīng)機(jī)加工研磨后已達(dá)到局部強(qiáng)反射表面的效果.將不同的被測(cè)物放置于不同的光照環(huán)境下進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖7所示.左側(cè)第一列圖7(a)是DMD不參與調(diào)制時(shí),DMD相機(jī)采集的原始圖像.此時(shí),DMD微鏡全部處于“開(kāi)”狀態(tài),即M(x,y,t)=1,可以將DMD相機(jī)看作是傳統(tǒng)的8 bit數(shù)字相機(jī).從圖7(a)可以看出,原始圖像中存在明顯的局部無(wú)規(guī)則的過(guò)曝光區(qū)域,淹沒(méi)了部分原圖像細(xì)節(jié)信息.根據(jù)4.2節(jié)所述方法,所得DMD最佳掩模如圖7(b)所示.圖7(c)是經(jīng)DMD調(diào)制后,DMD相機(jī)采集的圖像,該圖像中無(wú)明顯的過(guò)曝光區(qū)域.對(duì)比圖7(a)和圖7(c),原圖像中的局部過(guò)曝光區(qū)域的光強(qiáng)經(jīng)DMD精確調(diào)制后有效地衰減,被測(cè)強(qiáng)反射表面的幾何特征信息均清晰成像.

圖7 實(shí)驗(yàn)結(jié)果 (a)無(wú)DMD調(diào)制時(shí),DMD相機(jī)采集的原始圖像;(b)DMD掩模;(c)經(jīng)DMD調(diào)制后,DMD相機(jī)采集的圖像Fig.7.Experimental results:(a)Different images captured by the DMD camera without DMD modulation;(b)DMD masks;(c)different images captured by the DMD camera with DMD modulation.

因灰度直方圖能有效地反映圖像中某種灰度出現(xiàn)的頻率,故可采用灰度直方圖統(tǒng)計(jì)圖像中過(guò)飽和像素點(diǎn)的分布情況.由于原始場(chǎng)景中有較大范圍的黑色背景,為突出圖像的局部細(xì)節(jié)特征,僅提取圖7(a)和圖7(c)中灰度級(jí)為50—255之間的灰度直方圖,結(jié)果如圖8所示.圖8(a)對(duì)應(yīng)的是圖7(a)的灰度直方圖,可以看出有較多像素點(diǎn)灰度級(jí)處于200—255區(qū)間內(nèi),且有部分像素點(diǎn)灰度值達(dá)到CMOS相機(jī)的飽和灰度值.圖8(b)對(duì)應(yīng)的是圖7(c)的灰度直方圖,可以看出灰度級(jí)處于200—255區(qū)間內(nèi)的像素點(diǎn)大大減少,且絕大部分像素點(diǎn)的灰度值都處于CMOS相機(jī)的最佳灰度響應(yīng)區(qū)間100—180內(nèi).因此,該實(shí)驗(yàn)表明,經(jīng)DMD調(diào)制后,原圖像中存在的局部不規(guī)則的過(guò)曝光區(qū)域的像素值均被調(diào)制到相機(jī)的理想灰度級(jí)區(qū)間內(nèi),具有更好的圖像質(zhì)量.

圖8 灰度直方圖對(duì)比結(jié)果 (a)圖7(a)圖像的灰度直方圖;(b)圖7(c)圖像的灰度直方圖Fig.8.Comparison results of gray histogram:(a)Gray histogram of the image in Fig.7(a);(b)gray histogram of the image in Fig.7(c).

6 結(jié) 論

因普通8 bit的數(shù)字相機(jī)動(dòng)態(tài)范圍有限,在結(jié)構(gòu)光三維掃描測(cè)量中難以實(shí)現(xiàn)對(duì)局部強(qiáng)反射表面的有效成像而引起測(cè)量失效,提出一種基于DMD的自適應(yīng)高動(dòng)態(tài)范圍成像方法.基于DMD具有調(diào)制入射光線(xiàn)空間信息的特性,研制了一套可編程的DMD相機(jī),建立了該成像系統(tǒng)的光學(xué)模型,并系統(tǒng)地提出基于逐像素編碼曝光的高動(dòng)態(tài)范圍成像理論.設(shè)計(jì)基于DMD的光強(qiáng)編碼曝光算法,可準(zhǔn)確有效控制被測(cè)表面各個(gè)區(qū)域的入射光線(xiàn)強(qiáng)弱,尤其是衰減強(qiáng)反射表面的高光區(qū)域的光強(qiáng),擴(kuò)大計(jì)算成像系統(tǒng)的動(dòng)態(tài)范圍,并自適應(yīng)量化該高動(dòng)態(tài)范圍成像過(guò)程.

實(shí)驗(yàn)結(jié)果表明,本文所提方法可實(shí)現(xiàn)對(duì)局部強(qiáng)反射表面的高動(dòng)態(tài)范圍成像,有效地解決強(qiáng)反射表面的視覺(jué)成像難題.同時(shí),對(duì)多個(gè)不同的被測(cè)物的實(shí)驗(yàn)表明,設(shè)計(jì)的成像系統(tǒng)和方法具有很好的穩(wěn)定性和可靠性.本研究成果將為從根源上解決強(qiáng)反射表面因局部過(guò)曝光造成的三維點(diǎn)云缺失問(wèn)題提供新的解決思路.

[1]Srikantha A,Sidibé D 2012Signal Process.27 650

[2]Wang C,Tu C 2014Int.J.Signal Process.Image Process.Pattern Recognit.7 217

[3]Gu B,Li W,Wong J,Zhu M,Wang M 2012J.Visual Commun.Image Represent.23 604

[4]Venkataraman K,Jabbi A S,Mullis R H 2015US Patent9 041 829[2015-05-26]

[5]Ward G J,Seetzen H,Heidrich W 2012US Patent8 242 426[2012-08-14]

[6]Brajovic V 2004Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern RecognitionWashington DC,USA,June 2 2004 p189

[7]Lai L W,Lai C H,King Y C 2004IEEE Sens.J.4 122

[8]Ikebe M,Saito K 2007IEEE Sens.J.7 897

[9]Zhou C,Nayar S K 2011IEEE Trans.Image Proc.20 3322

[10]Mannami H,Sagawa R,Mukaigawa Y,Echigo T,Yagi Y 2007J.Visual Commun.Image Represent.18 359

[11]Li X,Sun C,Wang P 2015Opt.Lasers Eng.66 41

[12]Yang Z,Wang P,Li X,Sun C 2014Opt.Lasers Eng.54 31

[13]Dudley D,Duncan W M,Slaughter J 2003Proc.SPIEThe International Society for Optical EngineeringUSA,January 20 2003 Vol.4985

[14]Zhang H,Cao L,Jin G 2017Appl.Opt.56 F138

[15]Cheng J,Gu C,Zhang D,Wang D,Chen S C 2016Opt.Lett.41 1451

[16]Qiao Y,Xu X,Liu T,Pan Y 2015Appl.Opt.54 60

[17]Li M F,Mo X F,Zhao L J,Huo J,Yang R,Li K,Zhang A N 2016Acta Phys.Sin.65 064201(in Chinese)[李明飛,莫小范,趙連潔,霍娟,楊然,李凱,張安寧2016物理學(xué)報(bào)65 064201]

[18]Feng W,Zhang F,Wang W,Xing W,Qu X 2017Appl.Opt.56 3831

[19]Li L Z,Yao X R,Liu X F,Yu W K,Zhai G J 2014Acta Phys.Sin.63 224201

[20]Feng W,Zhang F,Qu X,Zheng S 2016Sensors16 331[21]Ri S,Fujigaki M,Matui T,Morimoto Y 2006Appl.Opt.45 6940

[22]Mackie C J,Candian A,Huang X,Lee T J,Tielens A 2015J.Chem.Phys.142 244107

Adaptive high-dynamic-range imaging method and its application based on digital micromirror device?

Feng WeiZhang Fu-Min?Wang Wei-Jing Qu Xing-Hua

(State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China)

1 January 2017;revised manuscript

5 June 2017)

In the three-dimensional(3D)scanning measurement based on structured light techniques,the strong reflection surface is easy to produce local specular reflection due to the illumination of the structured light,which will cause the camera to be over-exposed,and therefore the geometry information of strong reflection surface cannot be detected.Since the digital micromirror device(DMD)has the modulating characteristics of the spatial information of incident light,an adaptive high-dynamic-range imaging method based on DMD is proposed to solve the problem of visual imaging of strong reflection surface.Firstly,a novel and computational imaging system is designed and built,and its optical model is also established.Then,the matching and mapping methods between DMD micromirrors and CMOS pixels are described in detail and realized.Meanwhile,we analyze the theory of the high-dynamic-range imaging based on per-pixel coded exposure,and design a coding control algorithm of light intensity to achieve the adaptive precision modulation of the intensity of incident light,so that the incident light in the imaging system is always in appropriate exposure intensity.The experiments show that the method can break through the limited dynamic range of the ordinary digital camera,and accurately control the intensity of incident light in each region of the measured strong reflection surfaces,and thus it can obtain the high-quality images of the local over-exposure area of the strong reflection surface.More importantly,the research will provide a new solution to the problem of 3D point cloud loss caused by local over-exposure of the strong reflection surface.

computational imaging,high dynamic range,coded exposure,digital micromirror device

PACS:42.30.Va,42.30.–d,43.60.Gk,42.79.–eDOI:10.7498/aps.66.234201

*Project supported by the National Natural Science Foundation of China(Grant Nos.51775379,51675380).

?Corresponding author.E-mail:zhangfumin@tju.edu.cn

(2017年1月1日收到;2017年6月5日收到修改稿)

在結(jié)構(gòu)光三維掃描測(cè)量中,強(qiáng)反射表面因編碼結(jié)構(gòu)光照射后易產(chǎn)生局部鏡面反射的特性,引起相機(jī)曝光飽和,淹沒(méi)了所要檢測(cè)的表面幾何特征信息.為解決強(qiáng)反射表面的視覺(jué)成像難題,基于數(shù)字微鏡器件(digital micromirror device,DMD)具有調(diào)制入射光線(xiàn)空間信息的特性,本文提出一種基于DMD的自適應(yīng)高動(dòng)態(tài)范圍成像方法.設(shè)計(jì)與搭建了一套新型可編程的計(jì)算成像系統(tǒng),建立其光學(xué)系統(tǒng)模型,并實(shí)現(xiàn)了DMD微鏡與CMOS像素的匹配與映射;分析了基于逐像素編碼曝光的高動(dòng)態(tài)范圍成像原理,并設(shè)計(jì)了基于DMD的光強(qiáng)編碼控制算法,實(shí)現(xiàn)對(duì)入射光線(xiàn)強(qiáng)度的自適應(yīng)精確調(diào)制,從而使進(jìn)入成像系統(tǒng)中的入射光強(qiáng)始終處于相機(jī)的合適曝光強(qiáng)度內(nèi).實(shí)驗(yàn)表明:該方法突破了普通數(shù)字相機(jī)的動(dòng)態(tài)范圍限制,能夠精確地控制被測(cè)強(qiáng)反射表面各個(gè)區(qū)域的入射光線(xiàn)強(qiáng)弱,并實(shí)現(xiàn)了對(duì)強(qiáng)反射表面的局部過(guò)曝光區(qū)域的清晰成像.該研究成果將為從根源上解決強(qiáng)反射表面因局部過(guò)曝光造成的三維點(diǎn)云缺失問(wèn)題提供重要的解決方案.

10.7498/aps.66.234201

?國(guó)家自然科學(xué)基金(批準(zhǔn)號(hào):51775379,51675380)資助的課題.

?通信作者.E-mail:zhangfumin@tju.edu.cn