數(shù)字?jǐn)z像機(jī)的高動態(tài)范圍曝光算法及實(shí)現(xiàn)

楊 鑌,王延長,李培弘,劉濟(jì)林

(浙江大學(xué)信息與通信工程研究所,杭州 310027)

在月球車自主漫游、道路檢測、隧道監(jiān)測、金屬焊接實(shí)時(shí)檢測、智能交通等相關(guān)領(lǐng)域,圖像信息作為最前端的信息輸入直接影響著后端機(jī)器視覺算法執(zhí)行的效果。這些領(lǐng)域?qū)z像機(jī)的動態(tài)范圍和曝光模式提出了苛刻的要求。為此,本文提出了一種基于對數(shù)曲線響應(yīng)功能傳感器的曝光算法,在過曝光情況下,利用分段曝光及對數(shù)曲線響應(yīng)曝光的方法對圖像進(jìn)行處理,算法對感興區(qū)間與自適應(yīng)判別的目標(biāo)區(qū)間進(jìn)行評估,動態(tài)調(diào)節(jié)分段閾值及相關(guān)的電壓參數(shù),從而實(shí)現(xiàn)對過曝區(qū)域的信息復(fù)原,提升攝像系統(tǒng)的動態(tài)范圍。

1 相關(guān)研究

當(dāng)前的曝光算法均基于傳統(tǒng)的傳感器模式。由于絕大多數(shù)的攝像系統(tǒng)并不存在機(jī)械快門,改變曝光時(shí)間長短及模擬/數(shù)字增益成為控制曝光量大小的唯一途徑。一種較為簡單的自動曝光控制方法是評估當(dāng)前圖像的亮度,并將它與用戶自定義的理想指標(biāo)相比較,通過控制電路增大或縮短曝光時(shí)間,增強(qiáng)或減弱模擬/數(shù)字增益值,逐漸逼近理想亮度區(qū)間[1],這類算法對過曝圖像或者過暗圖像的曝光控制結(jié)果會顯得過暗或過亮。另一些比較普遍的曝光算法即通過研究不同光照條件下的亮度與曝光值之間的關(guān)系來進(jìn)行曝光控制[2-5],或?qū)D像分為幾個(gè)不同權(quán)值區(qū)域[6-7]進(jìn)行曝光評估,這些算法依然受到來自傳感器的硬件限制。

為了克服單幀圖像動態(tài)范圍的限制,一類基于多曝光融合進(jìn)行動態(tài)范圍增強(qiáng)的相關(guān)算法開始應(yīng)用。Goshtasby[8]對同一場景攝取不同曝光參數(shù)下的多副圖像,對圖像進(jìn)行分塊,求取圖像序列中單幀圖像每個(gè)圖像塊的信息熵,并將擁有最大信息量的圖像塊保存下來,合并成新的場景圖像。Szeliski[9]通過對一系列不同曝光參數(shù)圖像的相同位置像素求平均,再利用直方圖均衡將平均圖像映射到新的強(qiáng)度上從而增大單幀圖像的動態(tài)范圍。這類方法規(guī)避了單曝光參數(shù)下攝像系統(tǒng)在圖像動態(tài)范圍上的缺陷,通過多曝光圖像的拼接從而獲得對比細(xì)節(jié)豐富的圖像,大大提高了圖像的動態(tài)范圍,對于沒有實(shí)時(shí)性要求的靜態(tài)圖像系統(tǒng),該方法效果較好,但對于實(shí)時(shí)性需求較高的系統(tǒng)不能滿足要求。

2 對數(shù)曲線響應(yīng)傳感器

2.1 輻射照度響應(yīng)函數(shù)

輻射照度響應(yīng)函數(shù)即相機(jī)接收到的場景光強(qiáng)幅度 L與最終成像的像素亮度值 B相關(guān)聯(lián)的函數(shù)。

傳統(tǒng)傳感器的響應(yīng)函數(shù)如圖1所示[8]。圖像中的單色像素灰度值并非實(shí)際場景中光強(qiáng)的真實(shí)反映,受成像過程中電子元器件各種非線性因素的影響,響應(yīng)函數(shù)呈現(xiàn)出單調(diào)遞增的曲線。這種曲線在數(shù)字處理過程中常被模擬為線性遞增函數(shù)。如圖 2所示。

圖1 相機(jī)響應(yīng)曲線

圖2 輻射響應(yīng)曲線的線性模擬

當(dāng)輻射光強(qiáng) L超出傳感器的量程時(shí),就會呈現(xiàn)出過曝現(xiàn)象。這種約束也極大地限制了圖像的動態(tài)范圍。

2.2 對數(shù)曲線響應(yīng)傳感器原理

對數(shù)曲線響應(yīng)傳感器將輻射響應(yīng)曲線的高亮度區(qū)段近似為對數(shù)函數(shù)曲線,本文利用 Photonfocus公司的 OEM-D1024E CMOS圖像傳感器進(jìn)行實(shí)驗(yàn),其輻射響應(yīng)曲線如圖 3所示[11]。

圖3 對數(shù)曲線響應(yīng)傳感器的輻射響應(yīng)曲線

對數(shù)曲線響應(yīng)傳感器將整個(gè)響應(yīng)過程模擬類對數(shù)曲線,以近似對數(shù)函數(shù)的響應(yīng)方式響應(yīng)光亮信息,并將其轉(zhuǎn)化為有效的電壓信息傳遞給視覺系統(tǒng),從而提高整幅圖像的動態(tài)范圍。

傳感器原理使分段曝光的控制成為可能[11]。圖4給出一種 3段式曝光響應(yīng)曲線。整個(gè)曝光過程分為三段處理：原點(diǎn)至拐點(diǎn) a的線性段、拐點(diǎn) a、b間的低對數(shù)曲線段、拐點(diǎn) b后的高對數(shù)曲線段。線性段主要對應(yīng)低光強(qiáng)區(qū)域,以線性響應(yīng)方式將光強(qiáng)信息轉(zhuǎn)化為電平信息進(jìn)行處理。低對數(shù)曲線段使用了低光強(qiáng)模式,響應(yīng)曲線以對數(shù)曲線形式反饋光強(qiáng)信息,對中等亮度區(qū)域進(jìn)行處理。高對數(shù)曲線段增強(qiáng)了對數(shù)曲線段曝光電平,對高亮像素進(jìn)行廣電轉(zhuǎn)換,保證了原來在線性條件下過曝的區(qū)域復(fù)原了部分細(xì)節(jié)信息。

圖4 三段式輻射響應(yīng)曲線

3 算法流程

算法分為兩個(gè)部分：感興區(qū)間及目標(biāo)區(qū)間的曝光調(diào)整,流程如圖 5所示。

圖5 算法流程圖

(1)感興區(qū)間調(diào)整 區(qū)間的灰度評估和線性曝光調(diào)整;

(2)目標(biāo)區(qū)間調(diào)整 區(qū)間的對比度評估和曲線響應(yīng)曝光,整個(gè)曝光過程涉及兩個(gè)關(guān)鍵參數(shù)：曝光時(shí)段、曝光電平[12]。

3.1 感興區(qū)間與目標(biāo)區(qū)間

由于視覺系統(tǒng)應(yīng)用的范圍極廣,實(shí)際場景復(fù)雜多變,算法需要對所關(guān)注的場景進(jìn)行區(qū)間劃分,對應(yīng)曝光曲線的分段組成。

區(qū)間劃分主要包括兩個(gè)區(qū)間的選擇,感興區(qū)間與目標(biāo)區(qū)間。感興區(qū)間表示視覺系統(tǒng)所最為關(guān)心的區(qū)域,該區(qū)域的圖像細(xì)節(jié)對于整體圖像處理而言權(quán)重系數(shù)最大。對數(shù)曲線響應(yīng)曝光算法的首要任務(wù)是保證感興區(qū)間的細(xì)節(jié)完整度。因而,感興區(qū)間的輻射響應(yīng)曲線應(yīng)盡量呈現(xiàn)線性狀態(tài)。目標(biāo)區(qū)間表征了圖像過曝區(qū)域,該區(qū)域由算法自適應(yīng)計(jì)算,對應(yīng)輻射響應(yīng)曲線中的對數(shù)曲線段。感興區(qū)間的選擇為人工選擇,根據(jù)不同的系統(tǒng)應(yīng)用自定義區(qū)間范圍,以圖 6為例,圖 6為模擬月球表面環(huán)境場景,為看清月球車車身細(xì)節(jié),我們將月球車車身設(shè)置為感興區(qū)間。線性曝光調(diào)整穩(wěn)定后,由于沙土的反光效果而在圖像中形成兩塊過曝區(qū)域,它們將被自動判別為目標(biāo)區(qū)間,并將通過對數(shù)曲線響應(yīng)方式進(jìn)行曝光。

圖6 算法區(qū)域分布圖

為了滿足系統(tǒng)的實(shí)時(shí)性,算法將盡量與可編程器件(FPGA)相融合,并精簡結(jié)構(gòu)。目標(biāo)區(qū)間判定算法如下：

(1)圖像二值化,將圖像中高亮度區(qū)域(灰度值255)與其余區(qū)域分割開;

(2)掃描線種子填充算法[13-14]填充過曝區(qū)域,并統(tǒng)計(jì)運(yùn)算過程中過曝區(qū)域的邊界信息及像素點(diǎn)數(shù)目。

圖像二值化操作在 FPGA流水線中完成,整個(gè)流程附加一個(gè)比較器,由于像素位寬為 8比特,最低位的數(shù)值對圖像內(nèi)容基本沒有影響,系統(tǒng)將最低位映射為與 255的比較輸出。整合方法將使原本在CPU中運(yùn)算的二值化時(shí)間復(fù)雜度由 O(N)降低為O(1)。二值化模塊如圖 7所示。掃描線種子填充是本文算法中唯一在 CPU中處理的模塊,對于一副512×512的圖像,掃描線種子填充算法的時(shí)間成本控制在 20ms以內(nèi)[10],滿足實(shí)時(shí)要求。

圖7 基于FPGA的圖像二值化模塊

感興區(qū)間和目標(biāo)區(qū)間的邊界信息被傳遞給 FPGA,并進(jìn)入圖像評估模塊。

3.2 圖像評估模塊

對于感興區(qū)間的灰度評估將更多的關(guān)注算法復(fù)雜度及實(shí)時(shí)性的需求。由于線性曝光區(qū)域的細(xì)節(jié)保留較為完整,本算法將應(yīng)用基于 FPGA的區(qū)域平均及逼近迭代算法。

區(qū)域平均算法將統(tǒng)計(jì)感興區(qū)間內(nèi)所有的像素點(diǎn)的灰度值,取均值后與閾值區(qū)間相比較,當(dāng)灰度平均值位于設(shè)定閾值區(qū)間內(nèi)時(shí),表明當(dāng)前的線性曝光參數(shù)已滿足系統(tǒng)要求。當(dāng)灰度平均值在閾值區(qū)間外時(shí),將采用迭代迫近法調(diào)整線性曝光參數(shù)(見§3.3)。

灰度平均值的計(jì)算通過可編程邏輯器件(FPGA)中進(jìn)行并行計(jì)算,時(shí)間復(fù)雜度為 O(1),如圖 8所示。條件選擇器的界定參數(shù)包含了感興區(qū)域的邊界信息。

圖8 基于FPGA的灰度評估模塊

當(dāng)感興區(qū)間處于穩(wěn)定曝光狀態(tài)后,將對目標(biāo)區(qū)間進(jìn)行對比度評估。

對比度指的是一幅圖像中明暗區(qū)域最亮的白和最暗的黑之間不同亮度層級的測量。在本算法中,結(jié)合 FPGA的特點(diǎn),提出了一種基于直方圖灰度標(biāo)準(zhǔn)差評估方法。對于大小為 M×N的目標(biāo)區(qū)間 w內(nèi)每個(gè)像素點(diǎn) In,取目標(biāo)區(qū)間內(nèi)的均值：

然后求取目標(biāo)區(qū)間內(nèi)的灰度標(biāo)準(zhǔn)差 GSD(Grayscale Standard Deviation)

將式(3)中根號內(nèi)部展開得到：

由式(4)可知,在進(jìn)行對比度評估過程中可以通過一個(gè)乘法器及一個(gè)累加器在 FPGA中實(shí)現(xiàn)灰度標(biāo)準(zhǔn)差評估模塊,如圖 9所示。條件選擇器的界定參數(shù)包含了過曝區(qū)域的邊界信息。

圖9 基于 FPGA的 GSD評估模塊

由于乘法器的固定延時(shí)在 FPGA流水線的工作模式下對圖像傳輸沒有影響,整個(gè)系統(tǒng)的時(shí)間復(fù)雜度亦等于 O(1)。

3.3 曝光參數(shù)控制模塊

感興區(qū)間的圖像評估完成后,根據(jù)評估結(jié)果進(jìn)行迭代逼近調(diào)整。假設(shè)當(dāng)前的圖像灰度均值,當(dāng)前的曝光參數(shù) Ew,理想狀態(tài)下的圖像灰度值,由于圖像灰度與曝光值在一定程度上近似線性關(guān)系,則目標(biāo)曝光參數(shù) E的公式如下：

對比步進(jìn)法,迭代逼近法周期更短,圖像的狀態(tài)轉(zhuǎn)換能在較少的幀間完成,且所有運(yùn)算僅涉及到乘法器,可以在FPGA中利用硬件資源完成,時(shí)間復(fù)雜度為O(1)。

目標(biāo)區(qū)間的曝光參數(shù)算法將遵循步進(jìn)法進(jìn)行調(diào)整。以三段式曝光為例,主要的曝光參數(shù)包括 T1,T2(曝光時(shí)間段,以曝光時(shí)間 100歸一化),V1,V2(曝光電平,0～20,對應(yīng)的曲線斜率等級)。參數(shù)相互間的的曝光特性曲線如圖 10所示[11]

圖10 對數(shù)曲線傳感器曝光特性曲線

在 T1時(shí)間段內(nèi)以電壓 T1進(jìn)行光電信息轉(zhuǎn)換,在 T2時(shí)間段內(nèi)變換電壓為 V2。

依據(jù)曝光特性曲線及目標(biāo)區(qū)間的圖像評估,算法流程為：

(1)設(shè)置 T1=T2,V1=V2=V,步進(jìn)調(diào)整電壓 V使目標(biāo)區(qū)間灰度均值位于高亮度區(qū)間,記錄當(dāng)前的V值作為最終的 V1值。

(2)設(shè)置 T1=T2,V1=V2=V,步進(jìn)調(diào)整電壓 V使目標(biāo)區(qū)間灰度均值位于低亮度之間,記錄當(dāng)前的V值作為最終的 V2值。

(3)步進(jìn)調(diào)整 T1,使目標(biāo)區(qū)間的 GSD獲得 7個(gè)步進(jìn)單位(14-20)中的區(qū)域最優(yōu)解。記錄 T1。

第 1和第 2階段通過計(jì)算目標(biāo)區(qū)間的灰度均值,在不同的灰度閾值區(qū)間內(nèi)獲取曝光參數(shù)中的V1,V2,閾值區(qū)間保證了目標(biāo)區(qū)間的圖像復(fù)原包含了較大的灰度跨度。第 3階段依據(jù)基于灰度標(biāo)準(zhǔn)差的對比度評估計(jì)算和調(diào)整曝光時(shí)間 T1,將目標(biāo)區(qū)間的灰度進(jìn)行擴(kuò)展,最大化細(xì)節(jié)恢復(fù)的程度。

4 實(shí)驗(yàn)結(jié)果

在明暗對比強(qiáng)烈的場景下獲取了普通曝光與基于對數(shù)曲線響應(yīng)傳感器的高動態(tài)范圍曝光結(jié)果如圖 11所示(我們設(shè)置室內(nèi)區(qū)域?yàn)楦信d區(qū)間)。

圖11(a)為室內(nèi)場景原圖,窗外區(qū)域過曝造成細(xì)節(jié)丟失。將感興區(qū)間設(shè)定為室內(nèi)部分區(qū)域,

算法自動將窗外區(qū)域設(shè)定為目標(biāo)區(qū)間,如圖 11(c)。經(jīng)過對數(shù)曲線響應(yīng)曝光算法,窗外細(xì)節(jié)得到很大程度上的復(fù)原。原圖與對數(shù)曲線響應(yīng)曝光后圖像的灰度直方圖如圖 12所示。

圖11 普通曝光與對數(shù)曲線響應(yīng)曝光結(jié)果

圖12 實(shí)驗(yàn)前后圖像直方圖比較

感興區(qū)間細(xì)節(jié)部分并沒受到影響,處理前后直方圖分布大致相同,而目標(biāo)區(qū)間的直方圖對比度則明顯增強(qiáng),分布更廣,細(xì)節(jié)更豐富。圖像動態(tài)范圍約110 dB,接近傳感器 120 dB極限。

本文算法實(shí)時(shí)性分析如表 1所示(以 512×512圖像為例)。

時(shí)間復(fù)雜度為 O(1)表示算法模塊在 FPGA流水線中完成,無需額外時(shí)間損耗,對于一副 512×512的圖像,除去邏輯損耗,處理速率接近 40幀/s。

本文算法與圖像分區(qū)曝光算法、多曝光圖像拼接算法的性能比較如表 2所示。

表1 算法實(shí)時(shí)性分析

表2 3種自動曝光算法比較

5 結(jié)語

對數(shù)曲線響應(yīng)傳感器的研究尚處于起步階段,本文針對傳感器的特點(diǎn),提出了一種分段性曲線曝光的自動算法,能夠自動評估圖像亮度等級,處理實(shí)際場景中明暗跨度大,逆光強(qiáng)烈等情況,在機(jī)器視覺領(lǐng)域具有廣闊的應(yīng)用前景。同時(shí)算法與可編程邏輯器件緊密融合,通過硬件的并行計(jì)算降低了軟件層次的時(shí)間復(fù)雜度,從而保證前端視覺系統(tǒng)的實(shí)時(shí)性。

[1]Cho M,Lee S G,Nam B D.The Fast Auto-Exposure Algorithm Based on the Numerical Analysis[C]//Proceedings of the SPIE Conference on Sensors,Cameras,and Applications for Digital Photography,1999,3650：93-99.

[2]徐培鳳,李正明,孫俊.基于圖像的自動曝光算法研究[J].光學(xué)儀器,2005(2)：59-61.

[3]楊海濤,常義林,王靜,等.一種基于亮度直方圖的自動曝光控制方法[J].光學(xué)學(xué)報(bào),2007,27(5)：841-847.

[4]Sampat N,Venkataraman S,Yeh T,et al.System Implications of Implementing Auto-Exposure on Consumer Digital Cameras[C]//Proceedings of the SPIE Conference on Sensors,Cameras,and Applications for Digital Photography,1999,3650：100-107.

[5]王雷斌,張愛武,葉澤田,等.一種自適應(yīng)快速曝光控制方法[J].測繪科學(xué),2009,34(2)：115-117.

[6]甘玉泉,高偉.一種基于圖像分區(qū)的自動曝光算法[J].微計(jì)算機(jī)信息,2009,25(12)：303-304.

[7]梁佳毅,洪志良.適用于大動態(tài)范圍場景的自動曝光控制算法[J].光電工程,2008,35(5)：89-92.

[8]Goshtasby A.Fusion of Multi-Exposure Images[J].Image and Vision Computing,2005,23(6)：611-618.

[9]Szeliski R.System and Process for Improving the Uniformity of the Exposure and Tone of a Digital Image[P].US,6687400：2004-02-03.

[10]Grossberg M D,Nayar SK.What is the Space of Camera Response Functions[C]//Proceedings of IEEE Computer Vision and Pattern Recognition Wisconsin,USA：IEEE,2003：602-609.

[11]Photonfocus A G.LinLog-Principle and Practical Example[R].Datasheet,2007,2：21.

[12]Harton A V.A High Dynamic Range CMOS Image Sensor with Pixel Level ADC and In-Situ Image Enhancement[J].Proc SPIEIST Electronic Imaging,2005,5677：67-77.

[13]Pal N R,Pal S K.A Review on Image Segmentation Techniques[J].Pattern Recognition,1993,26(9)：1277-1294.

[14]郭文平,龍幫強(qiáng).掃描線種子填充算法的改進(jìn)[J].天津工業(yè)大學(xué)學(xué)報(bào),2008,27(2)：48-52.