簡(jiǎn)易偏振成像系統(tǒng)及應(yīng)用

楊敬鈺，徐 吉，李 坤，胡浩豐，郭 鑫

(1.天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072；2.天津大學(xué)智能與計(jì)算學(xué)部，天津 300350；3.天津大學(xué)精密儀器與光電子工程學(xué)院，天津 300072)

偏振圖像與普通彩色圖像相比，可以獲取場(chǎng)景中目標(biāo)物體光波的不同偏振態(tài)，含有更豐富的信息，可以用于金屬材質(zhì)的強(qiáng)反射自由曲面的測(cè)量、軍事上的目標(biāo)識(shí)別與目標(biāo)探測(cè)、導(dǎo)航定位、大氣及云層探測(cè)以及環(huán)境惡劣條件下如低照度或霧霾天氣下的圖像增強(qiáng)等.且由線偏振片與傳統(tǒng)彩色相機(jī)構(gòu)成的偏振成像系統(tǒng)并不會(huì)影響對(duì)場(chǎng)景顏色的采集，偏振信息可以很好地用于圖像處理領(lǐng)域.

利用光波中攜帶的偏振信息可以有效增強(qiáng)圖像場(chǎng)景信息，得到更多的場(chǎng)景細(xì)節(jié)信息，因此近年來(lái)偏振成像受到廣泛關(guān)注[1-2].傳統(tǒng)的偏振捕捉系統(tǒng)由單目彩色相機(jī)前放置可旋轉(zhuǎn)的偏振片，通過(guò)手動(dòng)旋轉(zhuǎn)偏振片來(lái)獲取場(chǎng)景的不同偏振態(tài)[3]，該方法每次采集場(chǎng)景時(shí)都要手動(dòng)調(diào)整偏振片的位置，容易造成鏡頭抖動(dòng)，并且人工旋轉(zhuǎn)偏振片不僅拍攝不便，其偏振角度的精度也不可控，同時(shí)這種采集方法只適合采集靜態(tài)場(chǎng)景.Hu等[4]利用單目相機(jī)、線性偏振器及四分之一波片搭建偏振圖像采集系統(tǒng)，實(shí)現(xiàn)水下渾濁條件下的圖像復(fù)原.但是他們的系統(tǒng)需要主動(dòng)光照明，且對(duì)拍攝條件有很高要求，在實(shí)際中很難應(yīng)用.Zhang等[5]設(shè)計(jì)制作了偏振片陣列，每 2×2單元的偏振方向設(shè)置為 0°、45°、90°、135°，將其與相機(jī)的 CCD 集成在一起，通過(guò)采集單張圖像可以記錄場(chǎng)景的不同偏振態(tài)，滿足了實(shí)時(shí)性要求，但該制作工藝十分復(fù)雜，且精度不能保證.而集成好的商用偏振相機(jī)，價(jià)格高昂.

本文提出了一種簡(jiǎn)易廉價(jià)的偏振成像系統(tǒng)，該系統(tǒng)由4個(gè)普通彩色相機(jī)組成，通過(guò)同步線控裝置可以同時(shí)捕捉4個(gè)偏振態(tài)下的場(chǎng)景圖片，達(dá)到對(duì)系統(tǒng)實(shí)時(shí)性的要求，且鏡頭、偏振片固定，可以保證系統(tǒng)的穩(wěn)定性.由于光線經(jīng)過(guò)透鏡時(shí)會(huì)發(fā)生折射，且不同偏振片角度對(duì)光線的折射能力不同，同一束光線通過(guò)不同的角度的偏振片會(huì)落在不同的像素，因此傳統(tǒng)的多視角幾何校正方法[6-7]并不適用于本系統(tǒng)的四視角對(duì)齊.本文采用多分辨率變分光流方法，利用梯度恒常模型對(duì)光照不敏感的特性，在光流數(shù)據(jù)項(xiàng)引入梯度，由光流結(jié)果對(duì)齊四視角圖像.利用光的斯托克斯矢量從偏振相機(jī)系統(tǒng)中捕獲的圖像中提取偏振信息，該信息可用于圖像增強(qiáng).為了測(cè)量系統(tǒng)的性能，本文使用提出的偏振系統(tǒng)采集光線暗淡條件下的場(chǎng)景圖像，結(jié)合暗通道方法和偏振模型恢復(fù)低照度圖像，在捕獲的圖像極暗處，偏振信息依然可以恢復(fù)圖像細(xì)節(jié)，與直接由彩色相機(jī)系統(tǒng)捕捉的圖像的恢復(fù)結(jié)果相比，取得了更好的恢復(fù)效果.

1 偏振相機(jī)系統(tǒng)

1.1 系統(tǒng)搭建

為了能夠同時(shí)采集場(chǎng)景的不同偏振態(tài)，選擇搭建由 2×2相機(jī)陣列組成的四目偏振相機(jī)系統(tǒng)，如圖1(a)所示，4個(gè)相機(jī)由特質(zhì)金屬架固定在同一個(gè)平面，為了保證 4個(gè)相機(jī)的光學(xué)結(jié)構(gòu)一致，使用相同型號(hào)的相機(jī)，并調(diào)整相機(jī)參數(shù)如曝光度、對(duì)比度、焦距等，以保證捕捉到的 4幅圖像沒(méi)有明顯的差異性.圖1(b)為本系統(tǒng)使用的偏振片，其可以固定在相機(jī)的鏡頭前，既保證了系統(tǒng)的穩(wěn)定性，也杜絕了由偏振片本身反光引起的場(chǎng)景誤差.設(shè)置 4個(gè)相機(jī)的偏振方向分別為 0°、45°、90°、135°.為了相機(jī)之間能有較大的重合視角，設(shè)置相機(jī)之間的基線距離為 35mm.捕捉時(shí)采用電腦遠(yuǎn)程控制，以減少由于手動(dòng)引起的誤差.

圖1 偏振相機(jī)系統(tǒng)Fig.1 Polarization camera system

1.2 視角對(duì)齊

幾何校正是多視角相機(jī)常用的對(duì)齊方法，其根據(jù)拍攝時(shí)采集的標(biāo)定板數(shù)據(jù)，獲得相機(jī)參數(shù)，經(jīng)過(guò)矩陣變換來(lái)實(shí)現(xiàn)多視角圖像的對(duì)齊.但是對(duì)于帶有偏振片的相機(jī)來(lái)說(shuō)，光線進(jìn)入相機(jī)前會(huì)在偏振片處發(fā)生折射，不同的偏振片角度對(duì)光的折射效果不同.因此，對(duì)同一個(gè)相機(jī)采集不同的偏振片角度圖像，其像素也不是準(zhǔn)確對(duì)齊的.為了顯示得更明顯，近距離拍攝小物體，其結(jié)果如圖 2所示.橫線為第 66行，縱線為344列，由圖2可以看出在不同偏振角下即使是同一個(gè)相機(jī)拍出的場(chǎng)景也有很大偏移.且相機(jī)校準(zhǔn)還存在算法本身的誤差，由此產(chǎn)生的結(jié)果其精度并不能達(dá)到系統(tǒng)要求.

圖2 同一相機(jī)不同視角的偏振圖像Fig.2 Polarization images of the same camera from different perspectives

光流的概念最初是由 Gibson于 1950年首先提出來(lái)的.主要用于描述相鄰幀之間像素的“移動(dòng)”，也稱為光流場(chǎng)，其反映了圖像上每個(gè)像素點(diǎn)灰度的變化趨勢(shì).光流算法根據(jù)約束條件的不同分為 4類：基于梯度的光流計(jì)算方法[8-9]、基于特征或區(qū)域的光流計(jì)算方法[10]、基于能量的光流計(jì)算方法[11]以及基于相位光流計(jì)算方法[12].本文采用多分辨率變分光流算法進(jìn)行求解.

假設(shè)相鄰兩幀之間像素位移很小，且對(duì)應(yīng)的像素點(diǎn)的灰度值保持恒定.設(shè)t時(shí)刻的光流圖像為I(x，y，t)，經(jīng)過(guò)時(shí)間間隔 dt，像素點(diǎn)(x，y)移動(dòng)到(x+dx，y+dy)處，由灰度不變假設(shè)，有

根據(jù)泰勒展開，式(1)可以寫為

由式(1)、式(2)可以得到

對(duì)式(3)兩邊同時(shí)除以t?，并使t?→0，得

式中u和v表示圖像點(diǎn)的運(yùn)動(dòng)速度.

如果僅僅依靠灰度不變假設(shè)去求解光流，亮度發(fā)生的輕微變化也會(huì)對(duì)光流估計(jì)的結(jié)果造成一定的影響，為了增強(qiáng)其對(duì)于亮度變化的魯棒性，引入梯度恒常假設(shè)，其松弛了比較強(qiáng)的灰度不變假設(shè)，允許在灰度上出現(xiàn)比較小的變化，表達(dá)式為

式中 ? =(?x,?v)T，表示對(duì)x、y的偏導(dǎo)數(shù).

Brox光流能量函數(shù)的數(shù)據(jù)項(xiàng)就是由這兩部分組成，可表示為

式中w=(u,v,1)T；γ代表權(quán)重值.

前面兩項(xiàng)的假設(shè)都是在局部估計(jì)像素的運(yùn)動(dòng)，而忽略了相鄰像素之間的相互作用.所以，一旦梯度在某處消失，或者只能估計(jì)到梯度在法線方向上的流動(dòng)，就會(huì)造成問(wèn)題，所以這里引入平滑性去約束這個(gè)問(wèn)題.平滑項(xiàng)可以表示成一個(gè)能量函數(shù)

式中 ?3=(?x,?v,?z)T.

總的能量函數(shù)就可以表示成數(shù)據(jù)項(xiàng)、平滑項(xiàng)的加權(quán)和形式為

最小化E(u,v)是一個(gè)變分分問(wèn)題，根據(jù)變分理論，需要去求解歐拉-拉格朗日方程.為了找到全局最小值，Brox算法用到了多尺度的思想，構(gòu)建了尺度金字塔，用在較大尺度上求出的解來(lái)做小尺度上的初始化，來(lái)達(dá)到解從粗糙到精細(xì)的過(guò)程.

綜上，本文采用多分辨率變分光流方法，利用梯度恒常模型對(duì)光照不敏感的特性，在光流數(shù)據(jù)項(xiàng)引入梯度，從而將其他三視角的圖片與基準(zhǔn)視角圖片對(duì)齊，得到同一視角的4張不同偏振方向的圖像.

2 實(shí)驗(yàn)結(jié)果與分析

光流結(jié)果如圖 3所示.圖 3(a)為相機(jī)的視角1(左上角)的偏振圖像，圖 3(b)～(d)分別為其他 3個(gè)視角的光流warp結(jié)果，圖3(e)、(f)分別為圖3(b)向圖 3(a)對(duì)齊后的 UV分量的結(jié)果.由圖 3可以觀察到光流方法可以較準(zhǔn)確地對(duì)齊4個(gè)視角的圖像，且前景細(xì)節(jié)處理較好.4幅偏振圖像保存了場(chǎng)景的不同偏振態(tài)信息，可以看到4幅圖像中有由偏振片角度不同引起的光線變化.本系統(tǒng)將相機(jī)固定在特制的相機(jī)架子上，且偏振片可固定在鏡頭前部，因此系統(tǒng)的穩(wěn)定性很好，不會(huì)產(chǎn)生由于人的操作造成鏡頭抖動(dòng)或引起偏振片角度改變等誤差.降低拍攝成本的同時(shí)可以保證精確度.相機(jī)可以通過(guò)線控同步采集室內(nèi)、室外的場(chǎng)景，對(duì)一些要求同步的采集如視頻采集等可以提供支持.

圖3 光流及warp結(jié)果圖像Fig.3 Optical flow and warp result image

3 系統(tǒng)應(yīng)用

3.1 低照度下圖像復(fù)原

為了驗(yàn)證本文系統(tǒng)的有效性，本文使用提出的偏振相機(jī)系統(tǒng)采集了弱光照條件下的4幅偏振圖像，利用光流方法對(duì)齊四視角圖像，并求解 stokes矢量，利用偏振信息結(jié)合暗通道先驗(yàn)[13-14]去霧算法，實(shí)現(xiàn)對(duì)低照度圖像的增強(qiáng).圖4是整個(gè)算法的流程.

Stokes計(jì)算式為

取圓偏光V＝0，結(jié)合 Zhang等[15]偏振信息的提取方法與 Dong等[16]提出的反轉(zhuǎn)后的夜間弱光條件下拍攝的圖像，其結(jié)果與白天有霧條件下拍攝的圖像非常相似.對(duì)圖像做如下處理.

將得到的低照度圖像反轉(zhuǎn).

式中L表示處理后的低照度圖像，c∈{R，B，G}.

根據(jù)暗通道規(guī)律，無(wú)霧的自然圖像的非天空區(qū)域，像素的某一個(gè)顏色通道總會(huì)有很低的值，即圖像的暗通道圖是像素值接近 0的圖像.由此，可得到投射率公式為

式中：Ω(x)為像素y的鄰域；A為大氣光.實(shí)驗(yàn)結(jié)果如圖5所示，圖5(b)展示了偏振的透射率圖像.

3.2 結(jié)果分析

如圖 5(a)所示，傳統(tǒng)的相機(jī)系統(tǒng)在夜間光照較低時(shí)，捕捉的圖像質(zhì)量較低，大部分圖像細(xì)節(jié)難以辨識(shí).偏振圖像攜帶了場(chǎng)景除光強(qiáng)外其他的光線信息，有利于恢復(fù)圖像的對(duì)比度及局部細(xì)節(jié).圖 5(c)為本文提出的系統(tǒng)恢復(fù)的結(jié)果，圖 5(d)為彩色圖像恢復(fù)的結(jié)果.由圖 5可以看到，直接由彩色圖像恢復(fù)的結(jié)果，顏色失真嚴(yán)重，如窗簾處整體偏暗.而偏振圖可以很好地恢復(fù)窗簾的顏色.

此外，圖 5中左右兩側(cè)的椅子由于顏色較暗，與背景顏色相近，很難區(qū)分.圖 5(e)、(f)(圖 5(c)、(d)的白色框放大圖像)分別展示了偏振圖像與彩色圖像中使用暗通道先驗(yàn)方法，左側(cè)椅子的恢復(fù)情況.可以看出，圖 5(f)彩色圖像無(wú)法恢復(fù)椅子，而偏振圖像根據(jù)光的信息可以恢復(fù)該細(xì)節(jié).

圖5 室內(nèi)低照度下圖像恢復(fù)結(jié)果Fig.5 Result of image restoration under indoor low illumination

為了驗(yàn)證實(shí)驗(yàn)方法的有效性，采集了室外數(shù)據(jù)，如圖 6所示.由偏振的恢復(fù)結(jié)果圖 6(c)可以觀察到背景處的車輪廓，且圖像噪聲較小.

對(duì)比度是指投影圖像最亮和最暗之間的區(qū)域之間的比率，一般來(lái)說(shuō)對(duì)比度越大，圖像越清晰醒目.實(shí)驗(yàn)中取中心像素灰度值與周圍 8近鄰像素灰度值之差的平方之和，來(lái)計(jì)算對(duì)比度.實(shí)驗(yàn)結(jié)果如表 1所示，本系統(tǒng)恢復(fù)的圖像對(duì)比度值更大，這與視覺(jué)效果相一致.

圖6 室外低照度下圖像恢復(fù)結(jié)果Fig.6 Result of image restoration under outdoor low illumination

表1 圖像對(duì)比度計(jì)算Tab.1 Computation of the image contrast

4 結(jié) 語(yǔ)

本文提出了一個(gè) 2×2的偏振相機(jī)系統(tǒng)，由相機(jī)固定架、彩色相機(jī)、可固定偏振片組成，該系統(tǒng)使用光流方法保證各偏振角圖像的同步對(duì)齊采集.利用斯托克斯矢量求解場(chǎng)景的偏振信息，可用于圖像增強(qiáng).系統(tǒng)成本低，且方法簡(jiǎn)單.由低照度下的圖像恢復(fù)實(shí)驗(yàn)可以證明本文提出系統(tǒng)的有效性.