海底主動(dòng)光學(xué)探測(cè)影像亮度校正與色彩恢復(fù)

劉镕滔，柳稼航

（南京航空航天大學(xué) 航天學(xué)院, 江蘇 南京 210016）

1 引 言

海洋蘊(yùn)含豐富的礦產(chǎn)資源，開(kāi)發(fā)和利用海洋資源是解決人類(lèi)資源短缺的重要途徑。對(duì)于大洋海底探測(cè)，自然光線(xiàn)難以到達(dá)探測(cè)深度，光學(xué)成像主要依靠主動(dòng)點(diǎn)光源進(jìn)行照明。由于在水體中，光的衰減與光程呈指數(shù)關(guān)系增長(zhǎng)，且不同波長(zhǎng)衰減程度不同，因而在點(diǎn)光源視場(chǎng)的任意截面上照度不同。水體對(duì)光的散射特性同樣會(huì)造成光學(xué)圖像模糊、對(duì)比度低等問(wèn)題[1]，不但影響對(duì)海底真實(shí)環(huán)境的認(rèn)知，還影響圖像信息的解譯。因此，水下光學(xué)圖像質(zhì)量改善與恢復(fù)具有重要應(yīng)用價(jià)值。

近年來(lái)，隨著海洋探測(cè)和開(kāi)發(fā)不斷深入，對(duì)水下光學(xué)圖像質(zhì)量改善和復(fù)原的研究逐漸成為熱點(diǎn)，并取得一系列研究成果。根據(jù)方法機(jī)理的不同，水下光學(xué)圖像恢復(fù)可以分為非物理模型方法和物理模型方法。非物理模型方法針對(duì)水下圖像的特點(diǎn)，利用經(jīng)典空域法和頻域法來(lái)進(jìn)行水下圖像增強(qiáng)[2]。Henke 等基于灰度世界假設(shè)條件，分離水下圖像的前景和背景，采用白平衡算法對(duì)水下圖像的前景進(jìn)行處理[3]。Fu 等基于Retinex 方法通過(guò)不同策略增強(qiáng)分離的光照分量，進(jìn)而改善水下圖像的清晰度[4]。楊衛(wèi)中等采用對(duì)比度受限自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization, CLAHE)方法解決圖像對(duì)比度差的問(wèn)題[5]。Xiang 等[6]提出了一種紅通道加權(quán)補(bǔ)償與伽馬校正（Red channel Weighted Compensation and Gamma Correction model，RWCGC）算法，利用通道間的關(guān)系補(bǔ)償紅通道后再對(duì)圖像進(jìn)行直方圖歸一化，糾正圖像偏色問(wèn)題并提高對(duì)比度。

物理模型方法主要依據(jù)光在水體中的傳播和衰減機(jī)理建模，通過(guò)成像模型來(lái)恢復(fù)觀(guān)測(cè)圖像的原本面貌。鑒于暗通道先驗(yàn)法[7]在大氣去霧方面的顯著效果，被學(xué)者廣泛應(yīng)用于水下圖像去散射。Chiang 等結(jié)合水下光選擇性衰減的特點(diǎn)，根據(jù)暗通道先驗(yàn)去霧算法提出了水下圖像復(fù)原方法[8]。Adrian Galdran 等針對(duì)水下紅通道衰減快的特點(diǎn)，以暗通道先驗(yàn)為基礎(chǔ)，提出紅通道先驗(yàn)(Red Channel Prior, RCP)方法，取得良好的效果[9]。Xie 等認(rèn)為背景光估計(jì)是否精確直接影響去散射的效果，為避免圖像中白色像素或亮像素的干擾，利用物體前景與背景水體的非相關(guān)性將二者分開(kāi)，對(duì)背景水體進(jìn)行背景光估計(jì)[10]。王一斌等提出自適應(yīng)估計(jì)圖像背景光與非局部先驗(yàn)相結(jié)合的方法有效進(jìn)行單幅水下圖像復(fù)原[11]。

非物理模型和物理模型法雖然針對(duì)一些應(yīng)用場(chǎng)景取得了較好的效果，但依然存在一些亟待解決的問(wèn)題。非物理模型法未考慮水下成像機(jī)理，圖像處理后易出現(xiàn)鬼影、不自然或過(guò)度補(bǔ)償?shù)膯?wèn)題。物理模型法對(duì)背景光估計(jì)要求高，而背景光估計(jì)方法多針對(duì)特殊的應(yīng)用場(chǎng)景，實(shí)用性較差，同時(shí)仍需要非物理模型方法進(jìn)行顏色校正。隨著深度學(xué)習(xí)的廣泛應(yīng)用，學(xué)者們嘗試將深度網(wǎng)絡(luò)模型用于水下圖像處理。林森等利用多輸入融合的對(duì)抗網(wǎng)絡(luò)和生成網(wǎng)絡(luò)的編解碼結(jié)構(gòu)進(jìn)行水下圖像增強(qiáng)[12]。Li 等利用水下場(chǎng)景先驗(yàn)信息合成的水下圖像數(shù)據(jù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(Underwater Convolutional Neural Network, UWCNN)用于增強(qiáng)水下圖像[13]。深度學(xué)習(xí)方法對(duì)水下圖像樣本數(shù)據(jù)量和質(zhì)量要求高，在處理特定問(wèn)題時(shí)無(wú)法獲得可靠的同場(chǎng)景自然環(huán)境光下的圖像。同時(shí)，鮮有針對(duì)水下圖像照度不均勻問(wèn)題提出解決辦法。

本文針對(duì)水下光學(xué)成像的特點(diǎn)，基于海水的光輻射傳輸衰減特性，采用相對(duì)輻射校正原理來(lái)剝離并補(bǔ)償光程差引起的衰減，然后對(duì)校正后的圖像進(jìn)行增強(qiáng)處理，以提升圖像質(zhì)量。同時(shí)，采用大洋探測(cè)現(xiàn)場(chǎng)采集的真實(shí)圖像進(jìn)行實(shí)驗(yàn)，并與近年來(lái)提出的幾種主要方法進(jìn)行了對(duì)比和分析，經(jīng)主、客觀(guān)評(píng)價(jià)，驗(yàn)證了本文算法的有效性和可行性。

2 水下主動(dòng)光源光學(xué)成像機(jī)理及像質(zhì)退化模型

2.1 理想點(diǎn)光源照明特性

由于海水的強(qiáng)衰減作用，以太陽(yáng)作為光源的自然光線(xiàn)在海水中的傳輸距離很短[14]。因此，大洋海底光學(xué)成像探測(cè)采用主動(dòng)光源進(jìn)行照明。由于點(diǎn)光源具有成本優(yōu)勢(shì)，應(yīng)用上多采用其作為照明光源進(jìn)行水下主動(dòng)光學(xué)成像探測(cè)[15]。

圖1 是水下理想點(diǎn)光源垂直照射時(shí)垂直中心光線(xiàn)截面上的光照強(qiáng)度分布示意圖。由于水體對(duì)光強(qiáng)的衰減作用，即便是理想點(diǎn)光源也因各光線(xiàn)的光程不同，導(dǎo)致到達(dá)探測(cè)截面的光強(qiáng)不同。光照中心光程最短，所以海水對(duì)中心光線(xiàn)衰減的程度最小。在距離光照中心半徑為r的點(diǎn)上，由于入射光光程比中心光線(xiàn)的光程更長(zhǎng)，因而衰減程度更大，亮度更暗(圖1(a))。當(dāng)海底為平整、均一的表面時(shí)，這一過(guò)程的結(jié)果可由圖1(b)表示。亮度在光照中心最大，并沿中心向外呈輻射狀連續(xù)、快速降低。由于入射照度的不同，必然導(dǎo)致觀(guān)測(cè)表面圖像的亮度不同。而這種不同并不是由于觀(guān)測(cè)目標(biāo)自身反射率的不同導(dǎo)致的，而是由于海水對(duì)不同光程的光衰減程度不同造成的。同時(shí)，由于海水的選擇性吸收作用，最終導(dǎo)致觀(guān)測(cè)圖像的亮度和色彩產(chǎn)生畸變。

圖1 點(diǎn)光源垂直照射下的照度相對(duì)分布示意圖。（a）理想點(diǎn)光源垂直照射示意圖；（b）光照強(qiáng)度衰減示意圖Fig. 1 Relative distribution of illuminance under vertical illumination of the point light source . (a) Schematic of vertical illumination of the ideal point light source and (b) schematic of light intensity attenuation

理想的點(diǎn)光源，滿(mǎn)足各向同性特點(diǎn)，可以利用圖1 所示的物理機(jī)理計(jì)算出各處的衰減量，進(jìn)而進(jìn)行亮度補(bǔ)償，但實(shí)際應(yīng)用中的光源并不滿(mǎn)足這一條件。同時(shí)，相機(jī)等硬件系統(tǒng)和安裝參數(shù)未知，限制了物理模型的實(shí)際應(yīng)用。

2.2 主動(dòng)照明光學(xué)成像模型

由于海底勘探的特殊性，主動(dòng)光源中心指向與相機(jī)光軸指向一致，且大致垂直指向海底，其工作模式如圖2 所示。

圖2 海底主動(dòng)光學(xué)成像示意圖Fig. 2 Schematic diagram of seabed active optical imaging

圖2 中，Ls為光源中心光線(xiàn)，其與海底的交點(diǎn)為Os（ 這里稱(chēng)為光照中心），Lc是相機(jī)的光軸指向，Oc為L(zhǎng)c與海底的交點(diǎn)（這里稱(chēng)為成像中心）。假定光源發(fā)出的光為各向同性，且海水均勻，則光源發(fā)出的各個(gè)方向的光到達(dá)海底的衰減程度僅與光程有關(guān)。這一過(guò)程反映為海底被照亮區(qū)域，其亮度從光照中心Os向周?chē)瘦椛錉顪p弱，并快速衰減到難以被探測(cè)到的程度。當(dāng)Ls垂直海底照射時(shí)，光照衰減呈圓形逐次增大；當(dāng)Ls非垂直照射時(shí)，光照衰減呈橢圓或其它形式逐次增大。點(diǎn)光源發(fā)出的光經(jīng)海水衰減后到達(dá)海底，被海底反射后上行至相機(jī)被接收。同時(shí)，由于海水的散射作用，部分后向散射光也被相機(jī)接收。

事實(shí)上，對(duì)于勻質(zhì)的海底表面，在近垂直觀(guān)測(cè)時(shí)可以近似為朗伯面。相機(jī)接收到的能量主要來(lái)源于兩部分，一部分是海底反射的上行輻射Eref；另一部分是海水前向散射（即環(huán)境光）Eenv，成像模型可由式(1)簡(jiǎn)化表示。

不同像素亮度主要取決于對(duì)應(yīng)海底地元入射光的強(qiáng)度和該地元的反射率，當(dāng)入射光強(qiáng)相同時(shí)，圖像的亮度就直接反映地物自身的反射特性。但由于點(diǎn)光源的照明特性和海水的強(qiáng)衰減作用，使得觀(guān)測(cè)場(chǎng)景內(nèi)不同位置上的入射光強(qiáng)度不同，進(jìn)而導(dǎo)致對(duì)應(yīng)位置上的圖像亮度失真。當(dāng)海底表面與成像系統(tǒng)（光源和相機(jī)）的觀(guān)測(cè)距離不變時(shí)，圖像上每個(gè)位置的總光程差將保持不變，海水對(duì)圖像亮度造成的衰減量也基本保持不變。

2.3 水下光學(xué)圖像輻射衰減機(jī)理

海底反射亮度是決定相機(jī)入瞳能量的主要因素。但由于海水衰減作用，即使海底物質(zhì)比較均一（即反射率相同），同樣會(huì)導(dǎo)致相機(jī)采集到的圖像在不同圖像位置上亮度不同。這種并非海底目標(biāo)自身輻射特性造成的輻射畸變是影響圖像質(zhì)量的重要因素，須首先剝離。

圖3 所示是大洋海底探測(cè)的實(shí)際光學(xué)影像。盡管海底比較均勻，基本是由砂礫組成。但由于相機(jī)光軸與光源指向不同，海浪等多種因素耦合作用下，不但最大亮度不在圖像中心，而且衰減程度也不以最大亮度為中心呈規(guī)則的圓形分布。造成這種現(xiàn)象的主要原因是由于光照中心Os與成像中心Oc不重合，光照中心Os偏向圖像右上角，導(dǎo)致圖像上最亮的地方并不在圖像的中心，右上部分圖像亮度比其它地方更亮。

圖3 點(diǎn)光源照明下的均勻海底光學(xué)圖像Fig. 3 Underwater optical image of a uniform seafloor illuminated by the point light source

上述現(xiàn)象表明，由于相機(jī)視場(chǎng)內(nèi)海底表面各處接收到的照度本身不同，即使是均勻表面也會(huì)導(dǎo)致其圖像亮度不同，造成輻射畸變。這是造成水下光學(xué)圖像亮度畸變的主要原因。同時(shí)，由于海水對(duì)光的衰減與波長(zhǎng)有關(guān)，短波散射相對(duì)較強(qiáng)而吸收相對(duì)較弱，長(zhǎng)波散射相對(duì)較弱但吸收較強(qiáng)，導(dǎo)致水下光學(xué)圖像的色彩一般呈藍(lán)綠色調(diào)，這是造成水下光學(xué)圖像顏色畸變的主要因素。由于亮度畸變與色彩畸變機(jī)理不同，本文從亮度補(bǔ)償和色彩恢復(fù)兩個(gè)方面對(duì)水下退化圖像進(jìn)行增強(qiáng)。此外，由于實(shí)際應(yīng)用中光源并不完全滿(mǎn)足理想光源的條件，且相機(jī)及系統(tǒng)參數(shù)、海水衰減系數(shù)等未知，難以利用物理模型恢復(fù)亮度。故本文將從圖像自身特點(diǎn)入手，進(jìn)行圖像亮度和色彩恢復(fù)。

3 基于相對(duì)輻射校正的亮度補(bǔ)償

3.1 海底探測(cè)光學(xué)成像特點(diǎn)

海底探測(cè)光學(xué)成像為典型的點(diǎn)光源主動(dòng)照明成像。當(dāng)光源為理想點(diǎn)光源，且光源中心指向與相機(jī)光軸重合且嚴(yán)格標(biāo)定、成像系統(tǒng)與海底準(zhǔn)確距離和海水光學(xué)參數(shù)已知時(shí)，可以通過(guò)物理模型進(jìn)行亮度校正和色彩恢復(fù)。

事實(shí)上，海底形貌和環(huán)境探測(cè)對(duì)成像探測(cè)系統(tǒng)并不進(jìn)行嚴(yán)格的標(biāo)定和高精度的裝配，光源、相機(jī)及海水等相關(guān)參數(shù)未知，再加上海浪等環(huán)境作用，實(shí)際成像狀態(tài)與理想物理狀態(tài)之間存在較大差距，物理模型無(wú)法使用。這就需要對(duì)光源及成像系統(tǒng)無(wú)特殊要求，且能適應(yīng)動(dòng)態(tài)應(yīng)用環(huán)境的處理方法來(lái)解決實(shí)際應(yīng)用問(wèn)題。基于此，本文提出基于相對(duì)輻射校正的思想對(duì)海底探測(cè)圖像的亮度進(jìn)行補(bǔ)償。

3.2 亮度補(bǔ)償原理及參數(shù)計(jì)算

電荷耦合器件（CCD）是成像系統(tǒng)的重要元件，主要用于光/電轉(zhuǎn)換。由于制造等原因，CCD 器件的每個(gè)單元對(duì)相同輸入的響應(yīng)不一致，致使被探測(cè)對(duì)象的圖像亮度失真。為了消除這種因響應(yīng)不一致造成的輻射畸變，遙感成像探測(cè)中主要采用相對(duì)輻射校正來(lái)進(jìn)行處理。其基本思想是利用成像設(shè)備對(duì)相同光照條件下的均勻輻射場(chǎng)成像，由于每個(gè)像素上的輻照度相同、反射率相同，那么造成圖像上各像素值不同的原因可以等效為成像系統(tǒng)在每個(gè)CCD 單元上的響應(yīng)不同。當(dāng)給每個(gè)像素乘以特定系數(shù)或者加以特定偏置，就可以使每個(gè)像素在輸入相同時(shí)產(chǎn)生相同的輸出，實(shí)現(xiàn)各像素響應(yīng)一致，達(dá)到相對(duì)輻射校正的目的[16]。這種方式不但可以消除系統(tǒng)響應(yīng)不一致的問(wèn)題，還可以消除大氣輻射傳輸造成的誤差，是遙感觀(guān)測(cè)最為重要的定標(biāo)方式之一。

海底光學(xué)探測(cè)圖像各通道的亮度由海底自身反射率、入射照度和總光程決定。假定成像相機(jī)的CCD 響應(yīng)是一致的，當(dāng)海底物質(zhì)均一時(shí)每一地元反射率相同，此時(shí)像元的輸出亮度就決定于入射照度和總光程。如圖1 所示，點(diǎn)光源照明其輻射呈放射狀，海底被照亮區(qū)域的相對(duì)亮度與其到光照中心Os的距離有關(guān)。由于每一地元到光照中心的距離不同，進(jìn)而導(dǎo)致圖像上不同像素的亮度不同。對(duì)水下圖像輻射校正的目的是剝離海水對(duì)光線(xiàn)衰減造成的非均勻性輻射畸變，這一過(guò)程可以等效為相同的入射輻射而成像系統(tǒng)的器件單元響應(yīng)不同，因而可以采用相對(duì)輻射校正原理來(lái)消除圖像上不同位置上的亮度畸變。那么，只要估計(jì)出每個(gè)像元衰減系數(shù)或者衰減量，再利用這些系數(shù)或者衰減量就可以實(shí)現(xiàn)各像素的相對(duì)亮度補(bǔ)償。

(1) 參考圖像選擇

相對(duì)輻射校正需要表面反射較為均一且地形平坦的區(qū)域作為輻射校正場(chǎng)。在大洋探測(cè)中可以選擇同一海域中海底相對(duì)均勻、平整區(qū)域的圖像作為參考。對(duì)于相同光源、相同光學(xué)系統(tǒng)和相同的海水特性，光輻射衰減主要與對(duì)應(yīng)像元到海底的距離有關(guān)。當(dāng)這一距離相對(duì)變化較小時(shí)，其衰減可以近似相同，從而采用相同的參數(shù)實(shí)現(xiàn)不同圖像的亮度校正。在大洋海底探測(cè)任務(wù)中，如圖3 所示的圖像大量存在，可以作為亮度相對(duì)校正的參考圖像。

(2) 基準(zhǔn)參考亮度估計(jì)

理想的輻射參考源表面光滑、均一，為良好的朗伯體。但在實(shí)際應(yīng)用常常不能滿(mǎn)足這一條件，因而需要對(duì)參考圖像進(jìn)行預(yù)處理，構(gòu)造出連續(xù)、光滑、趨勢(shì)一致性的參考基準(zhǔn)。

由于海水對(duì)不同波長(zhǎng)的光衰減作用不同，因此將基準(zhǔn)參考圖像（圖3）拆分成3 幅獨(dú)立的灰度影像，分別代表紅、綠、藍(lán)3 個(gè)通道（圖4 第一排），并進(jìn)行獨(dú)立的亮度校正。

圖4 第二排為3 個(gè)通道灰度值分布的三維俯視圖，灰度值近似呈橢圓狀從中心向四周衰減?？紤]到實(shí)用性、方便性和直觀(guān)性，本文采用多項(xiàng)式對(duì)各通道圖像的亮度進(jìn)行曲面擬合。為了獲得合適的多項(xiàng)式次數(shù)，進(jìn)行了系列實(shí)驗(yàn)，分別使用二次、三次、四次和五次多項(xiàng)式對(duì)基準(zhǔn)參考圖像（如圖3 所示）各通道的亮度進(jìn)行擬合。采用二次多項(xiàng)式時(shí)，三通道的R2值分別為0.908 5、0.944 1 和0.940 2，三次多項(xiàng)式中的R2值分別0.931 6、0.953 2和0.950 8，四次多項(xiàng)式中的R2值分別0.939 3、0.966 3和0.970 8，五次多項(xiàng)式中的R2分別0.940 8、0.969 9和0.973 7。

圖4 參考圖像的各通道圖像及其亮度擬合曲面。（a）～（c）參考圖像的紅、綠、藍(lán)通道；（d）～（f）紅、綠、藍(lán)通道的三維俯視圖；（g）～（i）紅、綠、藍(lán)通道的擬合曲面Fig. 4 Each channel of the reference image and their brightness fitting surface (a)-(c) red, green, blue channels of the reference image; (d)-(f) 3D top view of the red, green and blue channels; (g)-(i) fitting surface of the red, green, blue channels

由此可知，采用五次多項(xiàng)式時(shí)擬合效果最好。但由于高次多項(xiàng)式計(jì)算復(fù)雜度高，四次多項(xiàng)式與五次多項(xiàng)式的擬合結(jié)果R2很相近，且在多次不同的實(shí)驗(yàn)中四次多項(xiàng)式均可以獲得很好的擬合效果，故采用四次多項(xiàng)式進(jìn)行曲面擬合。

多項(xiàng)式曲面方程可以統(tǒng)一用式(2)表示，

其中n代表多項(xiàng)式的次數(shù)，aij為多項(xiàng)式的系數(shù)項(xiàng)，(x,y)代表圖像中的像元位置p(x,y)。當(dāng)n=4 時(shí)，aij有15 個(gè)系數(shù)待解，因而至少需要15 個(gè)分布均勻的樣本點(diǎn)。這里，為了獲得穩(wěn)健的結(jié)果，首先對(duì)原始圖像進(jìn)行中值濾波，然后采用最小二乘解求系數(shù)，結(jié)果如表1 所示。

表1 參考圖像各通道灰度曲面四次多項(xiàng)式擬合參數(shù)Tab.1 Quartic polynomial fitting parameters of the gray surface of each channel of the reference image

由前述分析可知，當(dāng)成像系統(tǒng)與海底的距離基本保持不變時(shí)，海水對(duì)光源相同光線(xiàn)的衰減保持不變。當(dāng)光源穩(wěn)定且成像系統(tǒng)距離海底的距離基本保持不變時(shí)，不管下墊面如何，海水對(duì)光的綜合衰減作用可以認(rèn)為是相同的。因此，對(duì)于同批次（成像系統(tǒng)與海底的相對(duì)高度基本一致）的海底探測(cè)影像，可以直接使用由參考基準(zhǔn)估算出的衰減量進(jìn)行計(jì)算而不必重新估計(jì)。但當(dāng)高度變化較大，光源特性改變，或者光源與成像系統(tǒng)相對(duì)安裝位置發(fā)生變化時(shí)，需要重新利用上述原理進(jìn)行參考基準(zhǔn)估計(jì)，利用新的估計(jì)參數(shù)對(duì)待處理圖像進(jìn)行校正。

（3）亮度衰減量計(jì)算

用η 表示參考圖像的亮度擬合曲面，它描述了水下光學(xué)圖像不同位置上各種因素造成的衰減量的相對(duì)分布。由于參考基準(zhǔn)圖像的下墊面是同一種物質(zhì)形成的均一表面，當(dāng)入射光強(qiáng)相同時(shí)，其圖像應(yīng)具有相同的亮度。為了獲得海水對(duì)下行和上行光的總衰減量，以擬合曲面（圖4(g)～4(i)）的頂點(diǎn)（即最大亮度所在點(diǎn)）為參考點(diǎn)，并設(shè)定該點(diǎn)的衰減量為零。設(shè)擬合曲面最大亮度值為IMax，假定過(guò)曲面頂點(diǎn)的平面γ與相機(jī)光軸垂直，那么圖像上每個(gè)像素(x,y)的亮度補(bǔ)償量δ(x,y)定義為該像素在曲面η與在平面γ對(duì)應(yīng)像素值之間的差，即：

獲得每個(gè)像素的亮度補(bǔ)償量之后，可以將補(bǔ)償量按像素位置補(bǔ)充到原始圖像上，獲得亮度補(bǔ)償結(jié)果。圖5 第一排所示是按上述方法分別針對(duì)圖3 三個(gè)通道計(jì)算獲得的亮度補(bǔ)償值。圖中亮度越大，意味著補(bǔ)償值就越大。圖5 第二排是經(jīng)過(guò)亮度補(bǔ)償后的圖像。對(duì)比原圖可以看出，校正后的圖像整體亮度均一，很好地消除了原圖中遠(yuǎn)離光照中心的輻射畸變。

圖5 參考圖像分通道亮度補(bǔ)償結(jié)果。（a）～（c）分別為紅、綠、藍(lán)三通道的亮度補(bǔ)償量；（d）～ （f）補(bǔ)償后的紅、綠、藍(lán)單通道影像Fig. 5 Individual brightness compensation for each channel of the reference image (a)-(c) Degree of compensation of the red,green and blue channels; (d)-(f) compensated red, green and blue single channel images

在獲得參考圖像的亮度補(bǔ)償后，直接應(yīng)用到同批次的其它圖像上。圖6 所示是與參考圖像（圖3）同批次圖像，第一排從左到右所示分別是原始圖像的紅、綠、藍(lán)三通道灰度圖像，第二排所示為利用上述參考圖像亮度補(bǔ)償量直接進(jìn)行亮度補(bǔ)償?shù)慕Y(jié)果。對(duì)比原圖可知，補(bǔ)償后的圖像亮度整體均勻，消除了因總光程不同造成的亮度衰減。特別是距離中心較遠(yuǎn)的四角區(qū)域的亮度，也得到了很好的補(bǔ)償，圖像細(xì)節(jié)得以凸顯。

圖6 采用參考圖像校正參數(shù)對(duì)同批次的圖像補(bǔ)償。（a）～（c）紅綠藍(lán)三通道原始灰度圖像；（d）～（f）補(bǔ)償后的紅綠藍(lán)影像Fig. 6 The compensation process of the image in the same batch with reference image correction parameters. (a)-(c) Original gray images of the red, green and blue channels, (d)-(f) compensated images of the three channels

4 基于Retinex 理論的色彩恢復(fù)

4.1 色彩預(yù)補(bǔ)償

由于可見(jiàn)光傳播衰減的特殊性，水下圖像紅通道的像素均值偏小，在利用傳統(tǒng)圖像增強(qiáng)方法進(jìn)行色彩全局性恢復(fù)時(shí)，紅通道普遍會(huì)被過(guò)度增大，導(dǎo)致增強(qiáng)后的水下圖像出現(xiàn)嚴(yán)重的紅色偽影。為解決水下圖像中嚴(yán)重衰減的通道在Retinex 方法中過(guò)度增強(qiáng)的問(wèn)題，本文提出基于灰度世界的通道間自適應(yīng)的補(bǔ)償方法，對(duì)水下圖像中衰減嚴(yán)重的通道進(jìn)行預(yù)處理，以避免在亮度校正補(bǔ)償后的水下圖像色彩恢復(fù)過(guò)程中出現(xiàn)通道過(guò)度補(bǔ)償問(wèn)題。

在水下圖像中，藍(lán)、綠通道比紅通道保留了更多信息。由于人眼對(duì)于綠光較為敏感，研究表明在實(shí)驗(yàn)過(guò)程中以綠光為基準(zhǔn)處理后的圖像色彩更符合人類(lèi)色彩感受[17]。本文選取亮度補(bǔ)償后圖像的綠通道為參考，基于灰度世界理論利用圖像本身信息建立了通道間的自適應(yīng)補(bǔ)償關(guān)系：（1）待補(bǔ)償圖像綠通道與其它通道均值之差和其它通道本身各像素值大小為權(quán)重作為加性補(bǔ)償；（2）以圖3 作為參考圖像，計(jì)算亮度補(bǔ)償后的參考圖像三通道的均值間的比例關(guān)系作為乘性補(bǔ)償。如公式(4)所示：

4.2 MSR 色彩恢復(fù)

Retinex 顏色恒常理論認(rèn)為人眼感知物體的亮度取決于環(huán)境的照明和物體表面對(duì)照射光的反射[18]，對(duì)處理由于散射導(dǎo)致模糊和色彩失真的圖像有較好的效果。其數(shù)學(xué)表達(dá)如式(5)所示：

式中I(x,y)，L(x,y) 為環(huán)境光的照射分量，R(x,y)表示攜帶圖像細(xì)節(jié)的目標(biāo)體的反射分量。將圖像轉(zhuǎn)換到對(duì)數(shù)域并進(jìn)行變換，得到公式(6):

該理論的核心思想是從被觀(guān)察圖像I(x,y)中去除或減弱估計(jì)量L(x,y)以消除照射分量，獲得物體的反射分量，還原物體原本的顏色并提升清晰度。多尺度Retinex 增強(qiáng)方法(Multi-Scale Retinex, MSR)[19]利用高斯濾波近似估計(jì)環(huán)境光的照射分量。對(duì)圖像進(jìn)行高斯濾波時(shí)，濾波尺度σ小的高斯核函數(shù)側(cè)重于圖像的邊緣細(xì)節(jié)增強(qiáng)；σ較大的高斯核函數(shù)則更側(cè)重于增強(qiáng)對(duì)比度和確定顏色保真性。多尺度增強(qiáng)將這兩種尺度的優(yōu)點(diǎn)相結(jié)合，較單一尺度的增強(qiáng)圖像有更好的處理效果，計(jì)算模型如式(7)所示：

式中， λN=1/N為高斯核的個(gè)數(shù)，LMSR(x,y)表示多尺度增強(qiáng)后的照射分量，LS R,n表示利用第n個(gè)高斯函數(shù)的標(biāo)準(zhǔn)差增強(qiáng)的照射分量。由于Retinex 方法在對(duì)數(shù)域估計(jì)并減去照射分量時(shí)可能會(huì)出現(xiàn)負(fù)值，再轉(zhuǎn)換回實(shí)數(shù)域得到的圖像整體亮度和對(duì)比度會(huì)下降。因此，本文引入式(8)，在不影響Retinex 理論色彩恢復(fù)結(jié)果的前提下提高圖像的對(duì)比度，以提高人眼視覺(jué)效果。其中avg=127，percent 為對(duì)比度調(diào)整因子，經(jīng)實(shí)驗(yàn)取0.5 時(shí)可以得到較為理想的圖像，最后對(duì)圖像直方圖進(jìn)行歸一化，使圖像像素分布于[0, 255]內(nèi)，以提高圖像的清晰度。

利用公式(7) 經(jīng)驗(yàn)性地取N等于3，σ按大、中、小3 個(gè)尺度分別選取300，100，40，對(duì)比分析引入了幾種處理方法的圖像增強(qiáng)效果，如圖7(彩圖見(jiàn)期刊電子版)所示。從對(duì)比結(jié)果可以看出，預(yù)處理方法對(duì)MSR 本文引入的通道預(yù)補(bǔ)償方法符合灰度世界假設(shè)，能有效抑制水下圖像增強(qiáng)中對(duì)紅通道過(guò)度補(bǔ)償帶來(lái)的紅色偽影問(wèn)題，獲得更接近原始場(chǎng)景的圖像，較好地恢復(fù)了圖像的自然色彩。

圖7 不同圖像增強(qiáng)方法效果對(duì)比。（a）預(yù)補(bǔ)償輸入圖像；（b）～（f）分別是灰色世界、本文預(yù)處理方法、MSR、灰色世界算法+MSR、本文預(yù)處理方法+MSR 方法結(jié)果Fig. 7 Comparison of image enhancement with different pre-processing methods. (a) Pre-compensation image; (b)-(f) compensated results with Gray world, the proposed pre-processing method, MSR, Gray world + MSR, and the proposed pre-processing method + MSR methods

5 分析和討論

為了驗(yàn)證本文方法的有效性，根據(jù)上述原理開(kāi)發(fā)了實(shí)驗(yàn)程序，使用大洋海底探測(cè)的實(shí)際圖像對(duì)本文提出的算法進(jìn)行測(cè)試。實(shí)驗(yàn)圖像是由海洋科考船采用拖曳方式拍攝的水下圖像，軟件開(kāi)發(fā)平臺(tái)為MATLAB R2016a。同時(shí)，為了能進(jìn)一步展示本文方法的效果，還與MSR[19]、CLAHE[5]、RCP[9]、RWCGC[6]和UWCNN[13]等圖像增強(qiáng)方法進(jìn)行實(shí)驗(yàn)對(duì)比，分別采用主觀(guān)和客觀(guān)相結(jié)合的方式對(duì)結(jié)果評(píng)價(jià)。

5.1 主觀(guān)評(píng)價(jià)

主觀(guān)評(píng)價(jià)方法是目前圖像質(zhì)量評(píng)價(jià)的主要且可靠的方法。為了對(duì)比不同方法對(duì)水下圖像的色彩恢復(fù)性能，圖8(彩圖見(jiàn)期刊電子版)給出了不同方法對(duì)亮度校正后參考圖像增強(qiáng)的最終結(jié)果。圖8 上排圖像分別是采用MSR、CLAHE、RCP 3 種方法的增強(qiáng)結(jié)果，下排分別是RWCGC、UWCNN 和本文方法的處理結(jié)果。

參考圖像對(duì)應(yīng)的海底是砂礫表面，其近似為灰體且平整，故其恢復(fù)后的彩色圖像不應(yīng)呈現(xiàn)出明顯的彩色特性。圖8 第一排左一MSR 方法的校正結(jié)果中，圖像明顯出現(xiàn)由于過(guò)度增強(qiáng)導(dǎo)致的偽影，部分區(qū)域處理仍偏綠色調(diào)，圖像整體色調(diào)不一致，與圖像原本色調(diào)相差較大。CLAHE 方法的處理結(jié)果沒(méi)能很好地校正偏色問(wèn)題，也沒(méi)能校正亮度失真的問(wèn)題。RCP、RWCGC 和UWCNN 色彩恢復(fù)方面比CLAHE 效果更好一些，但RCP 和UWCNN 使圖像亮度大幅降低，同時(shí)這些處理方法對(duì)圖像的亮度校正效果都沒(méi)有改善。第二排右一是利用本文方法對(duì)參考圖像的增強(qiáng)結(jié)果，結(jié)果顯示本文方法不但很好地校正了圖像的亮度，使得圖像不同位置亮度整體均勻、一致，而且也取得了很好的色彩平衡效果，海底的灰體特性經(jīng)過(guò)亮度校正和色彩平衡之后得到較好的復(fù)原。原本灰色的砂礫呈現(xiàn)出灰體特性，接近于灰色調(diào)，海底的少量巖石和廢棄物呈現(xiàn)出彩色調(diào)，且色澤均勻，整體效果更優(yōu)。

圖8 不同算法對(duì)參考圖像校正的結(jié)果。（a）MSR；（b）CLAHE；（c）RCP；（d）RWCGC；（e）UWCNN；（f）本文方法Fig. 8 Comparison of correction results of the underwater image processed by different algorithms. (a) MSR; (b) CLAHE;(c) RCP; (d) RWCGC; (e) UWCNN; (f) The proposed method

圖9(彩圖見(jiàn)期刊電子版) 所示是與參考圖像同批次采集的海底圖像以及不同方法的處理結(jié)果。圖9 第2 行至第6 行分別是利用MSR、CLAHE、RCP、RWCGC 和UWCNN 5 種方法的增強(qiáng)結(jié)果。與參考圖像的結(jié)果類(lèi)似，在MSR 的結(jié)果中（圖9 第2行），圖像亮度有一定的校正，但原圖像偏暗的地方明顯出現(xiàn)紅色偽影。使用CLAHE 方法增強(qiáng)的圖像（圖9 第3 行）的對(duì)比度有較好的提升，但圖像的亮度均勻性和色彩均未得到有效校正，圖像四角的亮度仍然偏暗，且整體與原圖相似，均偏藍(lán)色調(diào)。RCP 的處理結(jié)果（圖9 第4 行），圖像的亮度整體明顯偏暗，且亮度的均勻性未得到有效校正，特別是四角區(qū)域偏暗。RWCGC 的校正結(jié)果（圖9 第5 行），圖像的偏色問(wèn)題得到一定程度的解決，同時(shí)圖像的對(duì)比度有較好的提升，但圖像亮度均勻性尚未得到有效改善，且因?yàn)榻?jīng)過(guò)伽馬校正處理，圖像的亮度和暗部區(qū)別更加明顯。對(duì)于UWCNN 處理后的圖像（圖9 第6 行），原始圖像偏藍(lán)色調(diào)的問(wèn)題有一定的改善，但改善效果有限，圖像亮度不均問(wèn)題未得到有效補(bǔ)償，處理后的圖像較為偏暗。

圖9 最后一行是利用本文方法經(jīng)通道亮度校正、紅通道補(bǔ)償與色彩粗平衡、色彩校正后的增強(qiáng)結(jié)果。觀(guān)察圖像可以明顯看出，圖像的整體亮度比較均勻，無(wú)論是圖像中心還是圖像角部或者邊緣，亮度都較好地恢復(fù)到相對(duì)均勻的程度。圖中包含了大量的巖石和不少的砂質(zhì)表面，對(duì)于砂質(zhì)表面，其色彩經(jīng)驗(yàn)上應(yīng)呈現(xiàn)出灰色調(diào)，本文方法的增強(qiáng)結(jié)果基本上呈現(xiàn)出這一特點(diǎn)。同時(shí)，對(duì)于海底巖石，呈現(xiàn)出青色調(diào)。本文方法的結(jié)果無(wú)論是圖像亮度均勻性校正，還是色調(diào)的平衡，都達(dá)到了較好的效果。從圖7～圖9 不同方法處理結(jié)果的對(duì)比可知，利用本文提出的海底探測(cè)光學(xué)影像質(zhì)量恢復(fù)方法的處理結(jié)果，無(wú)論是亮度還是色彩的視覺(jué)效果，整體上均優(yōu)于其它方法。

5.2 客觀(guān)評(píng)價(jià)

為了定量評(píng)價(jià)算法性能，除上述主觀(guān)評(píng)價(jià)外，還采用了定量評(píng)價(jià)方法進(jìn)行比較。很多學(xué)者提出了多種評(píng)價(jià)指標(biāo)[2]，本文采用無(wú)參考的水下圖像質(zhì)量評(píng)價(jià)(Underwater Image Quality Evaluation,UIQM)[20]，以及水下彩色圖像質(zhì)量評(píng)價(jià)(Underwater Color Image Quality Evaluation, UCIQE)[21]作為定量評(píng)價(jià)指標(biāo)。針對(duì)水下圖像的退化機(jī)理和光學(xué)成像特點(diǎn)，UIQM 方法采用色彩測(cè)量分量UICM、清晰度測(cè)量分量UISM 和對(duì)比度測(cè)量分量UIConM，由加權(quán)系數(shù)線(xiàn)性組合作為評(píng)價(jià)水下圖像質(zhì)量的依據(jù)。UCIQE 方法基于CIELab 顏色空間，專(zhuān)門(mén)用于水下圖像質(zhì)量評(píng)測(cè)的指標(biāo)，其值為圖像的色度、飽和度和對(duì)比度三者加權(quán)線(xiàn)性組合的綜合指標(biāo)。UIQM 和UCIQE 具體計(jì)算細(xì)節(jié)詳見(jiàn)文獻(xiàn)[20] 和文獻(xiàn)[21]。表2～表5 給出了參考圖像和圖9 采用不同方法處理后圖像的UIQM和UCIQE 計(jì)算結(jié)果。

表2 參考圖像及其在不同算法處理后的客觀(guān)評(píng)價(jià)結(jié)果Tab.2 Objective image quality evaluation results of the reference image and images processed by different algorithms

表3 對(duì)于圖9 第一列影像不同算法的客觀(guān)評(píng)價(jià)結(jié)果Tab.3 Objective image quality evaluation results of the first column of Fig. 9 processed by different algorithms

表4 對(duì)于圖9 第二列影像不同算法的客觀(guān)質(zhì)量評(píng)價(jià)指標(biāo)Tab.4 Objective image quality evaluation indexes of the second column of Fig. 9 processed by different algorithms

表5 對(duì)于圖9 第三列影像不同算法的客觀(guān)質(zhì)量評(píng)價(jià)指標(biāo)Tab.5 Objective image quality evaluation indexes of the third column of Fig. 9 processed by different algorithms

圖9 水下圖像常用增強(qiáng)處理算法的結(jié)果對(duì)比。（a）原始圖片；（b）～（g）分別使用MSR、CLAHE、RCP、RWCGC、UWCNN 和本文方法的增強(qiáng)結(jié)果Fig. 9 Comparison of underwater image enhancement processed by different algorithms. (a) Original images; (b)-(g) the results obtained by MSR, CLAHE, RCP, RWCGC, UWCNN and the proposed method

由表2～表5 可以發(fā)現(xiàn)，本文方法處理后的圖像UIQM 指標(biāo)最優(yōu)；對(duì)于UCIQE 指標(biāo)，因RWCGC 方法參考圖像中沒(méi)有校正亮度，其對(duì)比度比本文方法處理后的結(jié)果高，本文方法計(jì)算指標(biāo)略低于RWCGC 方法，顯著高于CLAHE 等其它方法的結(jié)果。目前，就無(wú)參考圖像質(zhì)量評(píng)價(jià)而言，仍然以人眼主觀(guān)評(píng)價(jià)為主、客觀(guān)評(píng)價(jià)為輔的方式進(jìn)行。結(jié)合對(duì)圖8 和圖9 不同方法的視覺(jué)感受，可以看出本文提出的方法具有較好亮度校正和色彩平衡能力，對(duì)水下光學(xué)圖像的增強(qiáng)具有明顯的優(yōu)勢(shì)和實(shí)用價(jià)值。

6 結(jié) 論

本文通過(guò)分析水下光傳輸機(jī)制和光源輻射的物理機(jī)理，采用相對(duì)輻射校正來(lái)剝離并補(bǔ)償光程差引起的衰減，提出了基于相對(duì)輻射校正的主動(dòng)光學(xué)探測(cè)圖像增強(qiáng)算法。該方法分兩階段增強(qiáng)，在亮度補(bǔ)償階段首先對(duì)原始圖像進(jìn)行分通道亮度均勻性校正，消除光程差和光源非均勻性造成的圖像輻射畸變，使各通道圖像照度相對(duì)一致。在此基礎(chǔ)上進(jìn)行色彩恢復(fù)，對(duì)紅通道進(jìn)行自適應(yīng)預(yù)補(bǔ)償和色彩平衡，然后基于Retinex 方法對(duì)圖像進(jìn)行色彩恢復(fù)，避免了后續(xù)增強(qiáng)紅通道過(guò)度補(bǔ)償?shù)膯?wèn)題，還原海底圖像的自然色調(diào)。實(shí)驗(yàn)對(duì)比結(jié)果表明，本文方法的處理結(jié)果圖像亮度均勻、色彩自然，整體上具有很好的效果，UIQM 和UCIQE相較原始圖像分別提升了4 倍和1.4 倍以上，為海底主動(dòng)光學(xué)探測(cè)圖像處理提供了一種實(shí)用且有效的方法。