王康 劉婷 陳子文 李雅薇 郭顯久
(大連海洋大學(xué),遼寧大連 116023)
水下圖像存在霧化不均勻現(xiàn)象,導(dǎo)致特別亮或暗的區(qū)域圖像,很難看清,降低了圖像的對比度和重要特征[1]。目前國內(nèi)外對圖像自適應(yīng)增強(qiáng)的研究,大致可以分為對比度、平滑、銳化、同態(tài)濾波增晰、偏微分方程等圖像增強(qiáng)方法,此外,按照空間域方法劃分,還可以分為基本灰度變換、直方圖處理、算數(shù)操作等空間域圖像增強(qiáng)方法[2]。但是上述研究出的圖像自適應(yīng)增強(qiáng)方法,存在數(shù)學(xué)模型求解、參數(shù)選擇原則不通用、圖像質(zhì)量不合格等問題,圖像增強(qiáng)后難以實時適應(yīng)霧化強(qiáng)度變化,依然存在過亮或過暗處,不能清晰識別水下圖像重要特征[3]。為此以COIL-20數(shù)據(jù)庫為研究對象,設(shè)計對比驗證此次研究的水下圖像自適應(yīng)增強(qiáng)方法的有效性,通過對比圖像清晰度、圖像峰值信噪比等指標(biāo),證明本文方法可以降低圖像中存在的噪點,增強(qiáng)圖像色彩對比度,提高圖像質(zhì)量。
圖1 水下圖像增強(qiáng)流程圖Fig.1 Flow chart of underwater image enhancement
霧化強(qiáng)度對水下圖像具有較大影響,較強(qiáng)、較弱將降低圖像環(huán)境信息的準(zhǔn)確度[4]。不同霧化強(qiáng)度的水下圖像增強(qiáng)流程圖如圖1所示。利用CIEXYZ顏色空間方法識別圖像中的霧化強(qiáng)度信息,對圖像中的低霧化部分和高霧化部分進(jìn)行歸一化處理[5],將完成后通過計算機(jī)圖像處理技術(shù)實施圖像增強(qiáng),實現(xiàn)水下圖像增強(qiáng)。
霧化現(xiàn)象會遮蓋水下圖像部分細(xì)節(jié),出現(xiàn)圖像模糊不清問題。因此采用去霧模型,推導(dǎo)透射率估計公式,增加圖像清晰度。在自然霧化條件下,大氣光值不為零,因此本研究采用A表示大氣光;I(x)表示需要進(jìn)行清晰度處理的霧化圖像;J(x)表示清晰度處理后的無霧圖像;此時,假設(shè)霧化透射率函數(shù)為t(x);則有:
將(1)式連續(xù)進(jìn)行兩次,求(1)式最小值,得到趨近于零值的顏色通道,則有:
(2)式中, Ω (x)表示以x為中心的區(qū)域;c表示圖像斜面銳化程度;b表示可見邊;g表示平均梯度值;I(y)表示霧化圖像,J(y)表示無霧圖像;表示透射率t(x)的估計值[6]。
根據(jù)(2)式,可以發(fā)現(xiàn),在圖像中除天空部分,其他部分的顏色通道,都趨近于零值,因此將大氣光A,看成常量,得到的透射率的估計值為:
根據(jù)(3)式,可以去除圖片中的“白紗”。但是并不適應(yīng)所有霧化下制成的水下圖像,需要設(shè)置霧保留參數(shù)ω,修正透射率估計值,則有:
(7)式中,霧保留參數(shù)ω,取值范圍在[0,1]之間。此外,還需要對大氣光值A(chǔ)進(jìn)行估值,即尋找趨近于零的顏色通道中,最亮像素點的0.1%,作為大氣光值A(chǔ)的估值。此時,將透射率值和大氣光值A(chǔ),代入清晰度處理公式中,則有:
(5)式中,t0表示經(jīng)驗值,避免出現(xiàn)顏色失真現(xiàn)象,至此完成圖像清晰度處理。經(jīng)過霧化補(bǔ)償調(diào)整圖像亮度和清晰度后,就可針對圖像,進(jìn)行自適應(yīng)增強(qiáng)處理,根據(jù)霧化角度,實時展現(xiàn)圖像特征。
經(jīng)過上述處理過程,針對圖像不同亮度區(qū)域的對比,進(jìn)行圖像增強(qiáng)處理,為此設(shè)定圖像的閾值,讓圖像可以自適應(yīng)霧化變化,實時調(diào)整圖像特征顏色。因此,這一增強(qiáng)圖像適應(yīng)性,需要設(shè)置硬閾值和軟閾值,則有:
(6)式中,T1表示硬閾值;hT1(x)表示經(jīng)過硬閾值處理后的系數(shù);T2表示軟閾值;hT2(x)表示經(jīng)過硬閾值處理后的系數(shù)。其處理后的系數(shù)圖像,如圖2所示。
由圖2中看出,硬閾值在增強(qiáng)圖像自適應(yīng)性時,得到的系數(shù)不連續(xù),處理圖像結(jié)果粗糙;而軟閾值在增強(qiáng)圖像自適應(yīng)性時,得到的系數(shù)連續(xù),且圖像處理細(xì)膩,可以互補(bǔ)對方存在的缺陷。所以采用軟閾值和硬閾值共同處理圖像,增強(qiáng)圖像的自適應(yīng)性。
因此閾值的選取十分重要,其通常由噪聲方差和子帶系數(shù)的能量分布共同確定,所以設(shè)圖像增強(qiáng)后的期望均值為m;閾值選定值為σ;絕對誤差中值為F;噪聲方差為w;子帶系數(shù)為wH(1);則有:
(7)式中,n表示圖像分量;H表示原始圖像的直方圖。將選定的閾值,帶入(7)式,即完成圖像自適應(yīng)增強(qiáng)。
綜上述所,本次研究水下圖像自適應(yīng)增強(qiáng)方法,分別調(diào)整圖像亮度和圖像清晰度,最后調(diào)整圖像閾值,讓圖像可以自適應(yīng)不同的霧化強(qiáng)度。
本次驗證計算機(jī)圖像處理技術(shù)在水下圖像增強(qiáng)中的應(yīng)用效果,針對COIL-20數(shù)據(jù)庫中的1440幅圖像,進(jìn)行預(yù)處理,將圖像的大小全部調(diào)整為64*64大小,圖像分辨率設(shè)置為240*360,幀率調(diào)整為20fps。圖像在旋轉(zhuǎn)之前,全部剪裁到64*64維大小。選取寬動態(tài)方法及優(yōu)化估計方法作為對比方法。采用亮度、信息熵、清晰度、均方誤差(MSE)、峰值信噪比(PNSR)、圖像增強(qiáng)時間作為客觀測試指標(biāo),進(jìn)行對比實驗。
從實驗場所選取一幅弱霧化強(qiáng)度圖片,用三種方法優(yōu)化弱霧化強(qiáng)度下的圖像,結(jié)果如圖3所示。從圖3對比結(jié)果可以看出,本文方法可有效保留水下圖像中的邊緣細(xì)節(jié),保留水下圖像中的樹木等色彩,將陰影區(qū)域霧化強(qiáng)度有效補(bǔ)償,提升優(yōu)化后水下圖像質(zhì)量;寬動態(tài)方法修正霧化強(qiáng)度效果較差,優(yōu)化后圖像霧化強(qiáng)度仍較低;優(yōu)化估計方法優(yōu)化水下圖像曝光過強(qiáng),圖像細(xì)節(jié)保留效果較差。對比可看出,本文方法優(yōu)化后主觀圖像效果具有較高的人眼視覺效果,去除暗角同時保留圖像色彩信息,邊緣信息明顯,校正色彩效果較好,并且未丟失圖像細(xì)節(jié)信息。
圖2 軟硬閾值處理后的系數(shù)圖像Fig.2 Coefficient image after soft and hard threshold processing
圖3 弱霧化強(qiáng)度下圖像增強(qiáng)效果Fig.3 Image enhancement effect under weak fog intensity
圖4 不同方法峰值信噪比對比結(jié)果Fig.4 Comparison results of peak signal-to-noise ratio of different methods
客觀測試中引入圖像處理時間T、峰值信噪比P、平方差誤差S、圖像粗糙度P、非均勻性響應(yīng)率U等圖像增強(qiáng)方法評價指標(biāo),對比三組圖像增強(qiáng)方法。為此,假設(shè)圖像的灰度級為L;圖像大小為N;輸入圖像為I;輸出圖像為P;輸入處理后的圖像為f;水平差分模板為h1,且取值在[1,-1]之間;垂直差分模板為h2,且21T h=h;輸入圖像行數(shù)為M;輸入圖像列數(shù)為N;焦平面陣列的死像元數(shù)為d;過熱像元數(shù)為h,則有:
其中,n表示圖像個數(shù);*表示卷積操作;(i,j)表示圖像坐標(biāo)。
3.2.1 圖像質(zhì)量
從圖像亮度、信息熵、清晰度三個指標(biāo)檢測三種方法對水下圖像增強(qiáng)后圖像質(zhì)量,統(tǒng)計結(jié)果如表2所示。對比結(jié)果,采用本文方法優(yōu)化后水下圖像亮度處于120cd/m-130cd/m之間、信息熵均高于7.4bit、清晰度均高于5;采用寬動態(tài)方法和優(yōu)化估計方法優(yōu)化后的水下圖像亮度處于90cd/m-140cd/m之間、信息熵均低于7bit、清晰度均低于5。對比結(jié)果可以看出,本文方法優(yōu)化后水下圖像亮度極為均勻,未出現(xiàn)亮度過高以及過低情況,具有較高的信息熵以及清晰度,優(yōu)化后圖像質(zhì)量較高,驗證本文方法具有較高的優(yōu)化效果。
3.2.2 峰值信噪比
統(tǒng)計采用三種方法優(yōu)化不同霧化強(qiáng)度下水下圖像的峰值信噪比,對比結(jié)果如圖4所示。本文方法優(yōu)化10幅不同霧化強(qiáng)度下水下圖像峰值信噪比均高于20dB,采用寬動態(tài)方法和優(yōu)化估計方法優(yōu)化后水下圖像的峰值信噪比均低于20dB。本文方法優(yōu)化水下圖像的峰值信噪比明顯高于另兩種方法,說明采用本文方法優(yōu)化后圖像具有較高的結(jié)構(gòu)相似性,可令圖像具有較高的平衡性。
表2 不同方法優(yōu)化后圖像質(zhì)量對比Tab.2 Comparison of image quality after optimization by different methods
霧化強(qiáng)度對水下圖像呈現(xiàn)效果影響較大,研究不同霧化強(qiáng)度下水下圖像增強(qiáng),識別水下圖像霧化強(qiáng)度,針對霧化強(qiáng)度較高以及較低圖像實施霧化歸一化,利用計算機(jī)圖像處理技術(shù)實現(xiàn)水下圖像增強(qiáng)處理,完成圖像增強(qiáng)。通過實驗結(jié)果驗證所研究方法可在較短的時間實現(xiàn)圖像的高質(zhì)量優(yōu)化,優(yōu)化后圖像可保留較多的圖像細(xì)節(jié),具有較高的圖像增強(qiáng)效果。完成優(yōu)化后圖像具有較高的峰值信噪比以及較低的圖像均方誤差,可滿足水下圖像增強(qiáng)的實際需求。