基于人工欠曝光融合和白平衡技術(shù)的水下圖像增強(qiáng)算法

陶 冶，許文海，徐魯強(qiáng)，郭富城，蒲海波，陳廣同

（1.大連海事大學(xué)信息科學(xué)技術(shù)學(xué)院，遼寧大連 116026；2.遼寧港口集團(tuán)有限公司專(zhuān)業(yè)能力中心，遼寧大連 116001）

（?通信作者電子郵箱taoyeln@cmhk.com）

0 引言

隨著人口的不斷增長(zhǎng)，人類(lèi)對(duì)海洋的探索和對(duì)其資源的應(yīng)用愈加頻繁。水下攝像被廣泛應(yīng)用于諸如水下人造物的監(jiān)測(cè)、水下目標(biāo)物的識(shí)別、水下機(jī)器人的操控以及水下生物的發(fā)現(xiàn)等研究工作中。然而，因受到光的吸收和散射作用，水下拍攝的照片往往呈現(xiàn)出對(duì)比度低、細(xì)節(jié)信息保留不足及顏色失真等問(wèn)題［1］，嚴(yán)重阻礙了人類(lèi)對(duì)水下世界的探索。所以，獲取清晰準(zhǔn)確的水下圖像是幫助人類(lèi)進(jìn)一步了解水下世界的重要前置條件。

研究者提出了各種各樣的水下圖像去霧算法。例如，有些學(xué)者提出使用專(zhuān)用儀器［2］或基于偏振的方法［3］來(lái)增強(qiáng)圖像質(zhì)量。這些方法往往所需要的儀器設(shè)備非常昂貴，且無(wú)法對(duì)視頻幀或動(dòng)態(tài)場(chǎng)景照射的圖像進(jìn)行增強(qiáng)。還有一些研究者提出基于同一場(chǎng)景多幅圖像進(jìn)行融合的方式［4］來(lái)增強(qiáng)圖像質(zhì)量，但考慮水下環(huán)境的特殊性，獲取同一場(chǎng)景的多個(gè)版本的水下圖像對(duì)操作要求極高，普通的使用者根本無(wú)法獲取。因此，更多的研究者考慮提出只基于單幅圖像本身的信息進(jìn)行水下圖像的去霧處理。單幅水下圖像去霧處理方法大致可分為三個(gè)類(lèi)別：第一類(lèi)是水下圖像的增強(qiáng)方法；第二類(lèi)是水下圖像的復(fù)原方法；第三類(lèi)是基于深度學(xué)習(xí)的方法。

水下圖像復(fù)原技術(shù)中最具代表性的是暗通道先驗(yàn)（Dark Channel Prior，DCP）算法［5］，該算法認(rèn)為每一幅無(wú)霧圖像中每個(gè)區(qū)域總有一個(gè)顏色通道會(huì)有一個(gè)很低的值，然后利用全圖最暗的點(diǎn)來(lái)去除圖像均勻的霧的方式進(jìn)行去霧處理。DCP應(yīng)用于空氣中的圖像去霧效果良好，但在水下圖像的去霧上表現(xiàn)不佳。隨后，受到DCP 的啟發(fā)，研究者們提出了很多諸如DCP 結(jié)合顏色補(bǔ)償?shù)乃惴ǎ?］、紅色通道先驗(yàn)算法［7］，以及著名的水下圖像暗通道先驗(yàn)（Underwater Dark Channel Prior，UDCP）算法［8］等圖像復(fù)原方法，但此類(lèi)方法大多需要大量額外的先驗(yàn)知識(shí)作為應(yīng)用基礎(chǔ)，普通的技術(shù)人員并沒(méi)有獲取這些先驗(yàn)知識(shí)的有效途徑?，F(xiàn)在比較流行的基于深度學(xué)習(xí)的算法［9］也在水下圖像去霧領(lǐng)域頗有建樹(shù)。水下圖像的卷積神經(jīng)網(wǎng)絡(luò)（UnderWater Convolutional Neural Network，UWCNN）技術(shù)［10］可提升水下圖像清晰度，但需要長(zhǎng)時(shí)間、大量訓(xùn)練的相應(yīng)圖像數(shù)據(jù)集作為基礎(chǔ)。此類(lèi)方法多需要龐大的網(wǎng)絡(luò)結(jié)構(gòu)作為支撐，并對(duì)相應(yīng)的訓(xùn)練數(shù)據(jù)集有很高的要求。

水下圖像增強(qiáng)方法多為基于空間域或頻率域的變化或一些融合技術(shù)來(lái)提升水下圖像的視覺(jué)質(zhì)量。其中比較常見(jiàn)的直方圖均衡算法［11］、自適應(yīng)對(duì)比度限制直方圖均衡化算法［12］，以及廣義鈍的掩蔽算法［13］均為著名的提升圖像對(duì)比度的算法，無(wú)法有效克服水下圖像細(xì)節(jié)丟失、顏色退化的缺陷?；谌诤霞夹g(shù)的圖像增強(qiáng)方法往往在水下圖像去霧方面表現(xiàn)更佳，例如由文獻(xiàn)［14］提出的基于融合和色彩平衡技術(shù)的水下圖像去霧算法，該算法將原始水下圖像首先進(jìn)行白平衡處理，然后分別獲取基于白平衡處理后的銳化版本和伽馬矯正版本，最后通過(guò)分別設(shè)置“拉普拉斯對(duì)比度”“顯著性特征”“飽和度”三個(gè)權(quán)重值結(jié)合多尺度融合方法獲得最終融合圖像。該算法可一定程度提升水下圖像的質(zhì)量，但由于其白平衡技術(shù)只是對(duì)單一顏色通道進(jìn)行增強(qiáng)，色彩校正效果不夠理想且最終圖像的對(duì)比度較低。

根據(jù)現(xiàn)有水下圖像去霧技術(shù)中存在的問(wèn)題，本文提出了基于人工欠曝光融合和白平衡技術(shù)（Artificial Under-exposure Fusion and White-Balancing technique，AUF+WB）的水下圖像增強(qiáng)算法，可有效提升圖像對(duì)比度，恢復(fù)圖像細(xì)節(jié)信息并校正不良色偏，從而提升水下圖像的視覺(jué)質(zhì)量。相較于DCP 算法、UDCP 算法、UWCNN 算法和文獻(xiàn)［14］算法，在對(duì)大量水下圖像樣本進(jìn)行去霧處理時(shí)，所提AUF+WB 算法在主觀、客觀評(píng)價(jià)中均表現(xiàn)更好，充分驗(yàn)證了AUF+WB 算法的可行性和有效性。

1 相關(guān)工作

1.1 水下成像模型

水下圖像和平常圖像最主要的差別在于光在水中受到吸收和散射作用的影響，使水下圖像成像效果對(duì)比度降低、細(xì)節(jié)信息丟失且顏色發(fā)生嚴(yán)重的退化。其中光的吸收過(guò)程具有選擇性衰減現(xiàn)象，與光波長(zhǎng)度密切相關(guān)。當(dāng)水深超過(guò)6 m 時(shí)，紅色光基本消失，所以絕大多數(shù)的水下圖像呈現(xiàn)藍(lán)綠色調(diào)。McGlamery［15］首次提出了著名的水下成像模型，將水下成像的光學(xué)過(guò)程看作三個(gè)分量的線(xiàn)性相加。這三個(gè)分量分別為：1）從目標(biāo)物反射至相機(jī)的直接反射分量Ed；2）被水中懸浮顆粒散射但仍到達(dá)相機(jī)的光的前向散射分量Ef；3）由環(huán)境光源（太陽(yáng)光、大氣光等）照射至水中但被懸浮顆粒物散射后無(wú)法達(dá)到相機(jī)的后向散射分量Eb。其中，因?yàn)榻^大多數(shù)的水下攝像過(guò)程中相機(jī)與被照射物體的距離很近，直接反射分量Ed可在水下成像過(guò)程中忽略不計(jì)，因此文獻(xiàn)［15］中水下成像模型可簡(jiǎn)化為式（1）：

其中：Ic(x)=(IR(x)，IG(x)，IB(x))為原圖像，c代表相對(duì)應(yīng)的顏色通道；Jc(x)為去霧后的水下圖像；tc(x)為相對(duì)應(yīng)顏色通道的傳輸率，且e-tc(x) ∈[0，1]。水下圖像去霧算法大多是以此經(jīng)典模型為基礎(chǔ)提出的。

1.2 算法性能

如前文所述，水下圖像因受到光的吸收和散射作用的影響，經(jīng)常出現(xiàn)對(duì)比度降低、細(xì)節(jié)信息丟失和顏色失真的問(wèn)題，導(dǎo)致其視覺(jué)質(zhì)量的下降，從而限制了人類(lèi)對(duì)海洋世界的探索與研究。針對(duì)上述水下圖像視覺(jué)問(wèn)題，提出了圖像增強(qiáng)算法AUF+WB。

1.2.1 提升對(duì)比度和恢復(fù)細(xì)節(jié)信息

在提升對(duì)比度和恢復(fù)細(xì)節(jié)信息研究中發(fā)現(xiàn)，一幅圖像處于理想的對(duì)比度就可以展現(xiàn)出這張圖像更多的細(xì)節(jié)信息。因此，對(duì)比度的調(diào)整和細(xì)節(jié)信息的恢復(fù)是緊密相連的，諸如直方圖均衡技術(shù)、自適應(yīng)對(duì)比度限制直方圖均衡化技術(shù)，以及廣義鈍的掩蔽技術(shù)等都是常見(jiàn)的提升對(duì)比度的方法，但其在增強(qiáng)水下圖像上表現(xiàn)一般。這里，引入另外一個(gè)概念：曝光度。曝光度是到達(dá)相機(jī)感光元件光亮的度量，如果一幅圖像上所有的點(diǎn)均處在其最佳曝光度，這幅圖像的對(duì)比度就可以得到合理有效的提升，并展現(xiàn)更多的細(xì)節(jié)信息。水下圖像由于光在水中的吸收和散射作用，通常對(duì)比度較低，因此本文提出可以參考大氣有霧圖像的多曝光融合增強(qiáng)策略［4］，即：獲得同一水下場(chǎng)景的不同曝光度圖像版本再進(jìn)行多尺度融合操作的設(shè)想，可以有效恢復(fù)更多的細(xì)節(jié)信息。但常規(guī)獲取單一場(chǎng)景多曝光度圖像的方式是在拍攝瞬間調(diào)節(jié)快門(mén)的速度來(lái)實(shí)現(xiàn)的，而對(duì)于水下攝像，由于受到外部環(huán)境條件的客觀影響，獲取同一場(chǎng)景的多幅、不同曝光度圖像很難通過(guò)常規(guī)途徑獲取。因此，根據(jù)圖1 中展示的通過(guò)調(diào)節(jié)照片的伽馬值的方式和調(diào)整曝光度的作用大體相似，所以本文提出可以在獲取水下圖像的基礎(chǔ)上通過(guò)調(diào)節(jié)其伽馬值的方式得到多幅、不同曝光版本的人工多曝光圖像用以圖像增強(qiáng)。

圖1 人工生成多幅低曝光度圖像及其融合結(jié)果Fig.1 Multiple artificial generated under-exposure images and their fusion results

1.2.2 矯正顏色失真

在校正顏色失真的研究中，研究者們已提出了諸如灰度邊緣假設(shè)（Gray-Edge）［16］、灰色陰影假設(shè)（Shades-of-Gray）［17］、顏色通道最大化假設(shè)（Max-RGB）［18］、灰色世界假設(shè)（Gray-World）［19］、文獻(xiàn)［20］中的白平衡方式及文獻(xiàn)［14］中的白平衡方式等方法來(lái)實(shí)現(xiàn)這一目的。但現(xiàn)有的方法在水下圖像的顏色校正中均存在不足之處：經(jīng)典的白平衡方式（Gray-Edge、Shades-of-Gray、Max-RGB、Gray-World）無(wú)法對(duì)水下圖像進(jìn)行有效的顏色糾正。文獻(xiàn)［20］中的白平衡方式容易造成紅色通道過(guò)補(bǔ)償現(xiàn)象，而文獻(xiàn)［14］中的白平衡方式則會(huì)因?yàn)橹煌ㄟ^(guò)補(bǔ)償單一顏色通道的方式，造成對(duì)比度降低、藍(lán)色通道補(bǔ)償不足等缺陷。針對(duì)以上問(wèn)題，并結(jié)合水下光照選擇性衰減現(xiàn)象，首先假設(shè)對(duì)水下圖像的五種顏色通道補(bǔ)償方式，即：綠色補(bǔ)償紅色，藍(lán)色補(bǔ)償紅色，藍(lán)色、綠色補(bǔ)償紅色，綠色補(bǔ)償藍(lán)色和紅色，藍(lán)色補(bǔ)償綠色和紅色，然后分別將5 種補(bǔ)償后的圖像結(jié)合Gray-World 白平衡假設(shè)生成相應(yīng)白平衡版本。最后，采用定量評(píng)價(jià)的方法選取最優(yōu)的白平衡方式，定量評(píng)價(jià)的指標(biāo)選擇水下彩色圖像質(zhì)量評(píng)價(jià)指標(biāo)（Underwater Color Image Quality Evaluation，UCIQE）［21］和水下圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)（Underwater Image Quality Measure，UIQM）［22］，原因如下：

1）UCIQE 和UIQM 是近年來(lái)被廣大研究者認(rèn)可的水下彩色圖像質(zhì)量評(píng)價(jià)指標(biāo)。

2）UCIQE 和UIQM 分別在基于皮爾遜線(xiàn)性相關(guān)系數(shù)和斯皮爾曼相關(guān)系數(shù)計(jì)算中名列無(wú)參考評(píng)價(jià)指標(biāo)的2、3 位［23］。UCIQE和UIQM的值越高，評(píng)測(cè)圖像的質(zhì)量越好。

2 本文算法

2.1 算法框架

基于水下成像模型的特點(diǎn)以及水下圖像通常的問(wèn)題表現(xiàn)，本文提出了基于欠曝光融合和白平衡技術(shù)（AUF+WB）的水下圖像增強(qiáng)算法。AUF+WB 由兩個(gè)步驟構(gòu)成，分別是欠曝光圖像融合技術(shù)與優(yōu)化的白平衡技術(shù)。AUF+WB算法框架流程如圖2所示。

圖2 AUF+WB算法流程Fig.2 Flow chart of AUF+WB algorithm

2.1.1 多曝光版本的獲得

采用人工調(diào)整原圖像伽馬值的方式來(lái)改變圖像的全局曝光度，從而得到多幅欠曝光版本的圖像，如式（2）所示：

其中：Iγ(x)為生成的相應(yīng)伽馬值調(diào)整曝光度的圖像；I(x)為水下原始圖像。當(dāng)γ＞1 時(shí)，生成的圖像為欠曝光圖像，其原始圖像明亮區(qū)域的細(xì)節(jié)信息得到提升而原本暗淡的區(qū)域細(xì)節(jié)進(jìn)一步丟失；當(dāng)γ＜1時(shí)，呈現(xiàn)的效果完全相反。但經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，在引入γ＜1（過(guò)曝光）版本的圖像進(jìn)行多尺度融合操作后，雖然原始圖像無(wú)論暗淡或是明亮區(qū)域的細(xì)節(jié)信息均得到有效恢復(fù)，但也會(huì)在融合結(jié)果中引入諸多的不良噪聲，破壞圖像的整體視覺(jué)質(zhì)量。因此考慮選取合理的γmax值，并生成γ∈[1 ∶1 ∶γmax]相應(yīng)的欠曝光版本圖像。同時(shí)，對(duì)已不影響圖像明亮區(qū)域信息表達(dá)的γmax欠曝光版本執(zhí)行對(duì)比度受限自適應(yīng)增強(qiáng)操作（Contrast Limited Adaptive Histogram Equlization，CLAHE），從而提升該版本對(duì)原始圖像灰暗區(qū)域的細(xì)節(jié)信息體現(xiàn)，最終達(dá)到融合后的圖像可有效恢復(fù)原始水下圖像退化的細(xì)節(jié)信息，同時(shí)降低噪聲影響的目的。當(dāng)然，圖像的對(duì)比度其實(shí)就是圖像區(qū)域內(nèi)像素強(qiáng)度最高與像素強(qiáng)度最低的差值，明亮區(qū)域與灰暗區(qū)域的細(xì)節(jié)信息得到良好恢復(fù)，圖像的對(duì)比度也會(huì)得到有效提升，即完成了人工多幅欠曝光版本融合操作的目的。通過(guò)調(diào)整伽馬值生成的原圖，各個(gè)欠曝光版本可定義為：其中：EK(x)為原圖生成的不同欠曝光版本的圖像集。接下來(lái)，確定合理的K(γmax)的值將是一個(gè)急需解決的問(wèn)題。根據(jù)對(duì)圖3 的觀察，發(fā)現(xiàn)當(dāng)γ=4 時(shí)，圖像明亮區(qū)域的細(xì)節(jié)信息已基本消失，且灰暗區(qū)域的細(xì)節(jié)信息已經(jīng)恢復(fù)較好效果，與γ=5呈現(xiàn)內(nèi)容大致相同。同時(shí)，也發(fā)現(xiàn)當(dāng)K=5和K=6時(shí)，融合結(jié)果所表現(xiàn)的細(xì)節(jié)恢復(fù)及對(duì)比度提升效果基本一致?；谝陨嫌^察，有理由相信設(shè)定K（γmax）的值為5 是合理的，即生成EK=5(x)={Eγ=1(x)，Eγ=2(x)，Eγ=3(x)，Eγ=4(x)，Eγ=5(x)} 這5幅原始圖像的欠曝光版本進(jìn)行接下來(lái)的多尺度重合操作。

圖3 設(shè)置不同γ值的圖像及其相應(yīng)融合結(jié)果Fig.3 Images with different γ values and their corresponding fusion results

2.1.2 權(quán)重值的設(shè)置

圖像的視覺(jué)質(zhì)量可由目標(biāo)圖像的對(duì)比度、飽和度和曝光度來(lái)決定［24］，因此設(shè)定“對(duì)比度”“飽和度”和“良好曝光度”作為融合權(quán)重，具體如下：

1）對(duì)比度權(quán)重W kc(x)。較高的對(duì)比度可以展現(xiàn)更多的細(xì)節(jié)信息，因此對(duì)比度是評(píng)價(jià)圖像質(zhì)量的重要指標(biāo)。在每個(gè)像素x的對(duì)比度權(quán)重可以定義為：

其中：σ和β為衡常數(shù)參量，經(jīng)大量計(jì)算驗(yàn)證［25］被設(shè)置為0.25和0.5；代表當(dāng)γ=k時(shí)顏色通道c的各個(gè)像素x的強(qiáng)度。

最終每個(gè)欠曝光版本的總權(quán)重可被定義為簡(jiǎn)單地將以上三個(gè)分量權(quán)重相乘的形式，同時(shí)為了保證權(quán)重加成效果不會(huì)使融合結(jié)果J(x)出現(xiàn)過(guò)渡加成現(xiàn)象，總權(quán)重還應(yīng)經(jīng)過(guò)標(biāo)準(zhǔn)化處理，使每一個(gè)欠曝光版本的總權(quán)重系數(shù)之和等于1。

2.1.3 經(jīng)典多尺度融合策略

設(shè)定好權(quán)重值后，直接代入經(jīng)典的多尺度圖像融合策略計(jì)算式［26］中，獲得拉普拉斯金字塔分解的第l層融合結(jié)果，Jl(x)計(jì)算式如下：

2.2 改進(jìn)的白平衡技術(shù)

圖像白平衡的作用是為了矯正顏色偏差和提升圖像對(duì)比度。但根據(jù)水下圖像低對(duì)比度和不飽和的特性，無(wú)法簡(jiǎn)單地確認(rèn)除了紅色，還應(yīng)該對(duì)哪些顏色通道進(jìn)行補(bǔ)償。因此根據(jù)水下圖像的選擇性衰減現(xiàn)象，提出以下五種顏色通道補(bǔ)償方法，即：綠色補(bǔ)償紅色，藍(lán)色補(bǔ)償紅色，藍(lán)色、綠色補(bǔ)償紅色，綠色補(bǔ)償藍(lán)色和紅色，藍(lán)色補(bǔ)償綠色和紅色。5 種顏色補(bǔ)償?shù)木唧w方式如下。

1）綠色通道補(bǔ)償紅色通道：

2）藍(lán)色通道補(bǔ)償紅色通道：

3）綠色、藍(lán)色通道補(bǔ)償紅色通道：

4）綠色通道補(bǔ)償紅色、藍(lán)色通道：

5）藍(lán)色通道補(bǔ)償紅色、綠色通道：

其中：Ire(x)、Ige(x)、Ibe(x)分別代表相對(duì)于紅、綠、藍(lán)補(bǔ)償后的顏色通道強(qiáng)度值；Ir(x)、Ig(x)、Ib(x)分別代表原圖像相應(yīng)顏色通道的強(qiáng)度值；分別代表原圖像相應(yīng)顏色通道的平均強(qiáng)度值。α為常數(shù)參數(shù)，為避免過(guò)度補(bǔ)償，其取值范圍屬于[0，1]。設(shè)定0.1為增量，分別使α=(0 ∶0.1 ∶1]，獲得相應(yīng)的50 幅補(bǔ)償圖像。此外，為了避免造成原顏色通道的過(guò)度補(bǔ)償，補(bǔ)償只針對(duì)被補(bǔ)償顏色通道原強(qiáng)度值較小的像素點(diǎn)。因此，原圖像被補(bǔ)償顏色通道中強(qiáng)度值已超過(guò)最大強(qiáng)度值95%的像素點(diǎn)將不被補(bǔ)償。

將生成的50 種補(bǔ)償圖像分別結(jié)合Gray-World 白平衡技術(shù)生成相應(yīng)的白平衡圖像，再利用UCIQE 和UIQM 對(duì)50 種白平衡圖像進(jìn)行評(píng)價(jià)。鑒于暫無(wú)研究可定義UCIQE 和UIQM 兩種無(wú)參考水下圖像質(zhì)量評(píng)價(jià)指標(biāo)的影響權(quán)值，因此假定UCIQE 和UIQM 對(duì)圖像評(píng)價(jià)的數(shù)值具有相同的意義，提出如下計(jì)算式：

其中：m分別對(duì)應(yīng)50幅白平衡處理后的圖像；i(m)代表第m幅圖像的UCIQE 評(píng)價(jià)值；I(m)代表第m幅圖像UCIQE 評(píng)價(jià)值所對(duì)應(yīng)的影響百分比；q(m)代表第m幅圖像的UIQM 評(píng)價(jià)值；Q(m)代表第m幅圖像UIQM 評(píng)價(jià)值所對(duì)應(yīng)的影響百分比。選取S(m)的最大值所對(duì)應(yīng)的m即可得到最佳的α值及最合適的白平衡補(bǔ)償方式。

3 實(shí)驗(yàn)與結(jié)果分析

為充分驗(yàn)證AUF+WB 算法的有效性與魯棒性，首先采用300 幅來(lái)自水下圖像數(shù)據(jù)庫(kù)UIEB（Underwater Images Enhancement Benchmark）［27］的圖像通過(guò)定性、定量的方式對(duì)現(xiàn)有先進(jìn)的DCP算法［5］、UDCP算法［8］、UWCNN 算 法［10］、文獻(xiàn)［14］融合算法與AUF+WB 算法進(jìn)行對(duì)比。然后，采用實(shí)地潛水實(shí)驗(yàn)中的水下圖像和視頻幀進(jìn)一步驗(yàn)證AUF+WB 算法的實(shí)用性。最后，對(duì)AUF+WB 算法在其他領(lǐng)域的應(yīng)用場(chǎng)景進(jìn)行簡(jiǎn)要介紹。

3.1 數(shù)據(jù)庫(kù)圖像評(píng)測(cè)

因篇幅有限，本節(jié)僅提供10 幅來(lái)自UIEB 的水下圖像強(qiáng)化效果對(duì)比；同時(shí)，提供分別采用局域?qū)Ρ榷荣|(zhì)量指數(shù)（Patchbased Contrast Quality Index，PCQI）［28］、UCIQE 與UIQM 三種評(píng)價(jià)指標(biāo)對(duì)UIEB 數(shù)據(jù)庫(kù)中300 幅水下圖像強(qiáng)化后的定量評(píng)價(jià)平均值，從而對(duì)比相關(guān)水下圖像去霧算法的魯棒性。

UCIQE 與UIQM 是被廣泛認(rèn)可的水下彩色圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，而新引入的PCQI 是一個(gè)評(píng)測(cè)圖像對(duì)比度的通用指標(biāo)，其值越高代表相應(yīng)圖像的對(duì)比度越合適。圖4 給出了5 種水下圖像去霧算法對(duì)10幅水下圖像處理的結(jié)果對(duì)比。

圖4 不同水下圖像去霧算法處理水下圖像的結(jié)果比較Fig.4 Result comparison of different underwater image defogging algorithms on underwater images

DCP 算法可以提升對(duì)比度，但無(wú)法矯正水下圖像的色彩失真現(xiàn)象。而專(zhuān)門(mén)為恢復(fù)水下圖像設(shè)計(jì)的UDCP 算法，遇到色彩嚴(yán)重偏色的情況也無(wú)法準(zhǔn)確矯正圖像顏色。文獻(xiàn)［14］算法在提升對(duì)比度、恢復(fù)細(xì)節(jié)信息、矯正色彩失真方面均有效果，但其優(yōu)化后的圖像曝光度會(huì)受到影響，造成圖像發(fā)白問(wèn)題。基于深度學(xué)習(xí)的UWCNN 算法因缺少相應(yīng)的大量數(shù)據(jù)集長(zhǎng)時(shí)間的訓(xùn)練，恢復(fù)指定水下圖像的效果一般。AUF+WB 算法可以穩(wěn)定地提升水下圖像的視覺(jué)質(zhì)量，在對(duì)比中表現(xiàn)最佳。同時(shí)，為了進(jìn)一步驗(yàn)證該算法的魯棒性，統(tǒng)計(jì)從UIEB 數(shù)據(jù)庫(kù)中隨機(jī)選取的300 幅圖像的平均評(píng)價(jià)值，如表1 所示。AUF+WB 算法在PCQI、UCIQE 及UIQM 評(píng)價(jià)指標(biāo)中均獲得評(píng)價(jià)最優(yōu)值，表明該算法的應(yīng)用魯棒性較好。

表1 UIEB數(shù)據(jù)庫(kù)的300幅圖像平均定量評(píng)價(jià)結(jié)果Tab.1 Average quantitative results of 300 images from UIEB database

3.2 現(xiàn)場(chǎng)實(shí)驗(yàn)圖像及視頻幀處理

在中國(guó)遼寧大連附近海域，組織完成三次水下潛水?dāng)z像實(shí)驗(yàn)以驗(yàn)證AUF+WB 算法的實(shí)際應(yīng)用性。現(xiàn)場(chǎng)實(shí)驗(yàn)采用潛水員手持GoPro HERO9 相機(jī)全程錄像的方式進(jìn)行拍攝，共獲取視頻21 條，截取視頻幀圖像5 300 余張。視頻錄制主要以拍攝水下生物和周邊碼頭水下結(jié)構(gòu)技術(shù)狀態(tài)為主?？紤]到碼頭水下結(jié)構(gòu)顏色比較單一，因此圖5 僅給出AUF+WB 算法與其他先進(jìn)算法對(duì)6 幅相關(guān)圖像（海洋生物為主）的圖像增強(qiáng)結(jié)果對(duì)比。表2給出了圖5相關(guān)圖像的平均定量評(píng)價(jià)結(jié)果。次，很大程度上限制了算法的實(shí)際運(yùn)算效率，在選取最佳白平衡方式后，算法的效率得到明顯提升。表3為不同算法對(duì)300幅來(lái)自UIEB 水下圖像數(shù)據(jù)庫(kù)的圖像的計(jì)算平均時(shí)耗結(jié)果比較。所有運(yùn)算均在Intel i7-10710 CPU@1.10 GHz、16 GB 內(nèi)存硬件條件下，在Matlab 2020b（學(xué)生版）和Python 3.5.2 軟件環(huán)境中完成。

圖5 不同水下圖像去霧算法處理視頻幀的結(jié)果比較Fig.5 Result comparison of different underwater image defogging algorithms on video frames

表2 圖5相關(guān)圖像平均定量評(píng)價(jià)結(jié)果Tab.2 Average quantitative evaluation results of Fig.5 related images

表3 不同算法運(yùn)算耗時(shí)比較Tab.3 Comparison of running time of different algorithms

根據(jù)觀察可知，AUF+WB算法的應(yīng)用效果較好，對(duì)水下圖像質(zhì)量的提升優(yōu)于其他對(duì)比算法。同時(shí)，在相關(guān)定量評(píng)價(jià)中，AUF+WB 算法的UCIQE 與UIQM 值均為最高，表明了該算法的有效性。

綜上所述，本文所提出的AUF+WB 算法可有效提升水下圖像的視覺(jué)質(zhì)量，但通過(guò)大量的實(shí)驗(yàn)也發(fā)現(xiàn)其現(xiàn)階段存在以下不足：

1）白平衡算法的運(yùn)算過(guò)程中將幾乎相同的公式運(yùn)算50

2）AUF+WB 算法在原始圖像部分區(qū)域，會(huì)遇到在非常嚴(yán)重的不均勻光照情況下，紅色通道補(bǔ)償過(guò)多的問(wèn)題。原因在于該算法所采用的白平衡技術(shù)是對(duì)圖像全局的調(diào)整，并未考慮到對(duì)局部區(qū)域的修正。

針對(duì)以上不足，將在下一階段的研究中著重進(jìn)行白平衡算法運(yùn)算代碼的優(yōu)化，同時(shí)增加對(duì)可能遭受?chē)?yán)重不均勻光照的局部區(qū)域顏色通道的修正運(yùn)算。

3.3 其他應(yīng)用場(chǎng)景

AUF+WB算法雖然是專(zhuān)門(mén)為水下圖像的質(zhì)量增強(qiáng)而設(shè)計(jì)的，但它也可應(yīng)用于對(duì)有霧圖像的增強(qiáng)。圖6 給出了AUF+WB 算法應(yīng)用于有霧圖像所得到的圖像增強(qiáng)效果與原圖的對(duì)比，圖像來(lái)源于有霧圖像數(shù)據(jù)庫(kù)［29］?？梢钥闯觯珹UF+WB 算法有效提升了降質(zhì)圖像的對(duì)比度，恢復(fù)了大量細(xì)節(jié)信息，同時(shí)對(duì)顏色失真進(jìn)行了矯正，使圖像具有更好的視覺(jué)感知效果。

圖6 AUF+WB算法對(duì)有霧圖像的增強(qiáng)效果Fig.6 Enhancement effect of AUF+WB algorithm on foggy images

4 結(jié)語(yǔ)

基于水下圖像對(duì)比度低、細(xì)節(jié)信息丟失、顏色失真嚴(yán)重等問(wèn)題，本文提出了一種基于人工欠曝光融合和白平衡技術(shù)（AUF+WB）的水下圖像增強(qiáng)算法。該算法通過(guò)采用人工、多幅欠曝光圖像融合算法和改進(jìn)的白平衡技術(shù)可以提升水下退化圖像的視覺(jué)質(zhì)量，相較于現(xiàn)階段先進(jìn)的水下圖像去霧算法，AUF+WB 算法在定性評(píng)價(jià)和定量評(píng)價(jià)中均取得了更好的效果。同時(shí)，通過(guò)實(shí)驗(yàn)分析可知，本文算法還適用于空氣環(huán)境下有霧、低光照?qǐng)D像質(zhì)量的強(qiáng)化，有較好的應(yīng)用前景。

相較于現(xiàn)階段的其他水下圖像去霧算法，AUF+WB 算法的增強(qiáng)效果有較大的提升，但經(jīng)過(guò)大量實(shí)驗(yàn)發(fā)現(xiàn)，該算法也有其局限性，主要體現(xiàn)為：1）運(yùn)算效率較低；2）在目標(biāo)圖像中受到嚴(yán)重不均勻光源影響時(shí)，其白平衡運(yùn)算容易造成紅色通道補(bǔ)償過(guò)度的不良現(xiàn)象。在接下來(lái)的研究中，我們將著重對(duì)AUF+WB 算法的代碼進(jìn)行優(yōu)化，同時(shí)增加對(duì)圖像局部顏色通道的修正。