基于深度學(xué)習(xí)的水下圖像增強技術(shù)綜述

李樟榕

（福州大學(xué) 先進制造學(xué)院，福建 泉州 362200）

0 引言

地球上海洋總面積約3.6 億km2，約占地球表面積的71%，平均水深約3 795 m。海洋是巨大的資源寶庫，是未來社會物質(zhì)生產(chǎn)的重要原料基地。現(xiàn)階段，世界各國都在競相發(fā)展海洋高新技術(shù)，開采海洋礦產(chǎn)資源，因此水下圖像在探索和保護水下世界中起著至關(guān)重要的作用。隨著視覺技術(shù)和網(wǎng)絡(luò)設(shè)備的蓬勃發(fā)展，關(guān)于水下圖像的視覺質(zhì)量相關(guān)話題備受關(guān)注。然而，由于惡劣、復(fù)雜的水下環(huán)境，水下原始圖像的質(zhì)量通常難以進一步提高。水下圖像的主要特點是能見度差和顏色退化。例如，與藍光和綠光相比，紅色和橙色光的波長被水吸收的速度要快得多，因此水下的圖像通常以藍綠色的色調(diào)出現(xiàn)。這些不利影響限制了水下圖像在海洋生物學(xué)、考古學(xué)和生態(tài)探索中的許多實際應(yīng)用。因此，提高水下圖像的可見性，要通過高級視覺算法進行處理。傳統(tǒng)的水下圖像增強方法主要基于物理模型[1]和非物理模型[2]。基于物理模型的增強方法要依靠模型的先驗方法。然而，先驗知識在不同的水下場景中通常具有較弱的健壯性，導(dǎo)致嚴重的估計偏差。此外，水下深度和光傳播系數(shù)的基本參數(shù)也難以獲得。非物理模型沒有考慮水下圖像的物理退化機制?；谏疃葘W(xué)習(xí)（Deep Learning，DL）的水下圖像增強技術(shù)可以有效地提高圖像的亮度、對比度、飽和度以及顏色平衡等方面的效果，并且相對于傳統(tǒng)算法效果更加顯著。

1 基于深度學(xué)習(xí)的水下圖像增強方法

1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的水下圖像增強

深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），已經(jīng)在水下圖像增強中取得了顯著的成功。它們自動學(xué)習(xí)水下環(huán)境特征，提高圖像質(zhì)量，適用于各種水下任務(wù)。各種基于深度學(xué)習(xí)的水下增強網(wǎng)絡(luò)被提出。文獻[3]引入以CNN為模型的端到端框架UIE-Net，涉及去除霧霾和潤色任務(wù)，用于改善水下視覺。文獻[4]提出了一種基于深度殘差框架的水下圖像增強解決方案，并提出了批歸一化的影響。文獻[5]提出了一種用于水下視覺恢復(fù)任務(wù)的三階段的CNN 結(jié)構(gòu)，其靈感來自通道間的相關(guān)性和扭曲的彩色視覺效果的獨特特性。在文獻[6]中，SONG S 等人提出了一種新的水下生物識別方法，將MSRCR 圖像增強算法與Mask R-CNN 相結(jié)合。WANG K 等人在文獻[7]中提出了一種獨特的聯(lián)合網(wǎng)絡(luò)方法，通過多次迭代改進顏色校正和脫霧。文獻[8]提出了基于兩級水下圖像卷積神經(jīng)網(wǎng)絡(luò)（UWCNN-SD）的水下成像模型和結(jié)構(gòu)分解的特性。文獻[9]解釋了一種使用深度學(xué)習(xí)技術(shù)的水下圖像增強模型，結(jié)果表明所提算法可以學(xué)習(xí)優(yōu)化水下圖像的視覺效果。文獻[10]建立了一個用于水下場景重建的端到端深度網(wǎng)絡(luò)，包括通道級顏色特征提取和密集殘差特征提取兩個部分。LI C等人在文獻[11]提出了基于介質(zhì)傳輸引導(dǎo)的多顏色空間嵌入的水下圖像增強網(wǎng)絡(luò)Ucolor，結(jié)合注意機制來增強水下圖像。該網(wǎng)絡(luò)在場景適應(yīng)性、恢復(fù)精度和實時處理方面受到限制。CHEN 等人在這些方面做出改進，在文獻[12]提出了融合網(wǎng)絡(luò)（MFFN）的水下感知場景圖像增強方法，設(shè)計了合并特征提取模塊、特征融合模塊和注意力重構(gòu)模塊的度量。

1.2 基于生成對抗網(wǎng)絡(luò)的水下圖像增強

由于生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）在圖像生成方面的巨大成功，基于GAN 的水下圖像增強方法得到了廣泛的研究。LI J等人設(shè)計的WaterGAN[13]是最早基于GAN 的水下圖像增強的嘗試，利用生成對抗網(wǎng)絡(luò)從空氣中的圖和深度圖生成人工合成的水下圖像數(shù)據(jù)集，并使用生成式數(shù)據(jù)集進行訓(xùn)練，再使用校正網(wǎng)絡(luò)對未標定的真實水下圖像進行恢復(fù)。為了避免對成對訓(xùn)練數(shù)據(jù)的要求，LI C 在文獻[14]中提出了一種弱監(jiān)督的水下色彩校正網(wǎng)絡(luò)（UCycleGAN），然而未考慮到水下圖像深層網(wǎng)絡(luò)的健壯性問題。GUO Y 等人[15]使用多尺度密集生成對抗網(wǎng)絡(luò)（MDGAN），利用密集連接以及殘差學(xué)習(xí)的方法來提高水下圖像增強的健壯性。為了解決脫霧、對比度調(diào)整和自動顏色增強的挑戰(zhàn)，ISLAM M J 等人[16]設(shè)計了快速的水下圖像增強模型，這個基于GAN 的模型被命名為FUnIE-GAN。他們將問題表述為圖像到圖像的轉(zhuǎn)換，假設(shè)在輸入和輸出之間，即失真和增強圖像之間，存在一個非線性映射。LIU R 等人[17]提出了雙對抗性對比學(xué)習(xí)的水下增強方法，在增強網(wǎng)絡(luò)中嵌入了一個任務(wù)感知反饋模塊，利用檢測器的相干梯度信息使得水下圖像增強的結(jié)果有利于檢測。

2 水下圖像質(zhì)量評價指標

圖像質(zhì)量評價指標是衡量圖像質(zhì)量高低的重要指標。目前，基于深度學(xué)習(xí)的水下圖像質(zhì)量評價指標主要分為主觀定性評價和客觀定量評價兩類。主觀定性評價是指評價者通過視覺感知對水下圖像的清晰度、色彩飽和度、亮度及對比度等做出視覺評價。評價結(jié)果的好壞取決于評價者的視覺感官，無法用數(shù)學(xué)模型進行描述。客觀定量評價是指利用具體的計算公式計算出水下圖像在某個指標上的值，從而實現(xiàn)對水下圖像的質(zhì)量評價。根據(jù)有無參考圖像，可以將水下圖像客觀定量評價分為全參考圖像質(zhì)量評價和無參考圖像質(zhì)量評價。下面將詳細介紹這兩類評價指標。

2.1 全參考圖像質(zhì)量評價指標

對于有高質(zhì)量參考圖像的配對數(shù)據(jù)集，常使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為全參考圖像質(zhì)量評價指標。

壓縮后的圖像都會在某種程度上與原始圖像不同。通常使用PSNR 值來衡量經(jīng)過處理后的圖像質(zhì)量是否能讓人滿意。PSNR 數(shù)值越大表示圖像的失真程度越小。對于大小為m×n的圖像，其PSNR的計算公式為

式中：x表示網(wǎng)絡(luò)增強后的圖像，y表示高質(zhì)量的參考圖像，EMS是兩者的均方誤差。

PSNR是最普遍的評價圖像質(zhì)量高低的方法。不過，人眼的視覺感知會受到許多因素的影響，因此PSNR 的數(shù)值和人眼看到的視覺質(zhì)量不能保持完全一致。

通過亮度（luminance）、對比度（contrast）、結(jié)構(gòu)（structure）3 方面進行評估的結(jié)構(gòu)相似性SSIM可以用來衡量兩幅圖像的相似性。SSIM 的取值范圍為0 ～1，其值越大，代表兩幅圖像之間的相似度越高。SSIM計算公式為

式中：x表示網(wǎng)絡(luò)增強后的圖像，y表示高質(zhì)量參考圖像，μx、μy分別為圖像x與圖像y的均值，σx2、σy2分別為圖像x與圖像y的方差，ci(i=1,2,3)則為避免除數(shù)為0 而引入的常數(shù)，其中c1=(0.01×255)2，c2=(0.03×255)2，c3=c2/2。為了簡化形式，實際計算中，一般令α=β=γ=1，最后簡化得

2.2 無參考圖像質(zhì)量評價指標

對于沒有高質(zhì)量參考圖像的水下圖像，可通過采用水下圖像顏色質(zhì)量評估（Underwater Color Image Quality Evaluation，UCIQE）、水下圖像質(zhì)量 測 量（Underwater Image Quality Measurement，UIQM）和自然圖像質(zhì)量評估（Natural Image Quality Evaluation，NIQE）這3 種常見的無參考圖像質(zhì)量評價指標進行評價。

UCIQE 是由色度、飽和度和對比度組成的評價指標。其中，色度、飽和度和對比度分別用于量化偏色、模糊和低對比度。UCIQE 的值越高，表示圖像質(zhì)量越好。UCIQE的計算公式為

式中：σc表示色度標準差，cl表示亮度對比度，μs表示飽和度的均值，c1、c2、c3均為加權(quán)系數(shù)。色度的方差與人類對感興趣的水下彩色圖像的感知具有良好的相關(guān)性，因此在UCIQE 中使用色度來量化色偏。對比度用于測量在統(tǒng)一背景下看到的單個目標的局部對比度。飽和度的均值μs表示色彩純度，值越高表示色相越純。

UIQM 是由水下圖像色彩度測量（Underwater Image Colourfulness Measure，UICM）、水下圖像清晰度度量（Underwater Image Sharpness Measure，UISM）和水下圖像對比度度量（Underwater Image Contrast Measure，UIConM）組成的評價指標。顏色均衡、偏差小的水下圖像，UICM 的值高；邊緣信息豐富的圖像，UISM 的值高；塊內(nèi)對比度高的水下圖像，UIConM 的值高。UIQM 的值越高，圖像質(zhì)量越好。UIQM 的計算公式為

式中：c1、c2、c3分別為這3 項指標的權(quán)重系數(shù)。

自然圖像質(zhì)量評估是基于一組“質(zhì)量感知”特征，并將其擬合到MVG 模型中，通過計算被測量圖像與數(shù)據(jù)庫中高質(zhì)量圖像之間的MVG 模型差距來評估圖像質(zhì)量。NIQE 主要包含選取重要區(qū)域圖像塊、空間域特征提?。∟SS）、特征化圖像塊、NIQE指標設(shè)計以及MVG 模型構(gòu)建5 個部分。NIQE 的計算公式為

式中：v1、v2、C1、C2表示高質(zhì)量圖像的MVG 模型與待測圖像的MVG 模型的均值向量和協(xié)方差矩陣。這樣就可以得出高質(zhì)量圖像分布與待測圖像分別之間的距離。因此，NIQE 值越小，差值越小，待測圖像就越接近于高質(zhì)量圖像。

3 水下圖像數(shù)據(jù)集

由于水下環(huán)境的特殊性以及設(shè)備技術(shù)有限，很難獲得水下圖像數(shù)據(jù)集。在過去10 年中，很多水下圖像研究者利用各種方法去獲得水下圖像數(shù)據(jù)集。目前，基于深度學(xué)習(xí)的水下圖像增強相關(guān)文章中用到最多的數(shù)據(jù)集就是水下圖像增強基準數(shù)據(jù)集（Underwater Image Enhancement Benchmark，UIEB）和增強水下視覺感知數(shù)據(jù)集（Enhancement of Underwater Visual Perception，EUVP）。下面介紹這兩種數(shù)據(jù)集，幫助讀者快速了解每個數(shù)據(jù)集的特征。

3.1 UIEB 數(shù)據(jù)集

UIEB 數(shù)據(jù)集的建立由數(shù)據(jù)收集和參考圖像生成兩個過程構(gòu)成。在數(shù)據(jù)集收集階段，為了收集涵蓋多種水下場景、不同質(zhì)量退化特征以及具有豐富圖像內(nèi)容的數(shù)據(jù)集，LI 等人從Google、Youtube、相關(guān)論文[18-21]及LI 等人拍攝得到的水下圖像中進行收集。經(jīng)過數(shù)據(jù)細化，大部分收集到的圖像被淘汰，剩下大約950 張候選圖像。對于收集的水下圖像集，采用12 種圖像增強方法生成參考圖像。利用原始水下圖像和增強結(jié)果，邀請50 名志愿者對每張原始的水下圖像的12 個增強圖像進行兩兩比較。兩兩比較獲勝的圖像將在下一輪再次比較，經(jīng)過11次后選出最好的增強圖像結(jié)果。最后，志愿者對最終得到的最好的增強圖像進行檢查，并將其標記為滿意或不滿意。如果超過一半的志愿者將該增強圖像標記為滿意，則將其作為原始水下圖像的參考圖像；如果超過一半的志愿者將該增強圖像標記為不滿意，則將其原始水下圖像作為具有挑戰(zhàn)性的圖像，并丟棄該增強圖像。最終獲得了890 張成對的原始圖像及其參考圖像，以及具有挑戰(zhàn)性的60 張原始水下圖像。此數(shù)據(jù)集可參考文獻[22]。

3.2 EUVP 數(shù)據(jù)集

EUVP 數(shù)據(jù)集包含大量成對和未成對的水下圖像。這些圖像具有較差和良好的感知質(zhì)量。這些圖像是在海洋探索和實驗期間使用7 臺不同的相機在不同的能見度條件下拍攝的。數(shù)據(jù)集中包含一些從公開的YouTube 視頻中提取到的圖像。這些圖像體現(xiàn)了不同的場景、照明條件及水體類型等。在此基礎(chǔ)上，研究者利用人類視覺觀察方法建立水下圖像的感知偏好模型，以區(qū)分圖像的質(zhì)量，從而準備未配對的數(shù)據(jù)。參與者檢查了幾個圖像屬性（如顏色、清晰度和對比度）并考慮了場景的前景和對象是否可識別。因此，不成對的訓(xùn)練支持對水下圖像質(zhì)量的人類感知偏好建模。另外，基于CycleGAN[23]模型，通過學(xué)習(xí)將高質(zhì)量圖像轉(zhuǎn)換為失真圖像，從而訓(xùn)練配對數(shù)據(jù)。成對的數(shù)據(jù)集由underwater_dark、underwater_imagenet 和underwater_scenes 共3 個子集組成。underwater_dark 由5 550 對灰度失真圖像和彩色高質(zhì)量參考圖像組成。underwater_imagenet和underwater_scenes 分別由3 700 對和2 185 對彩色失真圖像和彩色高質(zhì)量參考圖像構(gòu)成。

4 結(jié)語

由于水下介質(zhì)和懸浮粒子對光線的吸收和散射等，水下圖像通常存在顏色失真、對比度低及細節(jié)丟失等問題，嚴重影響了水下高級作業(yè)的開展。因此，研究人員需要水下圖像增強的相關(guān)技術(shù)來提高水下圖像質(zhì)量。在深度學(xué)習(xí)快速發(fā)展的今天，這已經(jīng)成為研究的熱點之一。本文首先介紹了水下圖像增強的特點，其次討論了基于深度學(xué)習(xí)的水下圖像增強的各種方法和水下圖像質(zhì)量評價兩方面的研究進展，最后提供了現(xiàn)在比較常用的水下圖像數(shù)據(jù)集，希望對讀者有所幫助。