深度學(xué)習(xí)在水下成像技術(shù)中的應(yīng)用（特邀）

謝俊，邸江磊，秦玉文

（廣東工業(yè)大學(xué)信息工程學(xué)院，先進光子技術(shù)研究院，廣東省信息光子技術(shù)重點實驗室，廣州 510006）

0 引言

黨的十九大報告中指出“堅持陸海統(tǒng)籌，加快建設(shè)海洋強國”。壯大海洋經(jīng)濟、加強海洋資源環(huán)境保護、維護海洋權(quán)益事關(guān)國家安全和長遠發(fā)展。建設(shè)海洋強國，不斷提升我國開發(fā)海洋、利用海洋、保護海洋、管控海洋的綜合實力，是全面建設(shè)社會主義現(xiàn)代化強國的重要組成部分［1］。水下成像技術(shù)是海洋光學(xué)和水下光學(xué)學(xué)科的重要研究方向之一，是我們認識海洋、開發(fā)利用海洋和保護海洋的重要手段。水下光學(xué)成像技術(shù)因其能夠直觀有效探測水下環(huán)境的優(yōu)勢，奠定了其在水下地貌成像、海洋資源勘探、生物群種監(jiān)測、水下目標探測、水下考古發(fā)掘等領(lǐng)域的關(guān)鍵地位。由于復(fù)雜的水下環(huán)境及水體特殊的物理化學(xué)特性導(dǎo)致利用傳統(tǒng)光學(xué)成像方法在水下所成圖像存在各種退化問題，如水體對光的散射和吸收效應(yīng)導(dǎo)致水下圖像模糊、顏色失真、對比度低、光照不足等，水中懸浮顆粒物或氣泡造成的“海洋雪”效應(yīng)導(dǎo)致圖像出現(xiàn)亮點或虛假特征等［2］。

針對上述問題，水下成像技術(shù)中發(fā)展了包括水下圖像增強技術(shù)、水下圖像復(fù)原技術(shù)、水下偏振成像技術(shù)、水下關(guān)聯(lián)成像技術(shù)、水下光譜成像技術(shù)、水下壓縮感知成像技術(shù)、水下激光成像技術(shù)及水下全息成像技術(shù)等等一系列研究手段，以提升水下成像質(zhì)量，盡可能多地獲取更多水下信息。水下圖像增強技術(shù)可對水下退化圖像進行顏色校正、增加對比度；水下圖像復(fù)原技術(shù)基于物理模型對水下圖像進行恢復(fù)，可獲得更加真實的恢復(fù)結(jié)果；水下偏振成像技術(shù)利用物體和背景的不同偏振特性來濾除背景散射噪聲；水下關(guān)聯(lián)成像根據(jù)探測光路與參考光路的差異重建水下圖像，去除環(huán)境影響；水下光譜成像技術(shù)利用光譜信息進行目標的識別和區(qū)分；水下壓縮感知技術(shù)利用單像素成像靈敏度高、成像對采樣值不敏感的特點，獲得遠距離、低噪聲的水下圖像；水下激光成像技術(shù)利用激光的單色性及穿透性來濾除背景光噪聲及進行遠距離成像；水下全息成像技術(shù)通過數(shù)字全息技術(shù)獲取水下微生物的折射率、位置信息等。上述方法能在一定程度上解決傳統(tǒng)水下光學(xué)成像的問題，但在多種退化因素共存的環(huán)境下，某種方法通常只能解決水下圖像某方面的退化問題，成像效果依然有限。此外，上述方法也各有不足，如水下圖像增強容易導(dǎo)致圖像過飽和，水下圖像復(fù)原的物理模型依賴經(jīng)驗選取，水下光譜成像技術(shù)數(shù)據(jù)量過大、處理費時等，上述傳統(tǒng)水下成像方法的進一步優(yōu)化發(fā)展較為困難。

得益于計算機硬件技術(shù)的快速發(fā)展，深度學(xué)習(xí)近年來發(fā)展迅猛。作為基于數(shù)據(jù)驅(qū)動的方法，神經(jīng)網(wǎng)絡(luò)具有非常出色的圖像特征提取能力、非線性擬合能力及泛化能力，在圖像分類、目標識別、圖像超分辨率等領(lǐng)域中取得巨大成功。這一方法被引入水下成像領(lǐng)域，與傳統(tǒng)水下成像技術(shù)相結(jié)合，在水下圖像去模糊、去霧、去噪等任務(wù)中表現(xiàn)出色。本文闡述了傳統(tǒng)水下成像技術(shù)原理及發(fā)展現(xiàn)狀，并系統(tǒng)綜述了基于深度學(xué)習(xí)的水下成像技術(shù)研究進展，以期能夠幫助相關(guān)研究人員梳理水下成像技術(shù)的發(fā)展趨勢及存在問題。

1 水下成像技術(shù)

1.1 水下圖像退化模型

大氣與水體環(huán)境之間的顯著密度差，使得光波在兩種環(huán)境介質(zhì)中的傳播特性存在明顯差異，導(dǎo)致水下成像過程與陸上成像過程的顯著不同。海水或湖水中存在較多分布不均的浮游生物和懸浮顆粒，對接觸到的光會引起較強的散射和吸收效應(yīng)，其中散射又可分為前向散射與后向散射，前者是目標物反射光到達成像設(shè)備前受水體微粒影響，傳播方向發(fā)生小角度偏離的現(xiàn)象，主要表現(xiàn)為點光源擴散，產(chǎn)生離焦模糊，造成目標信息的缺失，圖像不清晰；后者是未經(jīng)目標物反射的環(huán)境光直接被微粒反射進入成像設(shè)備的現(xiàn)象，會引入較多的成像噪聲，使圖像失真。同時，水下環(huán)境中散射又包含單次散射和多次散射，當水體無雜或雜質(zhì)較少時，光波經(jīng)過一次散射過程到達接收器，稱為單次散射；當水體渾濁，雜質(zhì)顆粒分布密集時，光波往往需要經(jīng)過多次散射才能到達相機，稱為多次散射。散射作用導(dǎo)致圖像產(chǎn)生對比度低、模糊和霧化等特征。此外，海水對光波存在吸收作用，使得原本的光能量在傳播過程中不斷減弱，到達成像設(shè)備的光與最初的目標反射光存在顯著差異，加之海水對不同波長的光的吸收存在差異，對紅光的吸收尤為明顯［3-4］，如圖1（a）所示，最終造成水下圖像的嚴重失真和藍綠色偏。光波在水下傳播時發(fā)生衰減，其過程遵循Lambert-Beer定理，表示為

式中，Er和E0表示原始光輻射能量與水下傳播距離為r時的光輻射能量，c為水體衰減系數(shù)。

此外，在深水、渾濁水域還存在光線不足的問題，成像時需要使用人造光源補光，非均勻光照可能導(dǎo)致圖像出現(xiàn)亮斑及明暗不均等問題。

水下成像過程如圖1（b）所示。

圖1 水下圖像退化原理Fig.1 Principle of underwater image degradation

水下成像中的圖像退化模型一般采用Jaffe-McGlamey提出的成像模型（Image Formation Model，IFM）［5］來表示

式中，Ic（x）為使用相機在水下拍攝獲得的圖像，x為圖像中任一像素，下標c表示圖像中紅（Red，R）、綠（Green，G）、藍（Blue，B）三個顏色通道，Jc（x）表示原始無失真圖像，tc（x）為圖像在通道c的透射率，與光波在海水中的吸收和反射有關(guān)，Jc（x）tc（x）表示經(jīng)目標反射后到達相機的光強，Ac為背景環(huán)境中光強，Ac（1-tc（x））表示未經(jīng)目標反射而進入相機的雜散光。其中，透射率tc（x）為

式中，β（λ）為光波的衰減系數(shù)，是其在水下環(huán)境中的吸收系數(shù)和散射系數(shù)之和，隨光的波長λ改變，d（x）為目標與相機之間的距離。由式（3）可知，透射率與成像距離呈指數(shù)關(guān)系，距離越遠，透射率越小，即越遠的區(qū)域圖像質(zhì)量下降越嚴重［6］。

1.2 水下成像技術(shù)分類

一般來講，水下成像技術(shù)可分為聲學(xué)成像技術(shù)和光學(xué)成像技術(shù)兩大類。水下聲學(xué)成像技術(shù)可進行遠距離成像，但由于其分辨率較低，易受外部環(huán)境干擾等原因，成像質(zhì)量往往不高，應(yīng)用范圍較為有限。而水下光學(xué)成像技術(shù)可獲得直觀的水下圖像，成像分辨率高，成像速度快，操作簡便，在水下成像中獲得廣泛應(yīng)用。在本文中，我們將水下成像特指為水下光學(xué)成像。

水下成像技術(shù)按照技術(shù)途徑差異分為圖像處理和圖像重建兩種。圖像處理是對相機拍攝的圖像進行數(shù)字圖像處理以提升圖像質(zhì)量的方法，包括以空間域法、變換域法、顏色恒常性法等為代表的數(shù)字圖像增強技術(shù)，以及以多通道融合技術(shù)、基于先驗的圖像復(fù)原法等為代表的數(shù)字圖像復(fù)原技術(shù)。圖像重建則主要指充分利用光波的強度、光譜、偏振等多維度信息，結(jié)合光波在水下傳輸過程的物理模型，最終實現(xiàn)水下目標的重建和成像的方法，包括水下偏振成像、水下關(guān)聯(lián)成像、水下光譜成像、水下壓縮感知成像、水下激光成像、水下全息成像等，如圖2所示。

圖2 水下成像技術(shù)分類Fig.2 Classification of underwater imaging

2 深度學(xué)習(xí)

深度學(xué)習(xí)技術(shù)近年來在計算機視覺、自然語言處理、無人駕駛等領(lǐng)域獲得廣泛應(yīng)用，尤其在計算機視覺領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）被廣泛用于提取圖像的特征信息，通過衡量損失函數(shù)、優(yōu)化網(wǎng)絡(luò)參數(shù)，以“端到端”方式實現(xiàn)圖像增強、圖像重建等目標。下面重點對CNN進行介紹。

2.1 CNN主體結(jié)構(gòu)

在深度學(xué)習(xí)技術(shù)發(fā)展中，先后出現(xiàn)多層感知機（Multilayer Perceptron，MLP）、CNN、以及生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）等多種不同結(jié)構(gòu)的經(jīng)典網(wǎng)絡(luò)，分別用以完成不同的任務(wù)并具有不同的效果。1）MLP作為早期的網(wǎng)絡(luò)結(jié)構(gòu)之一，是一種前向結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，包含輸入層、輸出層、隱藏層，其中的節(jié)點采用全連接或局部連接的方式連接，需要計算大量參數(shù)，效率較低；2）CNN是深度學(xué)習(xí)的重大突破之一，廣泛應(yīng)用于計算機視覺領(lǐng)域，采用卷積層替代MLP中的全連接結(jié)構(gòu)，憑借卷積運算的稀疏連接、參數(shù)共享、平移不變等特性大大降低了網(wǎng)絡(luò)參數(shù)量和計算量，極大提高了圖像處理效率。早期CNN由卷積層和全連接層依次連接組成的單鏈骨架構(gòu)成，如圖3（a）。全卷積網(wǎng)絡(luò)（Full Convolutional Network，F(xiàn)CN）在骨架結(jié)構(gòu)基礎(chǔ)上，利用卷積層替代全連接層，實現(xiàn)“端到端”的模型，如圖3（b）。U型卷積神經(jīng)網(wǎng)絡(luò)（U-Net）從FCN發(fā)展而來，由下采樣和上采樣形成對稱的U型結(jié)構(gòu)，輔以通道間的跳躍連接，可實現(xiàn)全局特征與局部特征的結(jié)合，更好地利用細節(jié)信息，實現(xiàn)端到端的圖像處理，此外U-net還可以利用數(shù)據(jù)增強在樣本數(shù)據(jù)較少時進行訓(xùn)練，在醫(yī)學(xué)影像處理等方面上有較大幫助，如圖3（c）；3）GAN由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分組成，訓(xùn)練時采用博弈思想，將生成網(wǎng)絡(luò)生成的圖像與真實圖像交予判別網(wǎng)絡(luò)判別真?zhèn)危?xùn)練判別網(wǎng)絡(luò)，并將結(jié)果返回生成模型用于增強損失函數(shù)，訓(xùn)練生成網(wǎng)絡(luò)。經(jīng)過不斷訓(xùn)練，生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的能力不斷提升，最終獲得能生成所需圖像的生成網(wǎng)絡(luò)，常在缺乏或無法獲得相應(yīng)數(shù)據(jù)時用于生成圖像。

圖3 CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 CNN structure

2.2 CNN組成

盡管CNN有多種不同網(wǎng)絡(luò)主體結(jié)構(gòu)，但其基本結(jié)構(gòu)都包括：1）全連接層、卷積層：用于圖像特征提取，得益于卷積運算的稀疏連接、參數(shù)共享、平移不變等特性，卷積神經(jīng)網(wǎng)絡(luò)具有更高效的特征提取能力；2）池化層：用于下采樣，對圖像信息進行濾波和高層特征提取；3）激活函數(shù)：增加網(wǎng)絡(luò)的非線性擬合能力，包括整流線性單元（Rectified Linear Unit，ReLU）、Sigmoid、Tanh等函數(shù)；4）損失函數(shù)：衡量處理結(jié)果與所給標簽的接近程度，值越小表明越接近。圖像處理中常用最小絕對值偏差（又稱L1損失函數(shù)）、均方誤差（Mean Square Error，MSE）、結(jié)構(gòu)相似性（Structural Similarity，SSIM）等損失函數(shù)，圖像分類中常用交叉熵損失函數(shù)（CrossEntropy）；5）優(yōu)化器：反向傳播時用于優(yōu)化網(wǎng)絡(luò)各層參數(shù)，常用優(yōu)化算法有隨機梯度下降算法（Stochastic Gradient Descent，SGD），自適應(yīng)矩估計（Adaptive Moment Estimation，Adam）等。

2.3 CNN的細節(jié)優(yōu)化

在CNN主體網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，還可以向其中添加以下細節(jié)，以進一步優(yōu)化網(wǎng)絡(luò)性能和效率：1）跳躍連接：將神經(jīng)網(wǎng)絡(luò)中某一層的輸出跳躍連接至其他層，作為其輸入的一部分，可將網(wǎng)絡(luò)中某一層的特征向后傳輸至更深層，避免深層網(wǎng)絡(luò)在參數(shù)更新時出現(xiàn)的梯度爆炸和梯度消失問題，能加快網(wǎng)絡(luò)訓(xùn)練的收斂速度，常用于殘差網(wǎng)絡(luò)中；2）多尺度信息融合：包括多尺度輸入融合，多分支通道融合，多尺度特征融合等，能夠?qū)⒉煌惺芤暗男畔⒁源?lián)方式傳遞給下一層網(wǎng)絡(luò)，有利于增強網(wǎng)絡(luò)對高層特征及細節(jié)的探測；3）稠密連接：與跳躍連接相似，將網(wǎng)絡(luò)中每一層的輸入與之前所有層的輸出在維度上進行特征融合，以最大化利用特征信息，但密集鏈接會增加訓(xùn)練過程計算量，降低運算效率；4）注意力機制：可分為軟注意力機制和硬注意力機制［7］，軟注意力考慮全局，在圖像特征（空間或通道）分出旁路對輸入特征進行降維，學(xué)習(xí)特征映射的權(quán)重分布，再將其與原圖像相乘，得到具有不同權(quán)重的（空間或通道）特征，常用于圖像處理網(wǎng)絡(luò)中［8-9］。而硬注意力是一個隨機過程，某一時刻只關(guān)注一個特征信息。

2.4 CNN的應(yīng)用過程

應(yīng)用CNN處理問題之前，需要對網(wǎng)絡(luò)進行設(shè)計及訓(xùn)練。CNN主要依靠人為經(jīng)驗進行主體結(jié)構(gòu)選取及細節(jié)添加，網(wǎng)絡(luò)訓(xùn)練依靠仿真模擬、實驗記錄或?qū)嵉孬@取的數(shù)據(jù)集進行。在訓(xùn)練過程中，從數(shù)據(jù)集中取出樣本數(shù)據(jù)輸入CNN，經(jīng)過全連接層/卷積層等模塊處理后得到輸出，輸出通過損失函數(shù)計算與樣本標簽的差距，并利用優(yōu)化算法進行反向傳播優(yōu)化網(wǎng)絡(luò)參數(shù)，完成一次網(wǎng)絡(luò)訓(xùn)練，隨后從數(shù)據(jù)集中取出下一組樣本進行下一次網(wǎng)絡(luò)訓(xùn)練。訓(xùn)練過程中根據(jù)損失函數(shù)是否能收斂至目標值來判斷網(wǎng)絡(luò)設(shè)計是否合理及是否完成訓(xùn)練，若無法收斂或損失函數(shù)無法降低至目標值則需要對網(wǎng)絡(luò)超參數(shù)或者結(jié)構(gòu)進行進一步修改。將網(wǎng)絡(luò)訓(xùn)練好后，需要利用驗證集驗證網(wǎng)絡(luò)對新數(shù)據(jù)的處理效果，若神經(jīng)網(wǎng)絡(luò)在驗證集上表現(xiàn)不佳則要對網(wǎng)絡(luò)進行修改并重新進行訓(xùn)練直至收斂。訓(xùn)練好并通過驗證的網(wǎng)絡(luò)即可用于目標數(shù)據(jù)處理。

3 深度學(xué)習(xí)在水下成像技術(shù)中的應(yīng)用

3.1 水下圖像增強技術(shù)

水下圖像增強技術(shù)主要使用計算機數(shù)字圖像處理的手段來對水下圖像進行調(diào)整以提升視覺效果。目前，已有大量圖像增強算法被提出，并且均可獲得較好的視覺效果。圖像增強算法主要可以分為傳統(tǒng)圖像增強算法和基于CNN、GAN等的深度學(xué)習(xí)方法兩大類。

3.1.1 傳統(tǒng)圖像增強方法

傳統(tǒng)圖像增強方法包括空間域法、變換域法、顏色恒常性法等。

1）空間域法是在空間域?qū)D像像素進行操作，以改善圖像視覺效果的方法，包括灰度變換、直方圖均衡、拉伸等手段［10］。直方圖均衡化是空間域法中最常使用的方法，將集中分布的灰度直方圖均衡至全局，增加物體與背景的灰度差。在整體偏暗的水下環(huán)境中，將圖像進行直方圖拉伸通?？筛纳乒庹者^暗的不足，取得較好的顯示效果，但直方圖均衡化也容易造成過飽和，細節(jié)丟失等問題。王新偉等［11］針對上述問題，提出一種自適應(yīng)設(shè)置閾值的雙平臺自適應(yīng)圖像增強算法，提高了水下圖像對比度和亮度；王龑等［12］在直方圖均衡化基礎(chǔ)上提出相對全局直方圖拉伸圖像增強方法，對圖像RGB三通道進行自適應(yīng)直方圖拉伸并轉(zhuǎn)換到CIE-Lab顏色域進行拉伸優(yōu)化，避免基于像素值重分布的盲目增強，提升了圖像視覺效果；黃冬梅等［13］在RGB與CIE-Lab顏色模型中對圖像進行自適應(yīng)直方圖拉伸，并針對不同水體進行動態(tài)參數(shù)優(yōu)化，獲得清晰水下圖像。

2）在圖像頻率域中，高頻分量通常代表灰度梯度較大的物體邊緣區(qū)域；低頻分量通常代表圖像中較為平坦的背景區(qū)域［14］。變換域法是將原始圖像利用傅里葉變換、小波變換、顏色空間變換等手段轉(zhuǎn)換到對應(yīng)域后，進一步進行濾波等處理并進行反變換以獲得增強圖像的方法。例如，KASHIF I等［15］將RGB圖像對比度拉伸之后轉(zhuǎn)換至HSI域進行飽和度和強度拉伸以增加色彩真實度；藍雷波等［16］將水下原始RGB圖像與完成拉普拉斯高通濾波處理后的圖像進行HSV顏色空間轉(zhuǎn)換，用原圖飽和度分量改變處理后圖像的HSV顏色空間飽和度分量，以達到糾正飽和度分量的目的，最終獲得清晰、色彩恢復(fù)良好的圖像；VASAMSETTI S等［17］提出一種基于小波的水下圖像透視增強技術(shù)框架，在圖像RGB通道上應(yīng)用離散小波變換生成兩個分解系數(shù)，通過修改系數(shù)改善顏色和局部對比度，并依此重建RGB通道灰度圖像，提高水下計算機視覺任務(wù)的準確性。

3）顏色恒常性法利用目標顏色因光照條件改變而改變時，人們對其表面顏色的直覺仍然保持不變的特性，將目標圖像還原回標準光照下的色調(diào)以獲得較好的視覺效果，包括白平衡、Retinex法等。白平衡是消除環(huán)境對物體造成的色偏影響，保持物體在不同光照情況下所獲得的圖像顏色一致的方法，在水上環(huán)境中可起到較好的顏色校正效果，但由于水下圖像顏色嚴重退化，傳統(tǒng)白平衡方法效果較差。針對該問題，王文等［18］提出采用改進的白平衡方法，對圖像的RGB通道進行［0，255］范圍的仿射變換，使其盡可能占據(jù)較大的灰度范圍，從而得到更符合視覺效果的水下圖像；ANCUTI CO等［19-20］提出水下白平衡以補償光波選擇性衰減，根據(jù)對比度、顯著特征和曝光度確定融合權(quán)重，并據(jù)此將白平衡矯正后的圖像和局部自適應(yīng)直方圖均衡圖像進行融合，產(chǎn)生了具有更好全局對比度和細節(jié)信息的增強圖像。Retinex法基于視網(wǎng)膜大腦皮層理論，即目標顏色由目標對不同波長光波的反射能力決定，人眼感知的目標亮度取決于環(huán)境照明和目標表面對光的反射。2008年，JOSHI K R等［21］提出使用Retinex方法對圖片進行處理，一定程度上改善了水下圖像的視覺效果；張明明等［22］根據(jù)Retinex光照反射模型和圖像構(gòu)成理論設(shè)計了一種基于光照分量的多尺度優(yōu)化估計方案，近似把圖像光照分量等價于透射率圖像，并提出比例融合方法，使所獲得的透射率圖像更加接近于實際；張彩珍等［23］針對傳統(tǒng)算法引起的色偏和失真問題，提出一種基于差異通道增益和多尺度Retinex算法的水下圖像增強算法，采用改進的灰度世界算法得到不同顏色通道的增益比，加大補償水介質(zhì)對紅光的吸收部分，使RGB圖像的色彩比例修復(fù)為近似真實的比例，避免信息丟失。如圖4所示，該算法能有效增強各環(huán)境中的水下圖像，恢復(fù)圖像的細節(jié)信息。

圖4 不同算法處理前后的效果［23］Fig.4 Effects of different algorithms before and after processing［23］

3.1.2 基于深度學(xué)習(xí)的圖像增強方法

作為數(shù)據(jù)驅(qū)動方法，深度學(xué)習(xí)可以在沒有先驗條件情況下從原始圖像和退化圖像中學(xué)習(xí)高層語義特征并對退化圖像進行還原，在圖像增強中具有非常出色的表現(xiàn)。

2017年，CNN被用于解決水下圖像退化問題。PEREZ J等［24］提出一種基于CNN的水下圖像增強方法，該方法使用降級和恢復(fù)的水下圖像作為訓(xùn)練數(shù)據(jù)對實現(xiàn)模糊圖像和清晰圖像間的端到端轉(zhuǎn)換；WANG Y等［25］提出端到端水下圖像增強框架（UIE-net），如圖5（a）所示，用CC-Net子網(wǎng)絡(luò)輸出不同通道的顏色吸收系數(shù)，用于校正水下圖像顏色失真，用HR-Net子網(wǎng)絡(luò)輸出光衰減投射圖，用于增強水下圖像的對比度，而UIE-Net由于采用像素破壞策略提取圖像局部區(qū)域的固有特征，極大地加快了模型收斂速度，提高了準確率；ANWAR S等［26］使用在室內(nèi)環(huán)境中產(chǎn)生的合成水下圖像數(shù)據(jù)庫訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（UWCNN），聯(lián)合MSE和SSIM作為模型損耗，在保留目標原始結(jié)構(gòu)和紋理信息的同時可重建出清晰水下圖像，并在各種水下場景中使用真實及合成水下圖像驗證了該模型的通用性。

圖5 深度學(xué)習(xí)應(yīng)用于圖像增強Fig.5 The applications of deep learning in image enhancement

針對人工光源導(dǎo)致水下成像照明不均的問題，CAO X等［27］將原始圖像建模為理想圖像和非均勻光層的疊加并將其從原圖中分離，用擴張卷積代替?zhèn)鹘y(tǒng)的池化層，擴大接受域，并設(shè)計特征損失、平滑損失和對抗損失作為損失函數(shù)來解決顏色漂移和細節(jié)模糊問題，在非均勻光照識別中獲得了更高精度；DUDHANE A等［28］提出端到端廣義深度網(wǎng)絡(luò)，利用深度可分離卷積濾波器和密集殘差網(wǎng)絡(luò)進行顏色相關(guān)特征等通道特征提取，并使用稠密殘差網(wǎng)絡(luò)進行水下圖像去霧，最終實現(xiàn)不同類型水下圖像增強，結(jié)果如圖6（a）所示；WANG Y Q等［29］提出一種集成雙通道的端到端網(wǎng)絡(luò)模型，通道一利用殘差密集網(wǎng)絡(luò)模塊對圖像低頻層進行色彩校正和去霧，通道二采用局部殘差學(xué)習(xí)策略去除圖像高頻層中的白色海洋雪，并采用細化模塊進一步改善通道聯(lián)合結(jié)果，如圖5（b）所示；HUANG Y F等［30］將RGB圖像經(jīng)過色彩校正后轉(zhuǎn)換到Y(jié)CbCr顏色空間，在亮度通道上使用多尺度遞歸網(wǎng)絡(luò)去模糊并將其與未處理的Cb，Cr通道進行重組，獲得去霧的高質(zhì)量圖像，結(jié)果如圖6（b）所示。

圖6 神經(jīng)網(wǎng)絡(luò)用于圖像增強結(jié)果Fig.6 Image enhancement effect by neural networks

在深度學(xué)習(xí)方法中，往往難以獲得水下環(huán)境的清晰圖像，因此無法形成訓(xùn)練數(shù)據(jù)集。GAN［31］可以通過無監(jiān)督訓(xùn)練生成逼真水下圖像或者進行風格遷移將陸上圖像轉(zhuǎn)化為水下圖像，被用于解決數(shù)據(jù)集缺乏的問題。LI J等［32］基于GAN提出WaterGAN，如圖7所示，用陸上圖像和深度圖像通過生成器合成水下圖像，將其與真實水下圖像對判別器和生成器進行訓(xùn)練，使其能生成模擬水下環(huán)境的圖像。但WaterGAN模擬生成的水下圖像環(huán)境較為單一，無法涵蓋非均勻光照和渾濁水體等環(huán)境。

圖7 WaterGAN模型［32］Fig.7 WaterGAN model structure［32］

在風格遷移上，循環(huán)一致對抗網(wǎng)絡(luò)（Cycle-Consistent Generative Adversarial Networks，CycleGAN）［33］可通過域轉(zhuǎn)換將陸上圖像轉(zhuǎn)變?yōu)樗嘛L格的圖像來獲得水下數(shù)據(jù)集。例如，F(xiàn)ABBRI C等［34］依據(jù)CycleGAN提出基于U型結(jié)構(gòu)的UGAN，利用CycleGAN生成的水下圖像對UGAN進行訓(xùn)練，訓(xùn)練后的UGAN可將模糊的水下圖像轉(zhuǎn)換為高分辨率的圖像；LI N等［35］根據(jù)CycleGAN和條件生成對抗網(wǎng)絡(luò)（Conditional GAN，cGAN），提出水下多風格生成對抗網(wǎng)絡(luò)（UMGAN），利用混合對抗系統(tǒng)和非配對方法從陸上圖像生成逼真水下圖像。此外，他們還利用風格分類器和條件向量將陸上圖像轉(zhuǎn)換為水下圖像，在指定的濁度或水體風格下可保留陸上圖像的主要內(nèi)容和結(jié)構(gòu)信息；ZONG X等［36］則在CycleGAN基礎(chǔ)上提出局部周期一致生成對抗網(wǎng)絡(luò)，采用局部鑒別器和全局鑒別器來增強網(wǎng)絡(luò)的穩(wěn)定性和適應(yīng)性；LI C Y等［37］提出的Cast-GAN通過激勵邊緣和顏色在白色光源下向輻射方向增強，來調(diào)整發(fā)生器的損失函數(shù)，以解決水下圖像增強問題。然而，使用GAN的樣式轉(zhuǎn)換能力生成數(shù)據(jù)集效率較低，因為一個訓(xùn)練良好的GAN只能生成一種類型的水下風格。為此，LI C等［38］直接從簡化的水下IFM合成水下圖像，用于訓(xùn)練UWCNN網(wǎng)絡(luò)，而YIN X等［39］在IFM模型基礎(chǔ)上增加非均勻光照項，合成的圖像用于FMSNet恢復(fù)圖像，實現(xiàn)了更好的恢復(fù)效果。

除用于生成數(shù)據(jù)集外，GAN還可用于圖像增強處理。ISLAM M J等［40］利用FABBRI C等［34］生成的水下圖像數(shù)據(jù)集到FUnIE-GAN網(wǎng)絡(luò)中，獲得較好的圖像增強結(jié)果；王德興等［41］則通過向GAN加入Inception模塊和Residual模塊以克服網(wǎng)絡(luò)梯度消失和過濾器尺寸選擇問題，實現(xiàn)不同尺度特征信息的融合，恢復(fù)結(jié)果如圖8所示。與普通GAN相比，該方法能有效提升圖像清晰度、顏色校正和對比度方面的視覺效果。

圖8 IRGAN圖像恢復(fù)結(jié)果［41］Fig.8 Image restoration results［41］

目前，傳統(tǒng)圖像增強方法在水下圖像處理中的應(yīng)用有一定效果，但受限于水體環(huán)境與大氣環(huán)境的差異，其應(yīng)用效果有限?？臻g域法可增加物體與背景灰度差，調(diào)整過暗環(huán)境，但在畫面光照不足或有明顯亮斑時，容易放大噪聲、引入偽影；變換域法可通過濾波等方式去除圖像噪聲，但對低對比度和邊緣特征不明顯圖像處理效果較差；顏色恒常性法通過先驗假設(shè)將目標圖像還原回標準光照下的色調(diào)來調(diào)整圖像色彩，較大程度上依賴先驗假設(shè)，受水體復(fù)雜環(huán)境影響，難以進行準確先驗估計。此外，單一傳統(tǒng)處理方法無法兼顧水下圖像的噪聲及顏色失真等多重問題，通常需要多種方法聯(lián)合使用，需對圖像進行多次處理，耗時且不同方法應(yīng)用順序?qū)Y(jié)果影響大。深度學(xué)習(xí)方法利用大量數(shù)據(jù)學(xué)習(xí)水下退化圖像-恢復(fù)圖像的仿射變換，對水下圖像進行去噪、顏色校正、對比度提升等操作，直接獲取恢復(fù)效果較好的圖像，避免了傳統(tǒng)方法繁雜的多步處理過程。與此同時，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)端到端的映射方式，無需對環(huán)境進行先驗估計，避免引入先驗誤差，較傳統(tǒng)方法可取得更好效果。但深度學(xué)習(xí)方法當前也存在網(wǎng)絡(luò)訓(xùn)練費時、單一網(wǎng)絡(luò)對不同水體的泛化能力不足、缺乏高質(zhì)量數(shù)據(jù)集、計算復(fù)雜、實時性差等問題。表1中給出了傳統(tǒng)水下圖像增強技術(shù)和基于深度學(xué)習(xí)的方法的特點比較。

表1 傳統(tǒng)水下圖像增強技術(shù)方法與基于深度學(xué)習(xí)的方法總結(jié)Table 1 Summary of traditional underwater image enhancement methods and deep learning methods

在未來，水下圖像增強將以深度學(xué)習(xí)方法為主，主要解決網(wǎng)絡(luò)輕量化、泛化和數(shù)據(jù)集增強等問題。此外，將最新發(fā)展的多種神經(jīng)網(wǎng)絡(luò)引入水下圖像增強方面，也是未來發(fā)展方向之一。

3.2 水下圖像復(fù)原技術(shù)

水下圖像復(fù)原技術(shù)通過分析水下成像機理和光傳播的基本物理原理，通過構(gòu)建圖像退化的物理模型，利用水體衰減因子、散射系數(shù)、透射率等一系列先驗信息反演出真實場景，進而得到退化前的圖像。在參數(shù)估計上，根據(jù)Jaffe-McGlamey提出的IFM模型，最重要的待估計參數(shù)為透射率和環(huán)境光。因此，水下圖像復(fù)原可以近似理解為水下圖像透射率和環(huán)境光估計問題［6］。為了從圖像中得出先驗信息，需要借助一系列手段獲取先驗知識。近些年，已有多種基于不同先驗的水下圖像復(fù)原方法被提出，這里將數(shù)字圖像復(fù)原從基于先驗的復(fù)原方法和深度學(xué)習(xí)方法兩方面進行總結(jié)。

3.2.1 基于先驗的復(fù)原方法

基于先驗的復(fù)原方法通過不同的先驗或假設(shè)提取圖像特征，然后利用這些特征估計透射率（Transmission Map，TM）和環(huán)境光（Background Light，BL），從而實現(xiàn)圖像復(fù)原。較為典型的方法是暗通道先驗算法（DarkChannelPrior，DCP），由HE K等［42］在2011年提出并用于圖像去霧。統(tǒng)計發(fā)現(xiàn)，無霧圖像中的局部區(qū)域存在一些像素，這些像素中至少有一個顏色通道的亮度值非常非常低，被稱為暗通道，并以此來計算圖像透射率，反演出去霧圖像。DCP除在普通圖像處理中應(yīng)用較多外，在水下圖像處理中也受到廣泛應(yīng)用。例如，CHIANG J Y等［43］利用DCP補償傳播路徑上的顏色衰減，對水下傳播路徑上的霧霾現(xiàn)象和波長衰減差異進行了修正；ZHAO X等［44］提出從水下圖像背景顏色推導(dǎo)水體固有光學(xué)特性的方法，采用傳統(tǒng)DCP算法對R通道的透射率進行估計，并利用衰減系數(shù)間的關(guān)系從R通道估計GB彩色通道的透射率。水下圖像重建和陸上圖像重建有一定的相似性，故DCP在水下環(huán)境下也有一定效果。但DCP在陸上圖像的應(yīng)用關(guān)注RGB通道中灰度值的差別，默認三個通道中的透射率都相同。而水下環(huán)境中，由于不同水體對光波有不同程度的吸收，如海水對紅光吸收較強等，所以傳統(tǒng)DCP在水下環(huán)境中的效果較差，隨后很多改進的DCP算法被提出。針對紅色通道衰減嚴重，DCP主要受R通道影響的問題，DREWS J P等［45］提出水下暗通道先驗算法（UDCP），只考慮GB通道來消除紅色的影響；LU H等［46］針對渾濁水體藍色通道偶爾會出現(xiàn)灰度值最低的情況，提出一種RB雙通道計算透射率和使用加權(quán)中值濾波去除光暈的方法；ZHENG L等［47］針對傳統(tǒng)DCP泛用性差的問題，在所有通道都以最高速率衰減基礎(chǔ)上考慮了不同水體類型的光譜剖面，提出一種廣義的水下暗通道先驗方法，以對不同水體類型下的圖像傳輸進行穩(wěn)定估計；GALDRAN A等［48］提出一種紅色通道先驗方法估計水下圖像的透射率，并引入模糊圖像的飽和度信息對傳輸圖進行調(diào)整，提高了圖像整體色彩的真實性；CARLEVARIS B等［49］根據(jù)水下圖像中R通道和GB通道的衰減差異，提出場景估計最大強度先驗方法，利用R通道最大強度與GB通道最大強度的差值，以及顏色通道間最大差異來定義傳輸圖，最終較好地描述圖像深度；ZHAO X等［50］利用DCP與MIP來估計BL，通過在暗通道中選取0.1%最亮的像素及在輸入圖像中選取紅藍或紅綠差值最大的像素作為全局背景光，保證估計的魯棒性，同時消除了部分前景中藍色或綠色物體的干擾；PENG Y T［51］等則認為DCP、UDCP、MIP等方法只考慮RGB通道可能導(dǎo)致錯誤深度估計，提出一種利用圖像模糊來測量場景深度的方法，基于場景深度越深，水下圖像越模糊的假設(shè)，通過原始圖像與多尺度高斯濾波圖像的差值估計像素模糊圖，經(jīng)過最大濾波后獲得粗略深度圖，最后使用CMR和引導(dǎo)濾波器對深度圖進行細化；此外，PENG Y T等［52］還提出利用光吸收來估計更準確的背景光和水下場景深度，恢復(fù)了各種類型復(fù)雜場景下的水下圖像；WANG Y等［53］提出了一種基于自適應(yīng)顏色補償和雙傳輸估計（ACDTE）的圖像恢復(fù)方法，采用顏色-色調(diào)自適應(yīng)方法確定水下圖像的色調(diào)，并采用四叉樹分解方法估計全局水體光照，能有效校正圖像顏色偏差。

3.2.2 基于深度學(xué)習(xí)的圖像復(fù)原方法

深度學(xué)習(xí)同樣在圖像恢復(fù)中有廣泛應(yīng)用。在Jaffe-McGlamey提出的IFM模型中，圖像恢復(fù)最重要的任務(wù)是估計TM和BL參數(shù)，基于先驗的方法依賴先驗信息的可靠性，而先驗信息多依靠人為選取，可靠性較低。深度學(xué)習(xí)以數(shù)據(jù)驅(qū)動的方式獲取水下圖像與相關(guān)參數(shù)之間的關(guān)系，可獲得更穩(wěn)健、更準確的估計［54］。DING X［55］等采用帶增益因子的自適應(yīng)顏色校正算法對圖像進行顏色校正，并通過CNN估計顏色校正后水下圖像的BL和TM；CAO K等［56］搭建簡化和精細兩個網(wǎng)絡(luò)分別對NYU數(shù)據(jù)集合成的水下圖像進行BL和TM估計，網(wǎng)絡(luò)結(jié)構(gòu)如圖9所示，該方法估計的參數(shù)恢復(fù)效果優(yōu)于現(xiàn)有的基于IFM的圖像恢復(fù)方法；YIN X等［39］則利用改進的IFM合成水下圖像對，并將其用于FMSNet學(xué)習(xí)圖像映射。

圖9 神經(jīng)網(wǎng)絡(luò)用于參數(shù)估計［56］Fig.9 Neural network for parameter estimation［56］

WANG K等［54］利用透射估計網(wǎng)絡(luò)（T網(wǎng)絡(luò)）和全局環(huán)境光估計網(wǎng)絡(luò)（A網(wǎng)絡(luò)）對TM和BL進行估計，其中T網(wǎng)絡(luò)采用跨層連接和多尺度估計來防止暈影和保留邊緣特征；PAN P W等［57］提出了一種水下圖像去散射的多尺度迭代網(wǎng)絡(luò)，基于金字塔分解方法，使用卷積神經(jīng)網(wǎng)絡(luò)估計傳輸映射TM，然后使用自適應(yīng)雙邊濾波器對估計結(jié)果進行改進，結(jié)果如圖10（a）所示。

除利用網(wǎng)絡(luò)從圖像中估計參數(shù)外，還可以將網(wǎng)絡(luò)與水下模型結(jié)合獲取相關(guān)參數(shù)。例如，LIN Y F等［58］針對現(xiàn)有深度學(xué)習(xí)方法沒有充分考慮水下物理畸變過程的問題，提出在水平恢復(fù)階段將水下物理模型嵌入網(wǎng)絡(luò)中，估計衰減系數(shù)作為水型信息的特征表示，并與深度圖聯(lián)合估計傳輸圖，在垂直恢復(fù)階段利用帶有衰減系數(shù)優(yōu)先注意塊的稠密網(wǎng)絡(luò)校準垂直失真圖像的RGB通道特征圖，最后通過CHIANG J Y等［43］的網(wǎng)絡(luò)恢復(fù)圖像，結(jié)果如圖10（b）所示；BARBOSA W V等［59］利用對比度、銳度、邊界完整性等特征來獲得多目標函數(shù)IQM，式（4），并以式（5）作為損失函數(shù)對CNN進行優(yōu)化，將優(yōu)化后網(wǎng)絡(luò)得到的TM參數(shù)用于圖像恢復(fù)，其處理流程如圖11所示。

圖10 神經(jīng)網(wǎng)絡(luò)用于圖像恢復(fù)Fig.10 Neural network for image restoration

圖11 兩步學(xué)習(xí)法示意圖［59］Fig.11 Diagram of our two-stage learning［59］

此外，針對缺少水下圖像數(shù)據(jù)集的問題，UEDA T等［60］提出一種基于深度神經(jīng)網(wǎng)絡(luò)的水下圖像恢復(fù)算法，創(chuàng)建了一個擁有大量清晰和退化圖像對的數(shù)據(jù)集，并從RGB-D圖像中生成10種不同衰減系數(shù)的退化水下圖像。將其與清晰圖像對放入UWCNN中進行訓(xùn)練，取得了較好的水下圖像合成效果。

總體上，基于先驗的圖像恢復(fù)方法采用不同的先驗或假設(shè)對水下模型的參數(shù)進行估計，得到水體退化模型，然后反演得到退化前的圖像，這種基于物理模型且考慮了水體光照條件和光學(xué)特性的方法相較于圖像增強更具有針對性和方向性，避免盲目增強，可達到更好的恢復(fù)效果。但該方法受水體性質(zhì)和拍攝條件影響較大，同一水體在不同拍攝條件下所得圖像不同，容易影響先驗條件的選取。而圖像恢復(fù)效果依賴先驗條件的準確性，只有在先驗條件符合水下圖像的水體環(huán)境時，才能得到較好的恢復(fù)效果，但人為選取的先驗條件存在人為判斷誤差，因而無法保證恢復(fù)效果。此外，在復(fù)雜的水體環(huán)境中，物理模型會出現(xiàn)偏差及更多限制因素，使先驗條件的估計變得更加困難。深度學(xué)習(xí)技術(shù)的出現(xiàn)可在一定程度上解決上述問題，通過對圖像參數(shù)的——映射學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)得以對圖像參數(shù)進行直接估計，避免了復(fù)雜的先驗假設(shè)過程及人為經(jīng)驗引入的誤差，同時可對不同水體的參數(shù)進行估計，具有先驗方法不具備的泛化性。但深度學(xué)習(xí)方法的恢復(fù)效果依賴于訓(xùn)練數(shù)據(jù)集的質(zhì)量，目前的數(shù)據(jù)集多是由人工合成，與真實數(shù)據(jù)有較大差異，影響了實際使用中的效果。此外，現(xiàn)有網(wǎng)絡(luò)無法足夠準確地估計參數(shù)且耗時相對較長［13］，恢復(fù)圖像往往存在偽影，因而現(xiàn)有的基于深度學(xué)習(xí)方法還有待進一步發(fā)展?；谙闰灥膱D像恢復(fù)方法與基于深度學(xué)習(xí)的方法總結(jié)如表2所示。

表2 基于先驗的圖像恢復(fù)方法與基于深度學(xué)習(xí)的方法總結(jié)Table 2 Summary of image restoration methods based on priori and deep learning

3.3 水下偏振成像技術(shù)

光波在與物質(zhì)作用過程中，其偏振特性會隨物質(zhì)特點的不同而發(fā)生改變，利用偏振信息的這種改變可以獲得物質(zhì)的形狀、材料、紋理等信息［61］。偏振成像技術(shù)通過挖掘散射光場偏振信息，分析圖像中目標與背景偏振特性的變化趨勢，估算目標信息光和背景散射光偏振特性的聯(lián)系與差異，反演目標信息光和背景散射光的光強變化，進而去除背景散射光，實現(xiàn)清晰成像。基于目標的偏振特性，能夠快速實現(xiàn)對偽裝目標的探測和識別等。

水下偏振成像技術(shù)主要包括水下偏振差分成像技術(shù)、被動水下偏振成像技術(shù)和主動水下偏振成像技術(shù)，以及最近發(fā)展較快的基于深度學(xué)習(xí)的偏振成像技術(shù)。

3.3.1 水下偏振差分成像技術(shù)

傳統(tǒng)水下偏振差分成像技術(shù)利用背景散射光與目標反射光的偏振特性差異來抑制背景散射光［62］。在差分成像中，認為渾濁水體具有去偏振效應(yīng)，背景散射光可視為非偏振光，而攜帶目標信息的目標信號光視為偏振光。通過在成像設(shè)備前加一偏振鏡并進行旋轉(zhuǎn)可獲得偏振方向相互正交的目標強度分布I||與I⊥的關(guān)系為

式中，B||和T||表示后向散射光B與目標信號光T亮度最大的偏振圖像，B⊥和T⊥表示后向散射光與目標信號光亮度最暗的偏振圖像，即包含最多與最少目標信號光的圖像，而后根據(jù)背景散射光與目標信號光的偏振特性可得

通過將式（6）中兩式相減即可消除背景散射光，得到目標恢復(fù)圖像Ipd

在實際中，背景散射光與目標信號光通常不是理想的非偏振光和完全偏振光，而是具有不同偏振度的部分偏振光，僅靠傳統(tǒng)偏振差分成像技術(shù)無法完全消除背景散射光的偏振部分。此外，傳統(tǒng)偏振差分成像技術(shù)采用機械式檢偏器，無法實時成像。對此，管今哥等［63］設(shè)計了一套基于Stokes矢量的計算偏振差分實時成像系統(tǒng)，如圖12（a）所示，利用Stokes矢量S=［I，Q，U，V］T對光偏振態(tài)進行了完整描述，計算偏振差分成像方法表示為

式中，γ為權(quán)重系數(shù)，Q為0°與90°偏振方向光的強度差值，U代表45°與135°偏振方向光的強度差值。當γ=1/tan（2α）時，背景可通過共模抑制作用完全消除，成像結(jié)果如圖12（b）所示。

圖12 基于Stokes矢量的計算偏振差分成像［63］Fig.12 Computational polarization difference imaging systems based on Stokes vector［63］

WANG J等［64］提出基于偏振圖像周期性積分的水下圖像恢復(fù)方法，通過在一個完整的圖像強度變化周期中獲取不同偏振方向的偏振圖像，并將其疊加后作為偏振光在偏振方向維度上的強度積分，最后計算每個像素的偏振度，得到清晰的偏振差分圖像Ipd(x，y)，表示為

式中，Iθ（x，y）是偏振圖像中（x，y）處的光強度，Iθ+90（x，y）是偏振度相差90°的光強度。

水下偏振差分成像技術(shù)利用正交偏振圖像的差異性來濾除背景散射噪聲，僅需兩幅正交偏振子圖像即可實現(xiàn)對背景散射光的消除，實現(xiàn)方式簡便，但在水體渾濁度高且環(huán)境復(fù)雜的條件下成像效果改善有限。

3.3.2 水下被動偏振成像技術(shù)

水下被動偏振成像技術(shù)通過采集兩幅偏振態(tài)正交的偏振子圖像，根據(jù)背景散射光和目標信息光偏振特性的差異，利用水下光傳輸模型重建清晰的場景圖像［4］。目前，水下被動偏振成像技術(shù)多采用SCHECHNER Y Y等［65］提出的被動水下偏振成像模型，表示為

式中，IO為探測器接收到的目標信息光，IT為探測器接收到的總光強，Imax和Imin為探測器通過旋轉(zhuǎn)偏正片獲取的偏振子圖像，前者背景散射光強最大，后者背景散射光強最小，p為背景散射光的偏振度，IB為探測器接收到的背景散射光表示無窮遠處的背景光散射強度，同時有（1-e-βz），即接收到的背景散射光強受散射系數(shù)β和距離z影響。該模型的重點在于分離背景散射光和目標信息光。

SCHECHNER Y Y等［65］在提出該模型時認為目標信息光的偏振度遠比背景散射光的偏振度小，因而可忽略不計，而HUANG B等［66］認為物體的輻射也會對偏振產(chǎn)生影響，因此研究了遮蔽光（Veiling Light）偏振和物體亮度對水下成像形成的影響，并提出利用目標信號偏振差恢復(fù)水下圖像的方法，在模型中引入了中間圖像K（x，y）和偏振正交差分信號ΔD（x，y），見圖13，并給出了兩者的變換關(guān)系式

圖13 K（x，y）和ΔD（x，y）關(guān)系圖［66］Fig.13 The relationship between K（x，y）andΔD（x，y）［66］

式中，a和b為大于0的優(yōu)化系數(shù)，a用于調(diào)整尺度，b用于調(diào)整指數(shù)函數(shù)的基值，通過調(diào)整參數(shù)使關(guān)系曲線位于下圖中灰色范圍內(nèi)來推導(dǎo)場景的透過率，實現(xiàn)清晰成像。

GU Y等［67］針對從目標反射光在傳播過程中發(fā)生散射引起偏振變化的問題，利用水體固有光學(xué)特性獲取目標偏振特性，并將水下成像的波束擴展函數(shù)（BSF）推廣至偏振波束擴展函數(shù)，通過蒙特卡洛仿真和實驗，得到簡化的水下極化成像模型；衛(wèi)毅等［4］在SCHECHNER Y Y等［65］提出的模型基礎(chǔ)上，考慮水體背景散射光的傳輸特性，分析場景深度信息與散射光的物理關(guān)系，建立了基于深度信息的水下Lambertian反射模型，即

式中，f（x）為探測場景中物體表面上某一點顏色，λ為光波波長，ω為光譜范圍，x為場景中像素點位置，a（x）為場景中不同位置的深度信息，e（λ）為光源分布，s（x，λ）為空間中某點對某一波長的反射率，c（λ）為相機的感光系數(shù)。該模型描述了能量相同、波長不同的目標光經(jīng)水體傳輸后到達探測器的能量不同，能在無先驗條件前提下實現(xiàn)無色彩畸變的水下目標場景清晰成像，結(jié)果如圖14所示。

圖14 淺海被動水下偏振成像探測方法［4］Fig.14 Passive under water polarization imaging detection method in neritic area［4］

被動水下偏振成像技術(shù)主要應(yīng)用于有自然光照射的水下環(huán)境，如淺海環(huán)境。在水體較為渾濁的情況下，一般只考慮水下場景的前向散射光分量和后向散射光分量，當自然光源難以滿足成像要求時，仍需要人造光源進行補光。

3.3.3 水下主動偏振成像技術(shù)

水下主動偏振成像技術(shù)采用主動式寬波段偏振光源對水下場景進行照明，光源發(fā)出的光波經(jīng)過水體衰減和吸收后，由完全偏振光變成部分偏振光，通常用于照明不足的深海環(huán)境。水下主動偏振成像模型由TREIBITZ T［68］在2009年提出，可用式（15）和（16）表示。

式中，為目標信息光，?為背景散射光，pscat為背景散射光的偏振度，pobj為目標信息光的偏振度，Imin為獲得的具有最小可見后向散射的圖像，Imax為具有最大可見散射的圖像。有別于水下被動成像忽略目標信息光的偏振度，水下主動成像由于目標信息光的偏振特性在水下更為明顯，因而不可忽略目標信息光的偏振度。韓平麗等［61］針對水下光學(xué)成像忽略前向散射光導(dǎo)致探測能力下降的問題，提出利用圖像刃邊法估計前向散射光的退化函數(shù)，建立后向散射光偏振估計模型去除后向散射光，并采用逆卷積恢復(fù)清晰場景圖像，結(jié)果如圖15。

圖15 水下不同物體的恢復(fù)結(jié)果［61］Fig.15 Recovery results of different underwater objects［61］

封斐等［69］在SCHECHNER Y Y［65］的模型基礎(chǔ)上，提出對后向散射光偏振度進行全局估計的偏振成像復(fù)原算法，表示為

式中，?scat為背景散射光偏振度的估計，和分別為后向散射光亮度最亮和最暗圖的估計，P?target為目標散射光偏振度，Imax和Imin為成像系統(tǒng)獲取的最亮和最暗的正交圖像。該方法以單一值代替整個像面信號光的偏振度，對傳統(tǒng)水下偏振成像技術(shù)對背景散射光的估計誤差有一定修正，能有效復(fù)原水下高偏振度物體；WEI Y等［70］提出考慮空間變化偏振特性的偏振散射成像方法，認為從目標反射的光對每個像素有自己的偏振度（Degree of Polarization，DOP）和偏振角（Angle of Polarization，AOP），根據(jù)偏振子圖像中后向散射光強度的變化特性，計算后向散射光全偏振部分的強度信息，可以準確估計目標信息，恢復(fù)的結(jié)果如圖16所示。

圖16 水下不同物體的恢復(fù)結(jié)果［70］Fig.16 Recovery results of different underwater objects［70］

水下主動偏振成像技術(shù)引入目標對入射偏振光的影響，利用目標與背景對入射偏振光的退偏作用差異對兩者進行分離，復(fù)原圖像質(zhì)量優(yōu)于水下被動偏振成像，但對同時包含高低偏振度物體的情況復(fù)原結(jié)果較差，且相關(guān)性分離對算法的魯棒性提出較高要求。

3.3.4 基于深度學(xué)習(xí)的水下偏振成像

深度學(xué)習(xí)能夠從數(shù)據(jù)集中提取物體的底層特征，轉(zhuǎn)換為高層語義特征并進行學(xué)習(xí)，最后對新輸入數(shù)據(jù)進行處理。偏振具有明顯的特征標志［62］，可與深度學(xué)習(xí)技術(shù)進行深度結(jié)合。基于深度學(xué)習(xí)的水下偏振成像方法利用神經(jīng)網(wǎng)絡(luò)對偏振設(shè)備獲取的偏振圖像進行恢復(fù)。例如，LI X等［71］設(shè)計了一種殘差稠密網(wǎng)絡(luò)（PDRDN）對強噪聲背景下的水下偏振圖像進行去噪處理，結(jié)果如圖17（a）所示；HU H［72］等利用模擬圖像對密集連接網(wǎng)絡(luò)進行訓(xùn)練，并對0°，45°和90°的偏振圖像及光強圖像進行恢復(fù)，結(jié)果如圖17（b）所示，基于偏振信息的圖像恢復(fù)效果優(yōu)于僅基于強度信息的圖像恢復(fù)效果。

圖17 神經(jīng)網(wǎng)絡(luò)用于水下偏振圖像恢復(fù)Fig.17 Neural network for polarimetric underwater image recovery

ZHANG R等［73］在密集U-Net的基礎(chǔ)上，提出四套不同結(jié)構(gòu)的網(wǎng)絡(luò)模型，如圖18所示，將偏振信息流和灰度信息流在網(wǎng)絡(luò)中不同位置進行匯合，用于水下偏振圖像的恢復(fù)，并與未結(jié)合偏振信息的網(wǎng)絡(luò)模型進行對比，恢復(fù)結(jié)果見圖19。結(jié)果表明，在混濁水體下，結(jié)構(gòu)合理的神經(jīng)網(wǎng)絡(luò)模型中加入偏振信息可以獲得更好的恢復(fù)效果，同時，將灰度圖像和偏振圖像放在神經(jīng)網(wǎng)絡(luò)的最前端有利于圖像恢復(fù)。

圖18 四種偏振-光強信息匯合模型及其對照模型結(jié)構(gòu)［73］Fig.18 Four kinds of polarization-intensity information confluence models and its comparative versions［73］

圖19 原始圖像及八種模型恢復(fù)結(jié)果對比［73］Fig.19 Comparison between raw images and restoration results of eight models［73］

傳統(tǒng)水下偏振成像方法利用物體和水體背景的偏振差異來濾除背景散射噪聲，在實際應(yīng)用中取得了一定效果，且方法簡單，容易實施。但也存在偏振差分成像模型過于簡單，需要手動選取背景區(qū)域等諸多不足；被動偏振成像中，Schechner模型不適于高濃度散射環(huán)境，且需要均勻環(huán)境光場條件，在實際情況中較難應(yīng)用；主動偏振成像在目標物與背景偏振度差異較小或包含多種偏振度的目標物時，復(fù)原效果有限?？傮w上，在傳統(tǒng)偏振成像恢復(fù)圖像研究中，只使用了少量偏振圖像，模型復(fù)雜度較低，無法利用多張偏振圖像所包含的信息，且大多偏振方法集中于去散射，而在提升圖像質(zhì)量方面缺少合適的理論模型。而神經(jīng)網(wǎng)絡(luò)憑借其優(yōu)良的擬合能力可從多張圖像中充分提取信息，逼近各種復(fù)雜函數(shù)，并對圖像去噪之外的其它方面進行處理，能一定程度上彌補水下偏振成像的不足。但同時，深度學(xué)習(xí)方法在理論可解釋性方面以及對數(shù)據(jù)集的要求方面等使其仍然處于探索階段，需要進一步研究該方法在復(fù)雜偏振度環(huán)境下的應(yīng)用。三種水下偏振成像方法與基于深度學(xué)習(xí)方法的總結(jié)如表3所示。

表3 水下偏振成像方法與基于深度學(xué)習(xí)的方法總結(jié)Table 3 Summary of underwater polarization imaging methods and deep learning-based methods

3.4 水下關(guān)聯(lián)成像技術(shù)

關(guān)聯(lián)成像，又稱鬼成像（Ghost Imaging，GI），是近年來發(fā)展起來的一種新型成像技術(shù)，通過計算光場的二階或者高階關(guān)聯(lián)函數(shù)來獲取待測物的圖像信息［74］，原理如圖20所示。其成像過程為：激光器發(fā)出的激光經(jīng)過光源調(diào)制器后生成散斑光場，通過分束器分成探測光路和參考光路，探測光經(jīng)過探測物體后被桶探測器接收，參考光不經(jīng)過物體直接被電荷耦合器件（Charge-Coupled Device，CCD）接收，通過對CCD和桶探測器采集的信息使用關(guān)聯(lián)算法解算可重構(gòu)出目標圖像。從光學(xué)理論上可得出，當探測光路和參考光路長度相等時，重構(gòu)出的待測物圖像效果最好［75］。

圖20 關(guān)聯(lián)成像原理示意圖Fig.20 Schematic diagram of ghost imaging

早期的關(guān)聯(lián)成像需要依靠糾纏光源才能實現(xiàn)，而BENNINK R S［76］等提出的贗熱光源鬼成像方法證明了鬼成像采用經(jīng)典光源也能實現(xiàn)，擴大了鬼成像的應(yīng)用范圍；SHAPIRO J H［77］等提出的計算鬼成像（Computational Ghost Imaging，CGI）去掉了參考光路，采用空間光調(diào)制器（Spatial Light Modulator，SLM）或數(shù)字微鏡設(shè)備（Digital Mirco-Mirror Device，DMD）來獲得可控的贗熱光場，僅需一路光路即可完成關(guān)聯(lián)操作，雖然無參考光路，但仍具有良好的成像能力，結(jié)構(gòu)如圖21所示。

圖21 計算鬼成像系統(tǒng)結(jié)構(gòu)［77］Fig.21 Structure of CGI［77］

近年來，CGI在陸上圖像中的優(yōu)異表現(xiàn)使其在水下成像領(lǐng)域也受到廣泛應(yīng)用，LE M等［78］將CGI應(yīng)用于不同角度和不同渾濁度的水下環(huán)境，相較于傳統(tǒng)光學(xué)成像，水下CGI有更寬、更大范圍的視角，即使在較大的成像角度下也能進行無失真重建。此外，傳統(tǒng)成像方法在水下環(huán)境中成像質(zhì)量明顯下降，而水下CGI在足夠高的采樣幀數(shù)的條件下，仍能獲得目標圖像，表明水下CGI在較為極端的情況下仍是一種較好的成像方案。FERRI F等［79］針對CGI成像質(zhì)量較差的問題提出差分鬼成像（Differential Ghost Imaging，DGI），利用測到的差分信息來消除成像過程中引入的環(huán)境噪聲，可以顯著提高信噪比；ZHANG Y［80］等利用不同透射率的目標，對比研究了水下傳統(tǒng)鬼成像（Traditional Ghost Imaging，TGI）和水下CGI圖像重建的效果。結(jié)果表明，在相同的實驗條件下，DGI算法可以獲得比TGI更清晰的目標圖像，隨著測量數(shù)量的增加，DGI成像結(jié)果的清晰度可以進一步提高，但TGI卻沒有顯著改善。此外，對于高透光率目標，DPI恢復(fù)的圖像比TGI恢復(fù)的圖像質(zhì)量更高，但在物體透光率低的情況下，桶形探測器收集的強度降低造成兩者的差異性減弱。

為了獲得清晰的重建圖像，鬼成像通常需要進行多次采樣，且只有當采樣數(shù)據(jù)量達到一定條件后才能獲得清晰的目標圖像。但大量數(shù)據(jù)的采集和存儲需要耗費巨量時間，影響這一技術(shù)的實時性［74］。KATZ O等［81］針對該問題提出基于壓縮感知（Compressive Sensing，CS）的鬼成像方法（Compressive Ghost Imaging，CSGI），不僅比TGI縮短一個數(shù)量級的信息采集時間，還能顯著提高重建圖像信噪比；ZHANG Y等［82］將CSGI和DGI用于低照度環(huán)境下的水下成像實驗，在相同數(shù)量的采樣條件下，CSGI可進一步提高圖像質(zhì)量；WANG T等［83］提出一種基于CS和小波增強的哈達瑪水下鬼成像方法，建立基于全變分正則化先驗的CSGI模型，然后在亞奈奎斯特采樣率下獲得二值和灰度目標的高質(zhì)量圖像，并采用增廣拉格朗日乘子算法恢復(fù)目標圖像。

CSGI雖然利用稀疏特性在低采樣情況下能夠重構(gòu)目標圖像，但同時增加了圖像算法的計算資源和時間復(fù)雜度，無法滿足圖像實時重建要求。雖然CSGI在一定程度上可達到降采樣目的，但要獲得高質(zhì)量重建圖像仍需要大量測量數(shù)據(jù)［84］。近年來，深度學(xué)習(xí)逐漸被用于鬼成像以解決上述問題。LYU M等［85］提出基于深度學(xué)習(xí)的鬼成像（Ghost Imaging using Deep Learning，GIDL），利用傳統(tǒng)GI重建的一組圖像和相應(yīng)的地面實物圖訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)感知模型，證明GIDL相比CSGI有更快的采樣速度，更好的成像質(zhì)量，以及極低采樣率下更好的重建結(jié)果；WANG F等［86］利用神經(jīng)網(wǎng)絡(luò)直接從桶型檢測器記錄的總反射光強度重建目標圖像，在低采樣率下可比傳統(tǒng)GI和CSGI有更高的重建效率，所需的數(shù)據(jù)量更少；LI F Q等［87］提出的基于深度學(xué)習(xí)的偏振鬼成像方法可在1ms內(nèi)重建圖像，即使在高散射條件下也有很好的效果，且有著比傳統(tǒng)方法更低的采樣率及更好的穩(wěn)定性。由此可見，深度學(xué)習(xí)可以在一定程度上解決CSGI所面臨的問題。

除加快GI采樣和重建速度外，深度學(xué)習(xí)還被用于提高GI水下成像質(zhì)量。WU H等［88］采用密集塊和跳躍連接來替代WANG F等［86］所提出網(wǎng)絡(luò)中的殘差塊，提出用DAttNet網(wǎng)絡(luò)從一維光強序列中直接恢復(fù)目標圖像，重建的水下圖像質(zhì)量優(yōu)于CSGI方法，結(jié)果如圖22所示；LI F Q［87］對比了GIDL和CSGI在不同采樣率和不同散射介質(zhì)濃度中的重建圖像質(zhì)量，證明在較高的散射體密度下，GIDL相比CSGI可以從噪聲中分離出目標物，結(jié)果如圖23所示。

圖22 不同采樣率下CSGI和GIDL的重建結(jié)果［88］Fig.22 Reconstruction results of CSGI and GIDL at different sampling rates［88］

圖23 不同濃度下的基于深度學(xué)習(xí)和基于壓縮感知重建結(jié)果［87］Fig.23 Reconstruction results based on DL and CS methods at different concentrations［87］

YANG X等［84］提出基于GAN的鬼成像（UGIGAN），用于對桶探測器收集的反射光強進行水下圖 像 重 建，并 與DLGI和PDLGI［86］的 重 建 結(jié) 果 進 行了對比，證明UGI-GAN可進一步提升圖像質(zhì)量，重建結(jié)果邊緣輪廓相對清晰，目標細節(jié)視覺效果較好，同時對水下模糊和光強較低的情形有更好的穩(wěn)定性，能實現(xiàn)高質(zhì)量圖像重構(gòu)，結(jié)果如圖24所示。

圖24 比較UGI-GAN、UDLGI和PDLGI在不同采樣率（2.5%，5%，10%，20%）下的仿真結(jié)果［84］Fig.24 Comparison of simulation results of UGI-GAN，UDLGI，and PDLGI at different sampling rates［84］

鬼成像利用光場的二階相干性進行成像，具有穿透散射介質(zhì)和抗湍流干擾的能力，有著良好應(yīng)用前景，但其過于龐大的信號采集量和計算量，使其成像速度遠不如傳統(tǒng)成像，在實際應(yīng)用上受限。在此基礎(chǔ)上，標準正交模式、CGI被提出用于提高信噪比，CSGI用于降低采樣率，加快成像速度，但CS技術(shù)本身需要大量的計算、時間復(fù)雜度依然較高。為此，深度學(xué)習(xí)可憑借其強大的非線性擬合能力建立從桶探測器到復(fù)原圖像的直接映射，將重建過程交予神經(jīng)網(wǎng)絡(luò)完成，避免了CS重建過程的復(fù)雜計算，可提高重建效率。實驗表明，深度學(xué)習(xí)方法可重建更低采樣率下的圖像，并且在相同采樣率下有著更高的成像質(zhì)量，因而相對傳統(tǒng)方法具有更大優(yōu)勢。不同鬼成像方法成像特點如表4所示。

表4 不同鬼成像方法與基于深度學(xué)習(xí)的方法總結(jié)Table 4 Summary of different ghost imaging methods and methods based on deep learning

在未來，對網(wǎng)絡(luò)進行進一步輕量化探索并使之與CGI、DGI等結(jié)合以提高效率并提升圖像質(zhì)量將成為重要的發(fā)展方向之一。

3.5 水下光譜成像技術(shù)

光譜成像技術(shù)是一類將成像技術(shù)與光譜技術(shù)結(jié)合的多維信息獲取技術(shù)，通過成像光譜儀在電磁波譜的可見光、近紅外和紅外等波段區(qū)域獲取研究對象的多個二維空間圖像信息和一維光譜信息，構(gòu)成三維數(shù)據(jù)立方體，經(jīng)過處理能夠獲得目標物的空間、輻射、光譜信息，如圖25。與幾何成像儀相比，光譜成像儀在獲得目標形態(tài)圖像的同時，還能夠得到空間可分辨單元的光譜特征［89］。

圖25 高光譜圖像數(shù)據(jù)立方體Fig.25 Hyperspectral image data cube

根據(jù)分辨率的不同，可將光譜技術(shù)分為多光譜技術(shù)（Multispectral，MS）和高光譜技術(shù)（Hyperspectral，HS）［90］。其中多光譜技術(shù)在電磁波譜的紫外、可見光和近紅外部分使用10～20個波段，光譜分辨率大于5 nm。高光譜基于相同原理，使用數(shù)百個波段，比多光譜有更高的光譜分辨率，可提供具有1 nm光譜分辨率的波長［91］。雖然多光譜技術(shù)的光譜分辨率不如高光譜技術(shù)，但多光譜技術(shù)有更高的空間分辨率［92］。根據(jù)采集圖像的方式不同，光譜成像技術(shù)又可以分為擺掃式、推掃式與凝視式［89］。擺掃式光譜成像儀中，采用線性排列的光電探測器探測某一瞬時視場內(nèi)目標點的光譜分布，同時采用掃瞄鏡對目標表面進行橫向掃描，縱向掃描則依靠運載成像儀的載具進行機械運動來完成。推掃視光譜成像儀利用面陣探測器同時記錄目標上排成一行的多個相鄰像元的光譜，面陣探測器的一個維度用于記錄目標的空間信息，另一維度用于記錄目標的光譜信息，空間第二維可由載具移動來實現(xiàn)。在凝視式光譜成像中，通常采用單色器或者點調(diào)諧濾波器實現(xiàn)光譜通道的切換，利用探測器采集不同光譜通道的圖像，實現(xiàn)圖像信息和光譜信息的獲取。

在水下光譜成像技術(shù)的應(yīng)用上，挪威科技大學(xué)與Ecotone公司合作研制了一臺水下高光譜成像裝置（UHI），并將其搭載在三腳架、水下推車和移動平臺上對海底進行高光譜探測［93］；2013年，JOHNSEN G等［94］利用其在歐洲北部海域和大西洋海域等地區(qū)進行了海底生物相關(guān)的光譜測繪，并對太平洋深處海洋沉積物進行了光譜成像；2016年，該機構(gòu)首次將UHI搭載在水下機器人（Autonomous Underwater Vehicle，AUV）上進 行 實 地 探 測［91］；2017年，CHENNU A等［95］開 發(fā) 了 一 種 潛 水 員 可 操 作 的 水 下 高 光 譜 成 像 探 測 系 統(tǒng)（HyperDiver）（圖26），使用彩色相機替換了原有的灰度相機［96］，用于獲取海底生物及地形剖面的高分辨率的彩色和高光譜圖像，結(jié)果如圖27所示；2017年，F(xiàn)OGLINI F等［97］使用UHI進行水下光譜成像探測，探測后將探測結(jié)果應(yīng)用光譜角（Spectral Angle Mapping，SAM）監(jiān)督分類方法進行分類，結(jié)果如圖28所示。

圖26 HyperDiver水下高光譜成像探測系統(tǒng)及組成［95］Fig.26 HyperDiver UHI system and its components［95］

圖27 HyperDiver獲取的海洋高光譜數(shù)據(jù)圖像［95］Fig.27 A multi-faced dataset from HyperDiver［95］

圖28 UHI探測獲得的海底彩色圖像及SAM分類結(jié)果［97］Fig.28 Color image of the seabed from UHI and SAM classification［97］

在國內(nèi)，魏賀等［89］研制了一套基于輪轉(zhuǎn)濾光片的水下光譜成像系統(tǒng)，將31個半高全寬為10 nm的窄帶濾光片安裝在兩個濾光輪上，兩個濾光輪獨立運行，成像時，將不同濾光片切換到成像光路上，以實現(xiàn)不同波段的光譜圖像，如圖29（a）所示。通過使用基于色彩恢復(fù)的多尺度Retinex圖像增強算法對獲取的不同窄帶波段的圖像進行增強，最后進行彩色合成并計算信息熵，結(jié)果如圖29（b）所示，與空氣中的圖像對比結(jié)果表明，該方法可以明顯提高水下圖像的色彩還原效果。

圖29 基于輪轉(zhuǎn)濾光片的水下光譜成像技術(shù)［89］Fig.29 Underwater spectral imaging with filterwheel［89］

LIU H B等［98］設(shè)計了一款基于多色照明的多光譜成像系統(tǒng)（TuLUMIS），如圖30（a）所示，利用可調(diào)諧的LED作為光源在400～700 nm波段獲取8個波長段，用于不同波段的成像，通過辯色實驗證明了該系統(tǒng)具有優(yōu)于傳統(tǒng)RGB相機的辯色能力，將其用于遠洋動物的MSI原位觀測獲得了較好結(jié)果，如圖30（b）。

圖30 基于多色照明的多光譜成像系統(tǒng)［98］Fig.30 A tunable LED-based underwater multispectral imaging system［98］

郭乙陸等［99］設(shè)計了一套凝視型光譜成像儀及配套的水下光源與水下激光測距系統(tǒng)，同時提出了包含光譜圖像預(yù)處理算法的水下光譜圖像重建算法，實現(xiàn)了清水10 m以內(nèi)400～700 nm波段的光譜成像及測距；FU X等［100］提出約束目標最佳折射率（Optimal Index Factor，OIF）的波段選擇（CTOIFBS）方法，以選擇感興趣目標的波段子集，構(gòu)建了集成最佳波段子集的凝視型水下光譜成像系統(tǒng)，如圖31（a），并使用約束能量最小化（Constrained Energy Minimization，CEM）目標檢測算法檢測海底海參，結(jié)果如圖31（b）所示。

圖31 集成最佳波段子集的凝視型水下光譜成像系統(tǒng)［100］Fig.31 Staring underwater spectral imaging system with optimal waveband subset［100］

光譜成像獲取的數(shù)據(jù)立方體可通過與目標物體的先驗光譜信息進行匹配，對水下物體進行識別，或通過水體吸收、散射等光譜分辨特性變化對水體進行建模，探測成像距離等［101-102］。但要實現(xiàn)目標物的精確定位和分類識別，仍需要清晰的水下圖像，一般采用圖像融合方法，將獲取的具有高空間分辨率的多光譜圖像（High-Resolution Multispectral，HRMS）和具有低空間分辨率的高光譜圖像（Low-Resolution Hyperspectral，LRHS）進行融合，獲得既具有高光譜分辨率又具有高空間分辨率的圖像［103］。LRHS和HRMS圖像融合大致可以分為兩類：傳統(tǒng)融合方法與基于深度學(xué)習(xí)的融合方法。傳統(tǒng)融合方法又可分為矩陣分解的方法和基于張量表示的方法［104］。其中，矩陣分解基于高光譜解混技術(shù)，主要包括端元譜的提取和豐度圖的計算兩個步驟，端元譜提取是將非負的高光譜數(shù)據(jù)矩陣分解為兩個非負的矩陣，可在不進行純像元假設(shè)的情況下，識別出光譜的端元，同時估計出相應(yīng)的豐度，將端元矩陣和豐度矩陣相乘后得到高分辨率的融合結(jié)果。ZHANG Y等［105］根據(jù)YOKOYA N等［106］提出的基于耦合非負矩陣分解（CNMF）的圖像融合算法，提出利用最小端元單純形體積和豐度稀疏約束的CNMF對HS和MS圖像進行耦合解混，融合圖像由HS圖像解混得到的端元特征矩陣和MS圖像解混得到的分數(shù)豐度矩陣相乘得到?；趶埩勘硎镜姆椒▽S看成一個三維張量，通過稀疏Tucker分解將HS分解為三維核心張量及二維三模態(tài)字典，隨后將高空間分辨率的高光譜圖像分割成若干塊，對其進行聚類，分成相應(yīng)的圖像塊集合，并通過張量稀疏編碼從集合中提取核心張量，最后將核心張量與二維三模態(tài)字典相乘得到融合圖像［92］。基于深度學(xué)習(xí)的融合方法利用神經(jīng)網(wǎng)絡(luò)在非線性關(guān)系表示和高層次圖像特征提取的優(yōu)勢，來簡化圖像融合過程，如CNN無需單獨的圖像變換和融合規(guī)則即可進行圖像融合［107］。近年來提出了許多基于DL的光譜圖像融合方法，PALSSON F［108］等提出利用三維卷積神經(jīng)網(wǎng)絡(luò)（3D-CNN）融合HS和MS得到高分辨率高光譜圖像的方法，通過將網(wǎng)絡(luò)中的卷積核等模塊擴展至三維來獲取三維光譜特征，并在融合前利用主成分分析（Principal Components Analysis，PCA）對HS圖像進行降維以減少計算時間，在模擬數(shù)據(jù)集上實驗的結(jié)果證明該方法具有較好的融合和抗噪效果；Yang等［109］提出了一種包含融合單元和空間注意單元的空間深度注意網(wǎng)絡(luò)（DAN），利用HRMS圖像提供低層次特征和網(wǎng)絡(luò)解碼結(jié)構(gòu)提取高層次特征，經(jīng)過空間注意網(wǎng)絡(luò)對高頻特征進行濾波后，添加到融合單元中得到重構(gòu)的HRHS圖像，重建圖像具有較高的空間質(zhì)量和光譜質(zhì)量；GAO J等［110］提出自監(jiān)督的HS和MS圖像融合的網(wǎng)絡(luò)，結(jié)構(gòu)和信息流如圖32所示，該網(wǎng)絡(luò)將LRHS（X）與HRMS（Y）圖像通過格拉姆-施密特變換（GSA）獲得的偽HRHS圖像（ZT）作為輸入，經(jīng)過神經(jīng)網(wǎng)絡(luò)獲得初始輸出（Z），然后在Z與上采樣LRHS圖像（X↑）之間構(gòu)造優(yōu)化項（18）約束譜精度，在Z與ZT之間構(gòu)造另一優(yōu)化項（19）約束空間精度，通過使用兩個優(yōu)化項優(yōu)化網(wǎng)絡(luò)參數(shù)，獲得具有高空間和高光譜精度的圖像。

圖32 自監(jiān)督光譜圖像融合網(wǎng)絡(luò)［110］Fig.32 Self-supervised hyperspectral and multispectral image fusion network［110］

式中，↓n代表下采樣，↑n代表上采樣。

光譜成像獲取研究對象二維空間圖像信息和一維光譜信息，并依此來獲得目標物的空間、輻射、光譜特性，對目標進行識別分類等。在水下光譜數(shù)據(jù)的獲取上，可通過棱鏡、光柵、濾光片等結(jié)構(gòu)獲得不同光譜波段的圖像，其中最簡單常用的結(jié)構(gòu)為濾光片，但獲取的光譜波段數(shù)有限，可使用可調(diào)濾波器獲得全光譜圖像。在水下光譜數(shù)據(jù)的使用上，可使用物體先驗光譜信息進行目標識別，或?qū)Νh(huán)境光譜信息對水體物理特性進行建模，而將圖像融合獲取高光譜及高分辨率的圖像具有清晰直觀的優(yōu)點。在眾多融合方法中，基于深度學(xué)習(xí)的光譜融合方法相較于傳統(tǒng)的矩陣分解和張量方法具有無需迭代、快速、魯棒性好等優(yōu)點，但其也存在如需要大量數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練，在數(shù)據(jù)的光譜頻帶數(shù)、空間分辨率和光譜覆蓋率不同時，一種數(shù)據(jù)上訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)無法泛化到其它類型數(shù)據(jù)等缺點，因而還有待繼續(xù)發(fā)展。此外，光譜融合在水下圖像上的應(yīng)用研究還較少，具有廣闊的發(fā)展前景。傳統(tǒng)MS和HS融合方法與基于深度學(xué)習(xí)的方法總結(jié)如表5所示。

表5 傳統(tǒng)MS和HS融合方法與基于深度學(xué)習(xí)的方法總結(jié)Table 5 Summary of traditional MS and HS fusion fusion method and deep learning-based method

3.6 水下壓縮感知成像技術(shù)

壓縮感知理論（Compressed Sensing，CS）是研究人員針對傳統(tǒng)信號采集時大量獲取數(shù)據(jù)，而在隨后的信號處理過程中，為降低硬件壓力，通過數(shù)據(jù)變換和壓縮拋棄大量數(shù)據(jù)的矛盾行為提出的一種新的采樣方式，由DONOHO D L等［111］于2006年提出，它指出在信號本身是可壓縮的，或在某個變換域下表現(xiàn)出稀疏性時，將變換得到的高維信號投影到低維空間上只需要用一個與變換基不相關(guān)的測量矩陣即可，隨后求解一個優(yōu)化問題就能重構(gòu)出原始目標信號。與傳統(tǒng)的需要采樣率大于兩倍信號帶寬的奈奎斯特采樣定理不同，壓縮感知理論采樣速率僅由信息的結(jié)構(gòu)和內(nèi)容來決定［112］，并且可在遠低于奈奎斯特采樣率的情況下，將信號的采樣過程和壓縮過程同步完成，在采樣的過程中即完成信號中所含信息的提取，包括信號的稀疏表示，測量矩陣構(gòu)造和信號重構(gòu)算法三個部分［111-113］。

在壓縮感知的應(yīng)用層面，最受關(guān)注的是基于該理論的而研制的單像素成像系統(tǒng)（Single-PixelImaging，SPI），不同于使用數(shù)百萬個像素傳感器的CCD或CMOS像素化傳感器相機，該成像系統(tǒng)僅使用一個光子探測器對圖像進行少于像素點的測量，并恢復(fù)出原始圖像。2008年，美國萊斯大學(xué)開發(fā)出世界上第一臺單像素相機［114］，系統(tǒng)原理圖見圖33。工作時，圖像經(jīng)過透鏡照射在DMD上，將圖像與DMD掩膜的乘積反射給單點傳感器，傳感器將數(shù)值轉(zhuǎn)換為數(shù)字信號傳送到PC進行圖像恢復(fù)。在SPI中，存在有DMD放置在物體前的結(jié)構(gòu)光檢測和DMD放置在物體后的結(jié)構(gòu)化照明方式，如圖34［115］，但兩者是等效的［116-117］。而在水下成像中，由于需要克服復(fù)雜的水體環(huán)境，通常采用結(jié)構(gòu)化照明的方式。

圖33 單像素相機結(jié)構(gòu)圖［115］Fig.33 The structure of single pixel camera［115］

圖34 單像素成像系統(tǒng)［116］Fig.34 Single-pixel imaging system［116］

SPI系統(tǒng)中，核心元件是用于調(diào)制圖像的空間光調(diào)制器數(shù)字微鏡陣列（DMD），不同的調(diào)制圖像影響著單像素成像的質(zhì)量和效率［118］。早期SPI使用隨機圖案對照明光場進行強度調(diào)制，并將其與單像素相機獲取的探測值進行相關(guān)運算，重建出物體圖像。但這種方式需要進行遠多于重建圖像像素數(shù)的采樣次數(shù)，才可恢復(fù)出質(zhì)量較好的圖像，若采樣次數(shù)較少，則恢復(fù)的圖像質(zhì)量較差。近年來提出了確定掩膜的單像素成像技術(shù)，可解決恢復(fù)圖像質(zhì)量差的問題［119］，如離散余弦變換單像素成像［120］、小波變換單像素成像［121］、Hadamard單像素成像（Hadamard Single-PixelImaging，HSI）［122］和傅里葉單像素成像（Fourier Single-Pixel Imaging，F(xiàn)SI）［123］等，它們均采用完備的正交變換基底圖案進行空間光調(diào)制，可以很好地恢復(fù)物體圖像。此外，自然圖像在一些變換域，如Hadamard域、傅里葉域、離散余弦域、小波域等具有良好的稀疏性［119］，可通過選取變換域中較大的系數(shù)，以低采樣率的方式重建出高質(zhì)量的圖像，解決采樣和重構(gòu)時間長的問題。其中，HSI和FSI為應(yīng)用較多的經(jīng)典SPI技術(shù)。HSI使用Hadamard基掩膜調(diào)制光場，獲取目標圖像的Hadamard譜，并通過應(yīng)用逆Hadamard變換重建目標圖像。呂沛等［124］構(gòu)建了水下壓縮感知單像素相機系統(tǒng)框架結(jié)構(gòu)，將Hadamard矩陣隨機列變換生成的矩陣用作采樣矩陣，使用凸集交替投影法重構(gòu)算法進行圖像重構(gòu)，結(jié)果表明，該系統(tǒng)能適應(yīng)水下環(huán)境，比傳統(tǒng)SPI系統(tǒng)有更好的成像距離及更短的采樣時間；CHEN Q等［125］提出基于CS的水下SPI系統(tǒng)（CS-basedSingle-PixelImaging，CSSI），將8×8的隨機矩陣和Hadamard矩陣用作掩膜，采用CS方法重構(gòu)不同分辨率的二維物體，實驗結(jié)果表明，CSSI能有效減少采樣次數(shù)，加快數(shù)據(jù)獲取過程，相較于隨機矩陣，Hadamard矩陣在物體重構(gòu)上具有更顯著的效果，還可有效減弱水體渾濁的影響；YANG X［126］等對比了CSSI，HSI及FSI在渾濁水體下的成像效果，結(jié)果表明HSI在高混濁水體的分辨率和抗干擾能力方面優(yōu)于其他SPI模式和傳統(tǒng)成像技術(shù)，最高可在90NTU的情況下清晰觀測水下物體。

FSI基于傅里葉分析理論，利用傅里葉基底圖案調(diào)制空間光場，根據(jù)單像素探測器獲取的光強值計算出物體圖像的傅里葉變換譜，最后通過逆傅里葉變換重構(gòu)出物體圖像。FSI在成像中有較多應(yīng)用［127-128］，但水下單像素傅里葉成像尚未得到深入研究，水體散射效應(yīng)對水下FSI成像質(zhì)量的影響也較為缺乏。YANG X等［129］針對水體前向散射導(dǎo)致傳統(tǒng)SPI散斑圖分布產(chǎn)生畸變的問題，提出基于水退化函數(shù)補償?shù)乃翭SI系統(tǒng)，與傳統(tǒng)SPI系統(tǒng)不同，該系統(tǒng)根據(jù)測量到的目標空間譜位置設(shè)計正弦結(jié)構(gòu)圖，并將其作為散斑圖照射目標，根據(jù)系統(tǒng)接收的的空間頻譜，擬合水降解函數(shù)，反求目標的真實空間頻譜分布，最后利用傅里葉反變換，重構(gòu)出目標的圖像，如圖35所示，結(jié)果表明，水下FSI相對傳統(tǒng)FSI有更好的抗水體正向散射能力和較高的空間分辨率。

圖35 傳統(tǒng)FSI重構(gòu)結(jié)果與FSPI恢復(fù)結(jié)果［129］Fig.35 Reconstruction results by traditional FSI and FSPI［129］

FSI有較高的成像質(zhì)量和成像效率，但FSI在重建圖像時通常采用從低頻到高頻的采集策略，容易出現(xiàn)高頻細節(jié)丟失，圖像含有振鈴偽影（RingArtifact）等問題［130］。此外SPI存在測量時間與重建圖像質(zhì)量之間的權(quán)衡問題，為了獲得完美重建需要重建圖像像素1.5～2倍的測量次數(shù)，花費較多測量時間，若通過欠采樣的方式重建圖像，會導(dǎo)致圖像模糊和環(huán)形偽影，針對這些問題，傳統(tǒng)方法要做出實質(zhì)性改進較為困難。對此，研究者們將深度學(xué)習(xí)在圖像恢復(fù)中的優(yōu)勢應(yīng)用到SPI中，RIZVI S等［131］改進深度卷積自動編碼器網(wǎng)絡(luò)［132］并利用其學(xué)習(xí)欠采樣圖像和地面真實圖像之間的端到端映射，實現(xiàn)低采樣率下的圖像重建，提高效率的同時，還去除了FSI重建帶有的噪聲和偽影，優(yōu)于傳統(tǒng)FSI方法；HU Y等［130］針對FSI丟失高頻細節(jié)的問題，提出基于Wasserstein生成對抗網(wǎng)絡(luò)（WGAN）和梯度懲罰（GP）的快速圖像重建網(wǎng)絡(luò)（GAN-FSI），在生成對抗網(wǎng)絡(luò)的基礎(chǔ)上，連接額外的生成器以提高重建圖像的保真度，仿真和實驗結(jié)果如圖36所示，在低采樣率的情況下，GAN-FSI仍能很好地恢復(fù)圖像，并保有相當細節(jié)。

圖36 GAN-FSI與FSI在不同采樣率下的重建結(jié)果［130］Fig.36 Reconstruction results of GAN-FSI and FSI at different sampling rates［130］

上述重建方法以欠采樣的圖像作為網(wǎng)絡(luò)輸入，獲得重構(gòu)圖像，而在實際應(yīng)用中，還有以照明圖案序列和采集的單像素強度信號作為輸入，重建出目標圖案的方法。WANG F等［85］提出端到端的神經(jīng)網(wǎng)絡(luò)（EENet），用于將單像素傳感器采集的一維強度信號直接恢復(fù)為二維圖像，經(jīng)模擬數(shù)據(jù)訓(xùn)練后，可在6.25%的采樣率下重建高質(zhì)量的圖像；LI M等［133］提出結(jié)合改進的超分辨卷積神經(jīng)網(wǎng)絡(luò)（SRCNN）［134］的水下SPI系統(tǒng)（CS-SRCNN），如圖37所示，該網(wǎng)絡(luò)以來自SPI系統(tǒng)的m維壓縮原始數(shù)據(jù)作為輸入，經(jīng)TV正則化迭代處理后獲取低分辨率分量（Low Resolution，LR），通過雙三次插值對LR分量進行放大，隨后經(jīng)過卷積層提取LR特征，最后通過5×5的卷積層進行特征傳遞，重建高分辨率特征圖像（High Resolution，HR），經(jīng)過訓(xùn)練可在60NTU濁度的情況下，以29%的采樣率重構(gòu)圖像，但重構(gòu)的圖像仍存在模糊的問題。

圖37 CS-SRCNN網(wǎng)絡(luò)結(jié)構(gòu)［133］Fig.37 CS-SRCNN network structure［133］

目前，受水體復(fù)雜環(huán)境的影響，SPI在水下環(huán)境中的應(yīng)用以及與深度學(xué)習(xí)結(jié)合的水下SPI成像方法仍然較少。而在現(xiàn)有深度學(xué)習(xí)與SPI結(jié)合的方法中，由于一維的單像素強度信號中蘊含重建目標圖像所需的信息，所以目前主流方法多采用深度學(xué)習(xí)直接對一維SPI強度信號進行解析，重建圖像。但該方法從一維信號重建二維圖像是線性過程，采用神經(jīng)網(wǎng)絡(luò)容易出現(xiàn)過擬合現(xiàn)象，且神經(jīng)網(wǎng)絡(luò)存在的適應(yīng)性和魯棒性問題也會對最終結(jié)果造成較大影響，此外深度學(xué)習(xí)方法還存在需要大量數(shù)據(jù)集，訓(xùn)練時間長的問題。對此，黃威等［135］研究發(fā)現(xiàn)，通過簡單的線性回歸結(jié)合壓縮感知的方法完全可以重建高質(zhì)量目標圖像，并且這一方式在訓(xùn)練樣本不足和環(huán)境背景復(fù)雜的情況下重建的圖像質(zhì)量要優(yōu)于深度神經(jīng)網(wǎng)絡(luò)，但在采樣率過低的情況下，深度學(xué)習(xí)方法仍具有優(yōu)勢。因而在重建圖像時，需結(jié)合實際情況，采取合適的重建方法，以獲得最優(yōu)的重建結(jié)果。不同SPI重建方法與基于深度學(xué)習(xí)的方法總結(jié)如表6所示。

表6 不同SPI重建方法與基于深度學(xué)習(xí)的方法總結(jié)Table 6 Summary of different SPI reconstruction methods and methods based on deep learning

3.7 水下激光成像技術(shù)

傳統(tǒng)水下成像方式采用高靈敏度的相機在水下自然光或人造光源下進行拍攝或錄像，這種方式應(yīng)用簡單且發(fā)展成熟，但受限于水體對光波的嚴重吸收和散射，獲取的圖像大多對比度低、清晰度不足，且對于渾濁水體，成像距離也大大受限，因此具有高能量、短脈沖且強方向性的激光光源備受關(guān)注，加之470 nm～580 nm波長的藍綠激光在水中傳輸時衰減較其它波段小很多［136］，因而基于藍綠激光的水下激光成像技術(shù)逐漸興起并日益完善。水下激光成像技術(shù)利用主動激光光源對水下目標進行照明，同時用相機接收反射光并利用成像設(shè)備對目標進行成像，可獲得水下目標二維乃至三維的圖像。目前水下激光成像技術(shù)主要分為掃描成像技術(shù)與非掃描成像技術(shù)兩大類［137］。

掃描成像技術(shù)包括激光同步線掃描技術(shù)（Laser Line Scanning，LLS）與條紋管激光成像技術(shù)（Streak Tube Imaging Lidar，STIL）。同步掃描水下成像技術(shù)利用水體后向散射光強相對于光照中心軸迅速減小的特點，將成像目標光和散射光在空間上進行分離。具體過程為：系統(tǒng)發(fā)射器射出準直線陣激光，通過旋轉(zhuǎn)反射鏡控制激光束掃描方向，并利用高靈敏度窄視場的接收器跟蹤接收反射光完成成像，同時利用同步掃描技術(shù)逐點掃描完成探測與整體圖像重建。早期的LLS技術(shù)采用連續(xù)激光作為光源，容易受到視場重疊區(qū)域及環(huán)境散射光引起的噪聲影響，因此研究人員將探測器與激光掃描裝置分開放置，減少被照明水體與接收器視場的交疊，從而減少后向散射光進入接收器，提高成像信噪比，如圖38所示。此外，若將連續(xù)激光器替換為脈沖激光源，將常規(guī)接收器替換為選通型接收器，可構(gòu)成激光線掃描成像系統(tǒng)（PG-LLS）［138］，可進一步增加成像距離。MOORE K D等［139］對比了CW-LLS與PG-LLS的成像能力，結(jié)果表明當視場角為30 m rad時PG-LLS對提高成像距離與目標對比度具有明顯優(yōu)勢。

圖38 LLS結(jié)構(gòu)示意圖Fig.38 LLS structure

在水下成像的應(yīng)用中，Kaman公司于1988年研制出機載探測激光雷達“魔燈”［140］，采用線掃描藍綠激光器與選通增強相機構(gòu)成的PG-LLS成像模式，搭載在直升飛機上，用于海上120～460 m處對水下12～61 m的水雷探測工作；FOURNIER G R等［141］研發(fā)的機械同步掃描水下激光成像系統(tǒng)以氬離子激光器為光源，通過旋轉(zhuǎn)角錐棱鏡可得70°視場角；MOORE K D等［139］研制了一套名為L-Bath的激光線掃描成像系統(tǒng)，以Nd：YAG脈沖激光為發(fā)射器，線陣CCD為接收器，通過接收信號形成的圖像信息和激光光束的發(fā)射角信息分析目標點的位置和強度，進而獲得目標的強度圖像和距離圖像。華中科技大學(xué)研制了具有掃描和高速數(shù)據(jù)存儲功能的機載海洋激光雷達系統(tǒng)CALYT，實現(xiàn)了激光單點水下掃描成像，在南海海域進行的測試表明該系統(tǒng)可達到60 m左右的探測水深［142-143］；2009年，金偉其等［138］搭建了線激光與條紋管的LLS成像系統(tǒng)，進行有關(guān)波面形狀獲取以及校正技術(shù)的研究。

LLS將探測器與激光掃描裝置分開放置，減少了視場交疊，但同時增加了系統(tǒng)體積，對此，KITAJIMA Y等［144］采用5線激光陣列光源和傳統(tǒng)CMOS相機模擬LLS成像過程，利用感興趣區(qū)域（Region-of-Interest，ROI）函數(shù)，將CMOS相機的視場均勻劃分為5個子區(qū)域，由順序觸發(fā)的線性激光器同步照明，減小了光源與相機之間的共同體積。但過多的線性激光器的數(shù)量限制了去散射效果，且導(dǎo)致準直復(fù)雜、系統(tǒng)繁瑣以及由ROI拼接圖像引起的照明不均勻問題。此外，與LLS系統(tǒng)的光電倍增管或條紋管接收機相比，傳統(tǒng)CMOS相機的靈敏度要低得多，嚴重限制了系統(tǒng)的距離探測性能。對此，WU H［145］提出激光場同步掃描（LFS），去掉了LLS的機械掃描裝置，采用MEMS器件控制激光掃描過程，通過掃描過程與CMOS相機的滾動快門曝光同步的方法來減少光源與相機間的交疊體積，得到具有更高的對比度和CSNR的圖像。YANG Y等［146］用RGB三激光器代替LLS的單一激光器，實現(xiàn)了三維數(shù)據(jù)和彩色數(shù)據(jù)的采集。

激光同步掃描成像技術(shù)通過減小視場重疊的方法來減少散射光的影響，但由于需要不斷對目標進行掃描，仍無法避免傳輸光路上的微粒造成的散射，可以通過減小視場角的方式避免，但會造成掃描時間增加，成像效率降低。同時，在同一場景下對同一目標的成像中，成像時間與成像精度成反比，因而過長的成像時間也會造成圖像精度降低，需要合理選擇視場角，在盡可能減少散射影響的同時，提高成像效率。

條紋管激光成像是水下掃描成像的另一方法，也是水下三維成像的經(jīng)典方法，利用條紋管將脈沖激光在發(fā)射器與目標之間的往返時間還原為目標的距離像，再加上CCD獲取的二維圖像來重建出三維圖像，免去了距離選通三維成像中對距離的復(fù)雜計算。具體工作過程為：激光器發(fā)射出激光，被分束器分為兩束，一束用于正常獲取二維圖像，另一束用于條紋管獲取距離信息，該束激光到達目標并從目標處反射后，經(jīng)狹縫變?yōu)閷挾纫恢碌囊痪S信號，并經(jīng)過透鏡組到達光電陰極，被轉(zhuǎn)換為與光信號時序一致的電信號，電子在加速電壓加速后進入偏轉(zhuǎn)系統(tǒng)，偏轉(zhuǎn)系統(tǒng)上加有隨時間線性變化的斜坡電壓，將不同時刻進入的電子沿垂直于狹縫的方向分開，經(jīng)微通道板（Microchannel Plate，MCP）增強后打在熒光屏上，獲得對應(yīng)的條紋圖像，該條紋即目標場景表面的復(fù)現(xiàn)，如圖39［147］。一次成像僅可獲取被照明物的方位與距離二維信息，通過載體機械移動不斷掃描即可實現(xiàn)目標的三維成像。由于條紋管采用高壓偏轉(zhuǎn)掃描，因此可區(qū)分時間間隔極短的電子束條紋，實際檢測能力可達ps級［148］。

圖39 條紋管成像原理［147］Fig.39 Principle of streak tubeimaging［147］

在條紋管成像的應(yīng)用上，最早是由KNIGHT F K等［149］研制出單狹縫條紋管并利用其實現(xiàn)了16×16像素的三維成像，隨后ASHER G等［147］利用基于多狹縫條紋管技術(shù)的64×64像素的激光雷達（STIL），對水下水雷目標進行成像，具有良好的應(yīng)用潛力。2002年ANDREW J N等［150］將STIL成像系統(tǒng)裝載在水下載體上，對海底地貌及水雷狀目標進行了三維成像［151-153］，結(jié)果如圖40所示，表明成像系統(tǒng)具有良好的水下三維成像能力。ROGER S等［153-155］研制的機載激光水雷探測系統(tǒng)以條紋管激光雷達為核心，可對近水面的水雷進行探測與定位，探測深度可達40英尺，可快速對大片海域進行檢測。

圖40 條紋管三維成像結(jié)果［151-153］Fig.40 Results of streak tube 3D imaging［151-153］

GAO J等［156］開發(fā)了一種基于條紋管相機的閃光激光雷達，將其安裝在船頭，以推掃方式對海面波場和水下目標進行測量，獲得了具有較高的幀率和分辨率的波場和水下圖像，可用于水下障礙物的探測；徐國權(quán)等［157］設(shè)計研制了一套水下三維成像增程激光雷達系統(tǒng)，采取調(diào)Q技術(shù)與F-P腔產(chǎn)生峰值功率高和輸出能量高的高頻激光脈沖，在清水環(huán)境中能獲取到13 m處直徑9 mm的目標細節(jié)，在濁水環(huán)境中的信號處理增程能力達到81.4%，相對距離分辨誤差為0.01 m，具有較高分辨率及成像精度。LI G等［158］研發(fā)了一種調(diào)制亞納秒激光雷達，激光源由1064 nm主振蕩功率放大器和倍頻模塊組成，可在在532 nm處輸出87.6 MJ的能力，條紋管攝像機用作信號接收裝置。經(jīng)實驗，該雷達能夠獲取20 m水下目標清晰的三維和四維圖像，空間分辨率為9 mm，如圖41所示。此外，混合激光雷達系統(tǒng)的使用也提高了水下探測距離。

圖41 激光雷達在清水中20米距離的目標成像［158］Fig.41 The target imaging with the distance of 20 m in clear water was recorded by the lidar-radar［158］

條紋管成像技術(shù)具有系統(tǒng)集成度高，成像速率快，保真度高，極高的時間和距離分辨率，探測視場大，圖像分辨率高等優(yōu)點。但同時，作為一種掃描方法，需要對目標進行多次探測，容易造成低成像精度，或者需要采用多狹縫條紋管或條紋管陣列來彌補。此外，條紋管成像技術(shù)對運動目標的成像難度較大，成像系統(tǒng)時間短，無法滿足長時間攝像需求。目前，條紋管成像技術(shù)逐漸成熟，其發(fā)展也逐漸向研發(fā)具有更高能量和頻率的激光器方向發(fā)展。

非掃描成像技術(shù)采用擴束的脈沖激光對目標進行一次照射成像，具有成像速度快的優(yōu)點，但激光能量分散，只能進行小視場成像。距離選通技術(shù)是非掃描成像的經(jīng)典技術(shù)，其核心器件為脈沖激光器和選通相機，通過控制脈沖激光發(fā)射時間與選通相機快門開啟時間的先后來調(diào)控目標光的接收與散射光的分離。具體過程為：脈沖激光器產(chǎn)生脈寬極短的激光脈沖，通過水體到達目標物，經(jīng)目標物反射后再次經(jīng)過水體到達選通相機，在脈沖發(fā)射并到達相機前，相機快門處于關(guān)閉狀態(tài)，光波在傳遞過程受水體影響產(chǎn)生的散射無法進入相機，如圖42（a）所示。當激光脈沖到達相機的瞬間，相機快門打開，并保持一段時間（選通時間），接收目標反射光，隨后關(guān)閉，如圖42（b）所示，選通時間通常略長于激光脈沖脈寬，在保證接收到目標信息光的前提下，盡可能減少后向散射光進入相機。由于脈沖激光脈寬極短，所以通常將增強型電荷耦合器件（ICCD）作為成像設(shè)備。

圖42 水下激光距離選通成像系統(tǒng)工作原理Fig.42 The principle of underwater range-gated imaging system

在成像過程中，從激光器發(fā)出激光脈沖到相機快門打開之間有延遲時間2T，該延遲時間決定了系統(tǒng)成像距離cT，激光脈沖寬度τ及選通時間t決定了系統(tǒng)的選通深度（Depth of Gating，DOG）。如圖42（c）。因此，可通過調(diào)節(jié)延遲時間實現(xiàn)不同距離成像，調(diào)節(jié)脈沖寬度及選通時間實現(xiàn)不同成像深度。當且僅當目標處于系統(tǒng)視場范圍內(nèi)，且同時處于系統(tǒng)的選通深度內(nèi)時才可被成像，因而可以大大減小后向散射光的影響。同步控制技術(shù)是距離選通的成像系統(tǒng)的核心技術(shù)，控制好激光脈沖與相機快門的良好協(xié)同是選通技術(shù)的關(guān)鍵，通常需要根據(jù)激光器與目標物的距離確定延遲時間、根據(jù)景深確定脈沖寬度。當需要改變成像距離或改變景深時，需要改變相應(yīng)的延遲時間及脈沖寬度。LIU W等［159］研究了快門控制信號、開啟時間（早/晚）與圖像對比度的關(guān)系，提出在成像系統(tǒng)不飽和的情況下，當快門控制與激光脈沖最優(yōu)匹配時，成像質(zhì)量最佳，且在脈沖到達時，滯后開門是有利的，開門時間為激光脈沖寬度的1～3倍時，可獲得最優(yōu)圖像。

水下距離選通成像技術(shù)憑借對光散射效應(yīng)的抑制，成為水下成像的重要手段之一，受到廣泛應(yīng)用。目前國外研制出的經(jīng)典水下距離選通成像系統(tǒng)主要有：加拿大國防研究所（DRDC Valcartier）研發(fā)的三代LUCIE系列產(chǎn)品［160-163］，搭載在ROV上，可實現(xiàn)200 m水下成像，在濱海水質(zhì)下探測距離可達15 m，深海水質(zhì)下探測距離50 m；美國SPARTA公司研制的See-Ray距離選通系統(tǒng)［164］，在5.6倍衰減長度下可識別分辨率板，極限情況可進行6.4倍衰減長度的探測；MCLEAN E A等［165］研發(fā)出激光脈沖寬度低至120 ps，可獲得6.5衰減距離的分辨率板圖像的水下距離選通系統(tǒng)；TAN C S等［166］在距離選通成像系統(tǒng)基礎(chǔ)上增加選通圖像的自適應(yīng)融合，結(jié)果表明該方法可增加距離選通系統(tǒng)的成像景深，等等。國內(nèi)典型的有中科院西安光機所研制的水下電視攝像系統(tǒng)SS-1000［167］，可在50 m水深處工作；北京理工大學(xué)與北方夜市公司合作研制的納秒級增強型選通CCD，可實現(xiàn)泳池環(huán)境下距離目標49 m處的分辨力靶標成像［168］；華中科技大學(xué)將研制的距離選通水下激光成像系統(tǒng)用于船池中6 m和12 m遠的黑底白字的字母“E”成像，結(jié)果如圖43所示［169］。

圖43 水下目標成像圖［169］Fig.43 Images of underwater target［169］

除二維成像外，距離選通還廣泛用于三維成像中，與二維距離選通成像不同的是，三維距離選通需要利用接收器探測到的光強計算出距離圖r（x，y），再根據(jù)強度圖I（x，y）可進行目標的三維重建。李東等［170］利用CCD探測到的像素點的強度通過質(zhì)心法求解出距離圖，結(jié)合強度圖完成目標的三維重建；黃子恒［171］提出點除法計算距離的方法，根據(jù)目標相對于成像系統(tǒng)的距離范圍，選定兩組選通門參數(shù)，并計算兩者回波強度-距離函數(shù)的比值，獲得灰度值與距離的對應(yīng)關(guān)系；RISHOLM P等［172］通過差分延遲掃描曲線的峰值估算距離，即一個像素（光敏區(qū)）單位時間內(nèi)檢測到最多光子的點代表到目標的距離，得到三維圖像；在實際應(yīng)用上，丹麥國防所研制出的高精度距離選通相機［173］，可在幾秒內(nèi)構(gòu)造出三維圖像。

距離選通成像技術(shù)憑借對選通相機對后向散射光的抑制，較其他方法有一定的優(yōu)勢，但在許多不同距離都存在感興趣的目標時，距離選通仍無法避免后向散射帶來的影響，需要與圖像處理方法結(jié)合消除過多的散射光。此外，距離選通系統(tǒng)的造價高昂，操作復(fù)雜，分辨率及幀率有限，限制了其在具體環(huán)境中的應(yīng)用。

目前，水下激光成像與深度學(xué)習(xí)方面的結(jié)合應(yīng)用較少，主要是由于水下激光成像技術(shù)可直接生成可視圖像，而對可視圖像的去霧、去噪、濾波等屬于數(shù)字圖像處理的范疇，因而目前大多基于深度學(xué)習(xí)的水下激光成像技術(shù)都是對激光成像已獲得的圖像進行處理，如張清博等［174］利用改進的具有跳躍結(jié)構(gòu)和空洞卷積的生成對抗網(wǎng)絡(luò)對水下激光圖像進行修復(fù)，去除后向散射光及噪聲；ZHOU L等［175］利用骨架結(jié)構(gòu)的CNN進行渾濁水體條件下的激光成像圖像的恢復(fù)；ILLIG D W等［176］利用去噪自動編碼器對渾濁水圖像進行濾波去噪；袁清鈺［177］利用CNN對條紋圖像進行高斯特征學(xué)習(xí)并以此擬合高斯模型恢復(fù)條紋圖像等，其本質(zhì)上都是數(shù)字圖像處理的范疇。而利用神經(jīng)網(wǎng)絡(luò)從光強度圖像計算出深度圖并恢復(fù)出三維圖像可能成為深度學(xué)習(xí)在水下激光成像的應(yīng)用之一。

目前，二維水下激光成像技術(shù)逐漸發(fā)展成熟，現(xiàn)階段主要由二維成像向三維成像方向發(fā)展，三維圖像具備更豐富的信息，是目前成像技術(shù)的重要發(fā)展方向之一，但目前國內(nèi)外的水下三維成像結(jié)果仍不理想，能夠得到清晰的三維圖像的方法大多存在耗時長，假定過多，需要先驗知識，泛用性不足等缺陷，需要輔以數(shù)字圖像處理技術(shù)。未來該項技術(shù)需要向縮短成像時長，提高成像精度，提高適應(yīng)性等方向發(fā)展。此外，硬件也是水下激光成像技術(shù)的發(fā)展方向之一，如研發(fā)具有更高發(fā)射能量和頻率的激光器，但過高的研究成本也是限制其發(fā)展及工程應(yīng)用的原因之一，因此，在未來，提升激光發(fā)射器性能的同時，如何控制成本以實現(xiàn)更廣泛的應(yīng)用也是需要考慮的問題。不同水下激光成像方法總結(jié)如表7所示。

表7 不同水下激光成像方法總結(jié)Table 7 Summary of different underwater laser imaging methods

3.8 水下全息成像技術(shù)

全息成像是利用光波干涉原理同時記錄物體光波的振幅與相位信息（全息圖），然后利用衍射原理再現(xiàn)物體的光波信息的技術(shù)，其概念最早由英國科學(xué)家Dennis Gabor提出。目前，全息術(shù)已獲得廣泛應(yīng)用，出現(xiàn)了計算全息、數(shù)字全息、相關(guān)全息等；按光路結(jié)構(gòu)不同，又有同軸、離軸、微離軸全息等；而按所使用的光源的不同，又有相干光全息和非相干光全息等。目前，在成像領(lǐng)域中，數(shù)字全息技術(shù)是應(yīng)用得最多的全息技術(shù)，采用CCD等取代了傳統(tǒng)光學(xué)全息中的記錄介質(zhì)，實現(xiàn)了記錄與再現(xiàn)的數(shù)字化。傳統(tǒng)光學(xué)全息成像的過程是：通過調(diào)整光路，將物體反射或者透射的光波與參考光波進行干涉，在記錄介質(zhì)（干板等）上形成全息圖，然后使用合適的光波照射全息圖，使其發(fā)生衍射，產(chǎn)生與原物光波相同的新光波，即再現(xiàn)像。數(shù)字全息技術(shù)與之類似，只是將記錄介質(zhì)改為CCD或CMOS相機，記錄離散的光強分布，再現(xiàn)過程通過計算機完成，需要采用相應(yīng)的算法對再現(xiàn)像進行重建，如菲涅耳變換法、卷積法等，如圖44所示。

圖44 全息成像結(jié)構(gòu)示意圖Fig.44 Holographic imaging structure diagram

數(shù)字全息技術(shù)具有以下優(yōu)點：1）數(shù)字化的記錄與再現(xiàn)過程，避免了光學(xué)全息中顯影、定影等物理過程，可以實時進行圖像獲取與處理；2）數(shù)值重建時可實時獲取物體的振幅與相位信息；3）在計算機中進行處理，便于后續(xù)圖像處理與數(shù)據(jù)傳輸?shù)?。目前，在全息成像的?yīng)用中，數(shù)字全息技術(shù)憑借與傳統(tǒng)光學(xué)全息技術(shù)的相似性及與計算機技術(shù)結(jié)合的優(yōu)勢，在傳統(tǒng)全息技術(shù)的幾乎所有應(yīng)用領(lǐng)域均有所使用，包括顯微成像、定量相位成像（Quantitative Phase Imaging，QPI）、三維空間的粒子和流量測量、生物體的三維成像及識別、全息信息加密等［178-182］。而在水下成像的應(yīng)用中，全息技術(shù)憑借其非入侵性，以及能夠以在自由流樣中獲取微米至厘米范圍內(nèi)粒子的三維空間分布的優(yōu)點，在水下顯微成像中應(yīng)用廣泛，通常用于水體狀態(tài)分析。KNOX C［183］首次證明了全息技術(shù)在海洋應(yīng)用技術(shù)的潛力，BEERS J R等［184］在實驗室中首次實現(xiàn)了水下同軸全息成像，隨后KNOXI C將［185］其用于實地記錄海洋浮游生物，可記錄大于10 μm的微生物；KATZ J等［186］開發(fā)了一種能夠在同軸和離軸模式之間切換的遠程可操作內(nèi)聯(lián)潛水全息相機，用于水下微粒成像；2000年，ROBERT B O等［187］開發(fā)出第一個數(shù)字原位全息系統(tǒng)，可分辨5 μm大小的水下微粒；JERICHO S K等［188］開發(fā)出使用點源照明的全息顯微鏡，用于原位記錄海洋生物；MALKEI E等［189］提出了自動化處理全息圖的方法，但處理500 mL樣品的全息圖仍需要5 h。

在近期水下全息成像技術(shù)發(fā)展中，成像效率大大提高，一臺儀器可以在10 min的垂直剖面上記錄9000張全息圖［190］。除此之外，水下全息成像技術(shù)還向原位探測、多功能集成、縮小體積、輕量化重建算法等方向發(fā)展。目前水下全息成像系統(tǒng)不僅可進行原位水下微粒成像，還集合了探測分析功能，可用于探測分析水體粒子沉降速度，粒子方向、微生物分布，并對水體微粒進行分類等。GRAHAM G W等［191］論證了全息術(shù)在研究沿海海洋懸浮泥沙粒徑分布和沉降速度方面的適用性；CROSS J等［192］基于湍流與粒徑關(guān)系，研究了顆粒的再懸浮并使用全息數(shù)據(jù)來識別懸浮粒子物質(zhì)；Wang等［193］研制的數(shù)字直列全息系統(tǒng)（DIH），可高分辨率記錄一系列粒子和浮游生物圖像，實現(xiàn)懸浮物的監(jiān)測與分析，同時實現(xiàn)了懸浮物和浮游生物的目標識別分類；NAYAK A R等［194］將全息系統(tǒng)與聲學(xué)多普勒測速儀、CTD和其他儀器進行組合，用于海洋粒子方向的總和測量，同時量化顆粒方向；DYOMIN V等［195］將水下數(shù)字全息相機（Digital Holographic Camera，DHC）與其它如水文物理傳感器等結(jié)合探測，在不采樣的情況下獲取浮游生物數(shù)據(jù)，省去取樣、固定和儲存探針以及隨后在實驗室中進行處理的常規(guī)和耗時的階段；MOORE T S等［196-197］使用全息技術(shù)來實際描繪浮游植物群落組成。

在縮小體積及輕量化方面，MALLERY K等［198］研制了一種的數(shù)字同軸全息系統(tǒng)（DIHM），裝載在自動兩棲載體上，如圖45所示，可實現(xiàn)自動成像，DIHM總體積僅5×5×13 cm3，可在原位以每秒1幀的速度記錄大小為2.3 mm×2.3 mm（2048×2048像素）的圖像，但會引入較多的噪聲，需要進行補償；DYOMIN V等［199］研發(fā)的一款微型IDHC數(shù)字相機，體積為32×14×14 cm3，質(zhì)量為9 kg，搭載在水生生物探測器上，可對浮游生物濃度、個體的平均大小和分布以及水的渾濁度進行獲取，且與實際網(wǎng)捕法相比差距不超過23%。

圖45 基于自動機器人的DIHM系統(tǒng)［198］Fig.45 Robot-driven DIHM［198］

全息重建是全息成像中必不可少的一部分，用于產(chǎn)生與原物光波相同的新光波，但在同軸全息重建時，會產(chǎn)生虛假的物象疊加到重建的光場中，造成孿生像，需要對目標進行多次測量采集多張同軸全息圖進行迭代重建，使重建值在迭代中收斂到真實相位，或改用離軸全息術(shù)，通過二維傅里葉變換進行濾波去除孿生像，最后通過菲涅耳衍射法等進行重建，但兩種方法都需要花費較多時間及計算成本，而深度學(xué)習(xí)的引入為上述問題提供了新的解決思路［200-201］。相較于需要先驗知識對圖像進行重建，及需要對新圖像進行迭代優(yōu)化的傳統(tǒng)方法，基于深度學(xué)習(xí)的重建方法可以利用大量的數(shù)據(jù)對重建問題施以潛在約束，同時，通過網(wǎng)絡(luò)學(xué)習(xí)優(yōu)化，還可實現(xiàn)實時重建［202］，大大提高了重建效率。2017年，SINHA A等［203］提出端到端的神經(jīng)網(wǎng)絡(luò)進行同軸全息圖像重建；次年，WANG H等［204］利用神經(jīng)網(wǎng)絡(luò)直接從單張全息圖重建物體相位，免去了預(yù)處理與去除零階和孿生像所需的相位去包裹計算，提高了重建效率；之后，王凱強等［205-206］構(gòu)建了Y型卷積神經(jīng)網(wǎng)絡(luò)Y-net并成功應(yīng)用于離軸數(shù)字全息圖的數(shù)值重建，并進一步提出了一種針對單次曝光共光路雙波長數(shù)字全息圖的深度學(xué)習(xí)數(shù)值重建方案Y4-net，解決了雙波長全息圖在頻域存在的難以避免的串擾問題，成功實現(xiàn)由單張數(shù)字全息圖同時重建獲得兩個波長全息圖的復(fù)振幅信息。

而在水下成像中，基于深度學(xué)習(xí)的成像方法可獲得更好的成像質(zhì)量，SHAO S等［207］利用深度學(xué)習(xí)從全息圖重建三維粒子場，并通過遷移學(xué)習(xí)方法來減少對新全息圖數(shù)據(jù)集的訓(xùn)練要求，結(jié)果比早先的深度學(xué)習(xí)方法［208］重建的圖像具有更高的粒子濃度和更高的定位精度，且重建速度比正則化體積重建（RIHVR）［209］快30倍以上。除此之外，深度學(xué)習(xí)方法還可用于直接從全息圖進行信息提取，避免了復(fù)雜的重建過程。SHI Z等［210］利用YOLOv2對4種浮游生物的全息圖進行分類識別，精確度可達94%；GUO B等［211］利用骨架結(jié)構(gòu)的CNN網(wǎng)絡(luò)對10種浮游微生物的同軸全息圖進行分類，在測試數(shù)據(jù)集上可達93.8%的準確率，應(yīng)用概率濾波器后，準確率可進一步提升，并可在實際海洋環(huán)境中使用。但上述利用深度學(xué)習(xí)直接從全息圖進行微生物分類識別的方法僅適于較小的成像體積，在微粒相對靠近相機時，衍射圖案與目標形狀相類似，因而易于識別，但當粒子離相機較遠（較大成像體積）時，衍射圖案不再與微生物類似，分類識別效果較差。對此，COTTER E等［212］提出全息圖局部重建的方法，將深度學(xué)習(xí)技術(shù)用于篩選具有可檢測目標的全息圖，然后對全息圖中待檢測目標進行檢測框選，流程如圖46（a），最后利用黃金分割搜索算法重建和聚焦檢測到的衍射圖案，結(jié)果如圖46（b）。該方法利用局部重建的方式取代全局重建，將1 mm聚焦精度所需的重建次數(shù)從1000次減少到31次，大大減少了重建和聚焦的迭代次數(shù)，同時將重建時間縮短至全局重建的1%，且可檢測大部分大于0.1 mm的微粒，極大地提高了重建效率。傅里葉變換重建與基于深度學(xué)習(xí)的重建方法總結(jié)如表8所示。

圖46 從水下數(shù)字全息圖中快速提取聚焦目標［212］Fig.46 Rapidly extract focused targets from underwater digital holograms［212］

表8 傅里葉變換重建與基于深度學(xué)習(xí)重建方法總結(jié)Table 8 Summary of Fourier transform reconstruction and reconstruction based on deep learning

目前，深度學(xué)習(xí)技術(shù)在水下全息成像中主要用于全息圖的目標識別和微生物直接分類，但作為一種數(shù)據(jù)驅(qū)動的方法，需要大量數(shù)據(jù)集支撐，尤其是對全息圖像直接進行分類的方法，需要包含有相關(guān)微生物的龐大數(shù)據(jù)集，但目前仍然存在缺少高質(zhì)量數(shù)據(jù)集的問題，且復(fù)雜的水下環(huán)境又限制了數(shù)據(jù)的獲取和數(shù)據(jù)集的構(gòu)建，因而在水下全息成像的應(yīng)用并沒有陸上成像那么廣泛。此外，將深度學(xué)習(xí)用于水下微生物直接分類的方法僅對在焦平面上的微生物有較好的識別效果，對離焦的微生物分類效果仍有待提高。因而在未來，創(chuàng)建一個大型可用的多種水下微生物數(shù)據(jù)集，其中包含有原始全息圖像及聚焦后的圖像，以及如何提高對離焦的微生物分類識別效果，將會是深度學(xué)習(xí)技術(shù)在水下全息成像應(yīng)用中的重要發(fā)展方向。

3.9 小結(jié)

第三節(jié)總結(jié)了傳統(tǒng)成像方法和與深度學(xué)習(xí)結(jié)合的成像方法在水下環(huán)境中發(fā)展現(xiàn)狀與應(yīng)用情況。此處，針對所有與深度學(xué)習(xí)結(jié)合的成像方法進行對比總結(jié)，按照應(yīng)用領(lǐng)域、網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)和所解決的問題不同，表9給出了神經(jīng)網(wǎng)絡(luò)在水下成像中的使用情況統(tǒng)計結(jié)果，其中加粗字體表示常用網(wǎng)絡(luò)和損失函數(shù)。從表中可以看出，CNN與MSE為主要的網(wǎng)絡(luò)模型與損失函數(shù)，一方面是針對圖像處理類問題，CNN中的卷積模塊可對圖像進行快速特征提取，同時避免MLP過多的參數(shù)帶來的計算復(fù)雜度增加，節(jié)省計算資源，另一方面是CNN簡單的結(jié)構(gòu)使其容易搭建及修改，加上殘差連接、跳躍連接等優(yōu)化細節(jié)，簡單網(wǎng)絡(luò)也可實現(xiàn)較好的圖像處理效果。此外，由于深度學(xué)習(xí)在水下成像中的發(fā)展仍處于早期階段，不及在陸上成像中的發(fā)展，因此許多深度學(xué)習(xí)的最新技術(shù)尚未應(yīng)用于水下成像中，當前使用較多的仍是單鏈CNN網(wǎng)絡(luò)。MSE作為經(jīng)典的損失函數(shù)，具有公式簡單，魯棒性好，泛用性強的優(yōu)點，在圖像處理中受到廣泛應(yīng)用，此外，研究人員還將MSE與其它損失函數(shù)聯(lián)合使用，以不同系數(shù)進行組合，以獲得更好的網(wǎng)絡(luò)訓(xùn)練效果。

表9 深度學(xué)習(xí)在在水下成像中的應(yīng)用總結(jié)Table 9 Application of deep learning in underwater imaging

4 總結(jié)與展望

本文從水下成像技術(shù)的應(yīng)用背景出發(fā)，概述了水下成像的典型模型，總結(jié)了深度學(xué)習(xí)在水下環(huán)境中與圖像增強、圖像恢復(fù)、偏振成像、關(guān)聯(lián)成像、光譜成像、壓縮感知成像、激光成像、全息成像等應(yīng)用的結(jié)合特點，并對其進行了總結(jié)。但是，深度學(xué)習(xí)在水下成像中的應(yīng)用尚有許多問題亟待解決：

1）水下圖像數(shù)據(jù)集不足。深度學(xué)習(xí)方法目前的主流仍是有監(jiān)督學(xué)習(xí)，需要大量數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，但水下成像受限于設(shè)備和水體環(huán)境因素，較難獲得質(zhì)量較好的包含清晰和退化圖像的數(shù)據(jù)集，目前大多實驗室的數(shù)據(jù)集是通過人工模擬的水下環(huán)境，如在缸中倒入牛奶以模擬水下渾濁環(huán)境等，該方法雖能一定程度上模擬水下環(huán)境，但與實際復(fù)雜的水下環(huán)境如海洋環(huán)境甚至是深海環(huán)境仍有較大差距。因此，建立真實、高質(zhì)量且數(shù)據(jù)量充足的水下環(huán)境數(shù)據(jù)集具有重大意義。

2）神經(jīng)網(wǎng)絡(luò)的泛化能力較差。目前多數(shù)神經(jīng)網(wǎng)絡(luò)只能穩(wěn)定增強或重建某一水體的水下圖像，或是水下圖像中的某一特性，如果要泛用至其它水體環(huán)境或其它退化特性，需要利用相應(yīng)的數(shù)據(jù)集對網(wǎng)絡(luò)重新進行訓(xùn)練，甚至需要修改網(wǎng)絡(luò)結(jié)構(gòu)。如果同時增強或重建具有多個退化特性的水下環(huán)境容易在增強或重建某個特性時引入其它噪聲、偽影等。此外，GAN網(wǎng)絡(luò)及風格遷移在生成水下數(shù)據(jù)集也存在僅能生成一種類型的水下圖像，效率低下的問題，因而提高神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和泛化能力同樣具有重要意義。

3）網(wǎng)絡(luò)的可解釋性不足。神經(jīng)網(wǎng)絡(luò)可擬合未知的映射關(guān)系解決正向或者逆向問題，如水下圖像恢復(fù)和退化圖像合成，但目前神經(jīng)網(wǎng)絡(luò)的搭建、細節(jié)的優(yōu)化仍主要依賴經(jīng)驗或者是盲目試驗，缺乏指導(dǎo)性方法，效率較低，同時不利于網(wǎng)絡(luò)向輕量化、泛用化方向發(fā)展。神經(jīng)網(wǎng)絡(luò)是如何建立起模型的映射關(guān)系及如何解釋相關(guān)物理機制并優(yōu)化網(wǎng)絡(luò)仍是數(shù)據(jù)驅(qū)動算法面臨的問題之一。

目前，深度學(xué)習(xí)在水下成像中的應(yīng)用取得了一定的進展，但仍處于初級階段。水下成像中的許多問題，如水下退化模型與深度神經(jīng)網(wǎng)絡(luò)匹配的深層物理機制等仍有待挖掘，如何更好地把握神經(jīng)網(wǎng)絡(luò)的特性并將其與水下成像深入結(jié)合，并進一步用于解決水下成像的實際問題，將是未來水下成像技術(shù)研究的趨勢。