圖像增強(qiáng)水下自主機(jī)器人目標(biāo)識別研究

郭雨青，曾慶軍，夏 楠，孫嘯天，許赫威

（1.江蘇科技大學(xué)計算機(jī)學(xué)院，江蘇 鎮(zhèn)江 212028; 2.江蘇科技大學(xué)電子信息學(xué)院，江蘇 鎮(zhèn)江 212028）

0 引 言

自主式水下機(jī)器人（autonomous underwater vehicle，AUV）在軍民用領(lǐng)域具有廣泛的運(yùn)用，是開發(fā)海洋資源的重要工具。AUV不僅機(jī)動性好而且巡航范圍大，在水下觀測、制圖、定位和深海探測中具有著重要作用[1]。其中，目標(biāo)識別與跟蹤作為衡量AUV控制性能的重要指標(biāo)[2]，是AUV自主作業(yè)的關(guān)鍵技術(shù)[3]。在水下目標(biāo)識別方面，水下圖像的質(zhì)量對高級視覺識別任務(wù)有極大的影響，同時對于水下機(jī)器人對目標(biāo)進(jìn)行避障、抓取等運(yùn)動規(guī)劃起著重要決策作用[4]。

目前研究人員多圍繞水下圖像質(zhì)量方面對AUV的目標(biāo)識別開展研究。其中在基于圖像融合[5-6]的圖像復(fù)原方法中，合適的場景深度圖是估計背景光和透射圖的關(guān)鍵。由于光散射和顏色變化引起的水下圖像的模糊效應(yīng)類似于空氣中的霧效應(yīng)，有學(xué)者使用了暗通道先驗（DCP）[7]及其變體進(jìn)行深度估計和恢復(fù)。楊淼等[8]提出了一種基于色彩補(bǔ)償?shù)乃聢D像綜合增強(qiáng)算法，通過色彩補(bǔ)償和對比度拉伸，HSV空間γ校正和亮度通道去模糊系列方法實現(xiàn)了對水下圖像的色彩校正,色彩對比度,飽和度和細(xì)節(jié)清晰度的綜合提高。王昕等[9]利用最大強(qiáng)度先驗圖對背景光進(jìn)行了估計，并利用灰度世界理論對R通道進(jìn)行了校正。也有學(xué)者發(fā)現(xiàn)以往的估計背景光的方法對各種水下圖像的魯棒性不強(qiáng)，提出了一種基于圖像模糊度和光吸收的方法來估計更精確的背景光和場景深度，以精確恢復(fù)彩色水下圖像。隨著人工智能技術(shù)的發(fā)展與運(yùn)用，基于深度學(xué)習(xí)的水下圖像增強(qiáng)算法和圖像識別網(wǎng)絡(luò)也應(yīng)運(yùn)而生。李愛蓮等[10]將空間金字塔池化與ResNet101網(wǎng)絡(luò)相結(jié)合,提出一種基于改進(jìn)ResNet101網(wǎng)絡(luò)下渣彩色圖像的出鋼狀態(tài)分類識別檢測方法。如YU等[11]基于生成式對抗網(wǎng)絡(luò)的水下圖像復(fù)原網(wǎng)絡(luò)，模擬水下成像模型獲得一個水下圖像數(shù)據(jù)集；LI等[12]提出了一種基于水下場景先驗的水下圖像增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型-UWCNN。直接重建清晰的潛在水下圖像。YANG等[13]將神經(jīng)網(wǎng)絡(luò)與結(jié)合真實水下情況提出新的網(wǎng)絡(luò)增強(qiáng)方法，使得水下圖像增強(qiáng)多了新的可能性。但由于其網(wǎng)絡(luò)訓(xùn)練需要大量樣本及參數(shù)，同時也耗費(fèi)相當(dāng)多的訓(xùn)練時間，仍有很大的發(fā)展空間。

本文提出一種結(jié)合ULAP算法與CLAHE算法的圖像增強(qiáng)算法與其它幾種圖像增強(qiáng)或顏色矯正算法進(jìn)行實驗比較，最終將各種增強(qiáng)圖像用YOLOv4算法對水下圖像數(shù)據(jù)集進(jìn)行目標(biāo)識別評價，實驗結(jié)果發(fā)現(xiàn)，與原圖檢測相比，本文的增強(qiáng)方法將YOLOv4目標(biāo)識別準(zhǔn)確率（MAP）提高了33%，檢測頻率為25 Hz。

1 探海Ⅱ型水下自主機(jī)器人

本文采用的AUV是自主研發(fā)的“探海Ⅱ型”AUV，“探海Ⅱ型”AUV由艏段、電子艙段與艉段組成，其中艏段搭載雙目視覺攝像機(jī)以供視覺導(dǎo)航使用，水下自主機(jī)器人裝配視覺系統(tǒng)進(jìn)行水下自主巡航時，通過視覺系統(tǒng)快速、準(zhǔn)確地捕獲水下目標(biāo)物的相關(guān)信息，并對信息進(jìn)行實時處理，將處理結(jié)果及時提供給控制系統(tǒng)，由控制系統(tǒng)控制自主式水下機(jī)器人抵近目標(biāo)物并最終到達(dá)期望的作業(yè)位置?！疤胶＂蛐汀盇UV結(jié)構(gòu)如圖1所示。

圖1 “探海Ⅱ型”AUV結(jié)構(gòu)

2 水下圖像增強(qiáng)

2.1 水下模型

由于復(fù)雜的水下環(huán)境，水下圖像復(fù)原具有挑戰(zhàn)性，在這種環(huán)境中，圖像會受到水混濁度和光衰減的影響而退化[14]。與綠光和藍(lán)光相比，波長較長的紅光受到的影響最大，因此水下圖像呈現(xiàn)藍(lán)綠色。一種圖像恢復(fù)方法通過考慮光在水介質(zhì)中傳播的基本物理來恢復(fù)水下圖像?；謴?fù)的目的是推導(dǎo)物理模型的參數(shù)，然后通過保留補(bǔ)償處理恢復(fù)水下圖像。簡化成像模型等式如下：

x——水下圖像Iλ（x）中的像素點(diǎn)；

Jλ（x）——x點(diǎn)的場景輻射率；

tλ（x）——從水下場景中的x點(diǎn)反射并到達(dá)攝像機(jī)后的剩余能量比；

Bλ——均勻背景光。

Jλ（x）tλ（x）描述了場景輻射在水中的直接衰減。此外，剩余能量比tλ（x）是 λ和場景-攝像機(jī)距離d（x）的函數(shù)，它反映了波長在水下距離 d（x）傳播的光所遭受的光散射和顏色變化的整體效果。因此，tλ（x）可以表示為：

其中e?β（x）可以表示為歸一化剩余能量比Nrer（λ），它是指傳播的每單位距離的剩余能量與初始能量的比率。如圖2所示，其中綠光和藍(lán)光處理更短的波長和更高的頻率，從而衰減得比紅色對應(yīng)光低得多。這就是為什么深海圖像呈現(xiàn)普遍的藍(lán)色調(diào)，但是淺水圖像的表現(xiàn)不明顯。

圖2 水下光學(xué)衰減

2.2 基于ULAP的場景深度模型

水下光衰減先驗由于水下場景信息少，恢復(fù)模糊的水下圖像是計算機(jī)視覺中的一項困難任務(wù)。但是，人類可以在沒有任何輔助信息的情況下快速識別水下圖像的場景深度。當(dāng)進(jìn)行穩(wěn)健的背景光估計時，深度圖中對應(yīng)于原始水下圖像的最遠(yuǎn)點(diǎn)通常被認(rèn)為是背景光候選點(diǎn)。在水下光衰減的情況下，取決于紅光能量吸收大于綠光和藍(lán)光能量吸收的波長，利用R光和G-B光的最大強(qiáng)度差來估計背景光。在檢查了大量水下圖像后，學(xué)者發(fā)現(xiàn)水下光衰減先驗（ULAP），即水下圖像的一個像素中的G-B強(qiáng)度（簡化為MVGB）的最大值和R強(qiáng)度（簡化為VR）的值之間的差異與場景深度的變化密切相關(guān)。當(dāng)場景到達(dá)遠(yuǎn)處時，MVGB增加，虛擬現(xiàn)實減少，這導(dǎo)致場景深度與MVGB和虛擬現(xiàn)實之間的差異正相關(guān)。

基于ULAP的場景深度估計，為深度圖的估計定義了MVGB和虛擬現(xiàn)實的線性模型，如下所示：

式中：x——像素；

d（x）——點(diǎn)x處的水下場景深度；

m（x）——MVGB；

v（x）——虛擬現(xiàn)實。

背景光通常被估計為水下圖像中最亮的像素。然而，這個假設(shè)在某些情況下是不正確的，例如前景物體比背景光更亮。從輸入水下圖像的最遠(yuǎn)點(diǎn)選擇背景光，即對應(yīng)于輸入水下圖像的細(xì)化深度圖中的最大值的位置是背景光候選值。但是直接選擇最遠(yuǎn)的點(diǎn)作為最終的背景光，一些懸浮粒子會打斷有效的估計結(jié)果。在生成精確的深度圖后，首先通過選擇0.1%的最遠(yuǎn)點(diǎn)來去除懸浮粒子的影響，然后選擇原始水下圖像中強(qiáng)度最高的像素。

各紅藍(lán)通道的傳輸圖估算相對深度圖不直接用于估算紅藍(lán)通道的最終傳輸圖。為了測量從攝像機(jī)到每個場景點(diǎn)的距離，實際的場景深度圖da定義如下：

其中D∞是將相對距離轉(zhuǎn)換為實際距離的比例常數(shù)，在本文中，D∞設(shè)置為10。根據(jù)估算的da，可以計算R-G-B通道的TM為：

在大約98%的世界清潔海洋或沿海水域（海洋類型I），Nrer（λ）在紅光、綠光和藍(lán)光中的認(rèn)可范圍分別為80%～85%、93%～97%和95%～99%[7]。在這篇文章中，設(shè)置R-G-B光的Nrer（λ）分別為0.83，0.95和0.97。

有了R-G-B通道的BLλ和tλ（x），通過等式恢復(fù)水下場景的輻射亮度Jλ（x）。tλ（x）的下限和上限根據(jù)經(jīng)驗分別設(shè)置為0.1和0.9。

2.3 CLAHE理論

通過研究發(fā)現(xiàn)，對于水下圖像處理，ULAP圖像恢復(fù)方法可以有效地對不同的水下圖像進(jìn)行去垢和去斑，提高輸入圖像的細(xì)節(jié)和色彩，最終生成自然的水下圖像。相比何凱明提的出的暗通道先驗理論得出了更優(yōu)的結(jié)果，但仍然得不到足夠清晰且細(xì)節(jié)足夠突出的圖像。因此需要對圖像再做增強(qiáng)處理。水下圖像采集過程中，由于AUV得雙目攝像機(jī)感光性能會使得圖像產(chǎn)生噪點(diǎn)，所以抑制圖像噪點(diǎn)在圖像增強(qiáng)過程中也很重要。與傳統(tǒng)的自適應(yīng)直方圖均衡（AHE）算法相較而言，圖像中有明顯較亮或者較暗的地方時，一般的直方圖均衡算法就不能描述出將該處的細(xì)節(jié)信息，CLAHE通過限制局部直方圖的高度來限制局部對比度的增強(qiáng)幅度[15]，從而將噪聲的放大程度限制住。為了將圖像細(xì)節(jié)特征提取出來，但也不能放大其圖像噪點(diǎn)，本文采用CLAHE算法進(jìn)行后續(xù)研究。

3 實 驗

3.1 數(shù)據(jù)集準(zhǔn)備

本文數(shù)據(jù)集組成：

1）其中Rockfish來源于美國太平洋海岸收集的巖魚和扁平魚。其圖片背景色豐富有利于觀察圖像增強(qiáng)方法中顏色矯正的部分，填充紅色背景少的數(shù)據(jù)集。偏紅偏白的圖像用于本文圖像增強(qiáng)算法研究。

2）UIEBD數(shù)據(jù)集[16]，跨越不同的場景/主要對象類別，包括珊瑚（例如，流蘇礁石和巴里爾群），海洋生物（例如烏龜和鯊魚）等。有著豐富的水下圖片庫，其中選取了偏藍(lán)色和偏綠色的圖像用于本文圖像增強(qiáng)算法研究。

3）RUIE數(shù)據(jù)集[17]，該數(shù)據(jù)集采集于真實海洋環(huán)境評測平臺，包括海膽，海參，扇貝圖片以及其各自在圖片中的位置坐標(biāo)，總共采用了其UTTS中的300張圖片，其中訓(xùn)練集270張，測試集30張，主要用于YOLOv4網(wǎng)絡(luò)[18]的模型訓(xùn)練。

3.2 圖像增強(qiáng)效果對比

本節(jié)對比了水下暗通道算法UDCP和其他圖像增強(qiáng)方法對偏藍(lán)、偏綠、偏黃、偏紅近岸淺灘和低對比度水下圖像的處理結(jié)果。

數(shù)據(jù)集來源于UIEBD（an underwater image enhancement benchmark dataset and beyond）數(shù)據(jù)集和Rockfish中底色偏紅偏白的圖像做出對比，選取的比較方法主要包括：文獻(xiàn)[19]、文獻(xiàn)[20]、文獻(xiàn)[21]、文獻(xiàn)[22]、文獻(xiàn)[23]中的方法。

圖3（a）顯示了5幅原始水下圖像，根據(jù)水下圖像數(shù)據(jù)集的色調(diào)和場景，它們具有不同的水下特征。圖3（b）顯示，UDCP未能恢復(fù)水下圖像的場景，甚至帶來色彩失真和誤差恢復(fù)。圖3（e）、圖3（f）在圖像去霧的方面效果相比較與其它效果較好，但是圖3（e）偏色比較嚴(yán)重，在處理圖片的時候，有明顯的紅色過補(bǔ)償現(xiàn)象，并且圖像整體偏暗了。而且圖3（f）有輕微的偏色，但是其在偏藍(lán)的圖像上，表現(xiàn)出嚴(yán)重的顆粒感，圖像質(zhì)量不高。但在偏綠色的人物背景圖，能較好矯正去除其背景綠色。圖3（c）、圖3（d）在偏藍(lán)色和偏綠色的圖片增強(qiáng)效果不錯，但是在背景色紅色部分較多的時候圖3（c）對于紅色矯正過多，導(dǎo)致圖片紅色偏重，圖3（d）就出現(xiàn)了藍(lán)色偏現(xiàn)象。在白色淺灘背景下圖3（d）還出現(xiàn)了偏綠現(xiàn)象，并且黑暗區(qū)域擴(kuò)張。本文方法在對于低對比度的圖片有效增強(qiáng)并提高圖像清晰度，在對各種偏色圖像中的處理中，保持了圖像的整體亮度和細(xì)節(jié)，沒有嚴(yán)重的顏色失真問題，并且也能獲得較好的圖像質(zhì)量，本文圖像恢復(fù)方法可以有效地對不同的水下圖像進(jìn)行去垢和去斑提高輸入圖像的細(xì)節(jié)和色彩，最終生成自然的水下圖像。再對比各個算法對以上5張圖片的執(zhí)行速度如表1所示。

表1 圖像增強(qiáng)算法耗時 s

圖3 水下圖像增強(qiáng)結(jié)果對比

本文算法的速度相比較于其它算法的運(yùn)行速度也是最快的，這對于需要對大量圖片進(jìn)行處理訓(xùn)練的目標(biāo)檢測與識別算法來說，是一項顯著的優(yōu)勢，適用于水下機(jī)器人實時識別。

3.3 目標(biāo)檢測效果對比

水下圖像增強(qiáng)的目的不僅是為了主觀視覺質(zhì)量的改進(jìn)，更主要的是為了能夠完成更高級別的視覺分析任務(wù)（例如目標(biāo)識別和檢測）。本文通過目標(biāo)檢測網(wǎng)絡(luò)模型對經(jīng)過6種算法增強(qiáng)后的水下圖像數(shù)據(jù)集進(jìn)行訓(xùn)練與測試，對比了MAP和檢測到目標(biāo)數(shù)量來評估各個增強(qiáng)算法對于水下目標(biāo)識別和檢測任務(wù)中的作用。為了驗證算法是否有效，本文在Windows10、CUDA10.0、CUDNN7.6.5進(jìn)行訓(xùn)練。訓(xùn)練使用的服務(wù)器配置是Intel（R）Core（TM）i7-7700HQ CPU @ 2.80 GHz，利用RUIE數(shù)據(jù)集。該數(shù)據(jù)集不僅僅擁有大的數(shù)據(jù)量、多樣的光散射效應(yīng)程度，而且有豐富的色調(diào)和檢測目標(biāo)，對于衡量水下圖像增強(qiáng)算法的性能有多個參考角度，如可見度，色偏等。而且，它提供的水下生物標(biāo)注圖像十分便于進(jìn)行水下目標(biāo)檢測算法的訓(xùn)練和測試。RUIE數(shù)據(jù)集是國內(nèi)第一個專門為多角度算法評估設(shè)計集合的大型水下真實圖像數(shù)據(jù)庫，為促進(jìn)圖像增強(qiáng)與復(fù)原及相關(guān)的高級水下視覺任務(wù)的相關(guān)理論、技術(shù)及應(yīng)用的發(fā)展、提升相關(guān)研究水平做出了重要貢獻(xiàn)[18]。采用YOLOv4的方法進(jìn)行目標(biāo)檢測，檢測結(jié)果如圖4所示。

圖4 部分測試集中水下圖像增強(qiáng)后的目標(biāo)檢測結(jié)果

本文采用精確率-召回率曲線變化情況以及MAP作為評價指標(biāo)來衡量模型的檢測性能。從表2可以看出，以上幾種方法對于水下圖像復(fù)原與顏色矯正上，有利于提高目標(biāo)檢測的準(zhǔn)確率，其中從文獻(xiàn)[23]的檢測結(jié)果就可以看出，顏色矯正過于嚴(yán)重的算法也不利于目標(biāo)檢測，縱向比較，文獻(xiàn)[21]和文獻(xiàn)[23]中第一張偏暗的圖像，對于海參這種與海底環(huán)境較為相似的目標(biāo)識別漏了。選取的圖像中亮度較強(qiáng)的圖像檢測效果也更好，圖像的對比度提高對目標(biāo)識別也有顯著的效果，而本文由于采用ULAP與CLAHE算法相結(jié)合，有大量訓(xùn)練估計深度的情況下，能夠獲得更清晰自然的圖像，加之利用噪聲較小的CLAHE算法提升圖像對比度，獲得了較好的目標(biāo)檢測效果，與其它方法比較，本文算法對海膽、海參、扇貝包括一些邊角的小目標(biāo)形狀，識別效果較好。

表2 目標(biāo)識別準(zhǔn)確率 %

4 結(jié)束語

由于水下圖像存在模糊和色偏等圖像質(zhì)量問題對水下目標(biāo)識別造成了極大的困擾，本文提出了一種水下圖像增強(qiáng)算法。該算法基于水下光衰減先驗（ULAP）的快速有效的水下圖像場景深度估計模型，并且根據(jù)其學(xué)習(xí)訓(xùn)練得出的模型系數(shù)得到正確的深度圖，估計背景光和透射圖，以恢復(fù)水下的真實場景輻射。針對恢復(fù)圖像對比度欠佳的情況，本文又基于CLAHE算法提升了圖像對比度，使圖像進(jìn)一步清晰化，達(dá)到了水下圖像增強(qiáng)的目的。通過與UDCP等其它文獻(xiàn)中的圖像增強(qiáng)算法進(jìn)行比較分析，表明本文算法能夠?qū)崿F(xiàn)較好的水下圖像質(zhì)量增強(qiáng)效果，得到的圖像整體效果更好。最后，通過YOLOv4方法來實現(xiàn)目標(biāo)識別任務(wù)，實驗表明本文的增強(qiáng)方法能夠有效實現(xiàn)對水下彩色圖像進(jìn)行目標(biāo)識別的任務(wù)，比其原圖進(jìn)行識別的平均精度提高了33%，可以運(yùn)用到水下自主機(jī)器人上進(jìn)行目標(biāo)識別，為進(jìn)一步研發(fā)水下自主機(jī)器人視覺任務(wù)奠定基礎(chǔ)。