圖像增強(qiáng)對(duì)顯著性目標(biāo)檢測(cè)的影響研究

郭繼昌，岳惠惠，張怡，劉迪，劉曉雯，鄭司達(dá)

天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072

0 引 言

近年來，隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，圖像顯著性目標(biāo)檢測(cè)技術(shù)成為圖像處理領(lǐng)域的熱點(diǎn)研究問題(Zhao等，2019；Hou等，2019；Tang等，2019)。從該技術(shù)的發(fā)展歷史來看，傳統(tǒng)方法(Itti等，1998；Parkhurst等，2002；Bruce和Tsotsos，2005；Liu等，2007；Achanta等，2008；Liu等，2011)開啟了圖像顯著性目標(biāo)檢測(cè)的先河。這類方法盡管有著很好的理論支撐，但在模型參數(shù)調(diào)整的靈活性以及檢測(cè)效果方面均有待提升。隨著深度學(xué)習(xí)方法的快速發(fā)展及其在各領(lǐng)域的成功應(yīng)用，基于數(shù)據(jù)驅(qū)動(dòng)的深度神經(jīng)網(wǎng)絡(luò)模型(Wang等，2019；Zhang等，2019；Liu等，2020；Li和Yu，2018；Liu 等，2019a；Hu等，2021；Huang等，2018；Qin 等，2019；Chen等，2020)逐步應(yīng)用于圖像的顯著性目標(biāo)檢測(cè)領(lǐng)域，這類方法通過參數(shù)的自適應(yīng)學(xué)習(xí)，實(shí)現(xiàn)了顯著性目標(biāo)檢測(cè)性能大幅度提升。

當(dāng)前，顯著性目標(biāo)檢測(cè)方法主要針對(duì)高質(zhì)量圖像，但在實(shí)際應(yīng)用中，不利的天氣、環(huán)境(如霧霾、水下等)因素會(huì)導(dǎo)致圖像質(zhì)量退化，使獲取的圖像出現(xiàn)模糊、顏色失真、對(duì)比度低和細(xì)節(jié)缺失等問題(麥嘉銘 等，2016；陳丹丹 等，2017；Yeh等，2020；郭繼昌 等，2017；Li等，2020)。對(duì)此，若直接采用當(dāng)前的顯著性目標(biāo)檢測(cè)方法將難以獲得理想的檢測(cè)結(jié)果。一般認(rèn)為，對(duì)低質(zhì)圖像進(jìn)行增強(qiáng)處理可以提高其顯著性目標(biāo)檢測(cè)的效果，但事實(shí)確實(shí)如此嗎？針對(duì)該問題，本文系統(tǒng)地研究低質(zhì)圖像增強(qiáng)方法對(duì)顯著性目標(biāo)檢測(cè)性能的影響問題。首先對(duì)當(dāng)前典型的低質(zhì)圖像增強(qiáng)方法及典型的顯著性目標(biāo)檢測(cè)方法進(jìn)行介紹，在此基礎(chǔ)上，為了研究低質(zhì)圖像增強(qiáng)方法對(duì)于顯著性目標(biāo)檢測(cè)方法性能的影響，設(shè)計(jì)了以不同圖像增強(qiáng)方法作為預(yù)處理步驟的低質(zhì)圖像顯著性目標(biāo)檢測(cè)實(shí)驗(yàn)方案，并在真實(shí)的低質(zhì)圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。最后，通過實(shí)驗(yàn)分析和效果評(píng)估，總結(jié)了圖像增強(qiáng)方法對(duì)低質(zhì)圖像顯著性目標(biāo)檢測(cè)性能的影響規(guī)律。

1 典型圖像增強(qiáng)方法

圖像增強(qiáng)原理可從兩方面進(jìn)行描述。1)根據(jù)觀察者關(guān)注的圖像內(nèi)容確定圖像增強(qiáng)規(guī)則，以突出觀察者感興趣的圖像信息；2)加強(qiáng)對(duì)觀察者不感興趣內(nèi)容的約束，從而相對(duì)地突出感興趣特征。圖像增強(qiáng)的目的是提升圖像質(zhì)量，使圖像更加符合人類視覺感官或機(jī)器視覺需求。圖像增強(qiáng)方法主要分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法兩類，表1列舉了一些典型的及最新的圖像增強(qiáng)方法。

表1 典型圖像增強(qiáng)方法列表Table 1 List of typical image enhancement methods

1.1 傳統(tǒng)圖像增強(qiáng)方法

傳統(tǒng)方法是圖像增強(qiáng)中最基礎(chǔ)的分支之一，典型方法如下：

1)Retinex(Land和McCann，1971)方法是建立在科學(xué)實(shí)驗(yàn)和科學(xué)分析基礎(chǔ)上的基于人類視覺系統(tǒng)的圖像增強(qiáng)方法。不同于只能增強(qiáng)圖像的某一類特征(壓縮圖像的動(dòng)態(tài)范圍、增強(qiáng)圖像的邊緣等)的線性變換、非線性變換和圖像銳化等方法，Retinex以顏色恒常性為基礎(chǔ)，能夠?qū)崿F(xiàn)圖像的動(dòng)態(tài)范圍壓縮、邊緣增強(qiáng)和顏色恒常3方面的平衡，因此可以對(duì)不同類型的圖像進(jìn)行自適應(yīng)性增強(qiáng)。Retinex方法示意如圖1所示，其中，L代表入射光圖像，R代表物體的反射性質(zhì)圖像，S代表人眼能接收到的反射光圖像。

圖1 Retinex(Land和McCann，1971)Fig.1 Retinex(Land and McCann，1971)

2)限制對(duì)比度自適應(yīng)直方圖均衡(contrast limited adaptive histogram equalization，CLAHE)(Zuiderveld，1994)方法是基于自適應(yīng)直方圖均衡化(adaptive histogram equalization，AHE)方法的改進(jìn)。AHE方法的主要特性是：所處理圖像區(qū)域的對(duì)比度強(qiáng)弱與該區(qū)域的大小呈反向關(guān)系。即對(duì)于AHE處理的局部矩形區(qū)域，若矩形區(qū)域小，則局部對(duì)比度強(qiáng)；若矩形區(qū)域大，則局部對(duì)比度弱。此外，若矩形區(qū)域內(nèi)的圖像塊信息平坦、灰度接近，則其灰度直方圖呈尖狀，在直方圖均衡化過程中可能會(huì)出現(xiàn)過度放大噪聲的情況。CLAHE方法在AHE方法的基礎(chǔ)上進(jìn)行對(duì)比度限制，將大于一定閾值的像素點(diǎn)信息平均分配到直方圖的其他位置，通過限制累積分布函數(shù)的斜率來限制對(duì)比度，以實(shí)現(xiàn)降噪目的。CLAHE的原理示意如圖2所示。

圖2 限制對(duì)比度自適應(yīng)直方圖均衡(Zuiderveld，1994)Fig.2 Contrast limited adaptive histogram equalization(Zuiderveld，1994)

3)Gamma校正(Gamma correction)(Guo等，2004)方法是對(duì)輸入圖像灰度值進(jìn)行非線性操作，使得輸出圖像與輸入圖像的灰度值呈指數(shù)關(guān)系的圖像增強(qiáng)方法。該方法的理論依據(jù)是：人眼對(duì)外界光源的感光值與輸入光強(qiáng)不是呈線性關(guān)系，而是呈指數(shù)型關(guān)系，然而，攝像機(jī)感光與輸入光強(qiáng)呈線性關(guān)系，因此為提高人眼對(duì)圖像的辨識(shí)度就需要進(jìn)行圖像校正。Gamma校正能有效提取圖像亮度信息，實(shí)現(xiàn)圖像增強(qiáng)的目的，其示意如圖3所示，其中CRT Gamma(cathode ray tube Gamma)表示響應(yīng)曲線。

圖3 Gamma校正(Guo等，2004)Fig.3 Gamma correction(Guo et al.，2004)

4)暗通道先驗(yàn)(dark channel prior，DCP)(He等，2009)方法基于一個(gè)基本假設(shè)：在絕大多數(shù)的非天空局部區(qū)域中，某一些像素點(diǎn)總會(huì)有至少一個(gè)顏色通道具有很低的值。實(shí)際生活中很多場(chǎng)景都驗(yàn)證了這個(gè)假設(shè)，比如汽車、建筑物的陰影，色彩鮮艷或顏色較暗的物體表面等，這些圖像總有一個(gè)顏色通道較暗。DCP取圖像每一個(gè)像素點(diǎn)中3個(gè)顏色通道的最小值組成灰度圖，然后進(jìn)行最小值濾波得到暗通道圖像。該方法示意圖如圖4所示，其中，A代表大氣背景光，P和Q代表先驗(yàn)向量。

圖4 暗通道先驗(yàn)(He等，2009)Fig.4 Dark channel prior(He et al.，2009)

5)Li等人(2016)的方法是針對(duì)水下圖像質(zhì)量退化問題提出的一種水下圖像增強(qiáng)方法。首先基于最小信息損失原理，提出了一種水下圖像去噪方法，以恢復(fù)水下圖像的可見度、顏色和外觀。與此同時(shí)，提出了一種簡單有效的基于直方圖分布先驗(yàn)的對(duì)比度增強(qiáng)方法，以提高水下圖像的對(duì)比度和亮度。因此，該方法產(chǎn)生了兩個(gè)版本的增強(qiáng)結(jié)果，一個(gè)顏色較真實(shí)、外觀較自然，適合人眼觀測(cè)；另一個(gè)具有較高的對(duì)比度和亮度，能夠用來提取圖像中有價(jià)值的信息和細(xì)節(jié)。該方法示意圖如圖5所示。

圖5 Li等人(2016)的方法Fig.5 Li et al.(2016)method

1.2 基于深度學(xué)習(xí)的圖像增強(qiáng)方法

隨著人工智能技術(shù)的迅速崛起及其應(yīng)用領(lǐng)域的發(fā)展，基于深度學(xué)習(xí)驅(qū)動(dòng)的圖像增強(qiáng)方法不斷涌現(xiàn)并且取得了顯著效果。典型方法如下：

1)UGAN(underwater imagery using generative adversarial networks)(Fabbri等，2018)采用生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)增強(qiáng)水下圖像質(zhì)量。生成器部分采用CycleGAN(cycle generative adversarial networks)結(jié)構(gòu)生成足夠數(shù)量的數(shù)據(jù)集；鑒別器部分使用PatchGAN結(jié)構(gòu)提取圖像特征。UGAN的主要作用是提高圖像的視覺質(zhì)量，產(chǎn)生更具視覺吸引力的圖像效果，網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示,圖中，DX和DY表示鑒別器，X和Y表示數(shù)據(jù)域，G和F表示映射函數(shù)。

圖6 UGAN(Fabbri等，2018)Fig.6 UGAN(Fabbri et al.，2018)

2)UIE-DAL(underwater image enhancement domain-adversarial learning)(Uplavikar等，2019)通過基于編碼器—解碼器的網(wǎng)絡(luò)結(jié)構(gòu)增強(qiáng)水下圖像，并采用基于分類器的網(wǎng)絡(luò)結(jié)構(gòu)作為干擾分類器對(duì)Jerlov水類型進(jìn)行分類。此外，UIE-DAL的編碼器會(huì)丟棄表示水類型的特征并僅保留與場(chǎng)景相關(guān)的特征，提高干擾分類器預(yù)測(cè)的不確定性。UIE-DAL的主要作用是能夠?qū)W習(xí)水類型的不可知特征，以便處理增強(qiáng)過程中水的多樣性問題。UIE-DAL在真實(shí)數(shù)據(jù)集上具有良好的泛化能力，網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

圖7 UIE-DAL(Uplavikar等，2019)Fig.7 UIE-DAL(Uplavikar et al.，2019)

3)Water-Net(underwater image enhancement network)(Li等，2020)是一個(gè)端到端的水下圖像增強(qiáng)網(wǎng)絡(luò)，基于作者提出的水下圖像增強(qiáng)數(shù)據(jù)集(underwater image enhancement benchmark dataset，UIEBD)構(gòu)建。此數(shù)據(jù)集包含各個(gè)水下場(chǎng)景以及各種水下退化特征情況下拍攝的圖像，彌補(bǔ)了當(dāng)前水下圖像數(shù)據(jù)集較少的局限，其網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示,FTU為特征轉(zhuǎn)換單元。

圖8 Water-Net(Li等，2020)Fig.8 Water-Net(Li et al.，2020)

4)Cycle-Dehaze(Engin等，2018)是面向霧天圖像的增強(qiáng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)基于不成對(duì)的清晰和模糊圖像進(jìn)行訓(xùn)練，并且不需要依賴大氣散射模型的參數(shù)估計(jì)。該網(wǎng)絡(luò)的主要優(yōu)勢(shì)是不需要成對(duì)的訓(xùn)練數(shù)據(jù)集就能夠提高圖像紋理信息的恢復(fù)質(zhì)量，生成視覺效果良好的無霧圖像，其網(wǎng)絡(luò)結(jié)構(gòu)如圖9所示。

圖9 Cycle-Dehaze(Engin等，2018)Fig.9 Cycle-Dehaze(Engin et al.，2018)

5)GCANet(gated context aggregation network)(Chen等，2019)是直接恢復(fù)無霧圖像的端到端門控上下文聚合網(wǎng)絡(luò)。該網(wǎng)絡(luò)采用平滑擴(kuò)張技術(shù)消除由于廣泛使用空洞卷積產(chǎn)生的網(wǎng)格偽影，并利用門控子網(wǎng)融合不同層次的圖像特征，避免了利用低層圖像特征或手工制作的圖像優(yōu)先級(jí)作為恢復(fù)約束的問題。該網(wǎng)絡(luò)的主要作用是提高圖像去霧質(zhì)量，并應(yīng)用于圖像去噪等領(lǐng)域，其網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示。

圖10 GCANet(Chen等，2019)Fig.10 GCANet(Chen et al.，2019)

6)FFANet(feature fusion attention network)(Qin等，2020)是一個(gè)端到端的特征融合注意力網(wǎng)絡(luò)，主要包括特征注意(feature attention,FA)模塊、基本塊和不同層次特征融合(attention-based different levels feature fusion,FFA)結(jié)構(gòu)。其中，F(xiàn)A模塊用來對(duì)不同的圖像特征進(jìn)行不均衡處理，加強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的表示能力；基本塊由局部殘差學(xué)習(xí)結(jié)構(gòu)和特征注意結(jié)構(gòu)組成，其中局部殘差學(xué)習(xí)結(jié)構(gòu)通過多個(gè)局部殘差連接來繞過薄霧或低頻信息，從而使主網(wǎng)絡(luò)結(jié)構(gòu)集中在更有效的圖像信息上；FFA結(jié)構(gòu)通過FA模塊自適應(yīng)地學(xué)習(xí)特征權(quán)重，從而賦予重要特征更大的權(quán)重。FFANet的主要優(yōu)勢(shì)在于可以直接恢復(fù)無霧圖像，其網(wǎng)絡(luò)結(jié)構(gòu)如圖11所示。

圖11 FFANet(Qin等，2020)Fig.11 FFANet(Qin et al.，2020)

2 典型顯著性目標(biāo)檢測(cè)方法

人類視覺系統(tǒng)具有一套有效的注意機(jī)制，可以從視覺場(chǎng)景中選擇最重要的信息。顯著性目標(biāo)檢測(cè)就是模擬人類的這種視覺注意機(jī)制，檢測(cè)出人類在視覺場(chǎng)景中可能聚焦的區(qū)域或?qū)ο?。因此，顯著性目標(biāo)檢測(cè)的目的是識(shí)別出圖像中最具視覺特征的物體或區(qū)域并將其從背景中分割出來，這使得顯著性目標(biāo)檢測(cè)成為計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵技術(shù)。當(dāng)前，基于深度學(xué)習(xí)的顯著性目標(biāo)檢測(cè)方法主要包括基于編譯碼器的方法和基于多分支結(jié)構(gòu)的方法。近幾年一些性能優(yōu)良的代表性方法如表2所示。

表2 典型顯著性目標(biāo)檢測(cè)方法列表Table 2 List of typical salient object detection methods

2.1 基本原理描述

2.2 基于編譯碼器的顯著性目標(biāo)檢測(cè)方法

在當(dāng)前顯著性目標(biāo)檢測(cè)發(fā)展中，基于編譯碼器結(jié)構(gòu)的深度學(xué)習(xí)網(wǎng)絡(luò)占據(jù)主流地位，典型方法如下：

1)BASNet(boundary-aware salient object detection network)(Qin等，2019)由基于密集監(jiān)督的編譯碼模塊和殘差細(xì)化模塊兩部分組成。前者用于預(yù)測(cè)圖像的顯著性目標(biāo)，后者進(jìn)一步對(duì)該目標(biāo)進(jìn)行細(xì)化。該網(wǎng)絡(luò)采用由二進(jìn)制交叉熵(binary cross entropy,BCE)、結(jié)構(gòu)相似性(structural similarity，SSIM)和交并比(intersection-over-union，IoU)損失組成的混合損失函數(shù)，在像素級(jí)、片塊級(jí)和圖像級(jí)3個(gè)層次上監(jiān)督顯著性目標(biāo)檢測(cè)的訓(xùn)練過程。BASNet的主要作用在于提升顯著性目標(biāo)檢測(cè)的邊界感知能力，進(jìn)而引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)輸入圖像與真實(shí)顯著性圖之間的映射，其網(wǎng)絡(luò)結(jié)構(gòu)如圖12所示。

圖12 BASNet(Qin等，2019)Fig.12 BASNet(Qin et al.，2019)

2)PoolNet(Liu等，2019a)在U形特征金字塔網(wǎng)絡(luò)(feature pyramid networks，F(xiàn)PNs)的基礎(chǔ)上搭建了兩個(gè)主要模塊：全局引導(dǎo)模塊(global guidance module,GGM)和特征聚合模塊(feature aggregation module,FAM)。GGM旨在為具有不同特征水平的網(wǎng)絡(luò)層提供顯著目標(biāo)的位置信息，F(xiàn)AM用于融合圖像的高級(jí)語義信息和細(xì)節(jié)特征。這兩個(gè)基于池化的模塊使得圖像的高級(jí)語義信息逐步細(xì)化，生成細(xì)節(jié)豐富的顯著性映射。PoolNet的主要作用是通過擴(kuò)展卷積神經(jīng)網(wǎng)絡(luò)的池化效果進(jìn)行顯著性目標(biāo)檢測(cè)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖13所示。

圖13 PoolNet(Liu等，2019a)Fig.13 PoolNet(Liu et al.，2019a)

3)GCPANet(global context-aware progressive aggregation network)(Chen等，2020)由特征交織聚合模塊(feature interweaved aggregation，F(xiàn)IA)、頭部注意模塊(head attention，HA)、自細(xì)化模塊(self-refinement，SR)和全局上下文流模塊(global context flow，GCF)4部分組成。FIA模塊用于集成低級(jí)外觀特征、高級(jí)語義特征和全局上下文特征，并以有監(jiān)督的方式生成顯著性映射；HA模塊用于減少信息冗余和增強(qiáng)頂層特征；SR模塊用于細(xì)化和增強(qiáng)輸入特征；GCF模塊用于生成不同階段的全局上下文信息，學(xué)習(xí)不同顯著區(qū)域之間的關(guān)系，減少高級(jí)特征的稀釋效應(yīng)。該網(wǎng)絡(luò)的主要作用是學(xué)習(xí)圖像綜合特征，并著力解決高級(jí)特征在自上而下的傳遞過程中的稀釋問題，其網(wǎng)絡(luò)結(jié)構(gòu)如圖14所示。

圖14 GCPANet(Chen等，2020)Fig.14 GCPANet(Chen et al.，2020)

2.3 基于多分支結(jié)構(gòu)的顯著性目標(biāo)檢測(cè)方法

用多分支結(jié)構(gòu)融合不同尺度的圖像特征也是顯著性目標(biāo)檢測(cè)的重要思路，其包含的典型方法如下：

1)PiCANet(pixel-wise contextual attention network)(Liu等，2018)是一個(gè)像素級(jí)上下文注意網(wǎng)絡(luò)，其對(duì)圖像中每個(gè)像素點(diǎn)的信息上下文位置進(jìn)行選擇性關(guān)注。PiCANet首先對(duì)每一個(gè)像素點(diǎn)生成一個(gè)注意圖，其中每個(gè)注意權(quán)重對(duì)應(yīng)于每個(gè)上下文位置的相關(guān)性。然后，通過選擇性地聚合上下文信息構(gòu)造上下文特征。PiCANet可以用全局和局部形式分別表示，以適應(yīng)全局和局部環(huán)境，這兩個(gè)模型均完全可微，可以嵌入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行聯(lián)合訓(xùn)練。PiCANet的主要作用是通過對(duì)圖像像素點(diǎn)的不同上下文信息賦予不同的注意權(quán)重來提升顯著性目標(biāo)檢測(cè)的性能，其網(wǎng)絡(luò)結(jié)構(gòu)如圖15所示。

圖15 PiCANet(Liu等，2018)Fig.15 PiCANet(Liu et al.，2018)((a)global model;(b)local model)

2)R3Net (recurrent residual refinement network)(Deng等，2018)由特征提取模塊(feature extraction network，F(xiàn)EN)和殘差細(xì)化模塊(residual refinement block，RRB)兩部分組成。FEN在輸入圖像的多個(gè)尺度上產(chǎn)生特征映射，并連接為低級(jí)集成特征和高級(jí)集成特征。RRB將這些特征分別送入全卷積網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)交替利用，進(jìn)而學(xué)習(xí)網(wǎng)絡(luò)中間預(yù)測(cè)的顯著性圖與真實(shí)顯著性圖的殘差。由此該模塊在利用低級(jí)集成特征捕捉顯著細(xì)節(jié)的同時(shí)，利用高級(jí)集成特征減少中間預(yù)測(cè)的非顯著區(qū)域。此外，RRB可以獲得中間預(yù)測(cè)的互補(bǔ)顯著性信息，并加入殘差來細(xì)化預(yù)測(cè)的顯著性圖。R3Net的主要作用是通過遞歸式的殘差細(xì)化來提高顯著性目標(biāo)檢測(cè)的準(zhǔn)確性，其網(wǎng)絡(luò)結(jié)構(gòu)如圖16所示。

圖16 R3Net(Deng等，2018)Fig.16 R3Net(Deng et al.，2018)

3)CPD(cascaded partial decoder)(Wu等，2019)是一個(gè)級(jí)聯(lián)部分解碼器框架，用于快速、準(zhǔn)確檢測(cè)顯著性目標(biāo)。一方面，該框架構(gòu)造了部分解碼器減少網(wǎng)絡(luò)參數(shù)，提升網(wǎng)絡(luò)運(yùn)行速度；另一方面，該框架直接利用生成的顯著圖細(xì)化主干網(wǎng)的特征，有效抑制特征中的干擾因素，顯著提高了特征的表現(xiàn)能力。CPD的主要作用是摒棄低級(jí)特征以降低模型的復(fù)雜度，并利用生成的注意映射來細(xì)化高級(jí)特征以提高檢測(cè)性能，其網(wǎng)絡(luò)結(jié)構(gòu)如圖17所示。

圖17 CPD(Wu等，2019)Fig.17 CPD(Wu et al.，2019)((a)traditional framework;(b)CPD framework)

4)DSS(deeply supervised salient object detection)(Hou等，2017)通過在HED(holistically-nested edge detector)結(jié)構(gòu)中引入短連接來結(jié)合多級(jí)特征。DSS中的高級(jí)特征可以轉(zhuǎn)換為較淺的側(cè)輸出層，更好地定位顯著性區(qū)域，與此同時(shí)淺層側(cè)輸出層可以學(xué)習(xí)豐富的低級(jí)特征，細(xì)化從深層側(cè)輸出層得到的稀疏和不規(guī)則的預(yù)測(cè)圖。DSS的主要作用是獲得精確的顯著性目標(biāo)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖18所示。

圖18 DSS(Hou等，2017)Fig.18 DSS(Hou et al.，2017)

5)MINet(multi-scale interactive network)(Pang等，2020)由聚合交互模塊(aggregate interaction modules，AIM)和自交互模塊(self-interaction modules，SIMs)兩部分組成。AIM通過互學(xué)習(xí)的方式有效整合相鄰層的特征，SIMs使網(wǎng)絡(luò)自適應(yīng)地從數(shù)據(jù)中提取多尺度信息，從而更好地處理尺度變化。此外，MINet利用一致性增強(qiáng)損失作為輔助，用于保持顯著性圖預(yù)測(cè)前后的空間一致性。MINet的主要作用是解決顯著性目標(biāo)的尺度變化和類別未知問題，其網(wǎng)絡(luò)結(jié)構(gòu)如圖19所示。

圖19 MINet(Pang等，2020)Fig.19 MINet(Pang et al.，2020)

3 實(shí)驗(yàn)方案、數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

基于以上對(duì)于圖像增強(qiáng)和顯著性目標(biāo)檢測(cè)的原理描述以及各自典型方法的研究，對(duì)基于增強(qiáng)處理的低質(zhì)圖像顯著性目標(biāo)檢測(cè)設(shè)計(jì)實(shí)驗(yàn)方案，探究增強(qiáng)處理對(duì)低質(zhì)圖像顯著性目標(biāo)檢測(cè)性能的影響，進(jìn)而分析圖像增強(qiáng)在顯著性目標(biāo)檢測(cè)中的作用。

3.1 實(shí)驗(yàn)方案

基于增強(qiáng)處理的低質(zhì)圖像顯著性目標(biāo)檢測(cè)主要包括兩個(gè)環(huán)節(jié)。1)利用圖像增強(qiáng)方法對(duì)低質(zhì)圖像進(jìn)行預(yù)處理，獲得對(duì)比度高、細(xì)節(jié)清晰以及視覺效果優(yōu)良的增強(qiáng)圖像；2)以增強(qiáng)后的圖像為輸入，以典型的顯著性目標(biāo)檢測(cè)方法為處理技術(shù)，獲得圖像的顯著性目標(biāo)。實(shí)驗(yàn)方案流程如圖20所示。

圖20 基于圖像增強(qiáng)的顯著性目標(biāo)檢測(cè)實(shí)驗(yàn)流程圖Fig.20 Experimental flow chart of salient object detection based on image enhancement

由圖20可知，本文將增強(qiáng)網(wǎng)絡(luò)模型與顯著性目標(biāo)檢測(cè)網(wǎng)絡(luò)模型進(jìn)行級(jí)聯(lián)來獲得低質(zhì)圖像的顯著性目標(biāo)。在網(wǎng)絡(luò)模型訓(xùn)練階段，為避免網(wǎng)絡(luò)層數(shù)過多導(dǎo)致的網(wǎng)絡(luò)參數(shù)多、訓(xùn)練速度慢等問題，采用單獨(dú)訓(xùn)練方式分別訓(xùn)練增強(qiáng)網(wǎng)絡(luò)和顯著性目標(biāo)檢測(cè)網(wǎng)絡(luò)，實(shí)現(xiàn)兩階段網(wǎng)絡(luò)參數(shù)訓(xùn)練和優(yōu)化。在測(cè)試階段，將訓(xùn)練好的增強(qiáng)網(wǎng)絡(luò)與顯著性目標(biāo)檢測(cè)網(wǎng)絡(luò)級(jí)聯(lián)為一個(gè)整體進(jìn)行測(cè)試。

基于該實(shí)驗(yàn)方案，在低質(zhì)圖像顯著性目標(biāo)檢測(cè)中對(duì)上述11種增強(qiáng)方法進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證有無增強(qiáng)兩種條件下8種顯著性目標(biāo)檢測(cè)方法的效果，以及不同增強(qiáng)方法對(duì)顯著性目標(biāo)檢測(cè)的影響程度。

3.2 數(shù)據(jù)集

實(shí)驗(yàn)中采用的評(píng)估數(shù)據(jù)集選自真實(shí)水下圖像數(shù)據(jù)集UFO-120(Islam等，2020)和未標(biāo)注的真實(shí)霧霾圖像數(shù)據(jù)集RESIDE(realistic single image dehazing)(Li和Yu，2018)。本文對(duì)UFO-120和RESIDE數(shù)據(jù)集進(jìn)行了成對(duì)標(biāo)注。首先從包含1 620幅水下圖像的UFO-120數(shù)據(jù)集和包含1 000幅未標(biāo)注霧霾圖像的RESIDE數(shù)據(jù)集中分別挑選400幅圖像作為候選數(shù)據(jù)集；然后對(duì)候選數(shù)據(jù)集進(jìn)行顯著性目標(biāo)的成對(duì)標(biāo)注；最后通過多位觀察者主觀決議，在成對(duì)標(biāo)注的候選數(shù)據(jù)集中篩選出391幅水下圖像對(duì)和391幅霧霾圖像對(duì)作為本文實(shí)驗(yàn)中采用的水下圖像和霧霾圖像顯著性目標(biāo)檢測(cè)評(píng)估數(shù)據(jù)集。

3.3 評(píng)價(jià)指標(biāo)

采用兩種廣泛使用的顯著性目標(biāo)檢測(cè)度量標(biāo)準(zhǔn)F度量值(F-measure，F(xiàn)β)和平均絕對(duì)誤差(mean absolute error,MAE)評(píng)估實(shí)驗(yàn)性能。

Fβ是一種整體性能度量標(biāo)準(zhǔn)，通過精確率和召回率的加權(quán)調(diào)和平均值計(jì)算得出，具體為

(1)

式中，P和R分別表示精確率和召回率，β2表示調(diào)和兩者的加權(quán)值，本文取0.3(Wang等，2020)。Fβ值越大，圖像顯著性目標(biāo)檢測(cè)效果越好。

MAE指顯著性圖S與原始圖像G的相似性,具體為

(2)

式中，W和H分別表示S的寬度和高度。MAE值越小，圖像顯著性目標(biāo)檢測(cè)效果越好。

此外，為了定量分析增強(qiáng)處理對(duì)低質(zhì)圖像顯著性目標(biāo)檢測(cè)性能的影響，定義了相對(duì)性能指標(biāo)，具體為

(3)

(4)

4 實(shí)驗(yàn)及分析

為了保證實(shí)驗(yàn)的公正性和客觀性，實(shí)驗(yàn)均采用原文獻(xiàn)提供的參數(shù)，并在相同實(shí)驗(yàn)條件下進(jìn)行評(píng)估。本文所有實(shí)驗(yàn)設(shè)備環(huán)境均為unbuntu18.04，顯卡為NVIDIA GTX 2080Ti，11 GB。

4.1 霧霾圖像的顯著性目標(biāo)檢測(cè)分析

對(duì)有無增強(qiáng)方法下霧霾圖像的顯著性目標(biāo)檢測(cè)效果進(jìn)行實(shí)驗(yàn)，進(jìn)而分析圖像增強(qiáng)處理對(duì)霧霾圖像顯著性目標(biāo)檢測(cè)的影響。

4.1.1 實(shí)驗(yàn)結(jié)果

以不同的增強(qiáng)方法為預(yù)處理技術(shù)，霧霾圖像的顯著性目標(biāo)檢測(cè)結(jié)果如表3和表4所示。圖21為部分圖像顯著性目標(biāo)檢測(cè)的主觀圖。

表3 不同增強(qiáng)方法下霧霾圖像顯著性目標(biāo)檢測(cè)結(jié)果FβTable 3 Fβ of salient object detection in haze images under different enhancement methods

表4 不同增強(qiáng)方法下霧霾圖像顯著性目標(biāo)檢測(cè)結(jié)果MAETable 4 MAE of salient object detection in haze images under different enhancement methods

圖21 不同增強(qiáng)方法下霧霾圖像顯著性目標(biāo)檢測(cè)效果Fig.21 Effect of salient object detection in haze images under different enhancement methods((a)R3Net；(b)CPD；(c)BASNet；(d)GCPANet；(e)MINet)

4.1.2 性能分析

按相對(duì)性能公式，根據(jù)表3和表4的數(shù)據(jù)，計(jì)算得到不同增強(qiáng)方法下霧霾圖像顯著性目標(biāo)檢測(cè)提升的相對(duì)結(jié)果，如表5和表6所示。

表5 不同增強(qiáng)方法下霧霾圖像顯著性目標(biāo)檢測(cè)提升的相對(duì)Fβ性能分析Table 5 Relative Fβ analysis of salient object detection enhancement in haze images under different enhancement methods /%

表6 不同增強(qiáng)方法下霧霾圖像顯著性目標(biāo)檢測(cè)提升的相對(duì)MAE性能分析Table 6 Relative MAE analysis of salient object detection enhancement in haze images under different enhancement methods /%

由表3和表5所示的霧霾圖像顯著性目標(biāo)檢測(cè)的Fβ可以看出，1)選取圖像增強(qiáng)方法對(duì)部分顯著性目標(biāo)檢測(cè)方法具有積極影響。例如，經(jīng)R3Net增強(qiáng)處理后，Gamma校正和Cycle-Dehaze方法的檢測(cè)效果分別提升了2.14%和1.07%。經(jīng)CPD增強(qiáng)處理后，F(xiàn)FANet的檢測(cè)效果提升了0.22%。經(jīng)GCPANet增強(qiáng)處理后，Retinex、CLAHE、Cycle-Dehaze和GCANet方法的檢測(cè)效果分別提升了0.44%、0.33%、0.33%和0.33%。2)這些增強(qiáng)方法對(duì)部分顯著性目標(biāo)檢測(cè)方法存在抑制作用。例如，經(jīng)R3Net增強(qiáng)處理后，Retinex、CLAHE、DCP、FFANet和GCANet的檢測(cè)效果分別下降了4.40 %、4.05 %、4.29%、0.12%和6.90%。經(jīng)GCPANet增強(qiáng)處理后，Gamma校正和DCP方法的檢測(cè)效果分別下降了0.22%和0.44%。表4和表6的MAE數(shù)據(jù)也表現(xiàn)出了類似的規(guī)律。圖21展示的主觀效果圖進(jìn)一步驗(yàn)證了以上分析。從該圖可知，經(jīng)過增強(qiáng)處理后，部分顯著性目標(biāo)檢測(cè)方法的效果有所提升。例如，經(jīng)過FFANet增強(qiáng)處理后，CPD方法的顯著性目標(biāo)檢測(cè)結(jié)果具有更清晰的邊緣信息。然而，也有部分顯著性目標(biāo)檢測(cè)結(jié)果與真實(shí)顯著性圖存在差距。

客觀來說，受實(shí)驗(yàn)條件制約，總體上增強(qiáng)處理對(duì)霧霾圖像顯著性目標(biāo)檢測(cè)的提升作用不明顯，本文認(rèn)為主要原因是：1)顯著性目標(biāo)檢測(cè)方法對(duì)邊緣信息顯著的目標(biāo)檢測(cè)效果較好，而增強(qiáng)處理有時(shí)會(huì)過度平滑低質(zhì)圖像目標(biāo)邊緣，致使不僅難以提升后續(xù)顯著性目標(biāo)檢測(cè)的效果，反而對(duì)其帶來抑制作用；2)本文選取的數(shù)據(jù)集為真實(shí)圖像集，高度依賴合成圖像的增強(qiáng)方法可能并不適應(yīng)于由復(fù)雜因素導(dǎo)致的真實(shí)低質(zhì)圖像，導(dǎo)致增強(qiáng)處理難以提升顯著性目標(biāo)檢測(cè)的效果；3)選取的顯著性目標(biāo)檢測(cè)方法基本采用真實(shí)圖像數(shù)據(jù)集訓(xùn)練，對(duì)圖像存在少許低質(zhì)現(xiàn)象的反應(yīng)并不敏感，導(dǎo)致圖像增強(qiáng)處理的促進(jìn)作用不明顯；4)當(dāng)前大多增強(qiáng)方法著重提升圖像視覺效果，其增強(qiáng)的特征與顯著性目標(biāo)檢測(cè)所需特征不對(duì)應(yīng)。

4.2 水下圖像的顯著性目標(biāo)檢測(cè)分析

對(duì)有無增強(qiáng)方法下水下圖像的顯著性目標(biāo)檢測(cè)效果進(jìn)行實(shí)驗(yàn)，進(jìn)而分析增強(qiáng)處理對(duì)水下圖像的顯著性目標(biāo)檢測(cè)的影響。

4.2.1 實(shí)驗(yàn)結(jié)果

以不同的增強(qiáng)方法為預(yù)處理技術(shù)，水下圖像的顯著性目標(biāo)檢測(cè)的結(jié)果如表7和表8所示。圖22為部分水下圖像顯著性目標(biāo)檢測(cè)的主觀圖。

表7 不同增強(qiáng)方法下水下圖像顯著性目標(biāo)檢測(cè)結(jié)果FβTable 7 Fβ of salient object detection in underwater images under different enhancement methods

表8 不同增強(qiáng)方法下水下圖像顯著性目標(biāo)檢測(cè)結(jié)果MAETable 8 MAE of salient object detection in underwater images under different enhancement methods

4.2.2 性能分析

不同增強(qiáng)方法下水下圖像顯著性目標(biāo)檢測(cè)的相對(duì)性能提升情況如表9和表10所示。

由表7和表9所示的水下圖像顯著性目標(biāo)檢測(cè)結(jié)果可以看出，1)與霧霾圖像的顯著性目標(biāo)檢測(cè)相似，選取圖像增強(qiáng)方法對(duì)部分水下圖像顯著性目標(biāo)檢測(cè)方法具有積極影響。例如，經(jīng)PiCANet增強(qiáng)處理后，DCP和WaterNet的檢測(cè)效果分別提升了0.46%和0.69%。經(jīng)CPD增強(qiáng)處理后，Gamma校正方法的檢測(cè)效果提升了0.34%。經(jīng)GCPANet增強(qiáng)處理后，Gamma校正、DCP和WaterNet方法的檢測(cè)效果分別提升了0.11%、0.22%和0.33%。2)這些增強(qiáng)方法也對(duì)部分顯著性目標(biāo)檢測(cè)方法存在抑制作用。例如，經(jīng)PiCANet增強(qiáng)處理后，Retinex、CLA-HE、Gamma校正、Li等人(2016)、UIE-DAL和UGAN方法的檢測(cè)效果分別下降了1.37%、1.03%、1.26%、1.37%、2.63%和1.60%。經(jīng)GCPANet增強(qiáng)處理后，Retinex、CLAHE、Li等人(2016)、DAL和UGAN方法的檢測(cè)效果分別下降了2.18%、2.07%、1.52%、2.18%和0.98%。表8和表10的MAE數(shù)據(jù)也表現(xiàn)出了類似的規(guī)律。圖22所示的效果圖進(jìn)一步驗(yàn)證了以上分析。從該圖可知，相比于對(duì)水下圖像直接進(jìn)行顯著性目標(biāo)檢測(cè)，具有積極作用的增強(qiáng)預(yù)處理能夠更好地突出顯著性結(jié)果的邊緣信息，使獲得的顯著性結(jié)果更加接近真實(shí)的顯著性圖。相反，具有抑制作用的增強(qiáng)預(yù)處理使得顯著性結(jié)果的邊緣更加模糊，主體清晰度下降，使獲得的顯著性結(jié)果更加遠(yuǎn)離真實(shí)的顯著性圖。

圖22 不同增強(qiáng)方法下水下圖像顯著性目標(biāo)檢測(cè)效果Fig.22 Effect of salient object detection in underwater images under different enhancement methods((a)R3Net；(b)CPD；(c)BASNet;(d)GCPANet；(e)MINet)

表9 不同增強(qiáng)方法下水下圖像顯著性目標(biāo)檢測(cè)提升的相對(duì)Fβ性能分析Table 9 Relative Fβ analysis of salient object detection enhancement in underwater images under different enhancement methods /%

表10 不同增強(qiáng)方法下水下圖像顯著性目標(biāo)檢測(cè)提升的相對(duì)MAE性能分析Table 10 Relative MAE analysis of salient object detection enhancement in underwater images under different enhancement methods /%

綜上可知，增強(qiáng)方法在低質(zhì)圖像的顯著性目標(biāo)檢測(cè)中表現(xiàn)出不同的作用。總體而言，增強(qiáng)處理對(duì)于低質(zhì)圖像的顯著性目標(biāo)檢測(cè)沒有明顯的提升作用。經(jīng)分析認(rèn)為，這與不同增強(qiáng)方法注重的增強(qiáng)對(duì)象、數(shù)據(jù)集的選取、圖像增強(qiáng)和顯著性目標(biāo)檢測(cè)模型結(jié)構(gòu)的設(shè)計(jì)等息息相關(guān)。進(jìn)一步地，增強(qiáng)方法與顯著性目標(biāo)檢測(cè)方法的內(nèi)在機(jī)制的相互影響，以及如何引導(dǎo)增強(qiáng)方向促進(jìn)顯著性目標(biāo)檢測(cè)性能的提升仍需要深入研究探討。

5 結(jié) 論

本文主要研究增強(qiáng)處理對(duì)低質(zhì)圖像顯著性目標(biāo)檢測(cè)性能的影響。首先總結(jié)和歸納了當(dāng)前的圖像增強(qiáng)方法和顯著性目標(biāo)檢測(cè)方法，詳細(xì)研究了各自具有代表性的模型，然后以網(wǎng)絡(luò)級(jí)聯(lián)的方式組織實(shí)驗(yàn)，最后通過客觀評(píng)價(jià)和主觀評(píng)估，分析了增強(qiáng)處理在低質(zhì)圖像顯著性目標(biāo)檢測(cè)中的效果。實(shí)驗(yàn)結(jié)果表明，增強(qiáng)方法在低質(zhì)圖像的顯著性目標(biāo)檢測(cè)中表現(xiàn)出的作用并不是完全一致的，一些增強(qiáng)方法對(duì)低質(zhì)圖像的顯著性目標(biāo)檢測(cè)表現(xiàn)出促進(jìn)作用，而一些增強(qiáng)方法作用不明顯或作用相反。此外，某些增強(qiáng)方法對(duì)不同的顯著性目標(biāo)檢測(cè)方法表現(xiàn)出不同的作用。因此，在未來低質(zhì)圖像增強(qiáng)和顯著性目標(biāo)檢測(cè)領(lǐng)域的研究中，可以考慮在如下幾個(gè)方面開展工作：

1)針對(duì)低質(zhì)圖像不同的退化原因選擇針對(duì)性的增強(qiáng)和顯著性目標(biāo)檢測(cè)方法。不同的低質(zhì)圖像因其退化原因的不同表現(xiàn)出不同的退化表征，例如水下圖像的顏色偏移、霧霾圖像的細(xì)節(jié)模糊等，因此應(yīng)針對(duì)不同的退化問題來選擇和設(shè)計(jì)相應(yīng)的低質(zhì)圖像增強(qiáng)和顯著性目標(biāo)檢測(cè)方法，并進(jìn)一步研究這些增強(qiáng)方法對(duì)低質(zhì)圖像顯著性目標(biāo)檢測(cè)的影響。

2)研究增強(qiáng)方法和顯著性目標(biāo)檢測(cè)方法內(nèi)在機(jī)制的相互影響。從本文分析可知，基于增強(qiáng)處理的低質(zhì)圖像顯著性目標(biāo)檢測(cè)主要包括圖像增強(qiáng)和圖像顯著性目標(biāo)檢測(cè)兩部分，但是不同的增強(qiáng)方法對(duì)顯著性目標(biāo)檢測(cè)表現(xiàn)出的作用是不一致的。因此，需進(jìn)一步研究圖像增強(qiáng)方法和顯著性目標(biāo)檢測(cè)方法的深層次關(guān)聯(lián)關(guān)系。

3)設(shè)計(jì)端到端的低質(zhì)圖像增強(qiáng)與顯著性目標(biāo)檢測(cè)聯(lián)合優(yōu)化網(wǎng)絡(luò)模型。低質(zhì)圖像因存在退化問題難以直接獲得良好的顯著性目標(biāo)檢測(cè)結(jié)果，而利用增強(qiáng)方法進(jìn)行圖像預(yù)處理明顯步驟復(fù)雜、普適性不強(qiáng)，因此將低質(zhì)圖像增強(qiáng)與顯著性目標(biāo)檢測(cè)的模型進(jìn)行融合，構(gòu)建端到端的低質(zhì)圖像增強(qiáng)和顯著性目標(biāo)檢測(cè)模型是該領(lǐng)域的必然發(fā)展方向。