基于深度學(xué)習(xí)的水下鋼結(jié)構(gòu)銹蝕識(shí)別與評(píng)價(jià)

陸廷杰，劉東海，齊志龍

基于深度學(xué)習(xí)的水下鋼結(jié)構(gòu)銹蝕識(shí)別與評(píng)價(jià)

陸廷杰，劉東海，齊志龍

(天津大學(xué)水利工程仿真與安全國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300350)

銹蝕是影響輸水工程中水下鋼結(jié)構(gòu)能否穩(wěn)定運(yùn)行的重要因素．由于水下環(huán)境復(fù)雜，常規(guī)方法難以在通水情況下實(shí)現(xiàn)對(duì)水下鋼結(jié)構(gòu)銹蝕情況進(jìn)行有效的檢測(cè)與評(píng)價(jià)．本文基于深度學(xué)習(xí)，提出了一種利用水下機(jī)器人采集的視頻圖像，自動(dòng)檢測(cè)水下鋼結(jié)構(gòu)銹蝕并進(jìn)行銹蝕等級(jí)評(píng)價(jià)的方法．首先，采用構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型對(duì)預(yù)處理后的水下鋼結(jié)構(gòu)銹蝕圖像進(jìn)行銹蝕識(shí)別；然后，利用顏色直方圖對(duì)銹蝕區(qū)域進(jìn)行語(yǔ)義分割，通過計(jì)算的銹蝕率來評(píng)價(jià)銹蝕等級(jí)．實(shí)例結(jié)果表明：水下鋼結(jié)構(gòu)銹蝕識(shí)別的準(zhǔn)確率可達(dá)95.5%，實(shí)現(xiàn)了銹蝕程度評(píng)價(jià)．本文方法可為通水情況下輸水工程水下鋼結(jié)構(gòu)的銹蝕快速識(shí)別及健康診斷提供新的途徑．

輸水工程；水下鋼結(jié)構(gòu)；銹蝕識(shí)別；銹蝕評(píng)價(jià)；卷積神經(jīng)網(wǎng)絡(luò)；語(yǔ)義分割

銹蝕是長(zhǎng)距離輸水工程中水下鋼結(jié)構(gòu)最為常見的病害之一．銹蝕會(huì)削弱鋼結(jié)構(gòu)構(gòu)件截面性能[1]，引起鋼材疲勞強(qiáng)度、極限延伸率等力學(xué)指標(biāo)的衰減[2]，導(dǎo)致鋼結(jié)構(gòu)的可靠性降低．目前對(duì)于鋼結(jié)構(gòu)銹蝕部位的檢測(cè)往往依賴于人工目檢，然而由于水下鋼結(jié)構(gòu)銹蝕分布的隨機(jī)性以及水下環(huán)境的復(fù)雜性，在通水情況下對(duì)鋼結(jié)構(gòu)銹蝕部位的全面查找存在困難；同時(shí)水體存在的微生物以及泥沙等會(huì)附著在金屬表面，導(dǎo)致銹蝕檢測(cè)存在極大的難度．此外，人工檢測(cè)對(duì)銹蝕部位的定量檢測(cè)數(shù)據(jù)極少，無(wú)定量化的檢測(cè)給銹蝕區(qū)域的等級(jí)評(píng)定帶來較大的困難．

為了使檢測(cè)方式更為安全、高效、全面，同時(shí)滿足各種場(chǎng)景下的不同檢測(cè)需求，無(wú)人機(jī)、水下機(jī)器人等先進(jìn)檢測(cè)設(shè)備應(yīng)運(yùn)而生[3-5]．目前水下機(jī)器人已經(jīng)廣泛應(yīng)用于基礎(chǔ)設(shè)施的檢查[6-8]，水下機(jī)器人能在復(fù)雜的水下環(huán)境進(jìn)行作業(yè)，并且在設(shè)備正常的情況下沒有作業(yè)時(shí)間的限制，并可集成圖像傳感器．因此，利用水下機(jī)器人采集的圖像[9-12]，研究水下鋼結(jié)構(gòu)銹蝕檢測(cè)和評(píng)價(jià)方法，精確掌握水下鋼結(jié)構(gòu)安全狀況對(duì)長(zhǎng)距離輸水工程安全具有重要的意義．

隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，各種圖像處理算法逐漸運(yùn)用于銹蝕檢測(cè)中．利用圖像數(shù)字處理技術(shù)，針對(duì)鋼結(jié)構(gòu)的銹蝕區(qū)域進(jìn)行語(yǔ)義分割，可實(shí)現(xiàn)銹蝕部位的提取[13-14]．郭建斌等[15]通過對(duì)水工鋼結(jié)構(gòu)圖像進(jìn)行灰度處理、二值化處理實(shí)現(xiàn)對(duì)水工鋼結(jié)構(gòu)銹蝕形貌與銹蝕分布的準(zhǔn)確描述．Zhang[16]提取材料銹蝕圖像的顏色和紋理特征，并與材料銹蝕等級(jí)的標(biāo)準(zhǔn)圖像特征進(jìn)行比較，評(píng)價(jià)材料表面的銹蝕等級(jí). Acosta等[17]用貝葉斯分類器實(shí)現(xiàn)自動(dòng)對(duì)銹蝕區(qū)域的分類識(shí)別，Petricca等[18]對(duì)比了標(biāo)準(zhǔn)計(jì)算機(jī)技術(shù)和深度學(xué)習(xí)的銹蝕檢測(cè)方法，發(fā)現(xiàn)實(shí)際工況下深度學(xué)習(xí)的銹蝕檢測(cè)模型表現(xiàn)更好．王達(dá)磊等[19]提出了一種基于深度學(xué)習(xí)的鋼結(jié)構(gòu)銹蝕檢測(cè)方法，對(duì)圖像中的銹蝕區(qū)域進(jìn)行檢測(cè)及分析．Holm[20]用AlexNet、GoogLeNet、ResNet-50、VGG-16 4種不同的神經(jīng)網(wǎng)絡(luò)檢測(cè)對(duì)橋梁結(jié)構(gòu)的銹蝕進(jìn)行檢測(cè)，發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)在公用設(shè)施結(jié)構(gòu)銹蝕檢測(cè)方面具有巨大的潛力．Duy等[21]提出了一種基于全卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割方法，用于發(fā)現(xiàn)電線桿上的銹蝕區(qū)域．但是，上述方法主要用于陸上鋼結(jié)構(gòu)的銹蝕檢測(cè)，對(duì)于光照不均勻、附著物覆蓋、多種噪聲干擾的復(fù)雜水下環(huán)境情況下的水下鋼結(jié)構(gòu)銹蝕圖像識(shí)別，現(xiàn)有方法難以適用，并且目前缺乏銹蝕檢測(cè)結(jié)果與銹蝕等級(jí)評(píng)價(jià)相關(guān)聯(lián)的研究．

因此，本文利用水下拍攝的視頻圖像，研究一種基于深度學(xué)習(xí)的水下鋼結(jié)構(gòu)銹蝕的檢測(cè)識(shí)別方法，進(jìn)而利用語(yǔ)義分割來實(shí)現(xiàn)對(duì)銹蝕等級(jí)評(píng)價(jià)．首先，通過勻光處理、圖像修復(fù)和增強(qiáng)算法對(duì)水下圖像進(jìn)行預(yù)處理；然后，采用構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)模型對(duì)預(yù)處理后的圖像進(jìn)行銹蝕的識(shí)別；其次，利用顏色直方圖對(duì)銹蝕區(qū)域進(jìn)行語(yǔ)義分割，進(jìn)而對(duì)水下鋼結(jié)構(gòu)銹蝕程度進(jìn)行等級(jí)評(píng)價(jià)；最后，結(jié)合具體的實(shí)例，對(duì)方法的精度及評(píng)價(jià)效果進(jìn)行分析．

1?水下圖像預(yù)處理

1.1?水下圖像預(yù)處理方法

對(duì)于水下機(jī)器人作業(yè)等場(chǎng)景，復(fù)雜的水下成像環(huán)境導(dǎo)致獲取到的水下圖像嚴(yán)重退化，為基于水下圖像的識(shí)別研究帶來巨大的挑戰(zhàn)．隨著高科技水下成像設(shè)備的發(fā)展，獲取水下圖像的質(zhì)量也得到了一定程度的提升，但仍然存在對(duì)比度低、顏色衰退以及細(xì)節(jié)模糊等現(xiàn)象，此外考慮到實(shí)際應(yīng)用成本，對(duì)水下圖像進(jìn)行預(yù)處理仍然有其必要性．

1.1.1?水下圖像勻光處理

在非均勻光場(chǎng)及黑暗情況的水下場(chǎng)景下，光照不充分，為了提高水下成像的效果，水下機(jī)器人拍攝的過程中往往使用人造光源作為輔助光源，但輔助光源的使用會(huì)產(chǎn)生光照亮度不均勻現(xiàn)象，導(dǎo)致部分區(qū)域的紋理信息被掩蓋或丟失．因此，需要對(duì)光照不均勻圖像進(jìn)行校正，消除不均勻光照對(duì)圖像的影響．算法流程如圖1所示．

圖1?勻光處理流程

勻光處理算法構(gòu)造了一種基于二維伽馬函數(shù)的圖像自適應(yīng)亮度校正函數(shù)[22-23]，即

式中：(，)表示校正后的輸出圖像的亮度值；(，)表示原始圖像；表示用于亮度增強(qiáng)的指數(shù)值；(，)表示圖像的光照分量特性；表示光照分量的亮度均值．

該函數(shù)將圖像從RGB顏色空間轉(zhuǎn)換至HSV顏色空間，利用光照分量的分布特性調(diào)整二維伽馬函數(shù)的參數(shù)．

1.1.2?水下圖像修復(fù)處理

不同波長(zhǎng)的光在水下傳播過程中的衰減率不同，導(dǎo)致水下成像顏色失真，出現(xiàn)色偏現(xiàn)象[24]．水下色偏圖像大多呈現(xiàn)藍(lán)綠色，若不進(jìn)行處理，后期的圖片仍會(huì)存在色偏．利用自動(dòng)色彩均衡(automatic color enhancement，ACE)算法[25]對(duì)圖片進(jìn)行色彩校正及亮度增強(qiáng)．該算法考慮圖像中顏色和亮度的空間位置關(guān)系，進(jìn)行局部特性的自適應(yīng)濾波，實(shí)現(xiàn)具有局部和非線性特征的圖像亮度增強(qiáng)與色彩的修正，主要分為兩個(gè)步驟．

步驟1對(duì)圖像進(jìn)行色彩或者空域的調(diào)整[26]，完成圖像的色差校正，得到空域重構(gòu)圖像R()為

式中：F表示原始輸入圖像；R中每個(gè)像素點(diǎn)為F中對(duì)應(yīng)像素點(diǎn)與周圍像素值對(duì)比的差值信息，R為中間結(jié)果；下標(biāo)表示色道；sub表示參與像素運(yùn)算的子集；表示當(dāng)前像素位置；為子集中不同于的像素位置；R()表示調(diào)整結(jié)果；F()-F()表示兩個(gè)不同點(diǎn)的亮度差；(，)表示距離度量函數(shù)；(·)表示相對(duì)亮度表現(xiàn)函數(shù)．

步驟2 對(duì)校正后的圖像R()進(jìn)行每個(gè)色道的動(dòng)態(tài)擴(kuò)展[27]，使得最終輸出結(jié)果整體在相對(duì)亮度上體現(xiàn)更好的視覺效果．最終輸出的圖像O()為

式中：round函數(shù)表示四舍五入取整；w表示線段[(0，c)，(255，c)]的斜率，c＝min[R()]，c＝max [R()]．

1.1.3?水下圖像增強(qiáng)處理

水下圖像經(jīng)過前期的處理后，可能仍存在嚴(yán)重的退質(zhì)現(xiàn)象．由于水體及微粒雜質(zhì)的散射所導(dǎo)致的圖像清晰度下降，部分區(qū)域呈現(xiàn)霧狀模糊．因此，本文采用多尺度導(dǎo)向?yàn)V波的Retinex增強(qiáng)算法[28]，以提高水下圖像的對(duì)比度并還原霧化的細(xì)節(jié)信息．輸出的濾波圖像G與輸入的導(dǎo)向圖像F關(guān)系為

該算法[29]利用大尺度導(dǎo)向?yàn)V波獲取邊緣輪廓，利用小尺度導(dǎo)向?yàn)V波豐富細(xì)節(jié)紋理，選取不同尺度的導(dǎo)向?yàn)V波來估計(jì)光照?qǐng)D像，并對(duì)各種尺度導(dǎo)向?yàn)V波估計(jì)的光照?qǐng)D像進(jìn)行加權(quán)平均作為最后的反射圖像，使圖像在保持邊緣輪廓與平滑之間達(dá)到平衡，其公式為

1.2?水下圖像評(píng)價(jià)指標(biāo)

圖像質(zhì)量評(píng)價(jià)指標(biāo)是對(duì)圖像處理方法有效性進(jìn)行判定的重要依據(jù)，本文選取圖像亮度均值、信息熵、梯度和彩色水下圖像質(zhì)量評(píng)價(jià)指標(biāo)(UCIQE)[30]對(duì)預(yù)處理后的圖像進(jìn)行質(zhì)量評(píng)價(jià)．

亮度均值指圖像整體的明暗程度，亮度均值越大，一定程度上表示圖像主觀視覺越好，質(zhì)量越高．計(jì)算公式為

式中：×為圖像的分辨率；(，)為坐標(biāo)(，)處像素點(diǎn)的平均灰度值．

信息熵表示一幅圖像信息量的多少，熵值越大，表示圖像攜帶的信息越多．計(jì)算公式為

式中P表示圖像第個(gè)灰度等級(jí)占有的概率．

梯度表示圖像的前景亮度和背景亮度之間的反差．梯度值越大，表示圖像細(xì)節(jié)清晰度越高．計(jì)算公式為

彩色水下圖像質(zhì)量評(píng)價(jià)指標(biāo)(UCIQE)采用圖像中的色度、飽和度和對(duì)比度作為測(cè)量分量，利用線性組合的方式將3種分量結(jié)合到一起，得到一種對(duì)水下圖像的不均衡色差、模糊和對(duì)比度進(jìn)行量化的評(píng)價(jià)指標(biāo)．計(jì)算公式為

2?基于CNN算法的銹蝕圖像識(shí)別

水下環(huán)境復(fù)雜，信息多源，存在很多干擾．為減小不相關(guān)物體的干擾，進(jìn)一步提高銹蝕識(shí)別率，降低虛警率，本文采用CNN算法與滑動(dòng)窗口相結(jié)合的方式檢測(cè)圖像中是否存在疑似銹蝕的區(qū)域，并顯示銹蝕區(qū)域．

CNN作為一種深度學(xué)習(xí)模型，不僅降低網(wǎng)絡(luò)模型的復(fù)雜度，減少模型參數(shù)，且能夠通過其特有的卷積、池化操作實(shí)現(xiàn)數(shù)據(jù)特征的自動(dòng)化提取，大大提高模型對(duì)于輸入數(shù)據(jù)的適應(yīng)能力[31]．CNN主要由輸入層、卷積層、池化層、全連接層及輸出層組成[32]．

基于CNN的銹蝕識(shí)別流程如圖2所示，具體步驟如下．

步驟1 獲取數(shù)據(jù)集．將預(yù)處理后的樣本圖像通過滑動(dòng)窗口剪切成若干個(gè)子圖，滑動(dòng)窗口大小為×，掃描步幅設(shè)置為；由人工進(jìn)行標(biāo)注，對(duì)所有樣本的子圖進(jìn)行銹蝕和非銹蝕二分類，標(biāo)注完成后按一定比例劃分訓(xùn)練集和測(cè)試集．

步驟2 CNN模型建立．將處理好的訓(xùn)練樣本數(shù)據(jù)排布成矩陣作為模型的輸入量，利用梯度下降法和誤差反向傳播算法對(duì)模型進(jìn)行求解(即優(yōu)化參數(shù))，獲得最優(yōu)參數(shù)模型，即銹蝕分類CNN模型．將測(cè)試數(shù)據(jù)集輸入到銹蝕分類CNN模型中，獲得銹蝕分類CNN模型的識(shí)別準(zhǔn)確率等模型性能數(shù)據(jù)．

步驟3 銹蝕判別．按照從左到右、從上到下的順序，將從預(yù)處理后的待檢測(cè)圖像中剪切的子圖逐個(gè)輸入到訓(xùn)練好的銹蝕分類CNN模型中，對(duì)子圖進(jìn)行銹蝕判別．將銹蝕的子圖在輸出矩陣的對(duì)應(yīng)位置標(biāo)記為0，非銹蝕子圖在輸出矩陣的對(duì)應(yīng)位置標(biāo)記為1．當(dāng)滑動(dòng)窗口遍歷整張圖片，所有子圖都完成標(biāo)記．將標(biāo)記為0的子圖顯示，標(biāo)記為1的子圖不顯示．根據(jù)每張子圖的位置索引對(duì)其進(jìn)行組合，實(shí)現(xiàn)銹蝕的分類識(shí)別和位置顯示．

圖2?基于CNN的銹蝕分類識(shí)別流程

3?基于語(yǔ)義分割的銹蝕等級(jí)評(píng)價(jià)

3.1?基于顏色直方圖的語(yǔ)義分割方法

顏色直方圖是常用的顏色特征，能夠很好地改善基于像素點(diǎn)顏色特征的局限性；但顏色直方圖無(wú)法表達(dá)顏色空間分布信息，在圖像處理中單獨(dú)使用顏色直方圖難以取得很好的效果[33]．為了精確提取銹蝕部分，以便對(duì)銹蝕特征信息進(jìn)行定量化處理分析，本文結(jié)合銹蝕分類CNN模型和顏色直方圖二者的優(yōu)勢(shì)，對(duì)CNN模型識(shí)別出的銹蝕子圖進(jìn)行顏色直方圖的分析，通過顏色直方圖建立分割銹蝕區(qū)域的分割準(zhǔn)則，對(duì)輸出圖像進(jìn)行語(yǔ)義分割，語(yǔ)義分割從本質(zhì)上來說是將圖像中的像素按照不同特性進(jìn)行分類的過程[34]，即區(qū)分銹蝕、非銹蝕兩類像素，進(jìn)而提取銹蝕特征信息．

經(jīng)過第1節(jié)圖像預(yù)處理之后，前景與后景的顏色對(duì)比會(huì)愈加明顯．基于此，直接利用顏色特征對(duì)CNN模型分類后的銹蝕子圖進(jìn)行語(yǔ)義分割，目的是從一幅RGB圖像中分割某個(gè)指定顏色區(qū)域的物體．具體分割流程如下.

步驟1 計(jì)算銹蝕子圖中R、G、B3個(gè)通道的顏色直方圖．采用直角坐標(biāo)系來展示顏色直方圖的處理結(jié)果，橫坐標(biāo)為顏色灰度值r，縱坐標(biāo)為對(duì)應(yīng)灰度值像素點(diǎn)個(gè)數(shù)n．

步驟2 顏色直方圖進(jìn)行累加．對(duì)銹蝕分類CNN模型分類出的所有銹蝕子圖進(jìn)行步驟1的操作，可以獲得多組銹蝕子圖顏色直方圖．利用顏色直方圖可疊加的性質(zhì)，將這些子圖對(duì)應(yīng)通道的顏色直方圖進(jìn)行累加，可以得到3個(gè)通道的總體顏色直方圖，如圖3(b)所示．

圖3?基于顏色直方圖的銹蝕區(qū)域分割原理

步驟3 建立分割準(zhǔn)則．由于銹蝕圖像中存在部分非銹蝕區(qū)域，而且非銹蝕區(qū)域只占據(jù)子圖非常小的部分．因此，顏色直方圖中的銹蝕區(qū)域主要集中在直方圖的高頻部分，而非銹蝕區(qū)域主要集中在圖中的低頻部分．為了區(qū)分銹蝕和非銹蝕兩類像素點(diǎn)，將顏色直方圖拉伸填鋪在整個(gè)灰度區(qū)間，用式(10)重新調(diào)整像素的灰度值分布，保證直方圖具有最大的動(dòng)態(tài)范圍，即讓直方圖成為一個(gè)“矩形”，通過這種線性拉伸，每個(gè)通道的顏色直方圖都被“均勻化”，本文將超過“均值”以上的高頻部分設(shè)定為銹蝕區(qū)域的顏色值域，如圖3(c)所示．將確定的銹蝕值域范圍[[s，p]、[s，p]、[s，p]]作為區(qū)分銹蝕和非銹蝕兩類像素；點(diǎn)的語(yǔ)義標(biāo)簽，以此建立分割準(zhǔn)則，實(shí)現(xiàn)銹蝕區(qū)域的語(yǔ)義分割．

式中：P表示圖像拉伸后的各個(gè)灰度值的像素點(diǎn)個(gè)數(shù)；×表示為子圖的分辨率大小；表示子圖數(shù)量；代表當(dāng)前子圖的顏色灰度范圍．

3.2?銹蝕等級(jí)評(píng)價(jià)

本文參考《金屬基體上金屬和無(wú)機(jī)覆蓋層經(jīng)腐蝕實(shí)驗(yàn)后的試樣和試件的評(píng)級(jí)》(GB/T6461—2002)標(biāo)準(zhǔn)，對(duì)鋼結(jié)構(gòu)的銹蝕等級(jí)進(jìn)行評(píng)定．步驟如下．

步驟1 結(jié)構(gòu)表面的銹蝕等級(jí)計(jì)算式為

式中：表示銹蝕的等級(jí)，值越小，表明銹蝕程度越高；表示銹蝕率，指鋼結(jié)構(gòu)表面的銹蝕區(qū)域占圖像中結(jié)構(gòu)面積的百分比．銹蝕等級(jí)對(duì)應(yīng)如表1所示．

步驟2 遍歷整張圖片所有像素點(diǎn)的R、G、B值，每尋找到一個(gè)滿足銹蝕值域范圍[[s，p]、[s，p]、[s，p]]的像素點(diǎn)，銹蝕像素點(diǎn)數(shù)便累加1．當(dāng)遍歷完整張圖片時(shí)，統(tǒng)計(jì)所有的滿足點(diǎn)個(gè)數(shù)．

步驟3 利用Otsu閾值分割算法[35]提取圖像中鋼結(jié)構(gòu)區(qū)域，并對(duì)圖像進(jìn)行二值化處理，統(tǒng)計(jì)鋼結(jié)構(gòu)區(qū)域的像素點(diǎn)個(gè)數(shù)．由此，可以計(jì)算當(dāng)前圖像中銹蝕區(qū)域的面積百分比，即銹蝕率，其計(jì)算式為

步驟4 根據(jù)計(jì)算的和表1，可得到對(duì)應(yīng)的銹蝕等級(jí)．

表1?銹蝕等級(jí)評(píng)價(jià)表

Tab.1?Table of corrosion grade evaluation

4?實(shí)例分析

4.1?樣本獲取和水下圖像預(yù)處理

1) 樣本獲取

本文使用GoPro 7 Black水下相機(jī)模擬水下機(jī)器人航拍，總計(jì)拍攝了364張水下鋼結(jié)構(gòu)銹蝕光學(xué)照片，圖像的分辨率尺寸為1920像素×1440像素．為保證模型的泛化能力，銹蝕樣本包含不同規(guī)模及顏色的鋼結(jié)構(gòu)銹蝕，考慮了縫隙銹蝕、斑點(diǎn)銹蝕、應(yīng)力銹蝕等[36]，非銹蝕樣本包含完好的鋼結(jié)構(gòu)、附著泥沙水垢的鋼結(jié)構(gòu)、混凝土表面等．

2) 水下樣本預(yù)處理

為了改善水下圖像樣本的亮度不均勻、對(duì)比度低、顏色失真、模糊等問題，采用第1.1節(jié)的方法對(duì)原始圖像進(jìn)行處理．首先采用第1.1.1節(jié)方法估算圖像的光照分量，通過光照分量調(diào)整二維伽馬函數(shù)，對(duì)圖像亮度進(jìn)行校正，消除光照不均勻的現(xiàn)象，再利用第1.1.2節(jié)方法對(duì)均勻照度的圖像進(jìn)行色彩修復(fù)和亮度提升，最后利用第1.1.3節(jié)方法對(duì)圖像進(jìn)行增強(qiáng)，預(yù)處理結(jié)果如圖4所示．

圖4?預(yù)處理結(jié)果

3) 圖像質(zhì)量評(píng)價(jià)

由第1.2節(jié)方法計(jì)算原圖和預(yù)處理后圖像的亮度均值、信息熵值、梯度值和UCIQE值，并將R、G、B 3個(gè)通道中各個(gè)通道的亮度值、信息熵值和梯度值的平均值作為圖像最終結(jié)果，如圖5所示．由結(jié)果可知，經(jīng)過預(yù)處理之后的圖像4項(xiàng)指標(biāo)值均大于原圖，說明該方法能夠很好地平衡圖像的色度，增強(qiáng)對(duì)比度和飽和度，使圖像主觀視覺效果更好．

圖5?圖像質(zhì)量計(jì)算結(jié)果

4.2?水下銹蝕圖像識(shí)別及結(jié)果分析

1) 數(shù)據(jù)集的制作

采用大小為128像素×128像素的滑動(dòng)窗口對(duì)預(yù)處理后的圖像進(jìn)行剪裁，共生成8000張分辨率為128像素×128像素大小的子圖．由人工進(jìn)行標(biāo)注，將子圖分為銹蝕和非銹蝕兩類．標(biāo)注原則主要根據(jù)子圖中鋼結(jié)構(gòu)表面顏色及紋理信息，銹蝕區(qū)域顏色趨于黃色及紅褐等暖色，紋理結(jié)構(gòu)粗糙，呈現(xiàn)不規(guī)則凸起．從中挑選4000張子圖作為樣本數(shù)據(jù)集，其中訓(xùn)練集包含1500張銹蝕子圖和1500張非銹蝕子圖；測(cè)試集包含500張銹蝕子圖和500張非銹蝕子圖，滿足銹蝕和非銹蝕的子圖數(shù)量保持1∶1的比例．

2) 銹蝕分類CNN模型建立

銹蝕分類CNN模型基本架構(gòu)包含4個(gè)卷積層、4個(gè)池化層、2個(gè)全連接層和1個(gè)目標(biāo)函數(shù)層．其中，池化層采用最大池化函數(shù)，激活函數(shù)選用ReLU函數(shù)，目標(biāo)函數(shù)選用Softmax函數(shù)，Dropout層作為網(wǎng)絡(luò)的輔助層，Dropout值設(shè)置為0.5．目標(biāo)函數(shù)設(shè)置判定銹蝕的閾值為0.5，即輸出結(jié)果在(0，0.5]范圍內(nèi)時(shí)，對(duì)應(yīng)的區(qū)域存在銹蝕，輸出結(jié)果在(0.5，1.0]范圍內(nèi)時(shí)不存在銹蝕．

3) 銹蝕分類CNN模型訓(xùn)練

本文中銹蝕分類CNN模型在GTX1080ti顯卡上運(yùn)行，采用Python編程語(yǔ)言，使用開源深度學(xué)習(xí)框架Tensorflow搭建網(wǎng)絡(luò)，設(shè)計(jì)的依賴庫(kù)包括Opencv、PIL、Numpy等，并利用CUDA及Cudnn進(jìn)行網(wǎng)絡(luò)訓(xùn)練的加速．訓(xùn)練集樣本尺寸為128像素×128像素，批處理樣本大小為64，利用Adam優(yōu)化算法進(jìn)行模型參數(shù)的更新，每更新一次參數(shù)模型完成一輪的訓(xùn)練，訓(xùn)練次數(shù)設(shè)定為500輪，每輪訓(xùn)練的評(píng)價(jià)指標(biāo)為訓(xùn)練集和測(cè)試集的準(zhǔn)確率，定義訓(xùn)練集和測(cè)試集準(zhǔn)確率為被正確分類的銹蝕和非銹蝕圖片數(shù)量占訓(xùn)練網(wǎng)絡(luò)中的銹蝕和非銹蝕圖片的比值，當(dāng)訓(xùn)練400次左右時(shí)，準(zhǔn)確率基本保持穩(wěn)定，銹蝕分類CNN模型準(zhǔn)確率為95.5%．

4) 銹蝕圖像的識(shí)別

上述銹蝕分類CNN模型是對(duì)分辨率為128像素×128像素的圖片訓(xùn)練得到的一個(gè)二分類器，因此滑動(dòng)窗口大小設(shè)置為128像素×128像素，掃描步幅設(shè)置為128．利用滑動(dòng)窗口剪切子圖，并將其送入分類模型中預(yù)測(cè)，當(dāng)滑動(dòng)窗口遍歷完整張圖片，對(duì)所有判別結(jié)果為銹蝕的子圖按識(shí)別順序進(jìn)行統(tǒng)一編號(hào)，并將其合并為銹蝕圖像，識(shí)別結(jié)果如圖6所示．銹蝕區(qū)域幾乎都涵蓋，整體檢測(cè)效果較好．

??（a）原始圖像??（b）預(yù)處理圖像??（c）銹蝕圖像

4.3?水下銹蝕圖像的語(yǔ)義分割

滑動(dòng)窗口剪裁后的圖像經(jīng)過銹蝕分類CNN模型分類后，只輸出包含銹蝕部分的子圖，銹蝕子圖尺寸為128像素×128像素，放大子圖后銹蝕區(qū)域一般呈現(xiàn)圓點(diǎn)或多邊形銹蝕，且子圖中至少50%以上的面積包含銹蝕區(qū)域．逐行掃描子圖圖像中每個(gè)像素點(diǎn)，計(jì)算像素點(diǎn)屬于哪個(gè)灰度值，最終獲得各通道的顏色直方圖．部分子圖的顏色直方圖如圖7所示．

將每個(gè)銹蝕子圖計(jì)算出來的顏色直方圖進(jìn)行疊加，得到了所有子圖中銹蝕區(qū)域圖像3個(gè)通道的顏色直方圖，如圖8(a)所示．統(tǒng)計(jì)銹蝕子圖的數(shù)量，對(duì)各個(gè)通道的顏色直方圖進(jìn)行拉伸，計(jì)算各個(gè)顏色通道的P值，如圖8(b)所示．利用各個(gè)顏色通道的P值與對(duì)應(yīng)直方圖的交線計(jì)算出銹蝕區(qū)域的值域范圍[[s，p]，[s，p]，[s，p]]，如圖8(c)所示．

確定圖像中3通道銹蝕區(qū)域的值域范圍[[s，p]、[s，p]、[s，p]]后，分別對(duì)原始圖像及銹蝕圖像中所有像素點(diǎn)進(jìn)行掃描，將灰度值滿足銹蝕值域范圍內(nèi)的像素點(diǎn)附著紅色．以圖6測(cè)試樣本4為例對(duì)整張?jiān)紙D像進(jìn)行語(yǔ)義分割，如圖9(b)所示，部分背景區(qū)域被誤檢為銹蝕區(qū)域，而對(duì)銹蝕圖像進(jìn)行分割則不存在這樣的問題，如圖9(d)所示．通過CNN模型分類后，只輸出包含銹蝕部分的子圖，識(shí)別區(qū)域減少，因此分割精度更高．

圖7?部分銹蝕子圖顏色直方圖

4.4?水下銹蝕圖像的銹蝕等級(jí)評(píng)定

基于銹蝕圖像的分割結(jié)果，統(tǒng)計(jì)不同編號(hào)中銹蝕子圖中紅色像素點(diǎn)的個(gè)數(shù)，計(jì)算結(jié)果如圖9(e)所示；然后，利用第4.1節(jié)方法，提取圖像中鋼結(jié)構(gòu)區(qū)域，并對(duì)圖像進(jìn)行二值化處理，處理結(jié)果如圖9(f)所示，統(tǒng)計(jì)鋼結(jié)構(gòu)區(qū)域的像素點(diǎn)個(gè)數(shù)；最后，計(jì)算銹蝕率，得到銹蝕圖像的銹蝕等級(jí)．對(duì)圖6的4種情況進(jìn)行計(jì)算分析，結(jié)果如表2所示．

圖8?銹蝕圖像分割條件計(jì)算結(jié)果

圖9?銹蝕圖像語(yǔ)義分割

表2?圖像銹蝕等級(jí)評(píng)價(jià)結(jié)果

Tab.2?Results of image corrosion grade evaluation

5?結(jié)?論

針對(duì)水下鋼結(jié)構(gòu)銹蝕檢測(cè)和銹蝕等級(jí)評(píng)價(jià)問題，本文提出了基于深度學(xué)習(xí)的水下鋼結(jié)構(gòu)銹蝕檢測(cè)和基于語(yǔ)義分割的銹蝕等級(jí)評(píng)價(jià)方法，該方法能夠在不均勻亮度、低對(duì)比度和低信噪比的實(shí)際水下環(huán)境中對(duì)水下鋼結(jié)構(gòu)銹蝕進(jìn)行有效識(shí)別和銹蝕等級(jí)評(píng)價(jià)．總結(jié)如下．

(1) 提出了水下圖像預(yù)處理流程，可以克服水下噪聲和背景的干擾，增強(qiáng)水下鋼結(jié)構(gòu)銹蝕圖像的清晰度，提高銹蝕區(qū)域及背景的對(duì)比度，解決了水下退質(zhì)圖像難以識(shí)別的問題．

(2) 構(gòu)建的銹蝕分類CNN模型實(shí)現(xiàn)了在低照度、低信噪比、低對(duì)比度的環(huán)境中對(duì)水下鋼結(jié)構(gòu)銹蝕分類識(shí)別，銹蝕分類準(zhǔn)確率可達(dá)95.5%，并結(jié)合滑動(dòng)窗口檢測(cè)的方法，可進(jìn)一步提高銹蝕識(shí)別精度．

(3) 基于顏色直方圖對(duì)已經(jīng)識(shí)別出的銹蝕子圖進(jìn)行語(yǔ)義分割，既可快速有效識(shí)別銹蝕區(qū)域的像素點(diǎn)，對(duì)其進(jìn)行標(biāo)記，也可以統(tǒng)計(jì)銹蝕區(qū)域像素點(diǎn)的個(gè)數(shù)，進(jìn)而對(duì)銹蝕等級(jí)進(jìn)行評(píng)價(jià)，從而為長(zhǎng)距離輸水工程在通水情況下水下鋼結(jié)構(gòu)的快速健康診斷提供了新的有效途徑．

盡管本文工作實(shí)現(xiàn)了對(duì)水下鋼結(jié)構(gòu)銹蝕的有效識(shí)別和銹蝕等級(jí)評(píng)價(jià)，但仍存在一定的誤差，并且模型性能高度依賴于訓(xùn)練數(shù)據(jù)的數(shù)量和多樣性．因此，豐富水下銹蝕圖像數(shù)據(jù)庫(kù)是進(jìn)行下一步研究的首要工作．此外，本文忽略了水下鋼結(jié)構(gòu)構(gòu)件表面形狀對(duì)銹蝕面積計(jì)算的影響，構(gòu)件表面形狀尤其是不規(guī)則形狀對(duì)于測(cè)算銹蝕面積的影響需進(jìn)一步深化研究．

［1］ 王海龍，孫曉燕，孔航挺，等. 不銹鋼鋼筋銹損特征掃描分析及性能劣化規(guī)律[J]. 水力發(fā)電學(xué)報(bào)，2019，38(1)：80-88.

Wang Hailong，Sun Xiaoyan，Kong Hangting，et al. Corrosion characteristics analysis of stainless steel bars based on surface scanning and mechanical properties degradation[J]. Journal of Hydroelectric Engineering，2019，38(1)：80-88(in Chinese).

［2］ Finozzi I，Saetta A，Budelmann H. Structural response of reinforcing bars affected by pitting corrosion：Experimental evaluation[J]. Construction and Building Materials，2018，192：478-488.

［3］ Pagnano A，H?pf M，Teti R. A roadmap for automated power line inspection. Maintenance and repair[J]. Procedia CIRP，2013，12：234-239.

［4］ 陳從平，聶?葳，吳?喆，等. 基于視覺機(jī)器人的大壩水下表面裂縫檢測(cè)系統(tǒng)設(shè)計(jì)[J]. 三峽大學(xué)學(xué)報(bào)(自然科學(xué)版)，2016，38(5)：72-74，86.

Chen Congping，Nie Wei，Wu Zhe，et al. Design of underwater damsurface crack detection system based on visual robot[J]. Journal of China Three Gorges University(Natural Sciences)，2016，38(5)：72-74，86(in Chinese).

［5］ 徐陳勇，李云帆，王喜春. 基于低空無(wú)人機(jī)的大壩滲漏安全檢測(cè)技術(shù)研究[J]. 電子測(cè)量技術(shù)，2018，41(9)：84-86.

Xu Chenyong，Li Yunfan，Wang Xichun. Research on the safety detection technology of dam leakage based on UAV[J]. Electronic Measurement Technology，2018，41(9)：84-86(in Chinese).

［6］ Roslin N S，Anuar A，Jalal M F A，et al. A review：Hybrid locomotion of in-pipe inspection robot[J]. Procedia Engineering，2012，41：1456-1462.

［7］ La H M，Lim R S，Basily B，et al. Autonomous robotic system for high-efficiency non-destructive bridge deck inspection and evaluation[C]//2013 IEEE International Conference on Automation Science and Engineering(CASE). Madison，USA，2013：1053-1058.

［8］ 何?亮，馬?琨，李端有. 多波束聯(lián)合水下機(jī)器人在大壩水下檢查中的應(yīng)用[J]. 大壩與安全，2019(5)：46-51.

He Liang，Ma Kun，Li Duanyou. Application of multi-beamcombined unmanned underwater vehicles in dam underwater inspection[J]. Dam & Safety，2019(5)：46-51(in Chinese).

［9］ Danckaers A，Seto M L. Transmission of images by unmanned underwater vehicles[J]. Autonomous Robots，2020，44(1)：3-24.

［10］ Roznere M，Li A Q. Real-time model-based image color correction for underwater robots[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS). Macau，China，2019：7191-7196.

［11］ Manley J E. Unmanned maritime vehicles，20 years of commercial and technical evolution[C]//Oceans 2016 MTS/IEEE. Monterey，USA，2016：1-6.

［12］ Qiao X，Ji Y，Yamashita A，et al. Visibility enhancement for underwater robots based on an improved underwater light model[J]. Journal of Robotics and Mechatronics，2018，30(5)：781-790.

［13］ Chen P，Yang Y，Chang L. Automated bridge coating defect recognition using adaptive ellipse approach[J]. Automation in Construction，2009，18(5)：632-643.

［14］ Shen H，Chen P，Chang L. Automated steel bridge coating rust defect recognition method based on color and texture feature[J]. Automation in Construction，2013，31：338-356.

［15］ 郭建斌，王?楠，王澤民. 水工鋼結(jié)構(gòu)腐蝕的圖像識(shí)別技術(shù)[J]. 河海大學(xué)學(xué)報(bào)(自然科學(xué)版)，2012，40(5)：539-543.

Guo Jianbin，Wang Nan，Wang Zemin. Image recognition technology for corrosion of hydraulic steel structure[J]. Journal of Hohai University(Natural Sciences)，2012，40(5)：539-543(in Chinese).

［16］ Zhang X W. Evaluation of material surface corrosion based on image recognition[C]//4th International Conference on Advances in Materials and Manufacturing. Kunming，China，2013：1048-1051.

［17］ Acosta M R G，Diaz J C V，Castro N S. An innovative image-processing model for rust detection using Perlin noise to simulate oxide textures[J]. Corrosion Science，2014，88：141-151.

［18］ Petricca L，Moss T，F(xiàn)igueroa G，et al. Corrosion detection using AI：A comparison of standard computer vision techniques and deep[J]. Computer Science & Information Technology(CS & IT)，2016，6(6)：91-99.

［19］ 王達(dá)磊，彭?博，潘?玥，等. 基于深度神經(jīng)網(wǎng)絡(luò)的銹蝕圖像分割與定量分析[J]. 華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2018，46(12)：121-127.

Wang Dalei，Peng Bo，Pan Yue，et al. The shortest path algorithm for large-scale traffic network based on cloud computing[J]. Journal of South China University of Technology(Natural Science Edition)，2018，46(12)：121-127(in Chinese).

［20］ Holm E. Classification of Corrosion and Coating Damages on Bridge Constructions Using Deep Learning [D]. Trondheim：NTNU，2019.

［21］ Duy L D，Anh N T，Son N T，et al. Deep learning in semantic segmentation of rust in images[C]//Proceedings of the 9th International Conference on Software and Computer Applications. Langkawi，Malaysia，2020：129-132.

［22］ Lee S，Kwon H，Han H，et al. A space-variant luminance map based color image enhancement[J]. IEEE Transactions on Consumer Electronics，2010，56(4)：2636-2643.

［23］ 劉志成，王殿偉，劉?穎，等. 基于二維伽馬函數(shù)的光照不均勻圖像自適應(yīng)校正算法[J]. 北京理工大學(xué)學(xué)報(bào)，2016，36(2)：191-196.

Liu Zhicheng，Wang Dianwei，Liu Ying，et al. Adaptive adjustment algorithm for non-uniform illumination images based on 2D Gamma function[J]. Transactions of Beijing Institute of Technology，2016，36(2)：191-196(in Chinese).

［24］ 郭銀景，吳?琪，苑嬌嬌，等. 水下光學(xué)圖像處理研究進(jìn)展[J]. 電子與信息學(xué)報(bào)，2021，43(2)：426-435.

Guo Yinjing，Wu Qi，Yuan Jiaojiao，et al. Research progress on underwater optical image processing[J]. Journal of Electronics & Information Technology，2021，43(2)：426-435(in Chinese).

［25］ Naccari F，Battiato S，Bruna A，et al. Natural scenes classification for color enhancement[J]. IEEE Transactions on Consumer Electronics，2005，51(1)：234-239.

［26］ Lae S，Narasimhadhan A V，Kumar R. Automatic method for contrast enhancement of natural color images[J]. Journal of Electrical Engineering & Technology，2015，10(3)：1233-1243.

［27］ 蔡晨東，霍冠英，周?妍，等. 基于場(chǎng)景深度估計(jì)和白平衡的水下圖像復(fù)原[J]. 激光與光電子學(xué)進(jìn)展，2019，56(3)：129-136.

Cai Chendong，Huo Guanying，Zhou Yan，et al. Underwater image restoration method based on scene depth estimation and white balance[J]. Advances in Lasers and Optoelectronics，2019，56(3)：129-136(in Chinese).

［28］ Zhang S，Wang T，Dong J，et al. Underwater image enhancement via extended multi-scale Retinex[J]. Neurocomputing，2017，245：1-9.

［29］ Yang M，Hu K，Du Y，et al. Underwater image enhancement based on conditional generative adversarial network[J]. Signal Processing：Image Communication，2020，81：115723.

［30］ Yang M，Sowmya A. An underwater color image quality evaluation metric[J]. IEEE Transactions on Image Processing，2015，24(12)：6062-6071.

［31］ 魏道紅，王?博，張?明. 基于CNN的混凝土壩變形預(yù)測(cè)深度學(xué)習(xí)模型研究[J]. 水利水電技術(shù)(中英文)，2021，52(6)：52-57.

Wei Daohong，Wang Bo，Zhang Ming. A deep learning model for concrete dam deformation prediction based on CNN[J]. Water Resources and Hydropower Engineering，2021，52(6)：52-57(in Chinese).

［32］ 劉?婷，張社榮，李志竑，等. 基于字符級(jí) CNN 的調(diào)水工程巡檢文本智能分類方法[J]. 水力發(fā)電學(xué)報(bào)，2021，40(6)：89-98.

Liu Ting，Zhang Sherong，Li Zhihong，et al. Intelligent text classification method for water diversion project inspection based on character level CNN[J]. Journal of Hydroelectric Engineering，2021，40(6)：89-98(in Chinese).

［33］ 王?曌. 面向道路場(chǎng)景理解的語(yǔ)義分割方法研究[D]. 西安：西安電子科技大學(xué)，2018.

Wang Zhao. Research on Semantic Segmentation Method for Road Scene Understanding[D]. Xi’an：Xidian University，2018(in Chinese).

［34］ 任秋兵，李明超，沈?揚(yáng)，等. 水工混凝土裂縫像素級(jí)形態(tài)分割與特征量化方法[J]. 水力發(fā)電學(xué)報(bào)，2021，40(2)：234-246.

Ren Qiubing，Li Mingchao，Shen Yang，et al. Pixel-level shape segmentation and feature quantification of hydraulic concrete cracks based on digital images[J]. Journal of Hydroelectric Engineering，2021，40(2)：234-246(in Chinese).

［35］ 董忠言，蔣理興，王俊亞，等. 基于圖像復(fù)雜度的一維Otsu改進(jìn)算法[J]. 計(jì)算機(jī)科學(xué)，2015，42(增1)：171-174.

Dong Zhongyan，Jiang Lixing，Wang Junya，et al. Modified one-dimensional Otsu algorithm based on image complexity[J]. Computer Science，2015，42(Suppl 1)：171-174(in Chinese).

［36］ 李海龍. 用于水下鋼結(jié)構(gòu)腐蝕檢測(cè)的蛇形機(jī)器人研究[D]. 濟(jì)南：山東大學(xué)，2020.

Li Hailong. Research on Snake-Like Robot for Corrosion Detection of Underwater Steel Structure[D]. Jinan：Shandong University，2020(in Chinese).

Corrosion Recognition and Evaluation of Underwater Steel Structures Based on Deep Learning

Lu Tingjie，Liu Donghai，Qi Zhilong

(State Key Laboratory of Hydraulic Engineering Simulation and Safety，Tianjin University，Tianjin 300350，China)

Corrosion is an important factor affecting the safe operation of underwater steel structures in water conveyance projects. The complex underwater environment renders it difficult for conventional methods to effectively detect and evaluate the corrosion of underwater steel structures under the condition of water flow. Based on deep learning，this research proposes a method for automatic detection involving corrosion recognition and corrosion grade evaluation of underwater steel structures. First，the constructed convolutional neural network(CNN)model is used to identify corrosion in preprocessed images of underwater steel structures. Next，the corrosion area is semantically segmented using color histograms，after which the corrosion grade is evaluated by the calculated corrosion rate. The experimental results show that the accuracy of corrosion recognition of underwater steel structure can reach 95.5%，and the evaluation of the corrosion degree is realized. This study demonstrates a novel method for the rapid identification of corrosion and the health diagnosis of underwater steel structures used in water conveyance projects under the condition of water flow.

water conveyance project；underwater steel structure；corrosion recognition；corrosion evaluation；convolutional neural network(CNN)；semantic segmentation

10.11784/tdxbz202201003

TV672

A

0493-2137(2023)07-0713-10

2022-01-04；

2022-07-10.

陸廷杰（1995—??），男，博士研究生，lutj_1126@tju.edu.cn.

劉東海，liudh@tju.edu.cn.

國(guó)家重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目(2018YFC0406903).

Supported by the National Key Research and Development Program of China(No.2018YFC0406903).

(責(zé)任編輯：孫立華)