基于改進(jìn)U-Net 的水下石油管道溢油圖像分割方法

郝 琨，張志成，于 翔，王 嬌

（天津城建大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，天津 300384）

近年來(lái)，隨著人類在水下開采石油的規(guī)模越來(lái)越大，安全高效的運(yùn)輸石油也變得尤為重要.水下輸油管道憑借其相對(duì)安全、經(jīng)濟(jì)的特性成為了海上運(yùn)輸石油的主要方式.輸油管道長(zhǎng)期處在情況復(fù)雜的水下環(huán)境中，一些腐蝕、地質(zhì)變化和人為破壞等因素會(huì)造成管道泄漏.過(guò)去的幾十年里發(fā)生的水下石油管道泄漏事件不僅造成了大量的經(jīng)濟(jì)損失，而且對(duì)海洋和周邊陸地環(huán)境也造成了巨大的危害.因此，對(duì)水下石油輸送管道的狀態(tài)進(jìn)行準(zhǔn)確快速的檢測(cè)和及時(shí)地反饋顯得尤為必要.眾多學(xué)者針對(duì)輸油管道的泄漏檢測(cè)開展了廣泛的研究[1-4].支煥等[5]通過(guò)建立數(shù)學(xué)模型構(gòu)建一條與實(shí)際管道同步運(yùn)行的虛擬管道，將實(shí)測(cè)值與模擬值進(jìn)行對(duì)比，來(lái)判斷管道是否發(fā)生泄漏，但是在復(fù)雜的水下環(huán)境中不易于獲取實(shí)測(cè)值.吳海霞等[6]利用負(fù)壓波和質(zhì)量平衡原理，采用模糊算法和邏輯判斷力，并利用壓力、流量和輸差三重機(jī)制實(shí)現(xiàn)對(duì)輸油管道的泄漏檢測(cè).Karim 等[7]根據(jù)補(bǔ)償質(zhì)量平衡法對(duì)石油輸送管道進(jìn)行泄漏檢測(cè)，該方法的瞬態(tài)模型使用流速、壓力、溫度和密度來(lái)計(jì)算管道填料率，根據(jù)管道運(yùn)行變化去判斷是否發(fā)生泄漏.

隨著高清相機(jī)和計(jì)算機(jī)視覺技術(shù)的迅速發(fā)展，越來(lái)越多的學(xué)者開始把視覺技術(shù)應(yīng)用于管道泄漏檢測(cè)的問題上.Wang 等[8]使用卷積神經(jīng)網(wǎng)絡(luò)數(shù)字識(shí)別結(jié)合霍夫變化線檢測(cè)的方法來(lái)檢測(cè)油氣管道螺栓是否松動(dòng)，該方法可以根據(jù)螺栓的狀態(tài)去估計(jì)石油管道是否存在潛在的泄漏危險(xiǎn).但是該方法只能檢測(cè)到螺栓的狀態(tài)，而不能對(duì)管道的其他部位進(jìn)行有效的檢測(cè).張濤等[9]利用長(zhǎng)短期記憶網(wǎng)絡(luò)（long short term memory，簡(jiǎn)稱LSTM）對(duì)孿生網(wǎng)絡(luò)監(jiān)測(cè)到的變化區(qū)域進(jìn)行建模來(lái)判斷管道的泄漏，但是該方法不適合于光照條件較差的水下石油管道溢油檢測(cè).目前，已有學(xué)者將深度學(xué)習(xí)圖像分割方法應(yīng)用于水下石油管道溢油檢測(cè)領(lǐng)域.羅東浩[10]提出了一種基于圖像分割的海底管道泄漏檢測(cè)方法，使用U-Net 網(wǎng)絡(luò)對(duì)輸油管道圖像進(jìn)行分割，能夠較好地識(shí)別出泄漏量較大事件的發(fā)生.杜澤帥[11]以海底管道為研究對(duì)象，采用目標(biāo)檢測(cè)YOLOV 3（you only look once version-3）的方法來(lái)實(shí)現(xiàn)對(duì)水下輸油管道的泄漏檢測(cè)，但是在管道發(fā)生微小緩慢泄漏時(shí)檢測(cè)效果不佳.

綜上，本文提出一種基于U-Net[12]的溢油圖像分割方法——RAU 來(lái)提高水下輸油管道發(fā)生微小泄漏時(shí)的檢測(cè)效果.通過(guò)把采集到的水下石油管道附近溢油圖像傳入RAU 中，可以較好地分割提取出圖像中溢油區(qū)域，后續(xù)通過(guò)閾值判斷分析溢油圖像中是否存在溢油區(qū)域來(lái)實(shí)現(xiàn)對(duì)水下石油管道溢油情況的高精度檢測(cè)并及時(shí)上報(bào)反饋溢油事件的發(fā)生. RAU 以U-Net 為基本框架，將殘差平滑空洞卷積模塊引入U(xiǎn)-Net，增強(qiáng)模型學(xué)習(xí)上下文信息的能力，有利于更好地提取圖像中的細(xì)節(jié)信息；同時(shí)引入注意力機(jī)制抑制背景區(qū)域權(quán)重、加強(qiáng)石油區(qū)域的權(quán)重，能有效地緩解圖像石油區(qū)域和背景區(qū)域?qū)Ρ榷鹊蛯?duì)模型的影響.

1 RAU 模型

1.1 整體模型框架

RAU 模型結(jié)構(gòu)由編碼模塊和解碼模塊兩部分構(gòu)成，其中編碼模塊利用下采樣操作來(lái)逐層提取圖像的特征，并利用跳躍連接操作將編碼模塊提取到的特征送入到解碼模塊，實(shí)現(xiàn)對(duì)石油區(qū)域信息和背景區(qū)域信息的特征提取；解碼模塊利用上采樣操作實(shí)現(xiàn)對(duì)圖像位置信息的精確定位.編碼模塊和解碼模塊之間通過(guò)跳躍連接方式連接特征層，結(jié)合淺層位置信息和深層語(yǔ)義信息，來(lái)獲取更豐富的圖像特征；RAU 模型得益于U-Net 的獨(dú)特設(shè)計(jì)，即使訓(xùn)練集的規(guī)模較小，它仍可以取得較好的圖像分割結(jié)果.但是U-Net 在前景和后景對(duì)比度低的情況下容易出現(xiàn)分割偏差.為了緩解這一問題，引入殘差平滑空洞卷積（residual smoothing dilated convolution，簡(jiǎn)稱RSDC）模塊，豐富了上下文語(yǔ)義信息；通過(guò)加入通道注意力模塊有效緩解了圖像石油區(qū)域和背景區(qū)域?qū)Ρ榷鹊蛯?duì)模型的影響，加強(qiáng)了模型對(duì)石油特征提取的權(quán)重，提高了模型的分割精度.RAU 模型框架如圖1 所示.

圖1 RAU 模型框架結(jié)構(gòu)

1.2 編碼模塊

在編碼模塊中，卷積模塊由4 層下采樣操作組成，每層后都添加最大池化和卷積操作，卷積核大小均為3×3.在編碼模塊中，對(duì)石油圖像X進(jìn)行特征提取，得到Fai表達(dá)式為

式中：Conv 代表卷積操作；X為輸入的石油圖像；i為第i層卷積層.

1.3 殘差平滑空洞卷積模塊

為了從采集到的圖像中學(xué)習(xí)更為豐富的上下文信息，并提取更多的細(xì)節(jié)，本文引入殘差平滑空洞卷積模塊.殘差平滑空洞卷積模塊包含兩個(gè)平滑空洞卷積模塊和跳躍連接.殘差平滑空洞卷積的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示.

圖2 殘差平滑空洞卷積模塊結(jié)構(gòu)

首先平滑空洞卷積（smoothing dilated convolution，簡(jiǎn)稱SDC）SDC1 模塊是利用一個(gè)卷積核大小為3×3，步長(zhǎng)為1，輸出通道為64 的分離共享卷積層增加前后單元之間的依賴關(guān)系，平滑網(wǎng)格偽影現(xiàn)象；然后利用一個(gè)卷積核大小為3×3，空洞率r為2，步長(zhǎng)為1，輸出通道為64 的空洞卷積層擴(kuò)大感受野；最后利用實(shí)例歸一化層和ReLU 激活函數(shù)層加速模型收斂.SDC2模塊是利用一個(gè)卷積核大小為9×9，步長(zhǎng)為1，輸出通道為64 的分離共享卷積層增加前后單元之間的依賴關(guān)系，平滑網(wǎng)格偽影現(xiàn)象；然后利用一個(gè)卷積核大小為3×3，空洞率r為5，步長(zhǎng)為1，輸出通道為64 的空洞卷積層擴(kuò)大感受野；最后利用實(shí)例歸一化層和ReLU 激活函數(shù)層加速模型收斂，同時(shí)利用跳躍連接避免梯度消失現(xiàn)象.SDC1 中的平滑空洞卷積的空洞率r為2，SDC2 中的平滑空洞卷積的空洞率r為5，分離共享卷積核大小為（2r-1）×（2r-1）.殘差平滑空洞卷積模塊表示為

其中：SDCn（·），n=1，2 表示平滑空洞卷積函數(shù).

引入殘差平滑空洞卷積模塊有效避免了梯度消失造成的模型性能下降的問題.殘差平滑空洞卷積模塊利用空洞率為2 和5 的卷積核擴(kuò)大了感受野，同時(shí)利用跳躍連接來(lái)連接前后特征層，因此能提取到更多的圖像細(xì)節(jié)特征，在一定程度上降低了前后景對(duì)比度低對(duì)模型的干擾.

1.4 通道注意力模塊

雖然殘差平滑空洞卷積模塊能有效的提取出更多的石油細(xì)節(jié)信息，但是圖像背景區(qū)域和石油區(qū)域?qū)Ρ榷鹊腿詴?huì)對(duì)石油圖像分割造成影響，所以RAU 引入通道注意力模塊.通道注意力模塊處理到的特征信息為通過(guò)跳躍連接將下采樣得到的淺層信息和上采樣的深層信息進(jìn)行融合后的特征信息，即包含豐富的高低層語(yǔ)義信息，在關(guān)注高層語(yǔ)義信息的同時(shí)也確保了淺層信息在最終分割任務(wù)中的貢獻(xiàn)度.通道注意力模塊加大了水下溢油圖像中石油的特征權(quán)重，在過(guò)濾背景噪聲的同時(shí)，降低了低對(duì)比度對(duì)模型的干擾.由于重點(diǎn)強(qiáng)調(diào)了圖像中的石油區(qū)域，在一定程度上可以提高模型的訓(xùn)練速度.通道注意力模塊結(jié)構(gòu)如圖3 所示.

圖3 通道注意力模塊結(jié)構(gòu)

通道注意力模塊中每個(gè)通道的特征圖所關(guān)注的細(xì)節(jié)信息不同，其作用是利用各通道特征圖之間的關(guān)系來(lái)學(xué)習(xí)一個(gè)一維的權(quán)重矩陣，然后將這個(gè)權(quán)重矩陣乘以對(duì)應(yīng)的通道.利用注意力模塊，可以使模型更加關(guān)注包含更多石油信息的通道，從而來(lái)提取溢油圖像中更多石油的特征信息.首先利用最大池化和全局平均池化來(lái)整合空間維度信息，讓每個(gè)通道生成兩個(gè)特征描述符；然后將生成的這兩個(gè)特征描述符作為一個(gè)共享的多層感知機(jī)f的輸入，多層感知機(jī)的功能是生成兩個(gè)更具代表性的特征向量，并將多層感知機(jī)生成的兩個(gè)特征向量進(jìn)行相加操作；之后再通過(guò)一次sigmoid函數(shù)得到特征Wc；最后將特征Fb3與Wc對(duì)應(yīng)的空間位置進(jìn)行相乘獲得更加具有代表性的特征.通道注意力模塊特征提取如式（5）和（6）所示，即

式中：f表示多層感知機(jī)；?代表乘法操作；Avgpool（·）為平均池化操作；Maxpool（·）為最大池化操作.

1.5 解碼模塊

在解碼模塊中，卷積模塊由4 層上采樣操作組成，每層后都添加最大池化和卷積操作，卷積核大小均為3×3.在解碼模塊中，進(jìn)行特征Fbj提取獲得的特征如下式所示

式中：j為第j層上采樣層，j取值為2，3；i取值為4，3；Fbj為解碼模塊提取的特征.

1.6 損失函數(shù)

在二分類圖像分割[13]訓(xùn)練中，一般使用二元交叉熵?fù)p失函數(shù)（binary cross-entropy loss，簡(jiǎn)稱BCE loss），BCE 損失函數(shù)如式11-13 所示，即

式中：GT（a，b）為像素（a，b）的手工標(biāo)注標(biāo)簽；SEG（a，b）為分割物體的預(yù)測(cè)概率；BCE 損失函數(shù)是逐像素對(duì)分割像素和背景像素進(jìn)行加權(quán)，并且不考慮鄰域的標(biāo)簽，有利于損失函數(shù)的收斂.

2 分析與討論

2.1 數(shù)據(jù)集與模型訓(xùn)練

本文的數(shù)據(jù)集是在實(shí)驗(yàn)室環(huán)境下使用超眼B011工業(yè)級(jí)數(shù)碼放大鏡實(shí)現(xiàn)石油圖像的采集工作，所使用的拍攝工具為超眼B011 工業(yè)級(jí)數(shù)碼放大鏡，放大倍數(shù)為50 倍，采集的圖像分辨率為800 pixel×600 pixel，位深為8.石油圖像采集完成之后，使用Labelme 軟件對(duì)采集到的石油圖像進(jìn)行了標(biāo)注，得到300 張標(biāo)注好的石油圖像.為了增強(qiáng)模型泛化能力，降低過(guò)擬合現(xiàn)象的發(fā)生，進(jìn)行了數(shù)據(jù)擴(kuò)充操作.對(duì)標(biāo)注好的石油圖像進(jìn)行了水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、旋轉(zhuǎn)90°和色彩抖動(dòng)數(shù)據(jù)擴(kuò)充，將數(shù)據(jù)集擴(kuò)充至1 500 張圖像，其中1 200 張作為訓(xùn)練集，300 張作為驗(yàn)證集.部分?jǐn)?shù)據(jù)集原始圖像及標(biāo)注圖像如圖4 所示.

圖4 部分?jǐn)?shù)據(jù)集圖像

模型訓(xùn)練時(shí)采用CPU 為Intel Xeon E5-2620、內(nèi)存為32 GB、顯卡為NVIDIATM GeForce GTX 1080 Ti的硬件平臺(tái).軟件平臺(tái)是Ubuntu 操作系統(tǒng)，并使用Pytorch 深度學(xué)習(xí)框架實(shí)現(xiàn)本文的網(wǎng)絡(luò)模型.在模型訓(xùn)練時(shí)設(shè)置初始化學(xué)習(xí)率為0.001，采用RMSprop 作為優(yōu)化器，設(shè)置參數(shù)值weight_decay 為1e-8，momentum為0.9，批量大?。╞atchsize）為1，迭代次數(shù)為300. 改進(jìn)后的RAU 網(wǎng)絡(luò)模型與原始U-Net 網(wǎng)絡(luò)模型的損失值變化情況如圖5 所示.從圖5 可以看出，RAU 網(wǎng)絡(luò)相比于原始的U-Net 網(wǎng)絡(luò)，損失函數(shù)收斂更快，穩(wěn)定后的損失值更小，說(shuō)明改進(jìn)后的模型訓(xùn)練效果更好.

圖5 模型改進(jìn)前后訓(xùn)練損失值對(duì)比

2.2 評(píng)價(jià)指標(biāo)

本文從主觀評(píng)判和客觀評(píng)判兩方面對(duì)RAU 分割效果進(jìn)行分析和比較. 主觀評(píng)判主要是根據(jù)人眼的視覺效果去比較圖像分割效果的優(yōu)劣. 客觀評(píng)判上，采用IoU[14]、Pixel Accuracy[15]作為評(píng)價(jià)標(biāo)準(zhǔn)，其計(jì)算公式如下

式中：X和Y分別為圖像的真實(shí)值和預(yù)測(cè)值；NTP、NTN、NFP、NFN分別是石油像素正確分類數(shù)量、背景像素正確分類數(shù)量、背景像素錯(cuò)誤分類數(shù)量、石油像素錯(cuò)誤分類數(shù)量；Pixel Accuracy 是指被正確分割的像素?cái)?shù)量占圖像全部像素?cái)?shù)量的比例；IoU 為語(yǔ)義分割的標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo)，表示真實(shí)值與預(yù)測(cè)值的交集與并集的比，其數(shù)值越大表示預(yù)測(cè)圖跟真實(shí)圖之間越接近，當(dāng)IoU的值為1 時(shí)表示預(yù)測(cè)圖與真實(shí)圖完全一致.

首先將RAU 與圖像分割模型Mask-RCNN（mask region-based convolutional neural network）[16]、FCN-8s（fully convolutional networks-8s）[17]、SegNet[18]、U-Net 進(jìn)行對(duì)比分析，然后對(duì)RAU 進(jìn)行總體性能分析.

2.3 不同模型的結(jié)果對(duì)比分析

兩組石油圖像分割結(jié)果如圖6-7 所示. 其中，Mask-RCNN 的分割結(jié)果較差，圖6c 和7c 中紅色掩膜為分割出來(lái)的石油區(qū)域，可以看出分割框只是大概選取了圖像中石油的區(qū)域，并且在錨框內(nèi)不能夠?qū)崿F(xiàn)對(duì)圖像的前景區(qū)域和背景區(qū)域的準(zhǔn)確分割.FCN-8s 分割的結(jié)果不夠準(zhǔn)確，在圖像邊緣和圖像中不能實(shí)現(xiàn)準(zhǔn)確分割，會(huì)產(chǎn)生漏分割的現(xiàn)象.U-Net 分割結(jié)果較好，能夠基本實(shí)現(xiàn)對(duì)圖像中前景區(qū)域和后景區(qū)域的分割，但是觀察圖6e 左下方和上方邊緣處及圖7e 上方和下方邊緣處，會(huì)出現(xiàn)漏分割及分割不準(zhǔn)確的情況.SegNet 分割結(jié)果較為準(zhǔn)確，但是在靠近圖像邊緣處會(huì)產(chǎn)生漏分割的現(xiàn)象. RAU 在圖像邊緣和圖像前后景對(duì)比度低的情況下均能較好的實(shí)現(xiàn)對(duì)圖像的分割，能夠較好地分割出圖像中的石油區(qū)域.

圖6 第一組石油圖像分割結(jié)果

圖7 第二組石油圖像分割結(jié)果

雖然通過(guò)人眼視覺觀察可以直接獲取結(jié)果對(duì)比信息，但是視覺觀察容易受到主觀因素的影響，所以對(duì)圖像分割的結(jié)果進(jìn)行了定量分析評(píng)價(jià)，實(shí)驗(yàn)結(jié)果如表1 所示.可以看出，RAU 在Pixel Accuracy 和IoU 評(píng)價(jià)指標(biāo)上的表現(xiàn)較其他模型結(jié)果較優(yōu)，說(shuō)明了RAU可以較好地分割出前后景對(duì)比度較低情況下的石油信息.由于本實(shí)驗(yàn)數(shù)據(jù)集中的石油在整個(gè)圖像中都有分布，Mask-RCNN 不能很好地分割錨框里的石油區(qū)域和背景區(qū)域.雖然FCN-8s 分割效果較好，但是分割出來(lái)的結(jié)果并不是很精細(xì)，對(duì)圖像中的細(xì)節(jié)信息不敏感，而且未能充分考慮到像素之間的相互關(guān)聯(lián)，缺乏空間一致性.U-Net 通過(guò)跳躍連接反卷積層和特征層，充分提取并結(jié)合了深淺特征層的語(yǔ)義信息，在一定程度上提升了模型獲取細(xì)節(jié)信息的能力，分割效果得到了一定的提升.SegNet 分割結(jié)果較好，但是由于網(wǎng)絡(luò)沒有充分考慮上下文信息，在圖像邊界處會(huì)存在漏分割現(xiàn)象.此外，雖然SegNet 的性能略好于U-Net，但是SegNet 的模型參數(shù)量要多于U-Net 的模型參數(shù)量，結(jié)合輕量化因素考慮，最終選擇U-Net 作為基礎(chǔ)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化改進(jìn).RAU 在分割指標(biāo)上均有不同程度的提升，說(shuō)明RAU 能在前后景對(duì)比度低的區(qū)域和圖像邊緣處分割出石油信息，分割效果較好.

表1 不同模型的性能對(duì)比

2.4 消融對(duì)比實(shí)驗(yàn)

本文針對(duì)不同模型進(jìn)行了消融實(shí)驗(yàn)，來(lái)驗(yàn)證RAU引入通道注意力模塊和空洞卷積模塊的有效性.模型1 是標(biāo)準(zhǔn)的U-Net，模型2 在U-Net 的基礎(chǔ)上添加了殘差空洞卷積模塊，模型3 在U-Net 基礎(chǔ)上引入了通道注意力模塊，RAU 在U-Net 基礎(chǔ)上引入了殘差空洞卷積模塊和通道注意力模塊.所有實(shí)驗(yàn)在測(cè)試集上進(jìn)行測(cè)試，不同網(wǎng)絡(luò)模型性能結(jié)果如表2 所示.標(biāo)準(zhǔn)模型U-Net 的IoU 為0.722 3，Pixel Accuracy 為0.912 9.添加殘差空洞卷積模塊后，兩項(xiàng)評(píng)價(jià)指標(biāo)均有不同程度的提升，相較于U-Net 原始模型IoU 提高了0.25%，Pixel Accuracy 提高了0.39%，參數(shù)量增加了2.41 M.這說(shuō)明殘差空洞卷積模塊可以在一定程度上緩解低對(duì)比度區(qū)域分割精度低的問題，但是整體分割精度提升有限.引入通道注意力模塊后，IoU 和Pixel Accuracy相較于標(biāo)準(zhǔn)的U-Net 分別提高了0.81%和0.45%，參數(shù)量增加了0.63 M，說(shuō)明引入通道注意力機(jī)制可以在一定程度上提高前后景對(duì)比度低的分割精度.同時(shí)引入殘差空洞卷積和通道注意力模塊后，參數(shù)量增加了3.04 M，IoU 和Pixel Accuracy 相較于標(biāo)準(zhǔn)U-Net 分別提高了2.93%和1.17%，IoU 和Pixel Accuracy 分別達(dá)到了0.751 6 和0.924 6.這說(shuō)明聚集兩個(gè)模塊后，其效果可以疊加，在前后景對(duì)比度低的區(qū)域上有效提高了分割精度，可見RAU 能分割出更多的在低對(duì)比度區(qū)域的石油信息.

表2 消融實(shí)驗(yàn)結(jié)果比較

3 結(jié) 語(yǔ)

本文提出了一種基于U-Net 的圖像分割方法——RAU.該模型以U-Net 為基本框架，在標(biāo)準(zhǔn)U-Net 中引入殘差平滑空洞卷積模塊，能夠提取圖像更多的細(xì)節(jié)信息.通過(guò)引入注意力機(jī)制抑制背景區(qū)域權(quán)重，加強(qiáng)石油區(qū)域的權(quán)重，緩解圖像背景區(qū)域和石油區(qū)域?qū)Ρ榷鹊蛯?duì)模型造成的影響.實(shí)驗(yàn)結(jié)果表明，RAU 對(duì)水下溢油圖像有較高的分割精度，但對(duì)于圖像邊緣處的區(qū)域的像素仍會(huì)出現(xiàn)分割錯(cuò)誤的現(xiàn)象.下一步將著重研究如何更有效地結(jié)合圖像中的高級(jí)語(yǔ)義特征，降低邊緣像素被錯(cuò)誤分類的情況，且最終實(shí)現(xiàn)把RAU 算法移植到嵌入式設(shè)備中.