一種自適應(yīng)上采樣的光伏面板分割算法研究

宋 燦，吳 謹(jǐn)，朱 磊，鄧慧萍

(武漢科技大學(xué) 信息科學(xué)與工程學(xué)院，武漢 430081) (冶金自動化與檢測技術(shù)教育部工程中心，武漢 430000)

1 引 言

國民經(jīng)濟的高速可持續(xù)發(fā)展，離不開能源這種基礎(chǔ)物質(zhì).目前，人類獲取能源的基本來源主要是化石，比如天然氣、石油和煤炭等[1].因為化石能源的不可再生和巨大的污染性，改善能源結(jié)構(gòu)就成了亟待解決的問題.太陽能因其環(huán)保安全可再生的特點，成為了優(yōu)化能源結(jié)構(gòu)和改善環(huán)境問題的一種可行辦法[2].近年來，國民經(jīng)濟越來越大的能源需求，引起光伏產(chǎn)業(yè)的迅猛發(fā)展.太陽能光伏越來越廣泛的應(yīng)用，帶來了統(tǒng)計和規(guī)劃管理上的巨大挑戰(zhàn).由此，如何快速、準(zhǔn)確地獲取光伏面板的數(shù)量和分布狀況，成為了一個極具經(jīng)濟價值的問題.

目前，通過遙感圖像來獲取光伏面板的面積是一個可行的方案.主要的解決思路是首先從遙感圖像里分割出光伏面板，然后根據(jù)遙感圖像的相關(guān)參數(shù)計算光伏面板的面積.現(xiàn)今，一些研究者已經(jīng)提出了部分光伏面板[2-4]的分割算法.根據(jù)算法種類分，包含閾值[5]、邊緣[6]、區(qū)域[7]和聚類[8]等方法.而根據(jù)圖像種類分，目前的算法包含紅外[9，10]和航空影像[11].這些方法大多是基于傳統(tǒng)圖像處理方法和非遙感圖像的研究，而基于深度學(xué)習(xí)和遙感圖像的光伏面板分割研究很少.

雖然光伏面板分割在深度學(xué)習(xí)方面的研究非常少，但是該任務(wù)作為語義分割的一種應(yīng)用對象，可以將相關(guān)的算法[12-17]遷移過來.語義分割作為基本的圖像處理任務(wù)之一，許多科研工作者已經(jīng)對其進行了大量的研究.相關(guān)的研究包含以下幾類：

1)通過金字塔的方式增強模型的多尺度分割能力[18]；

2)通過帶孔卷積或者跳躍連接增加網(wǎng)絡(luò)的空間分辨率[19-21]；

3)通過上下文相關(guān)性提升網(wǎng)絡(luò)的分割性能[22-26].

這些相關(guān)工作都是針對卷積網(wǎng)絡(luò)在語義分割上的相關(guān)問題來研究的.不同于圖像分類，目標(biāo)檢測和語義分割所處理的目標(biāo)在尺度上存在著很大的跨度，這種尺度上的差異性會影響網(wǎng)絡(luò)的性能，因此準(zhǔn)確檢測多尺度目標(biāo)可以有效提升網(wǎng)絡(luò)性能，典型的研究比如PSPNet[18].語義分割可以看成是一個密集型的分類任務(wù)，既需要豐富的高層語義信息來進行像素分類，也需要足夠的空間信息來達到逐像素的分割精度.卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)能夠提取魯棒性非常好的高層語義特征，但是存在兩個問題：1)經(jīng)過多次卷積后，隱層特征容易出現(xiàn)擴散效應(yīng)，導(dǎo)致目標(biāo)邊緣平滑，造成分割結(jié)果邊緣模糊；2)在經(jīng)過池化這種下采樣操作后，通過簡單的雙線性插值進行上采樣會丟失空間信息，影響像素級的分割精度，并且存在小目標(biāo)丟失的風(fēng)險.因此，很多科研工作者對此進行了研究.例如，CRFasRNN[22]通過遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)的方式把條件隨機場(Conditional Random Fields，CRFs)嵌入到CNN的末端，引入像素間的相關(guān)性來緩解目標(biāo)邊界模糊的問題.HRNet[27]通過不斷融合高低層特征的方式，獲取具有高層語義特征的高分辨率網(wǎng)絡(luò)來提升分割精度.UNet[28]通過跳躍連接直接把低層特征引入高層進行融合，以此補充高層特征的空間信息來提升網(wǎng)絡(luò)性能.Deeplabv3[20]則是通過帶孔卷積來替換池化層，以此避免池化層丟失空間分辨率的問題.此外，目前主流的CNN使用局部卷積作為基本模塊，這種局部響應(yīng)的方式雖然節(jié)省了計算量和存儲空間，以及有效提升了網(wǎng)絡(luò)性能，但是破壞了目標(biāo)之間空間上的長依賴關(guān)系，難以獲取長距離的上下文信息.因此，Wang等人[21]提出了非局部神經(jīng)網(wǎng)絡(luò)(Non-local Neural Networks)，通過非局部的網(wǎng)絡(luò)處理來獲取長距離的依賴關(guān)系.此后，異步非局部神經(jīng)網(wǎng)絡(luò)(Asymmetric Non-local Neural Networks)[20]對此進行了改進，通過非對稱的方式來降低計算量.DANet[25]則可以看做是非局部網(wǎng)絡(luò)的一個特例，通過融合空間和通道維的依賴關(guān)系來提升網(wǎng)絡(luò)性能.

針對以上3個方面的相關(guān)研究，本文設(shè)計了一個分割光伏面板的卷積神經(jīng)網(wǎng)絡(luò).首先，以ResNet[29]作為骨干網(wǎng)絡(luò)，抽取相對于輸入圖像原始分辨率的1/8、1/16和1/32這3個尺度的特征圖，分別使用金字塔池化模塊(Pyramid Pooling Module，PPM)[18]提取多尺度的特征，以此提升網(wǎng)絡(luò)的多尺度性能.然后，使用異步融合非局部模塊(Asymmetric Fusion Non-local Block，AFNB)融合長距離的依賴關(guān)系，獲取上下文相關(guān)性信息來提升網(wǎng)絡(luò)性能.最后，本文提出了一種自適應(yīng)的上采樣模塊(Adaptive Upsample Module)和模糊融合策略.通過高分辨率的低層特征來自適應(yīng)地學(xué)習(xí)采樣系數(shù)，以此緩解池化操作帶來的空間信息丟失現(xiàn)象，解決目標(biāo)邊緣模糊問題.

2 系統(tǒng)框架

光伏面板分割作為一個二分類的語義分割任務(wù)，其模型設(shè)計可以借鑒常見的語義分割模型.由于衛(wèi)星的高度變化范圍廣，容易導(dǎo)致光伏面板的尺度不一.因此，使用多尺度模型可以提升檢測效果.受到PSPNet的啟發(fā)，本文采用PPM模塊來提取多尺度的特征，分別作用在ResNet50骨干網(wǎng)絡(luò)的1/8、1/16和/1/32分辨率的特征層(如圖 1所示).此外，目標(biāo)之間存在著一定的相互關(guān)系，比如，密集的市區(qū)不可能出現(xiàn)大量的光伏面板，因此，融合全局的場景依賴關(guān)系能更準(zhǔn)確的檢測目標(biāo).為了降低計算量，將1/32分辨率的特征圖作為全局場景信息，并使用AFNB模塊分別融合到1/8、1/16和/1/32的特征圖上.AFNB模塊是一種局部和全局信息非對稱處理的方式，全局信息通過金字塔池化進行降分辨率，而局部信息仍然使用高分辨率的特征圖.這種方式在減少計算量的情況下也能保持不錯的性能.

圖1 系統(tǒng)框架圖Fig.1 System framework diagram

神經(jīng)網(wǎng)絡(luò)在經(jīng)過多次卷積和池化后會丟失空間信息.通過簡單的雙線性插值或者反卷積重構(gòu)原始分辨率，并不能完全恢復(fù)原有信息.雙線性插值可以看作是使用固定采樣系數(shù)進行加權(quán)求和，而反卷積則是使用可學(xué)習(xí)的采樣系數(shù)進行加權(quán)求和，這兩種方式在每個像素點的采樣系數(shù)都是相同的.而理想的情況是采樣系數(shù)隨著輸入圖像自適應(yīng)的變化，當(dāng)像素落在目標(biāo)邊緣時，如果該輸入圖像的像素與目標(biāo)的特征更相似，則在目標(biāo)一側(cè)的采樣系數(shù)應(yīng)該要更大.而當(dāng)像素落在目標(biāo)中間或者是背景區(qū)域，則需要采樣系數(shù)均衡一點.因此，使用雙線性這種位置平均或者反卷積這種固定系數(shù)是不太合適的.為了解決這個問題本文提出了一種自適應(yīng)上采樣的方法，使用輸入圖像的函數(shù)來生成采樣系數(shù)，通過像素特征間的相似性調(diào)整權(quán)重.

此外，在自適應(yīng)上采樣后，對跨尺度融合的方式進行了改進，即不采用常規(guī)的加權(quán)平均融合而采取最大值融合的方式.大多數(shù)的網(wǎng)絡(luò)做跨尺度融合時，要么簡單的直接相加，要么使用卷積融合，這兩種方式都可以理解為加權(quán)求和.與此不同的是，本文直接取兩者的最大值.使用這種融合方式的原因是：文中使用的模型會在3個尺度輸出結(jié)果，可能在某個尺度上，模型無法判斷某個區(qū)域是否屬于前景還是背景.這種情況下，在該尺度上只要在前景和背景上都輸出較小的值，就會被抑制.后續(xù)的網(wǎng)絡(luò)和反向傳播都不會產(chǎn)生影響，因此，這種模糊處理的方式可以避免網(wǎng)絡(luò)發(fā)生無法判斷時必須進行響應(yīng)的現(xiàn)象.需要注意的是，為了訓(xùn)練更平穩(wěn)，網(wǎng)絡(luò)收斂更快，本文在AFNB的輸出結(jié)果上添加了輔助損失.后續(xù)章節(jié)中，本文將對每個模塊做詳細(xì)的介紹.

3 金字塔池化

遙感圖像拍攝面積廣，場景豐富，內(nèi)容繁雜，林區(qū)，農(nóng)田，城市，湖泊和山川等都囊括其中.衛(wèi)星的高度變化和場景的多樣性造成了目標(biāo)和背景的尺度變化較大，需要網(wǎng)絡(luò)具有良好的多尺度特征檢測能力.因此，本文在模型設(shè)計中增加了多尺度結(jié)構(gòu)，并且在每個尺度的特征圖上使用金字塔池化[16]來進一步增強網(wǎng)絡(luò)的多尺度性能.

池化操作能夠增加網(wǎng)絡(luò)的感受野，有利于檢測大尺度的場景信息，但是會降低圖像的空間分辨率，丟失圖像的位置信息.因此本文使用PSPNet網(wǎng)絡(luò)模型中金字塔池化的方式，融合多種尺度的池化操作進行處理.小尺度的池化能獲取小場景和小目標(biāo)的信息，具有較高的分辨率，大尺度的池化獲取大尺度或者全局的場景信息，但分辨率較低.通過這種金字塔池化的方式，可以平衡處理尺度和分辨率，獲取更好的分割結(jié)果.

本文的金字塔池化模塊如圖 2所示，與PSPNet原有結(jié)構(gòu)不同的是，本文并不是輸出固定尺寸的特征圖，而是固定池化層的感受野生成對應(yīng)尺寸的特征圖.4個尺度的大小依次為9×9，7×7，5×5和3×3，而步長依次為5，4，3和2.這樣設(shè)置的原因是在PSPNet中，只抽取了ResNet網(wǎng)絡(luò)模型中1/32分辨率的特征圖，而本文抽取了3個尺度的特征圖，每個特征圖負(fù)責(zé)對應(yīng)尺度的結(jié)果預(yù)測.如果采用PSPNet的方式，在1/8和1/16分辨率這兩個尺度上，與1/32分辨率相比，原始特征圖和池化后的特征圖之間會出現(xiàn)4倍的分辨率差異，這會導(dǎo)致在網(wǎng)絡(luò)設(shè)計上尺度過渡不平滑.

圖2 金字塔池化模塊Fig.2 Pyramid pooling module

4 異步融合非局部模塊

深度卷積神經(jīng)網(wǎng)絡(luò)是通過許多個局部卷積操作疊加而成的.在網(wǎng)絡(luò)的最后一層使用全連接層或者是平均池化層來匯聚全局信息，這是一般分類網(wǎng)絡(luò)的模型搭建方法.這類網(wǎng)絡(luò)最后輸出的特征圖為1×1，也就是說，所有的特征都匯聚到了一點上.這種方式能有效地融合全局的信息，而語義分割網(wǎng)絡(luò)通常會移除全連接層，或者將全連接層替換成參數(shù)相同的局部卷積[30].雖然這種處理方式成功地將分類網(wǎng)絡(luò)轉(zhuǎn)換成了可以做逐像素密集預(yù)測的語義分割網(wǎng)絡(luò)，但是破壞了網(wǎng)絡(luò)的全局特性，可能會使得網(wǎng)絡(luò)丟失某些長距離的依賴關(guān)系[24，26].比如當(dāng)兩個目標(biāo)分別位于左上角和右下角時，距離過遠(yuǎn)，網(wǎng)絡(luò)的感受野不夠就無法捕獲到這種長距離的依賴關(guān)系，造成信息丟失.

在深度神經(jīng)網(wǎng)絡(luò)中，如何捕獲長距離的依賴關(guān)系一直是一個比較重要的問題.對于序列數(shù)據(jù)，比如語音，文本和視頻數(shù)據(jù)，通常使用遞歸操作來進行長距離的依賴關(guān)系建模.在此方面也出現(xiàn)了很多優(yōu)秀的模型，如：遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，CNN)[30]，長短時記憶(Long Short Term Memory，LSTM)[31]，門控遞歸單元(Gated Recurrent Units，GRU)[32].對于圖像數(shù)據(jù)，長距離的依賴關(guān)系通過增大感受野來獲取，常見的結(jié)構(gòu)是通過深度網(wǎng)絡(luò)來反復(fù)疊加卷積操作[33].卷積和遞歸操作都是用于處理局部信息的，因此，需要反復(fù)疊加才能增大網(wǎng)絡(luò)的感受野，通過不斷匯聚的方式融合長距離的信息.在語義分割網(wǎng)絡(luò)中，由于沒有全連接層匯聚全局信息，可能會造成網(wǎng)絡(luò)的感受野不足以覆蓋整個圖像的問題.此外，當(dāng)感受野足夠大時，在距離較遠(yuǎn)的情況下，這種不斷疊加匯聚的方式也會出現(xiàn)信息衰減和丟失的問題.因此，獲取長距離的依賴關(guān)系，最好的方式是通過非局部操作，直接融入長距離的全局信息.

由于圖像中經(jīng)常會遇到這種場景之間的依賴關(guān)系，比如周圍有高大的樹木，會影響光照，附近就不太可能出現(xiàn)光伏面板.因此本文引入了非局部操作[24，34]來融合這種依賴關(guān)系，非局部操作可以抽象為：

(1)

這里x表示輸入數(shù)據(jù)，可以是語音，文本，圖像和視頻等，y表示輸出結(jié)果，數(shù)據(jù)維度與x相同.i和j表示數(shù)據(jù)的位置索引，可以為時間或者空間.如果輸入數(shù)據(jù)是時間序列，則表示時間的索引，如果是圖像，則表示二維平面上的空間位置.二元函數(shù)f用來計算輸入數(shù)據(jù)x在位置i和j處的相關(guān)性，函數(shù)g則是輸入數(shù)據(jù)x在i處的一個變換.通常來說，在圖像數(shù)據(jù)里函數(shù)g被設(shè)置為一個1×1的卷積操作用來做線性變換.簡單的講，公式(1)可以看成對輸入數(shù)據(jù)使用函數(shù)g處理后，在所有位置進行加權(quán)求和，加權(quán)系數(shù)為f(xi,xj).函數(shù)c(x)用于對處理后數(shù)據(jù)進行歸一化.這個操作的非局部性體現(xiàn)在其對所有位置的輸入數(shù)據(jù)都進行響應(yīng)，而不是像卷積層只對鄰近的局部數(shù)據(jù)進行響應(yīng).

值得注意的是，這種非局部操作與全連接層是不同的，全連接層的權(quán)值不依賴于輸入數(shù)據(jù)，無法反應(yīng)數(shù)據(jù)之間的相關(guān)性.而非局部操作的權(quán)值f(xi,xj)是輸入數(shù)據(jù)x的函數(shù)，它的大小依賴于數(shù)據(jù)xi和xj之間的相關(guān)性，這種方式效果更好.一個典型的例子是，假定位置i處是光伏面板，而位置j處是城區(qū)，則兩者之間的關(guān)系弱，權(quán)值就應(yīng)該小一點，這種方式能體現(xiàn)處城區(qū)附近出現(xiàn)光伏面板的可能性低的特點.反之，如果位置i處是光伏面板，位置j處是鄉(xiāng)村，則兩者之間的相關(guān)性會比較大，鄉(xiāng)村出現(xiàn)光伏面板的可能性比城區(qū)高，權(quán)值就應(yīng)該更大些.因此，非全局操作能更準(zhǔn)確地描述數(shù)據(jù)之間的依賴關(guān)系.

在實際的建模中，函數(shù)g一般設(shè)置為一個線性卷積，如式(2)所示：

g(xj)=Wgxj

(2)

上式中Wg是一個用于學(xué)習(xí)的權(quán)值矩陣.而函數(shù)f可以簡單地選為一個高斯函數(shù)：

(3)

f(xi,xj)=eθ(xi)Tφ(xj)

(4)

上式中的核函數(shù)簡單的取θ(xi)=Wθxi，φ(xj)=Wfxj，使用卷積操作來實現(xiàn).此外，歸一化函數(shù)C可以簡單的表示為：

(5)

根據(jù)式(2)，式(4)和式(5)，式(1)可以表示為：

(6)

根據(jù)以上理論，可以得到圖 3中的模型.函數(shù)θ，φ和g可以看做三個卷積(Conv模塊)，輸出尺寸為C×H×W的特征圖，C，H和W分別為特征圖的通道數(shù)，高和寬.Reshape模塊用于對特征圖進行變形，其中N=H×C.整個結(jié)構(gòu)中只有卷積模塊，也就是函數(shù)θ，φ和g是可以進行學(xué)習(xí)的.

圖3 非局部模塊結(jié)構(gòu)圖Fig.3 Non-local block framework

圖 3中的非局部模塊有一個顯著的缺點就是計算量大，主要原因是需要計算所有位置之間的相似度，這個時間復(fù)雜度是O(CN2).當(dāng)特征圖的尺寸較大時，N=H×W就會很大.因此異步融合非局部模塊(AFNB)[26]對此進行了改進，使用金字塔池化對特征圖進行了下采樣.如圖 4所示，在經(jīng)過下采樣進行降維后，時間復(fù)雜度變?yōu)榱薕(CNS)，當(dāng)S?N時，就可以將計算量降為圖像大小的線性級別.這種降低計算量的策略可以簡單的理解為，使用低分辨率的特征圖來融合長距離的依賴關(guān)系.這種處理方式是和人眼的視覺特性一致的，長距離的依賴關(guān)系可以看做是全局的信息，通過低分辨率的圖像來獲取.而在處理局部信息時，則會把目光聚集在關(guān)注的物體上，此時等價于對圖像進行放大，高分辨率圖像可以獲取更豐富的細(xì)節(jié)信息.

圖4 異步融合非局部模塊Fig.4 Asymmetric fusion non-local block

在使用異步融合非局部模塊時，本文結(jié)合所提出的模型，對融合結(jié)構(gòu)進行了改進.如圖 1所示，本文使用高層1/32分辨率的特征提供全局信息，而不是用對應(yīng)分辨率的特征經(jīng)過金字塔采樣后作為全局信息.這樣做的原因有兩點，其一是1/32分辨率的特征圖相比1/8和1/16特征圖要小，計算量低，其二是1/32分辨率的特征圖網(wǎng)絡(luò)更深，語義更豐富.

5 自適應(yīng)上采樣模塊

光伏面板分割本質(zhì)上是一個語義分割任務(wù)，它需要給圖像的每一個像素預(yù)測一個標(biāo)簽.也就是說，這是一個逐像素的密集性預(yù)測任務(wù).這種密集性預(yù)測任務(wù)相比于圖像分類和目標(biāo)檢測更難，它對像素級的誤差非常敏感，每一個像素預(yù)測錯誤都會直接影響到最終的分割精度.因此模型的設(shè)計要盡可能地減少各種操作產(chǎn)生的像素級誤差.在這方面的工作有很多，典型的有CRFasRNN[22]，將條件隨機場概率圖模型以遞歸神經(jīng)網(wǎng)絡(luò)的形式嵌入到深度學(xué)習(xí)網(wǎng)絡(luò)中，獲取圖像像素之間的相關(guān)性來提升像素精度.UnpoolingNet[35]則是將上采樣操作換成了Unpooling 操作，在前向傳播過程中記錄最大值池化操作中激活值的位置，以便在后續(xù)的上采樣過程中，在對應(yīng)位置激活，通過對齊激活值來提升網(wǎng)絡(luò)精度.Deeplab[36]則是在網(wǎng)絡(luò)的高層使用帶孔卷積替換池化操作，避免池化操作造成的空間信息丟失的問題.

這些文章都是在解決CNN結(jié)構(gòu)在語義分割任務(wù)中的固有問題.在語義分割網(wǎng)絡(luò)中，想要對像素進行準(zhǔn)確的分類，就需要大感受野的高層語義信息.但是，在感受野增加的過程中給像素級的精度帶來了巨大的挑戰(zhàn).通常情況下，增大感受野方式有兩種，卷積和池化.這兩種方式都會增加像素分割的難度，卷積的擴散效應(yīng)會造成特征圖過于平滑，池化則在下采樣過程中丟失了空間分辨率.不同于圖像分類的是，語義分割這種逐像素預(yù)測問題，必然有一個上采樣的過程.這種先下采樣再上采樣的結(jié)構(gòu)必然會丟失空間信息，從而影響最終的像素級分割結(jié)果.

總的來說，語義分割網(wǎng)絡(luò)分為兩步，第一步是從高分辨率的輸入圖像提取低分辨率的高層信息，第二步是從低分辨率的高層信息中重構(gòu)出高分辨率的分割結(jié)果.這也是大多數(shù)語義分割網(wǎng)絡(luò)都由編碼器(Encoder)和解碼器(Decoder)構(gòu)成的原因.編碼器負(fù)責(zé)提取高層的語義信息，解碼器重構(gòu)逐像素的分割結(jié)果.對于卷積神經(jīng)網(wǎng)絡(luò)來說，提取高層的語義信息是相對容易的，比如圖像分類.但是在編碼器部分丟失了空間信息，難以生成高質(zhì)量的、高分辨率的分割結(jié)果，這也是大多數(shù)語義分割網(wǎng)絡(luò)目標(biāo)邊緣分割結(jié)果不好的原因.想要網(wǎng)絡(luò)不丟失空間信息，最直觀的做法是不進行下采樣，但是這樣會極大的增加計算量，使得計算資源難受承受.比如Deeplabv3模型，也只能在1/8分辨率以下的卷積層使用帶孔卷積替換下采樣操作.如果在整個網(wǎng)絡(luò)都不使用下采樣操作，計算量是難以承受的.

在無法避免下采樣操作的情況下，提升分割精度就只能通過改進上采樣操作.目前關(guān)于上采樣的研究有很多，研究者們提出了很多超分辨率重構(gòu)(Super-Resolution Reconstruction)[12，37，38]的方法.超分辨率重構(gòu)用于將一幅低分辨率的圖像轉(zhuǎn)換的一幅高分辨率的圖像.這種圖像處理任務(wù)的輸入數(shù)據(jù)只有低分辨率的圖像.而語義分割任務(wù)輸入的是高分辨率的圖像，只是在提取高層語義信息的時候進行了降采樣.因此，可以充分利用高分辨率的輸入圖像信息，自適應(yīng)的生成采樣系數(shù)，對低分辨率的高層語義信息進行上采樣.這個處理策略可以抽象為：

(7)

式(7)中，x為輸入圖像，z為高層的語義信息，y為輸出的采樣結(jié)果，Tj(x)表示輸入圖像在x在位置j處的采樣值.函數(shù)φ用于計算采樣系數(shù)，表示的是輸入圖像中在i和j處像素之間的相似性，R(xi,x)用于歸一化，取R(xi,x)=∑jφ(xi,Tj(x)).需要注意的是，x和z的分辨率不同，為了保證一致性，i和j的值都?xì)w一化到區(qū)間[0,1].公式(7)可以簡單的理解為，根據(jù)輸入圖像的高分辨率結(jié)構(gòu)信息提取采樣系數(shù)，對低分辨率的語義信息進行上采樣，也就是加權(quán)求和.模型中的采樣系數(shù)是輸入圖像的函數(shù)，根據(jù)像素特征之間的相關(guān)性來生成采樣系數(shù).而雙線性插值和反卷積的采樣系數(shù)與輸入圖像無關(guān)，無法提取到高分辨率輸入圖像的結(jié)構(gòu)信息，在任何位置的采樣系數(shù)都是固定的.典型的缺點如雙線性插值是一種對位置平均的結(jié)果，在目標(biāo)邊緣處會出現(xiàn)模糊現(xiàn)象.而自適應(yīng)上采樣是根據(jù)像素間的相似度求平均，相似度越高，權(quán)值越大.這種方式能更準(zhǔn)確地體現(xiàn)像素間的相關(guān)性，讓上采樣的結(jié)果和輸入圖像在像素間的相關(guān)性保持一致.

根據(jù)上面的分析，具體的自適應(yīng)上采樣算法按如下的參數(shù)搭建模型.為了減少計算量，實際模型中并不對語義信息z在全圖做加權(quán)平均，而是選取以位置i為中心的一個小窗口Wi.那么式(7)可以簡化為：

(8)

對應(yīng)的，R(xi,x)=∑j∈Wiφ(xi,Tj(x)).需要注意的是，Tj(x)并不是直接在輸入圖像x上進行采樣，而是先對x做高斯平滑.這樣做的目的是避免在圖像相鄰像素的值變化很大時，出現(xiàn)較大的采樣誤差.事實上，語義信息z的每個像素對應(yīng)的是輸入圖像x中的一個區(qū)域，而不是單個像素，當(dāng)兩者分辨率相差越大時，區(qū)域的面積就越大.相比于使用單個像素的特征值作為該區(qū)域的特征，使用平均值更好.因此，在實際的計算中使用了高斯濾波來進行滑動平均.

φ用于計算兩個像素之間的相似性，這個相似性度量采用雙邊濾波(Bilateral Filters)[39]類似的方法，使用高斯核函數(shù)進行計算：

φ(xi,xj)=e-‖xi-xj‖2

(9)

此外，為了體現(xiàn)各個特征的相對重要性，在式(9)中引入了對角矩陣Wφ作為一組可學(xué)習(xí)的參數(shù)：

φ(xi,xj)=e-(xi-xj)TWφ(xi-xj)

(10)

根據(jù)以上分析過程，自適應(yīng)上采樣模塊可以有如下幾部分組成(如圖 5所示).Downsample表示高斯平滑和下采樣，Unfold表示按照窗口W展開，SimilarityComputer代表相似度計算函數(shù)φ，F(xiàn)old表示按照窗口W重構(gòu)成大小為x的高分辨率語義信息特征圖.

圖5 自適應(yīng)上采樣模塊Fig.5 Adaptive upsample module

6 實驗結(jié)果

6.1 實驗數(shù)據(jù)

本文的實驗數(shù)據(jù)為資源3號(ZY-3)和高分1號(GF-1)衛(wèi)星拍攝的遙感圖片.這兩顆衛(wèi)星是我國的高分圖像獲取衛(wèi)星，精度約為2m.由于遙感圖像的大量區(qū)域都是背景，因此，在訓(xùn)練之前對標(biāo)記數(shù)據(jù)做了簡單的清洗：根據(jù)光伏面板和背景的分布情況進行了簡單的篩選，保證前景和背景的比例約為1：3，以此避免訓(xùn)練失衡.此外，為了方便訓(xùn)練，將遙感圖像裁剪成了768×768的小圖片，訓(xùn)練時每次從小圖片中隨機裁剪出256×256的小塊作為輸入數(shù)據(jù).

6.2 實驗設(shè)置

為了驗證本文算法的有效性，與3種較新的算法(UNet[26]，PSPNet[16]，Deeplabv3[27])進行了比較.優(yōu)化方法使用Adam[40]，batchsize設(shè)為4.訓(xùn)練過程中對數(shù)據(jù)做了增強處理，包括平滑，添加高斯噪聲，在HSV空間對亮度和飽和度添加隨機噪聲等.

6.3 結(jié)果比較

6.3.1 交并比(IoU)

交并比是一個在語義分割任務(wù)中廣泛使用的評價指標(biāo)，描述的是分割正確的像素所占的比例.該評價指標(biāo)是一個尺度不變的評價指標(biāo)[41]，不同尺度的目標(biāo)在最終的評估中所占的比例是相同的.交并比定義為是前景目標(biāo)的預(yù)測值和真實值的交集與并集之比：

(11)

6.3.2 準(zhǔn)確率，召回率和F-Measure

準(zhǔn)確率和召回率衡量的是模型的查準(zhǔn)率和查全率.在常見的語義分割評價指標(biāo)中，常用交并比來進行評價.比如道路場景分割，評價指標(biāo)能較好的描述目標(biāo)分割的準(zhǔn)確程度，因此使用IoU是比較好的一種選擇.但是在光伏面板分割的任務(wù)中，同一塊前景區(qū)域可能被分割到幾個小圖像，使用交并比就不是很準(zhǔn)確.因此，在對比結(jié)果中增加了準(zhǔn)確率，召回率和F-Measure這3個評價指標(biāo).F-Measure表示的是準(zhǔn)確率和召回率的加權(quán)調(diào)和，衡量的是兩者的綜合影響.計算方法如式(12)-式(14)所示：

(12)

(13)

(14)

式中Precision,Recall和Fα分別代表準(zhǔn)確率，召回率和F-Measure.α表示調(diào)和系數(shù)，用于平衡準(zhǔn)確率和召回率，一般取α2=0.3.

實驗結(jié)果如表1所示，本文提出的方法在IoU，Precision和F-Measure上都取得了最優(yōu)的結(jié)果.僅在Recall指標(biāo)上略低于Unet，但是Unet的精度偏低，說明Unet將更多的背景誤判成了前景，誤檢率高.F-Measure作為一個平衡精度和召回率的方法，能更好的描述模型的性能.而本文提出的方法在F-Measure這一指標(biāo)上比UNet更好，總的來說，本文的方法取得了更好的結(jié)果.IoU作為一種尺度不變的衡量指標(biāo)，對于各種尺度目標(biāo)的評價都具有一定穩(wěn)定性.而本文的模型在IoU指標(biāo)上表現(xiàn)的更好，說明模型對所有尺度的目標(biāo)整體檢測效果更好.

表1 實驗結(jié)果對比Table 1 Comparison of experiments results

7 結(jié) 語

本文設(shè)計了一個多尺度的光伏面板分割模型，引入了非局部模塊來融合全局信息進行預(yù)測，并提出了一種自適應(yīng)上采樣的方法來優(yōu)化目標(biāo)的邊緣.實驗結(jié)果表明，相比于一些較新的算法，本文的模型取得了更好的分割結(jié)果.在IoU，精度和F-Measure指標(biāo)都取得了最優(yōu)的結(jié)果.