陳 靜,陳靜波,孟 瑜,鄧毓弸,節(jié)永師,張 懿
(1.中國(guó)科學(xué)院空天信息創(chuàng)新研究院,北京 100101;2.中國(guó)科學(xué)院大學(xué)電子電氣與通信工程學(xué)院,北京 101400)
風(fēng)能是清潔無(wú)公害的可再生能源,風(fēng)電在我國(guó)整個(gè)電源結(jié)構(gòu)中的比例日益增長(zhǎng),已成為我國(guó)第三大電源且正快速增長(zhǎng)。截至2019年,我國(guó)風(fēng)電累計(jì)裝機(jī)容量高達(dá)21 005萬(wàn)kW,比2018年增長(zhǎng)2 579萬(wàn)kW,如何快速獲取風(fēng)電場(chǎng)分布以支撐風(fēng)電投資監(jiān)測(cè)預(yù)警、占地檢測(cè)和清潔能源消納能力評(píng)價(jià),是風(fēng)電場(chǎng)監(jiān)管中的重要業(yè)務(wù)問(wèn)題。衛(wèi)星遙感影像具有客觀準(zhǔn)確、周期性重訪、覆蓋范圍廣等優(yōu)點(diǎn),隨著國(guó)產(chǎn)遙感衛(wèi)星影像的空間分辨率不斷提高,利用國(guó)產(chǎn)衛(wèi)星影像開展大區(qū)域內(nèi)風(fēng)電場(chǎng)分布及其變化情況快速監(jiān)測(cè),解決了人工實(shí)地勘測(cè)風(fēng)電場(chǎng)分布難度大、耗時(shí)久和統(tǒng)計(jì)上報(bào)易引入人為誤差等問(wèn)題,是一種高效可行的方法。
傳統(tǒng)顯著性檢測(cè)方法如基于先驗(yàn)知識(shí)[1],通過(guò)自定義濾波器抑制背景突出塔架及其陰影特征生成顯著圖,再采用K-means聚類來(lái)提取顯著性物體,在Google Earth影像中取得了較好的效果。但受圖像時(shí)相、光照、地表覆蓋等因素影響目標(biāo)特征差異大,顯著圖存在目標(biāo)區(qū)域邊界不清晰、目標(biāo)姿態(tài)特征不完整等問(wèn)題,導(dǎo)致大量目標(biāo)漏檢。
深度學(xué)習(xí)算法通過(guò)將海量樣本的低維數(shù)字圖像矩陣映射為高維向量,開展自主特征學(xué)習(xí),解決了傳統(tǒng)目標(biāo)檢測(cè)算法特征人工構(gòu)建、效果受限于影像等問(wèn)題,在遙感目標(biāo)檢測(cè)領(lǐng)域受到廣泛關(guān)注。如基于特征金字塔(feature pyramid networks,F(xiàn)PN)算法[2]在NWPU VHR-10數(shù)據(jù)集的船艦檢測(cè);基于YOLOv3算法[3]針對(duì)小型建筑物進(jìn)行檢測(cè)研究。具體到塔架檢測(cè),基于優(yōu)化Faster R-CNN算法[4]開展塔架檢測(cè),較顯著性檢測(cè)方法精度有所提升,但仍存在顯著的漏檢和誤檢問(wèn)題,其原因是Faster R-CNN對(duì)小目標(biāo)提取精度較差,且只提取了塔架及陰影的個(gè)體特征,而未利用塔架密度分布的群體特征。
針對(duì)已有深度學(xué)習(xí)模型應(yīng)用于塔架檢測(cè)中遇到的問(wèn)題,設(shè)計(jì)了一種尺度和密度約束下基于YOLOv3的風(fēng)電塔架遙感檢測(cè)方法。針對(duì)風(fēng)電塔架排列特征特異性,提出新的降低誤檢率思路,有效解決遙感影像復(fù)雜地物中小目標(biāo)漏檢、相似地物誤檢問(wèn)題。
本文所用數(shù)據(jù)集為文獻(xiàn)[4]中建立的風(fēng)電塔架數(shù)據(jù)集,該數(shù)據(jù)集選取我國(guó)甘肅、新疆和青海三省2013—2016年間的93景高分一號(hào)衛(wèi)星影像,為體現(xiàn)樣本的多時(shí)相特征,每個(gè)區(qū)域至少具有2個(gè)月份的樣本特征體現(xiàn)。
基于該數(shù)據(jù)集對(duì)高分一號(hào)全色與多光譜的融合影像中的塔架進(jìn)行解譯,共得到25 151個(gè)塔架,其數(shù)據(jù)集存儲(chǔ)格式為對(duì)應(yīng)塔架及其陰影外接框的矢量。為了便于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)模型訓(xùn)練,將訓(xùn)練集影像裁剪為小尺寸圖像塊輸入模型參與訓(xùn)練,在裁剪過(guò)程中通過(guò)帶步長(zhǎng)的重疊裁剪以增加訓(xùn)練驗(yàn)證集樣本數(shù)量。原始訓(xùn)練集經(jīng)過(guò)裁剪后,共得到包含44 434個(gè)塔架的24 249張416像素×416像素的訓(xùn)練驗(yàn)證影像。
總體技術(shù)流程如圖1所示,在風(fēng)電塔架遙感特征分析基礎(chǔ)上,利用目標(biāo)尺度特征約束改進(jìn)YOLOv3模型的錨框(anchor)尺寸和網(wǎng)絡(luò)深度,提高遙感影像復(fù)雜地物中塔架檢測(cè)精度;在密度特征約束下設(shè)計(jì)后處理算法,利用密度聚類算法剔除離散異常的檢測(cè)框,降低形狀特征相似地物導(dǎo)致的誤檢率。
圖1 總體技術(shù)流程Fig.1 Overall technical flow chart
風(fēng)電場(chǎng)構(gòu)成分析用于確定解譯標(biāo)識(shí)及地物特征;風(fēng)電塔架尺度分析為模型改進(jìn)提供了尺度約束。特征分析結(jié)果將為風(fēng)電塔架檢測(cè)模型提供重要先驗(yàn)知識(shí)。
2.1.1 風(fēng)電場(chǎng)構(gòu)成分析
典型風(fēng)電場(chǎng)主要由風(fēng)力發(fā)電塔架、集電線路、變電站等地物構(gòu)成,其中集中分布、規(guī)則排列的風(fēng)力發(fā)電塔架又由風(fēng)輪、發(fā)電機(jī)和塔架3部分構(gòu)成。若僅將風(fēng)力發(fā)電塔架本身遙感特征作為訓(xùn)練樣本則不滿足樣本特異性要求,導(dǎo)致深度學(xué)習(xí)模型難以收斂,預(yù)測(cè)中會(huì)造成大量誤檢,因此,遙感影像中風(fēng)力發(fā)電塔架及其投影在地面上的陰影(以下合稱為“風(fēng)電塔架”),是風(fēng)電場(chǎng)遙感解譯的主要標(biāo)識(shí)。
風(fēng)電場(chǎng)構(gòu)成對(duì)風(fēng)電塔架檢測(cè)的影響體現(xiàn)在相互矛盾的2方面:一方面,風(fēng)電塔架數(shù)量多、分布集中,同一區(qū)域風(fēng)電塔架特征相近、排列整齊且分布均勻,易于檢測(cè);另一方面,一個(gè)風(fēng)力發(fā)電系統(tǒng)中兩列高壓電塔架平行分布在風(fēng)電塔架中,分布特征與風(fēng)電塔架相似,且高壓電塔架與風(fēng)電塔架在遙感影像上地物特征表現(xiàn)相近,如圖 2所示,均表現(xiàn)為強(qiáng)反射地物和低反射陰影,是造成深度學(xué)習(xí)算法誤檢的主要因素。
圖2 典型風(fēng)電場(chǎng)構(gòu)成Fig.2 Composition of typical wind farms
2.1.2 風(fēng)電塔架尺度分析
深度學(xué)習(xí)目標(biāo)檢測(cè)主流模型可分為One-Stage和Two-Stage 2類,One-Stage模型直接通過(guò)CNN對(duì)影像進(jìn)行分類概率估計(jì)和檢測(cè)框定位;Two-Stage模型首先生成大量候選框,再將候選框區(qū)域影像輸入CNN進(jìn)行分類概率估計(jì)。2類模型均依據(jù)先驗(yàn)anchor尺寸確定初始預(yù)測(cè)框尺寸,合理的錨框尺寸設(shè)計(jì)可提高模型檢測(cè)精度、減少訓(xùn)練時(shí)長(zhǎng)。
但不同功率風(fēng)電塔架尺寸差異、遙感衛(wèi)星多角度成像特性、陰影長(zhǎng)短隨時(shí)間變化等因素,導(dǎo)致風(fēng)電塔架在同源影像上也表現(xiàn)出較大差異。圖3(a)—(c)分別為同一平原區(qū)域在高分一號(hào)2 m融合影像上5月、9月、11月的不同特征表現(xiàn),風(fēng)電塔架及陰影尺度變化顯著。
(a)5月 (b)9月 (c)11月
以MS COCO官方給出的尺度劃分為標(biāo)準(zhǔn),對(duì)訓(xùn)練集中風(fēng)電塔架及其陰影的外接矩形進(jìn)行統(tǒng)計(jì)分析,最小樣本框尺寸僅為7像素×16像素,屬于小目標(biāo),最大樣本框尺寸為90像素×216像素,屬于大目標(biāo)。風(fēng)電塔架樣本框尺寸范圍廣,屬于多尺度目標(biāo)檢測(cè)問(wèn)題,需基于尺度特征分析確定合適的anchor尺寸,避免檢測(cè)框尺寸不均衡造成的漏檢。
K-means聚類分析采用數(shù)據(jù)間距離度量數(shù)據(jù)與聚類中心的相似性,將相似度高的數(shù)據(jù)劃分為同一簇,然后重新計(jì)算聚類中心,直到聚類中心不再發(fā)生偏移,輸出聚類中心。K-means算法對(duì)處理大數(shù)據(jù)集有較高的計(jì)算效率,適用于風(fēng)電塔架尺度分析。根據(jù)YOLOv3模型的anchor數(shù)量要求,對(duì)訓(xùn)練集樣本標(biāo)注框?qū)捀?以像元為單位)進(jìn)行K-means聚類分析,共生成9個(gè)聚類中心,分別為(22,34),(35,50),(31,68),(34,89),(51,67),(35,111),(51,106),(44,130)和(47,168)。
相較于其他目標(biāo)檢測(cè)模型,YOLOv3模型通過(guò)控制下采樣次數(shù)輸出3個(gè)不同大小的特征圖,實(shí)現(xiàn)對(duì)多尺度目標(biāo)的預(yù)測(cè),尤其對(duì)小目標(biāo)檢測(cè)精度較高。于是本文在風(fēng)電塔架樣本尺度約束下,開展針對(duì)性的YOLOv3模型改進(jìn),期望通過(guò)尺度約束提高模型對(duì)風(fēng)電塔架的檢測(cè)精度。
2.2.1 特征網(wǎng)絡(luò)壓縮
Redmon等[5]提出的原生YOLOv3模型采用的特征提取網(wǎng)絡(luò),如圖4(Darknet-53)所示,利用卷積下采樣替代池化以避免細(xì)粒度特征消失;并引進(jìn)殘差網(wǎng)絡(luò),在淺層網(wǎng)絡(luò)上增加一個(gè)恒等映射層,將函數(shù)學(xué)習(xí)轉(zhuǎn)為恒等映射的逼近,每層網(wǎng)絡(luò)在上層網(wǎng)絡(luò)特征的基礎(chǔ)上學(xué)習(xí)新的特征,而誤差不會(huì)增加,避免網(wǎng)絡(luò)加深造成的梯度消失。然而,Darknet-53網(wǎng)絡(luò)共有52個(gè)卷積操作,每次卷積運(yùn)算通過(guò)3×3大小的卷積核對(duì)圖像像素矩陣進(jìn)行運(yùn)算,對(duì)樣本矩形框內(nèi)圖像進(jìn)行特征提取,但塔架本身為高反射地物,陰影為低反射地物,樣本內(nèi)部特征存在較大差異,卷積操作過(guò)程中,部分陰影與遙感影像復(fù)雜背景特征更接近,過(guò)多的卷積操作導(dǎo)致陰影邊緣信息缺失,如圖5(b)和(e)所示,喪失陰影形狀特征,導(dǎo)致大量集電線路誤檢。針對(duì)以上問(wèn)題,本文在保留特征提取網(wǎng)絡(luò)中殘差網(wǎng)絡(luò)、卷積下采樣基本架構(gòu)基礎(chǔ)上,通過(guò)減少網(wǎng)絡(luò)深度(即“網(wǎng)絡(luò)壓縮”)避免由多層卷積運(yùn)算造成的陰影邊緣特征滅失問(wèn)題。壓縮后的特征網(wǎng)絡(luò)為28層網(wǎng)絡(luò),具體結(jié)構(gòu)如圖4的CFEN網(wǎng)絡(luò)層所示,同原始Darknet-53網(wǎng)絡(luò)一致,3,4,5次卷積下采樣分別輸出8倍(23)、16倍、32倍下采樣特征圖。隨著模型權(quán)重訓(xùn)練,樣本特征逐漸與周圍地物區(qū)分,CFEN得到的特征圖相對(duì)位置與樣本形狀特征保存較完整,如圖5(c)和(f)所示。
圖4 特征提取網(wǎng)絡(luò)壓縮前后結(jié)構(gòu)對(duì)比Fig.4 Comparison between compressed feature extraction network structure and original network structure
(a)影像1 (b)影像1Darknet-53特征圖 (c)影像1CFEN特征圖
2.2.2 錨框尺寸優(yōu)化
特征提取網(wǎng)絡(luò)輸出的3種尺度特征圖,分別為13×13×1 024,26×26×512,52×52×256,對(duì)2.1.2節(jié)中樣本目標(biāo)框長(zhǎng)寬的K-means聚類結(jié)果分別除以8,16,32對(duì)應(yīng)到3種尺度的特征圖上,anchor尺寸為(3.75,5.75),(4.375,14.625),(3.75,9);(2.812 5,9.312 5),(2.562 5,3.562 5),(3.312 5,4.562 5);(0.656 25,0.968 75),(1.125,2.937 5),(1.625,3.562 5),分別為小中大尺度目標(biāo)在對(duì)應(yīng)特征圖上的初始尺寸。
對(duì)特征圖進(jìn)行卷積和上采樣操作,加載權(quán)重對(duì)輸出矩陣采取Logistic回歸模型計(jì)算分類概率,以給定anchor尺寸進(jìn)行邊框調(diào)整,根據(jù)式(1)—(4)計(jì)算預(yù)測(cè)框坐標(biāo)及寬高,輸出預(yù)測(cè)框位置、類別和預(yù)測(cè)概率,并計(jì)算loss函數(shù)回傳更新權(quán)重,公式為:
bx=σ(tx)+cx,
(1)
by=σ(ty)+cy,
(2)
bw=Pwetw,
(3)
bh=Pheth,
(4)
式中:cx,cy為目標(biāo)距離左上角的邊距;Pw,Ph分別為邊界框的寬和高;tx,ty,tw,th分別為預(yù)測(cè)框在特征圖中左上角坐標(biāo)和寬高;bx,by,bw,bh分別為預(yù)測(cè)框在影像中左上角坐標(biāo)和寬高。
訓(xùn)練結(jié)束后,為避免裁剪影像邊緣目標(biāo)截?cái)嘣斐傻穆z,加載權(quán)重在測(cè)試集上以步長(zhǎng)200的滑動(dòng)窗口對(duì)測(cè)試集進(jìn)行風(fēng)電塔架檢測(cè),以非極大值抑制(non-maximum suppression,NMS)算法提取最優(yōu)檢測(cè)框。
改進(jìn)后模型雖然減少了細(xì)粒度特征消失的問(wèn)題,提高了檢測(cè)能力,但誤檢問(wèn)題仍然存在??紤]到誤檢地物主要是特征相似的高壓電塔架和地貌,其離散分布的空間特征與塔架集中分布有顯著差異,本文基于風(fēng)電塔架的密度約束對(duì)模型檢測(cè)結(jié)果進(jìn)行密度聚類,剔除虛警目標(biāo),降低誤檢率。
2.4.1 風(fēng)電塔架密度分析
遙感影像易受傳感器本身、地球曲率等因素影響發(fā)生幾何變形,利用正射校正處理消除幾何變形后,等距分布的風(fēng)電塔架受地面坡度的影響在正射校正影像中呈現(xiàn)不規(guī)律分布,如圖6所示。
圖6 山地風(fēng)電塔架遙感影像正射校正過(guò)程示意圖Fig.6 Sketch map of orthorectification process of remote sensing image of wind turbines in mountainous area
對(duì)風(fēng)電塔架的集中程度進(jìn)行定量分析,如圖7所示,記相鄰兩列風(fēng)電塔架的列間距為dy,同列風(fēng)電塔架的行間距為dx,塔架風(fēng)輪半徑為r,塔架風(fēng)輪直徑d=2r,地面坡度為α,相鄰風(fēng)電塔架連接線與水平面夾角為β(0≤β≤90°);投影在正射校正影像后兩列風(fēng)電塔架的列間距為y,同列風(fēng)電塔架的行間距為x,則根據(jù)投影計(jì)算可得,公式為:
圖7 正射校正影像中風(fēng)電塔架間距計(jì)算過(guò)程示意圖Fig.7 Schematic diagram of calculation process of wind power tower spacing based on orthorhombic remote sensing image
(5)
根據(jù)《風(fēng)電場(chǎng)工程微觀選址技術(shù)規(guī)范》規(guī)定可知dy≥2dx≥6d,0≤α≤17°,0≤β≤90°,則x和y與塔架風(fēng)輪直徑的關(guān)系為:
(6)
2.4.2 DBSCAN聚類
密度聚類是一種基于密度對(duì)樣本進(jìn)行聚類的方法,DBSCAN聚類的優(yōu)勢(shì)在于不需要指定聚類的數(shù)目,只需要指定直接密度可達(dá)數(shù)和鄰域半徑,算法會(huì)根據(jù)樣本分布情況自動(dòng)劃分簇,并找出簇的中心點(diǎn)。
以頂點(diǎn)位置的風(fēng)電塔架為圓心、最小列間距為半徑,根據(jù)x與y的倍數(shù)關(guān)系確定圓內(nèi)包含風(fēng)電塔架數(shù)目,確定最小樣本數(shù)量MinPts為3,即直接密度可達(dá)數(shù)為3;目前我國(guó)最大的風(fēng)力發(fā)電機(jī)組葉片轉(zhuǎn)輪直徑(d)為175 m,高分一號(hào)全色遙感影像分辨率為2 m,則風(fēng)電塔架最大行間距xmax為88像素,根據(jù)y取值范圍確定風(fēng)電塔架ε的鄰域半徑為2xmax,即鄰域半徑為176像素。對(duì)檢測(cè)結(jié)果進(jìn)行DBSCAN聚類,找出“噪聲點(diǎn)”,輸出聚類效果圖,并將所有坐標(biāo)點(diǎn)按不同聚類簇輸出為不同顏色。
通過(guò)方法有效性實(shí)驗(yàn)、方法效果對(duì)比2類實(shí)驗(yàn)開展實(shí)驗(yàn)分析與討論,方法有效性實(shí)驗(yàn)主要論證本文所提出的錨框優(yōu)化、網(wǎng)絡(luò)壓縮、密度聚類3個(gè)改進(jìn)對(duì)塔架檢測(cè)精度的提升;方法對(duì)比試驗(yàn)主要展示本文方法與Faster R-CNN和FPN模型的效果對(duì)比。
目標(biāo)檢測(cè)模型輸出檢測(cè)框信息為(預(yù)測(cè)類別,左上角坐標(biāo),右下角坐標(biāo),預(yù)測(cè)概率),標(biāo)注框信息為(左上角坐標(biāo),右下角坐標(biāo),類別),當(dāng)檢測(cè)框與標(biāo)注框類別相同且IOU值大于0.5時(shí),表示正確檢測(cè)到該目標(biāo);若檢測(cè)框與任何同類別標(biāo)注框IOU都小于0.5時(shí),表示該檢測(cè)框?yàn)檎`檢;若標(biāo)注框與任何檢測(cè)框IOU都小于0.5時(shí),表示該目標(biāo)被漏檢。
基于遙感影像風(fēng)電塔架特征分析,改進(jìn)目標(biāo)anchor尺寸和YOLOv3模型網(wǎng)絡(luò)深度,與原始YOLOv3模型進(jìn)行對(duì)比實(shí)驗(yàn)。以準(zhǔn)確率P、召回率R和F1值評(píng)估模型精度,具體計(jì)算公式為:
(7)
(8)
(9)
式中:TP為正確檢測(cè)的塔架數(shù);FP為誤檢為塔架的檢測(cè)框數(shù);FN為漏檢塔架數(shù)。
檢測(cè)精度對(duì)比如表1所示,改進(jìn)模型準(zhǔn)確率和召回率均高于原始YOLOv3算法,說(shuō)明模型改進(jìn)是有效可實(shí)施的。
表1 YOLOv3與改進(jìn)算法檢測(cè)精度對(duì)比Tab.1 Detection accuracy of YOLOv3 and our model
利用DBSCAN算法在檢測(cè)結(jié)果上進(jìn)一步優(yōu)化,共在測(cè)試集檢測(cè)結(jié)果中檢測(cè)并去除155個(gè)異常目標(biāo),將準(zhǔn)確率由95%提升到96%。圖8為其中2張測(cè)試影像的聚類優(yōu)化結(jié)果,圖8(a)和(c)為DBSCAN對(duì)檢測(cè)框的聚類,已剔除噪聲點(diǎn)用紅色框標(biāo)注,誤檢但未剔除的目標(biāo)用綠色框標(biāo)記;圖8(b)和(d)為原始影像與風(fēng)電塔架標(biāo)記框。對(duì)比發(fā)現(xiàn),DBSCAN算法對(duì)于分布較離散的噪聲點(diǎn)剔除效果較好,對(duì)于散落在風(fēng)電場(chǎng)中間的高壓點(diǎn)塔架誤檢檢測(cè)效果略差。
(a)測(cè)試影像1檢測(cè)框聚類結(jié)果 (b)測(cè)試影像1及風(fēng)電塔架標(biāo)注框
(c)測(cè)試影像2檢測(cè)框聚類結(jié)果 (d)測(cè)試影像2及風(fēng)電塔架標(biāo)注框
表2為FPN,F(xiàn)aster R-CNN,YOLOv3和本文方法的塔架檢測(cè)效果對(duì)比。FPN算法存在大量誤檢,其誤檢大多來(lái)自高壓電塔架,集中分布在塔架周圍;Faster R-CNN算法耗時(shí)最短,但誤檢和漏檢都較多,不適合遙感影像塔架檢測(cè);YOLOv3多特征圖提取算法誤檢最少,檢測(cè)效果優(yōu)于FPN和Faster R-CNN模型的RPN算法。
表2 塔架檢測(cè)效果對(duì)比Tab.2 Comparison of wind turbines detection results
相較于其他3種算法,本文方法優(yōu)勢(shì)在于:①對(duì)極小的目標(biāo)檢測(cè)定位精度較高;②壓縮后特征提取網(wǎng)絡(luò)將集電線路與塔架區(qū)分,減少誤檢;③DBSCAN算法將形狀特征相似的地類誤檢剔除,進(jìn)一步降低誤檢率;④在復(fù)雜的遙感影像背景下,改進(jìn)后算法依然具有較好的檢測(cè)效果。
為解決當(dāng)前基于高空間分辨率遙感影像的風(fēng)電塔架自動(dòng)檢測(cè)難題,本文提出了一種基于改進(jìn)YOLOv3模型的自動(dòng)檢測(cè)算法,將高反射塔架與低反射陰影作為樣本構(gòu)建條件,分析樣本尺度特征,針對(duì)性地構(gòu)建了檢測(cè)模型和后處理方法,相較于FPN和Faster R-CNN具有更好的檢測(cè)效果??紤]到小尺寸目標(biāo)遙感檢測(cè)中同樣面臨模型優(yōu)化和后處理規(guī)則制定問(wèn)題,本文方法對(duì)于其他小目標(biāo)遙感檢測(cè)也具有借鑒意義。目前算法存在的主要問(wèn)題為集電線路塔架與風(fēng)電塔架遙感特征表現(xiàn)近似,無(wú)法完全避免集電線路塔架誤檢,如何避免集電線塔架誤檢,仍需后續(xù)研究。