無人機智能遙感信息提取技術研究與應用

馮一軍，陳 霖，梁雄乾，王志虎，王 鑫

（1.廣西壯族自治區(qū)自然資源調查監(jiān)測院，南寧 530023；2.自然資源部北部灣經濟區(qū)自然資源監(jiān)測評價工程技術創(chuàng)新中心，南寧 530219；3.廣西職業(yè)師范學院 計算機與信息工程學院，南寧 530007；4.桂林電子科技大學 北海校區(qū)，廣西 北海 541000）

0 引言

攝影測量與遙感影像作為自然資源綜合監(jiān)測監(jiān)管的重要數據資源，在自然資源現狀數據采集、更新中發(fā)揮著越來越重要的作用?；谶b感影像進行專題信息提取對深度理解自然資源要素有重要作用，傳統(tǒng)遙感影像專題信息提取方法可以分為監(jiān)督分類和非監(jiān)督分類方法。經常使用的監(jiān)督分類方法有最大似然法［1］、支持向量機［2］、人工神經網絡、決策樹、隨機森林和面向對象分類等［3］，非監(jiān)督分類方法有K-Means、ISODATA 等，但以上方法存在提取要素精度不準，且因地物異物同譜等原因造成地物錯分和混分情況嚴重。不同的特征對于地物要素提取所起到的作用各不相同，所占的權重也是存在較大差異。權重的設置主要依靠人工經驗，而權重的設置參數直接影響到信息提取精度［4］。因此，監(jiān)督分類等方法在高分辨率專題信息提取中存在諸多局限性。雖然非監(jiān)督分類不需要人工進行特征選擇，但是非監(jiān)督分類沒有選用訓練樣本，無先驗信息，主要依據圖像中地物的波譜特征進行特征選擇和特征分類，因此在專題信息提取上的精度要比監(jiān)督分類方法低［5］。目前監(jiān)督和非監(jiān)督方法大部分用在中低分辨率影像的專題信息提取研究和應用，在高分辨率影像上目前主要以人工為主［6］。

近年來，隨著人工智能技術的快速發(fā)展，國內外學者和行業(yè)專家積極探索利用深度學習進行衛(wèi)星遙感影像的分割、分類、場景分析、圖像檢索、目標檢測和變化檢測研究和應用。1998年，LeCun［7］提出LeNet-5，該網絡基于梯度的反向傳播算法對網絡進行有監(jiān)督訓練，成功開啟了卷積神經網絡新時代。2012年，Krizhevsky［8］等提出AlexNet并將卷積神經網絡運用于圖像分類，在ILSVRC-2012比賽中以10%的精度優(yōu)勢奪得冠軍，自此神經網絡迎來高速發(fā)展的熱潮，隨后國內外學者不斷提出新的卷積神經網絡方法［9-11］。在遙感影像信息提取中，多種技術探索和應用方向均取得較好進展，包括基于R-CNN，Fast R-CNN 和SPPnet等算法在目標檢測方向來識別遙感影像中的典型目標；基于FCN、Deeplab Unet等算法用于遙感影像分割分類；基于UFCN、D-LinkNet算法來進行遙感道路提取等［12-13］。Zhang等人［14］利用一個融合了多層感知器和8層CNN 聯合深度學習模型用于LULC分類，對航空影像的LC和LU 的平均總體分類精度達到了90.18%和87.92%。田琳靜等人基于無人機影像使用一個5層的CNN 模型用于農業(yè)區(qū)土地利用分類，分類精度達到了93%［15］。Huang 等人基于WorldView 多光譜遙感影像進行分類，利用一個半遷移的深度CNN 進行城市土地利用分類，比傳統(tǒng)方法獲得了更好的分類結果，精度高達91.25%［16］。還有許多學者也將CNN 應用到農作物分類上，Zhong等人［17］基于Landsat影像使用一維CNN 模型進行農作物分類，并與傳統(tǒng)方法對比取得了最好的分類效果，精度達85.54%。

目前行業(yè)內結合深度學習技術的應用多以0.5米到2米分辨率之間的遙感影像開展，并且主要以兩期遙感影像變化檢測的方法，進行自然資源綜合監(jiān)測監(jiān)管實際業(yè)務應用［18］。利用人工智能技術，結合超高分辨率無人機遙感影像，在精準提取目標地物邊界的同時，逐步提取航天遙感影像無法識別的精細化類別；同時結合歷年生產的國土調查現狀數據，開展精細化自然資源各類地物要素調查，以及耕地、礦產、水體、林地等專項動態(tài)監(jiān)測，將進一步提升自然資源調查監(jiān)測和綜合監(jiān)測監(jiān)管將實現自然資源精細化和定量化能力。

本文結合近兩年持續(xù)開展的無人機超高分辨率智能遙感解譯探索經驗和能力應用，梳理總結了人工智能與超分辨率遙感影像智能解譯體系建設，以及在自然資源調查監(jiān)測和綜合監(jiān)測監(jiān)管中的應用。通過介紹超高分辨率智能遙感解譯體系建設思路，智能解譯模型算法研發(fā)與優(yōu)化和綜合監(jiān)測監(jiān)管應用實踐等方面的研究進展，對人工智能在超高分辨率無人機遙感影像解譯應用中的流程和存在問題進行剖析，并提出進一步研究和應用建議與設想，為進一步推動超高分辨率遙感影像的人工智能解譯技術的應用發(fā)展提供思路。

1 超高分辨率智能遙感解譯方法研究思路

1.1 總體思路

與基于兩期影像進行變化檢測在自然資源綜合監(jiān)測監(jiān)管中的應用方法不同，本文充分利用0.1米左右分辨率無人機影像的超高辨識能力，以及國土變更調查現狀數據的權威性，通過采集獲取單期的無人機遙感影像，通過研制多種地物要素分類提取智能解譯算法進行最新時相地物要素分類，與基準時相的國土變更調查地類圖斑進行專題空間分析，提取特定專題管理范圍內部或外部的要素，提升自然資源調查監(jiān)測中新增建設用地提取、耕地變化檢測、水體等專項調查監(jiān)測，耕地 “非農化”、“非糧化”監(jiān)測，供地與用地全生命周期監(jiān)管，執(zhí)法監(jiān)督等綜合監(jiān)測監(jiān)管的精細化和智能化水平。同時單時相影像提取的地物要素可定量化統(tǒng)計專題類別的定量分布和面積等信息，達到專題調查分析的目的。

圖1 超高分辨率智能遙感解譯監(jiān)測監(jiān)管總體思路

圖2 智能遙感解譯算法研發(fā)工藝流程

在國土變更調查遙感監(jiān)測的新增建設用地提取中，標注對應樣本并訓練建筑、道路、推堆土、露天體育場等典型建設用地特征地類，通過獲取最新時相的超高分辨率無人機遙感影像，并提取以上類別，套合前時相國土變更調查的非建設用地范圍，提取非建設用地范圍內的疑似新增建設用地圖斑，在工期緊湊的國土變更調查應用中，可提前提取以上遙感監(jiān)測圖斑，并提前下發(fā)外業(yè)調查核實，可有效提升變更調查工作效率。在耕地 “非農化”、“非糧化”監(jiān)測中，標注對應樣本并訓練建筑、道路、推堆土、露天體育場等非農典型地類和園地、林地、坑塘／水體等典型非糧地類智能解譯模型，通過獲取最新時相的超高分辨率無人機遙感影像，并提取以上類別，套合前時相國土變更調查的耕地范圍矢量，提取耕地范圍內的 “非農化”和 “非糧化”圖斑，經過人工判讀后，精準、快速提取以上專題矢量數據。

1.2 智能遙感解譯算法研發(fā)工藝流程

智能遙感解譯算法研發(fā)的主要過程包括樣本的生產與管理，模型訓練、精度評價與模型優(yōu)化，模型應用等關鍵環(huán)節(jié)［19］。

在樣本生產與管理環(huán)節(jié)，最大化發(fā)揮歷史業(yè)務數據價值，采用國土變更調查、DLG 歷史矢量中道路，水體，耕地等業(yè)務地類數據，對業(yè)務數據進行樣本提純優(yōu)化，并制作多分類樣本庫。在模型訓練中調優(yōu)HRNet網絡結構開展模型訓練，并開展多參數調優(yōu)的模型訓練實驗，采用多種精度評價方法對訓練的模型成果進行精度評價。對驗證集評價后的模型典型問題進行分析，通過返回優(yōu)化原始樣本質量或新增樣本方式進行樣本新增和優(yōu)化。

通過訓練優(yōu)化后的模型在驗證集上準確率和召回率均超過85%后，該模型可通過解譯提取并人工修測后在自然資源綜合監(jiān)測監(jiān)管實際項目中應用，人工修測后的數據作為新增樣本，加入樣本庫中做進一步模型訓練優(yōu)化。

2 智能解譯模型算法研發(fā)與優(yōu)化

2.1 樣本生產與樣本庫建設

樣本分類體系建設，本研究參考國土變更調查技術規(guī)程，地理國情監(jiān)測地物要素分類體系和遙感地表覆蓋分類體系，以及廣西地類特色，形成廣西超高分辨率遙感樣本分類標準，樣本按照三級分類管理，一級類包括建筑、鐵路與道路、耕地、園地、林地、草地、人工堆掘地、構筑物、水體、裸地和其他，其他類別見圖3樣本分類體系。

圖3 樣本分類體系

樣本采集與生產，本研究中采用廣西0.1米無人機影像，在GIS軟件套合國土變更調查中的道路，耕地，林地，園地，水體矢量和無人機影像，對因時相不同引起的圖斑變化進行人工修測，建筑物的樣本基于無人機影像進行人工單棟建筑物邊界采集，樣本采用兩種形式進行存儲，原始樣本數據按照tif格式影像與shp格式的矢量存儲，樣本成果以2 048像素＊2 048像素的影像和二值label標簽存儲。研究過程采集0.1米分辨率的2 048＊2 048像素樣本中，建筑5 468 張，道路6 861 張，耕地10 648 張，園地3 498張，林地4 367張，水體3 761張。解譯樣本成果如圖4所示。

圖4 超高分辨率智能遙感解譯樣本成果

2.2 HRNet卷積網絡模型訓練

2.2.1 卷積神經網絡基本結構

為了更好地解決遙感影像在專題信息提取中出現的異物同譜問題，許多學者將卷積神經網絡算法應用到遙感影像分割分類和變化檢測信息提取中。卷積神經網絡遙感影像分類方法主要是基于影像區(qū)域級別識別并對像素級進行分類。在這之前，許多神經網絡都是全連接的網絡，即每個神經元和其它神經元之間連接。然而全連接神經網絡的參數量大、學習效率低，并且層數也有所限制，因此不適合處理大尺度圖像。而CNN 使用了卷積操作，使其具有局部感受野和權值共享的特點，因此網絡的參數量就減少了很多，更適合處理大尺度圖像［20］。

在卷積神經網絡中，卷積運算代替了全連接神經網絡中的向量運算。使用卷積處理能夠大大減少每一層權重的參數量，降低了神經網絡的復雜性。卷積神經網絡的結構一般由卷積層、池化層、激活層和歸一化層組成。

1）卷積層：卷積層是CNN 的核心部分，其主要功能是獲取輸入圖像的特征。卷積核是卷積層的核心，具體操作是利用卷積核對輸入的特征圖進行卷積運算，并輸出運算結果。

圖5是卷積運算的具體操作，其是用一個3×3大小的卷積核對輸入特征圖進行單步卷積運算。具體運算操作是在輸入特征圖中使用一個與卷積核尺寸相同的滑窗，在特征圖中按照從左到右、從上到下的順序滑動，并將每次滑動對應窗口和卷積核各位置的像素值相乘再相加，得到的運算結果代表滑窗中心的像素值。而對于邊緣像素，可以在其邊界填充0，這樣卷積運算就可以輸出與原始特征圖尺寸相同的特征圖［21］。

圖5 卷積計算

卷積層能夠抽取圖像的各種特征，淺層卷積可以學習到簡單的邊緣特征，深層卷積可以學到更加復雜抽象的特征，這使得CNN 可以自動提取圖像中的特征。此外，卷積層有局部連接和權值共享的優(yōu)點，這大大降低了網絡的參數量。

2）池化層：池化層是CNN 中常見的部分之一，池化層通過下采樣方式來降低特征圖的尺寸，從而可以進一步減少網絡的參數量。池化層常用的方式有最大池化和平均池化。最大池化是在特征圖中選定一個固定尺寸的窗口，并用這個窗口中像元的最大值來代替此窗口，然后窗口按固定步長在特征圖中進行滑動采樣，以此來降低特征圖的尺寸。而平均池化是用窗口中所有像元的平均值來代替窗口。池化層一般將特征圖的尺寸降低一半，這樣可以進一步減少模型后續(xù)的參數量。

3）全連接層：全連接層在CNN 中用作最后的分類，通常位于整個網絡的末層。圖像在經過卷積層和池化層后，網絡學習到了圖像的淺層特征和深層特征。而全連接層則是將學到的特征進行加權求和，從而判斷圖像所屬的類別。全連接層中輸入層是特征向量，將輸入層的神經元與隱藏層的神經元進行全連接來對特征向量加權，而輸出層一般通過Softmax分類器將輸出的結果表示成一個分類概率向量，表示圖像屬于每個類別的概率［22］。

4）激活層：主要是對非線性的函數進行擬合，而卷積操作只是線性的，因此引入激活函數來增加網絡擬合非線性函數的能力。常見的激活函數有Sigmoid、Tanh、ReLU 和ELU 等。ReLU 函數就是max（x，0），計算速度很快，且對于大于0的輸入值敏感程度一樣，因此不會造成梯度消失。卷積神經網絡中經常使用的激活函數是ReLU 函數。

5）歸一化層：在CNN 中，深層卷積層的輸入是來自其之前的卷積層的輸出。因此，淺層卷積層的參數變化會導致深層輸入的分布發(fā)生改變。網絡模型訓練是利用隨機梯度下降來不斷更新參數和數據分布，而每次參數更新都會導致網絡中間每一層的輸入分布發(fā)生變化，這種變化也稱內部協變量偏移。而隨著網絡層數的加深，這種偏移量表現得越明顯，這會導致模型需要更多時間來調整樣本分布，從而降低網絡的訓練效率。而批歸一化層的提出有效地緩解了這個問題，利用BN 層將卷積層的輸出數據標準化到有效范圍內，這樣就可以緩解內部協變量偏移的問題。因此BN 層可以防止梯度消失和梯度爆炸，加快網絡訓練和收斂的速度，還能防止模型過擬合。

2.2.2 HRNet模型網絡

語義分割模型網絡結構主要包括串行結構和并行結構［23］，串行網絡結構將圖像抽象成語義特征圖層，解碼器再將語義特征圖映射返回到圖像標簽上，該過程會損失大量圖像信息，而并行結構的語義分割網絡，直接保留原始高分辨率的特征圖，能夠保留大部分的圖像精細化信息。本研究選用HRNet并行連接網絡模型，HRNet（high-resolution Network）是由微軟亞洲研究院視覺計算組提出的一種高分辨率深度神經網絡。HRNet以其獨特的結構框架，在姿態(tài)識別、語義分割、目標檢測等方面有很好的應用。HRNet整個過程保持高分辨率的特征圖，得到更為精準的空間信息，不僅能夠較好保留超高分辨率遙感影像中，建筑、道路、耕地、林地、園地和水體等類別具有明顯的幾何特征，以及很強的連貫性和上下文語義特征關聯性。HRNet的網絡在CV 領域，越來越得到關注，因為很多用HRNet作為骨架網絡的方案在語義分割、目標檢測、分類、分割、人體姿態(tài)估計等領域均取得矚目的成績。

HRNet的網絡結構如圖6所示，網絡可視作四個并行的網絡，每個網絡具有不同分辨率的子網絡，在并行的子網絡之間存在多次特征圖的跨分辨率融合。不斷將低分辨率的特征圖加到高分辨率特征中。HRNet從高分辨率子網作為第一階段始，逐步增加高分辨率到低分辨率的子網，形成更多的階段，并將多分辨率子網并行連接。在整個過程中，通過在并行的多分辨率子網絡上反復交換信息來進行多尺度的重復融合，使得每一個高分辨率到低分辨率的表征都從其他并行表示中反復接收信息，從而得到豐富的高分辨率表征。HRNet網絡在水平維持高分辨率特征，預測獲取的特征圖在空間上能更精確，使用重復的多尺度融合，利用相同深度和相似級別的低分辨率表示來提高分辨率表示。

圖6 HRNet模型結構圖

2.2.3 模型訓練

研究在OpenMMLab 開源深度學習算法體系下進行，基于ubuntu16.04操作系統(tǒng)，8卡NVIDIA GeForce RTX 2080Ti的GPU 算力進行模型訓練，在建筑物模型訓練中基于5 468張2 048像素＊2 048像素的建筑樣本，設置訓練的迭代次數（total＿iters）為1 000次，共8卡并行訓練，每卡并行樣本數量為2，初始學習率為0.001，為了增加小面積的建筑物召回率，設置小于200像素的權重為3。在訓練樣本中自動劃分10%的樣本作為驗證集，訓練過程統(tǒng)計的指標如圖7所示。另外，分別完成道路，水體，耕地，林地和園地的分割模型訓練工作。

圖7 模型訓練過程指標

2.3 研究成果分析與精度評價

2.3.1 解譯處理與結果分析

利用已經訓練的HRNet模型對超高分辨率遙感影像進行分割信息提取時需要包括概率圖預測與二值化，矢量化及后處理兩部分工作。在概率圖預測與二值化過程中將已經拼接好的DOM 成果按照5 000＊5 000像素分辨送入網絡進行預測，預測結果轉化為0～1之間的浮點圖，預測值越大說明為某個地物前景的置信度越大，通過對預測的浮點概率圖設置概率閾值得到二值圖，二值圖中前景為1，背景為0，本研究將概率閾值設置為0.5。

在將二值圖進行矢量化的后處理過程，針對建筑物進行直角化處理，對其他地物要素通過設置先腐蝕再膨脹的參數消除掉細條狀圖斑。通過Douglas-Peucker算法進行邊界簡化處理，從而消除掉由柵格轉矢量過程的像素鋸齒華現象，保證矢量形狀更貼近人工采集風格。通過設置小于特定像素數量的圖斑剔除，去掉過小圖斑輸出。圖8為輸入無人機遙感影像，自動提取的建筑，道路，水體，耕地，林地和園地矢量成果。

圖8 基于HRNnet模型解譯結果

2.3.2 結果精度評價

本研究精度評價采用像素級的準確率（Precision），召回率（Recall）和F1＿Score三個精度指標進行評價。

準確率（Precision）為模型預測值落在真值中的面積在所有預測值中的面積占比。該值越低說明模型針對該地物的錯檢越多。

召回率（Recall）為模型預測值落在真值中的面積在真值中的面積占比，該值越低說明模型針對該地物的漏檢越多。

F1＿Score代表模型在準確率（Precision）和召回率（Recall）的綜合平均分數。精度評價計算說明如表1所示。

表1 精度評價計算值說明

在廣西北流市、武鳴區(qū)、梧州市及河池市等地針對每類地物各選擇標注400張2 048＊2 048像素的影像進行驗證集標注，作為對各類模型精度評價的基準真值。針對已經訓練得到的建筑、道路、水體、耕地、林地和園地6類地物的精度評價指標如表2所示。

表2 各地類精度評價指標

2.3.3 結果分析及對策

建筑預測模型可以對0.1米左右分辨率的無人機影像自動提取直角化的建筑物矢量輪廓，對20個像素以內的超小建筑存在部分漏提，容易將大棚錯檢為建筑，需要進一步標注增加超小建筑數量，訓練時增加小建筑物的權重，同時有針對性增加大棚樣本作為負樣本進行遷移訓練。道路預測模型提取矢量準確貼合影像道路邊界，對建筑和樹木遮擋的道路需要后續(xù)開展后處理方法研究，完成道路連接性修補。

水體預測模型的準確率超過92%，能夠準確提取水面區(qū)域圖斑，但容易對超大水面的邊緣部分出現漏檢，對部分水域的邊緣貼合度欠佳，耕地預測模型存在少量圖斑邊緣貼合度欠佳，將部分園地錯檢為耕地的情況，林地和園地容易相互錯檢。以上錯檢和漏檢情況后續(xù)需要優(yōu)化現有樣本質量，并增加樣本持續(xù)提升模型預測精度。將利用預測模型對初始樣本進行預測，基于標注結果優(yōu)化原有樣本質量，同時標注各類預測容易漏檢和錯檢的圖斑，對容易漏檢和錯檢的圖斑在label中單獨賦予亮度值，并在后續(xù)模型訓練中增加相應正負樣本權重，同時在廣西選擇更多典型區(qū)域增加樣本標注。

3 應用研究案例

在耕地“非農化”、“非糧化”監(jiān)測項目中，以2022年國土變更調查的耕地矢量圖斑作為耕地基礎圖斑，對武鳴區(qū)、良慶區(qū)、賓陽縣耕地范圍內提取建筑，道路，水體，林地和園地，重點對耕地內的1 379個水體坑塘圖斑下發(fā)外業(yè)核查，開展耕地內養(yǎng)殖坑塘整治工作，相比人工提取標注水體圖斑，可有效提升作業(yè)效率。

在建設項目實施監(jiān)管項目中，套合建設項目審批圖斑，采用訓練的HRNet預測模型對0.1米無人機影像，自動提取平果縣、樂業(yè)縣、凌云縣、隆林縣、賓陽縣、上林縣、西鄉(xiāng)塘區(qū)等1 879平方公里的1 992個疑似新增建筑圖斑并開展外業(yè)核查工作，相比原有全人工判讀，提升約3倍的工作效率。目前在持續(xù)探索在執(zhí)法監(jiān)督和1：500DLG 更新中的道路和水系更細工作中。

在耕地流入項目應用中，采用耕地提取模型，共解譯無人機遙感影像14 600平方公里，自動提取疑似新增耕地流入圖斑30 000個，涉及面積近10 萬畝。經實地舉證檢驗，基于該模型人工智能能提取的正確率達95%。相關成果已運用在日常變更調查、自然資源綜合監(jiān)測成果中。

4 結束語

針對廣西地貌破碎，以及天氣多云多雨情況造成的衛(wèi)星遙感采集覆蓋不及時的情況，充分利用超高分辨率無人機遙感影像，引入HRNet網絡算法，通過標注訓練樣本，開展無人機智能遙感解譯模型研發(fā)，訓練0.1米最佳分辨率的建筑，道路，水體，耕地，林地和園地智能預測模型，通過單獨精修標注的驗證集進行精度評價，以上地類要素的準確率和召回率均超過85%。建筑預測模型存在超小建筑漏檢和大棚錯檢問題，耕地，林地和園地存在混檢的問題，后續(xù)需要通過對原始樣本進行優(yōu)化、標注針對性正、負樣本和增加樣本的方式通過反復調參和模型訓練增加預測模型的泛化性。同時需要持續(xù)研究道路連通性，建筑規(guī)則化和通用圖斑優(yōu)化等后處理算法，提升模型預測圖斑的可用性。