結合Faster-RCNN和局部最大值法的森林單木信息提取

王 臻， 王珠鶴

（中國地質大學（北京）土地科學技術學院，北京 100083）

0 引 言

森林是陸地最大的生態(tài)系統(tǒng)，在維持與保護全球氣候發(fā)揮著重要作用。激光探測與測量（Light Detection and Ranging，LiDAR）技術具有能夠部分穿透森林冠層的特點，被廣泛應用于森林調查。利用LiDAR技術進行單木提取獲得的森林參數(shù)能夠服務于生物量以及森林生態(tài)系統(tǒng)的生物物理過程等研究［1］，得到了廣泛的關注。

森林點云去除地面高程影響后形成歸一化植被點云，歸一化植被點云柵格化后能生成冠層高度模型（Canopy Height Model，CHM）。與之對應的單木提取方法分為：基于點云的方法和基于CHM的方法。

基于點云的方法的優(yōu)點是避免了CHM 柵格化導致的信息損失，且有機會提取到下層木。缺點是點云處理復雜，效率低，且點云密度不足時，下層木無法有效體現(xiàn)在點云中。主要方法包括，K-均值聚類算法［2］，均值漂移算法［3］等。Gupta 等［4］和林怡等［1］發(fā)現(xiàn)以局部最大值法或圓檢測理論提取的樹頂點作為聚類的初始種子點進行聚類，提取效果優(yōu)于直接聚類。

CHM能夠直觀反映樹頂點以及樹冠表面高程起伏，樹冠表面高程起伏是連續(xù)表面的特征，在離散點云中難以有效表達，充分利用樹冠表面高程起伏特征在CHM上提取上層木時有一定優(yōu)勢。CHM 有效提取上層木也為下層木的準確提取創(chuàng)造了條件［5-6］。但是當前方法主要采用局部最大值法［7-8］，或輪廓識別法［9-10］提取單木，無法充分描述樹冠表面高程起伏特征，導致這些方法單木提取能力較弱。同時這些方法依賴人工建立的特征，無法從數(shù)據(jù)中自動進行特征提取，導致它們無法適應復雜多變的森林環(huán)境。

本文借助深度學習優(yōu)秀的自動特征提取能力，利用Faster-RCNN 方法［11］在CHM 上進行單木提取，同時用局部最大值法對其進行補充，實現(xiàn)了高精度單木提取，并在單木探測數(shù)據(jù)庫NEWFOR［12］上驗證了有效性。

1 單木提取方法

本文方法主要包含：樹標簽構建、Faster-RCNN 單木提取和局部最大值法單木提取3 部分。最終單木提取結果為Faster-RCNN 和局部最大值法提取單木的總和。

1.1 樹標簽構建

采用Faster-RCNN進行單木提取，首先要獲得單木外包框作為訓練樣本進行神經(jīng)網(wǎng)絡的訓練。NEWFOR數(shù)據(jù)庫中只包含樹頂點的位置以及高度信息，缺乏冠幅信息，無法有效獲得樹的外包框。雖能直接從點云中人工劃分單木，因點云比較雜亂，且多棵樹互相疊掩，單木范圍難以確定。依據(jù)樹高和冠幅具有相關性［13］，利用樹高和冠幅之間的關系，能夠快速獲取單木外包框，用于Faster-RCNN訓練。

從點云中獲取容易辨別的單木，人工確定它們的外包正方形。依據(jù)數(shù)據(jù)庫中樹頂點的位置和高度，確定樹頂點點云所在位置。利用樹高和外包正方形邊長建立回歸方程。高度與外包正方形邊長的散點如圖1所示。采用線性方程擬合散點，回歸方程的R2為0.69，表明樹高與外包正方形邊長具有較高相關性。利用該回歸方程結合單木樹高求得所有單木的外包框用于網(wǎng)絡訓練，單木外包框如圖2 所示。

圖1 樹高與外包正方形邊長的散點圖

圖2 單木外包框

該方法不僅能應用于NEWFOR數(shù)據(jù)庫，且能推廣到其他已經(jīng)獲取的點云或其他數(shù)據(jù)庫中用于深度學習單木提取訓練集的構建。

1.2 Faster-RCNN網(wǎng)絡

Faster-RCNN 網(wǎng)絡主要包含特征提取網(wǎng)絡，區(qū)域提名網(wǎng)絡（Region Proposal Network，RPN）網(wǎng)絡和外包框提取網(wǎng)絡，其中特征提取網(wǎng)絡用于從CHM 中提取特征作為RPN網(wǎng)絡的輸入，RPN網(wǎng)絡用來獲得單木候選框，外包框提取網(wǎng)絡基于單木候選框獲取最終單木外包框。

1.2.1 特征提取網(wǎng)絡

VGG-16 網(wǎng)絡［14］被用來作為特征提取網(wǎng)絡，該網(wǎng)絡結構簡潔，具有良好的遷移能力，適合在CHM 模型上進行提取特征。VGG-16 網(wǎng)絡的輸出為CHM 特征圖，大小為CHM的1/16，CHM特征圖是RPN的輸入。

傳統(tǒng)方法中為減少點云噪聲和CHM 中空洞對尋找樹頂點的影響，會利用不同窗口大小的濾波器對CHM進行濾波，濾波器窗口大小的選擇會對提取結果有巨大影響。窗口過大容易抹平樹頂點，導致單木漏分；窗口過小會探測到大量非樹頂點的局部最大值，導致錯分，復雜森林環(huán)境中選擇合適的窗口尤為困難。

VGG網(wǎng)絡通過本身含有的多個卷積層以及池化層對CHM進行特征提取。相當于采用了多個不同窗口大小的濾波器對CHM進行探測。多個不同窗口大小濾波器探測的結果也就是VGG網(wǎng)絡輸出的CHM特征圖，將被后續(xù)網(wǎng)絡綜合判斷進行單木提取，避免了傳統(tǒng)方法中濾波器窗口大小選擇的問題。

1.2.2 RPN網(wǎng)絡

RPN網(wǎng)絡通過錨點框的建立，實現(xiàn)自動候選區(qū)的建立。RPN對CHM特征圖上的每一個像元生成不同大小的錨點框。錨點框是原始圖像上以CHM 特征圖中一個像元為中心的不同大小的窗口。本文使用了邊長為8、16、32 個像元和長寬比為0.5、1、2 的錨點框，也就是每個CHM 特征圖中的像元對應9 個錨點框。利用該像元的特征能預測這9 個錨點框是否包含單木以及預測通過錨點框得到的候選框的位置。為讓神經(jīng)網(wǎng)絡達到該目的，要定義參與訓練的正負樣本錨點框，建立對應的目標函數(shù)。

正負樣本錨點框依據(jù)錨點框和單木真實外包框的重疊度確定，重疊度通過交并比（Intersection over Union，IOU）表達。

式中：SIntersection為2 個外包框的交集；SUnion為2 個外包框的并集。

正負樣本錨點框確定步驟如下：

步驟1將與單木真實外包框IOU最大的錨點框作為正樣本，保證每個單木真實外包框都有一個錨點框與之對應；

步驟2將剩余的錨點框中與單木真實外包框IOU ＞70%的錨點框作為正樣本，IOU ＜30%的錨框作為負樣本。正樣本確定過程中，保證每一個正樣本錨點框都和唯一的單木真實外包框對應。

確定正負樣本后，就要定義RPN 網(wǎng)絡目標函數(shù)，求解目標函數(shù)能夠得到單木候選框的位置以及其屬于單木的概率。RPN網(wǎng)絡目標函數(shù)

式中：pi為第i個錨點框單木預測概為第i個錨點框是單木的真實概率，正樣本錨點，負樣本錨點框p*i=0；ti為第i個錨點框預測的單木候選框的4 個坐標值組成的向量為第i個錨點框對應的單木真實外包框的4 個坐標值組成的向量；Ncls為所有錨點框的數(shù)量；Nreg為所有正樣本錨點框的數(shù)量；Lcls為單木預測的損失函數(shù)，為交叉熵函數(shù)；Lreg為邊框回歸算法的損失函數(shù)；λ 為權重，控制Lcls和Lreg約束的比例。式（2）中第1 項用于約束錨點框預測單木的準確性，第2 項表示對正樣本的錨點框進行邊框回歸算法［11］，最小化模型輸出的單木候選框和單木真實外包框的差異。

RPN網(wǎng)絡中CHM特征圖上每一個柵格都生成錨點框，幾乎可以覆蓋CHM上所有可能有樹的地方，不需要額外進行手工規(guī)則進行單木提取，只需要利用錨點框和CHM特征圖進行單木判斷識別單木。

1.2.3 外包框提取網(wǎng)絡

RPN網(wǎng)絡獲得候選框后，外包框提取網(wǎng)絡將進一步判定候選框是否是單木，同時輸出更準確的單木外包框位置。

與單木真實外包框IOU ＞70%的錨點框都作為正樣本，單木真實外包框周圍會有多個被判斷為單木的候選框，要去除這些重復的候選框，需要采用非極大值抑制（Non-Maximum Suppression，NMS）算法［11］。NMS算法步驟為：

步驟1將當前候選框按照其屬于單木的概率進行排序并放入集合｛A｝中，｛A｝中最高概率的候選框是單木候選框T，并將T從｛A｝中刪除；

步驟2遍歷｛A｝中其余的候選框，刪除與T的IOU大于閾值的候選框；

步驟3重復上述過程，直到｛A｝中沒有候選框。

經(jīng)過NMS后得到的單木候選框，采用感興趣區(qū)域池化的方法［11］能從CHM 特征圖中獲得對應特征，再次利用式（2）對該候選框內特征進行約束可以得到最終候選框的位置以及其屬于單木的概率。和RPN 網(wǎng)絡中不同的是外包框提取網(wǎng)絡中目標函數(shù)針對的是NMS得到候選框，而不再是RPN網(wǎng)絡中的錨點框。外包框提取網(wǎng)絡最終候選框中屬于單木的概率大于概率得分閾值的候選框作為Faster-RCNN 單木提取的結果。

NMS后得到的單木候選框和單木樹冠具有較高的重合度，通過該候選框從CHM 特征圖中獲取的特征包含較為完整和獨立的單木樹冠高程起伏信息。相對只利用樹頂點和樹輪廓，外包框內的特征信息更加豐富，采用Faster-RCNN 相對傳統(tǒng)方法能具有更高的魯棒性。

1.3 局部最大值法提取樹頂點

Faster-RCNN通過判斷錨點框或候選框是否屬于單木實現(xiàn)單木提取，誤判是不可避免的，會存在部分區(qū)域有點云但是沒有識別到樹的情況。這些區(qū)域，采用局部最大值法繼續(xù)提取單木。最終提取的單木數(shù)量為Faster-RCNN提取的單木數(shù)量和局部最大值法提取的單木數(shù)量之和。

局部最大值法提取單木的步驟：

步驟1獲取CHM中未被任意Faster-RCNN提取的單木外包框包含的像元；

步驟2依據(jù)該像元的值也就是樹高以及1.1 中建立的單木外包框和樹高的關系，確定外包框大??；

步驟3如果該像元是該外包框的最大值，則該外包框是單木外包框。

2 實驗結果與分析

2.1 實驗數(shù)據(jù)

NEWFOR數(shù)據(jù)庫中Leskova地區(qū)被用于本文方法的驗證。Leskova地區(qū)包含4 個樣地，295 棵樹，點云密度為30 點/m2，是冷杉、云杉，山毛櫸，梧桐等樹木組成的多層針闊混交林，能夠用于驗證本文方法在復雜森林區(qū)域的提取性能。

2.2 單木提取性能

為驗證方法的魯棒性及泛化性，采用4 倍交叉訓練的方式進行訓練和測試，選取3 塊樣地做訓練集，1塊做測試集，重復4 次，直到所有樣地都被測試到。

2.2.1 定性分析

圖3顯示了Leskova地區(qū)a 區(qū)域和b 區(qū)域的單木提取結果，其中紅色點代表真實樹頂點的位置，綠色框代表預測的單木外包框，黑色代表有樹點云的像元。

圖3 CHM上提取結果

由圖3 可見，單木提取結果較好，大部分樹都被有效提取，即使樣地內樹間距比較緊密，依然保持了良好的提取能力，顯示了本文方法良好的性能。

圖4顯示了局部最大值法的效果，圖4 按樹高分層設色顯示了一個區(qū)域的點云。圖4（a）是垂直視角的點云，圖4（b）是3 個紅色框內樹點云的水平視角。這3 棵樹只有一半樹有點云，轉化成CHM 后，F(xiàn)aster-RCNN無法有效識別。通過局部最大值法這3 棵樹能被提取到，這顯示了局部最大值法是Faster-RCNN 有益的補充。

2.2.2 定量分析

圖4 局部最大值法的提取效果

除了定性分析，定量分析也被用來評估單木提取精度。依據(jù)文獻［6，12］，單木被探測到的標準為：將算法探測到的單木頂點水平距離最近的真實單木頂點對應的單木作為其探測到的真實單木。精度評價指標通常采用提取率（ER）、匹配率（MR）、錯分率（CR）、漏分率（OR）以及F1-Measure。則：

式中：Ntest為算法提取的單木數(shù)量；Nref為真實單木數(shù)量；Nmatch為算法提取的單木中匹配正確的單木數(shù)量；NCom為算法提取的單木中匹配錯誤的單木數(shù)量；NOm為真實單木中未被匹配的單木數(shù)量。

Faster-RCNN單木提取結果受到概率得分閾值和NMS閾值影響，對不同的概率得分閾值和NMS 閾值組合進行測試，驗證方法性能的同時測試方法敏感性。不同閾值結果見表1。

表1 不同NMS閾值和概率得分閾值下單木提取結果

由表1 可見，概率得分閾值越高，提取率、匹配率和錯分率都越低；NMS閾值越高，提取率、匹配率和錯分率都越高。這是因為得分閾值越高，保留的外包框變少，對應的正確的和錯誤的外包框都會變少；NMS閾值越高，去掉的重疊的框越少，對應的去掉的正確的和錯誤的外包框都會變少。概率得分閾值為0.5，NMS閾值為0.3 時，F(xiàn)1度量結果最好為0.72，證明了模型具有優(yōu)異的單木提取能力，且較高的F1度量證明了模型能夠有效兼顧探測能力和探測精度兩方面。除了概率得分閾值為0.4，NMS 閾值為0.5 以外，F(xiàn)1度量都大于0.65，證明了方法對NMS 閾值和概率得分閾值敏感性較低，整體保持了較高的精度，確保了模型即使在復雜地區(qū)，NMS閾值和概率得分閾值不是最優(yōu)設置情況下，也能保證較高的精度。

為進一步驗本文方法的單木提取能力，表2 顯示了與其他主要方法包括局部最大值+濾波法（方法1）［12］、局部最大值+區(qū)域生長法（方法2）［12］、局部最大值+多尺度CHM法（方法3）［12］、分割+聚類法（方法4）［12］、Mean shift 法（方法5）［15］、水平分割+垂直合并法（方法6）［16］，標記分水嶺+空間分析法（方法7）［6］的比較結果。這些方法在相似地區(qū)的結果報告從文獻［6］中得到。因為大部分方法報告的提取率都略大于100%，為了方便比較，表2 中將概率得分閾值為0.4，NMS 閾值為0.3 時的結果進行了展示。對比可知，本文方法在相似的提取率情況下，具有最低的遺漏率、錯分率以及最高的匹配率，證明了本文方法具有最優(yōu)的性能。

表2 不同方法的提取結果對比

3 結 語

本文提出了一種Faster-RCNN結合局部最大值法進行單木提取的方法，該方法具有能夠自動有效利用樹冠高程起伏特征的優(yōu)點。實驗結果表明，本文方法能夠有效提取森林單木，并且精度優(yōu)于當前主要方法。