基于U-Net和超像素分割的煙株自動提取分析

楊 威，黃 亮*,2，陳裕漢，夏 炎，常 軍

1.昆明理工大學(xué)國土資源工程學(xué)院，昆明市一二一大街文昌路68號 650093 2.云南省高校高原山區(qū)空間信息測繪技術(shù)應(yīng)用工程研究中心，昆明市一二一大街文昌路68號 650093 3.滇西應(yīng)用技術(shù)大學(xué)，云南省大理市海東山地新城海月街1號 671006 4.自然資源部第一大地測量隊，西安市碑林區(qū)測繪路4號 710054

煙株的準(zhǔn)確識別和數(shù)量統(tǒng)計在煙草種植管理中具有重要意義。準(zhǔn)確掌握煙株的數(shù)量以及空間分布信息能夠為煙葉生產(chǎn)后期的施肥、灌溉和蟲害防治提供依據(jù)，同時還能對煙葉產(chǎn)量進行精確預(yù)估。但傳統(tǒng)人工實地調(diào)查方法效率低且易受到人為主觀性的影響［1］。目前，國內(nèi)外學(xué)者圍繞煙草種植面積和煙草植株精細(xì)提取已開展了較多研究。對于種植面積的提取方面，李天坤［2］和董梅等［3］采用面向?qū)ο蟮姆椒ㄌ崛熖锩娣e，但該方法需選取合適的分割尺度和特征；Zhu等［4］通過監(jiān)督分類與圖像形態(tài)學(xué)操作相結(jié)合，從而實現(xiàn)煙田面積提取。在煙草植株精細(xì)提取的研究中，夏炎等［5］結(jié)合多特征和簡單線性迭代聚類（Simple linear iterative clustering，SLIC）超像素進行煙株提??；謝紅輝［6］和Xie等［7］基于支持向量機進行煙株提取；Fan等［8］則通過結(jié)合分水嶺分割和深度神經(jīng)網(wǎng)絡(luò)提取煙株。但這些研究大多是基于傳統(tǒng)圖像處理方法，提取精度不高，自動化程度較低。近年來，隨著無人機技術(shù)的發(fā)展，消費級無人機的使用有了較大增長，無人機遙感技術(shù)也被廣泛應(yīng)用于各個領(lǐng)域。由于無人機遙感能以靈活、經(jīng)濟、高效的方式獲取超高空間分辨率影像［9］，為精準(zhǔn)農(nóng)業(yè)提供作物空間分布信息，因而被廣泛用于精準(zhǔn)農(nóng)業(yè)生產(chǎn)中［10］。另一方面，隨著計算機軟硬件和計算能力的提升，深度學(xué)習(xí)在科學(xué)研究和實際應(yīng)用中受到了極大的關(guān)注，越來越多的學(xué)者將其運用到農(nóng)業(yè)領(lǐng)域?；跓o人機遙感技術(shù)和深度學(xué)習(xí)，精準(zhǔn)農(nóng)業(yè)得到了快速發(fā)展，但前人的研究對象主要針對糧食作物，而對煙草的研究還鮮見報道。因此，基于無人機的遙感平臺，運用U-Net［11］和SLIC［12］超像素分割技術(shù)來實現(xiàn)煙株的自動精細(xì)提取，旨在降低人工成本，提高煙株計數(shù)效率，為煙草的科學(xué)種植提供依據(jù)。

1 材料與方法

結(jié)合U-Net和SLIC超像素分割方法，實現(xiàn)煙草植株自動提取和計數(shù)。該算法分為5個步驟：①制作語義分割數(shù)據(jù)集；②訓(xùn)練U-Net網(wǎng)絡(luò)提取煙田種植地塊；③構(gòu)建過綠差值指數(shù)去除雜草并對煙草覆蓋面精確提??；④使用SLIC超像素分割方法對煙草區(qū)域進行分割；⑤提取煙株，標(biāo)記煙株位置并統(tǒng)計煙株數(shù)量，最后進行精度評價。流程見圖1。

圖1 煙株提取技術(shù)流程圖Fig.1 Flow chart of tobacco plant extraction and segmentation technology

1.1研究區(qū)基本情況

試驗設(shè)置在貴州省黔西南布依族苗族自治州興仁市（25°18′N～25°47′N，104°54′E～105°34′E），地勢南高北低，年平均氣溫15.2℃，降雨多集中在6～8月，年降水量1 300～1 450 mm，無霜期280 d左右，年均日照時數(shù)1 564.7 h，主要種植烤煙等經(jīng)濟作物。

1.2 數(shù)據(jù)來源及處理

數(shù)據(jù)來源于天池2019年縣域農(nóng)業(yè)大腦AI挑戰(zhàn)賽［13］，拍攝時間為2019年6月19日，影像大小為44 343×33 603像素，影像數(shù)據(jù)包括薏仁米、玉米、烤煙和人造建筑等多種地物，見圖2。其中煙草品種為云煙87，煙株處于大田旺長期，長勢均勻一致，部分煙葉間出現(xiàn)相互遮擋的情況。

圖2 天池2019年縣域農(nóng)業(yè)大腦AI挑戰(zhàn)賽影像縮略圖Fig.2 Thumbnail image of the 2019 Agricultural Brain AI Challenge in Tianchi County

將煙草覆蓋的區(qū)域影像數(shù)據(jù)批量裁剪成大小1 024像素×1 024像素，共得到煙草影像數(shù)據(jù)271張，從中選出190張影像制作數(shù)據(jù)集，用于U-Net的訓(xùn)練和測試，見圖3a。數(shù)據(jù)集采用圖像標(biāo)記工具Labelme進行人工煙株單類標(biāo)記，見圖3b，其中酒紅色為煙田，黑色為背景。

圖3 語義分割數(shù)據(jù)集Fig.3 Semantic segmentation dataset

選取三景煙田面積不同、煙株長勢不一、背景差異較大的影像作為示例數(shù)據(jù)，見圖4。由圖4可見，對于數(shù)據(jù)1，煙田面積約占影像的1/4，煙株大小勻稱，煙田周圍干擾地物較少；數(shù)據(jù)2中整個區(qū)域均是煙田，煙株長勢均一，生長密集；數(shù)據(jù)3中煙田有兩個部分，面積約占影像的1/2，周圍環(huán)境比較復(fù)雜，而且煙田中有雜草。

圖4 示例數(shù)據(jù)Fig.4 Sample dataset

1.3 研究方法

1.3.1 U-Net語義分割

U-Net最早應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域［11］，是對FCN的優(yōu)化和改進［14］。其結(jié)構(gòu)簡單、參數(shù)量少，分為下采樣特征提取和上采樣預(yù)測兩部分，這兩部分組合形成一個U形的網(wǎng)絡(luò)結(jié)構(gòu)，因此被稱為U-Net，如圖5所示。與FCN相比，其改進之處在于多尺度網(wǎng)絡(luò)結(jié)構(gòu)，利用卷積操作將圖像的淺層特征與深層特征進行融合，保留了細(xì)節(jié)信息，從而能夠正確地對像素進行分類，對于小數(shù)據(jù)集和二分類具有優(yōu)異的性能［15］。此外，該網(wǎng)絡(luò)沒有全連接層，可以處理不同尺度的輸入圖像，并返回與輸入圖像大小相同的分割結(jié)果。

圖5 U-Net結(jié)構(gòu)Fig.5 Structure of U-Net

本試驗中手工標(biāo)注數(shù)據(jù)集190張，其中90%（171張）的圖像用于訓(xùn)練模型，其余10%（19張）的圖像用于模型測試。試驗環(huán)境配置為：Intel Core i7-7700HQ四核處理器；NVIDIA GTX1060顯卡，8G DDR4內(nèi)存；深度學(xué)習(xí)框架為TensorFlow，編程語言為Python3.6。在訓(xùn)練模型之前，為減少發(fā)生過擬合現(xiàn)象和提升模型的泛化能力，使用水平翻轉(zhuǎn)、縮放、裁剪和平移對訓(xùn)練數(shù)據(jù)集進行圖像增強。訓(xùn)練U-Net的學(xué)習(xí)率為1×10-5，訓(xùn)練批次大小為2，訓(xùn)練周期為100。

1.3.2 過綠差值指數(shù)構(gòu)建

提取煙田面積之后，大部分煙田中有雜草及其他地物，很大程度上會影響后續(xù)的分割結(jié)果，使用其他常用的植被指數(shù)很難將煙草覆蓋面單獨提取出來，所以構(gòu)建一種新的植被指數(shù)-過綠差值指數(shù)（EGDI）來區(qū)分煙株和雜草，提取煙草覆蓋區(qū)域的計算公式：

式中：G為綠波段值，R為紅波段值，B為藍波段值。

1.3.3 SLIC超像素分割

超像素是將空間上相連的相似像素進行聚類形成的區(qū)域，在高空間分辨率圖像處理和分割中通常以這些區(qū)域作為基本單元來代替原始像素［16］。在眾多的超像素分割方法中，SLIC因其簡單、高效和對圖像邊界具有較強的依附性而得到了廣泛應(yīng)用。

SLIC由4個算法步驟組成。首先初始化種子點，假設(shè)圖像有N個像素點，預(yù)分割為K個相同尺寸的超像素，則每個超像素的大小為N/K，相鄰種子點的距離近似為，為了避免種子點處在圖像的邊緣位置，以及對后續(xù)的聚類過程造成干擾，需要將種子點在以其為中心的3×3的窗口內(nèi)移動到梯度值最小的位置；然后為每個種子分配一個單獨的標(biāo)簽，定義一個聚類中心，并在2S×2S范圍內(nèi)檢索；接著對每個像素點分別計算與之距離最近的種子點之間的相似程度，將最相似種子點的標(biāo)簽賦給該像素；最后不斷迭代該過程，直到收斂［17］。

利用OpenCv-Python實現(xiàn)SLIC算法對影像的分割，為達到最佳試驗效果，經(jīng)過多次分割試驗，分割尺度設(shè)為20，迭代次數(shù)設(shè)為20次，分割完成后使用OpenCV輪廓檢測函數(shù)找出含有煙株的每一個超像素內(nèi)接矩形，并在矩形中心位置用紅色圓點進行標(biāo)記，紅點數(shù)量則為煙株數(shù)量。

2 結(jié)果與分析

2.1 U-Net模型的煙田面積提取結(jié)果

使用訓(xùn)練完成的U-Net模型分別對3景示例數(shù)據(jù)進行預(yù)測，得到煙田面積的提取結(jié)果分別見圖6d、6e和6f。人工標(biāo)記的標(biāo)簽結(jié)果分別見圖6a、6b和6c?？梢钥闯鲇?xùn)練的網(wǎng)絡(luò)模型均能夠有效地提取煙田面積。將傳統(tǒng)的面向?qū)ο蠓诸惙椒ㄗ鳛閷φ眨胑Cognition8.0軟件中多尺度分割的方法對影像進行分割，然后根據(jù)光譜和紋理特征對影像進行分類，得到煙田面積提取結(jié)果，見圖6g、6h和6i。

圖6 煙田面積提取結(jié)果Fig.6 Extraction results and corresponding tobacco field areas

使用語義分割常用評價指標(biāo)平均交并比（MIou）、召回率（Recall）、精度（Precision）和F1值（F1-Score）分別對U-Net分割方法和面向?qū)ο蠓椒ㄌ崛〉臒熖锩娣e進行精度評價，結(jié)果見表1。由表1中可以看出，使用U-Net分割各類指標(biāo)數(shù)值最高，提取煙田面積效果最佳。

表1 煙田面積提取精度評價Tab.1 Precision of tobacco field area extraction （%）

2.2 過綠差值指數(shù)煙株覆蓋面提取結(jié)果

過綠差值指數(shù)能夠有效地將每一壟煙株邊界識別出來，同時又可以將煙田中的雜草去除，見圖7a、7b和7c，并且還能夠?qū)熤旮采w區(qū)域精準(zhǔn)地提取出來，見圖7g、7h和7i。而過綠指數(shù)（Exg）使得邊界模糊，煙株與雜草混淆，見圖7d、7e和7f。

圖7 煙草覆蓋面提取結(jié)果Fig.7 Extraction results of tobacco coverage

2.3 SLIC超像素分割與煙株提取結(jié)果

分割結(jié)果見圖8a、8b和8c，所圍成的封閉不規(guī)則形狀為一個超像素。提取結(jié)果見圖8d、8e和8f。最終數(shù)據(jù)1、數(shù)據(jù)2和數(shù)據(jù)3自動提取出來的煙株分別為257株、1 264株和513株。

圖8 SLIC分割及煙株識別結(jié)果Fig.8 Results of SLIC segmentation and tobacco plant recognition

2.4 煙株提取精度分析

采用總體精度（Overall Accuracy，OA）、錯檢誤差（Commission Error，CE）、漏檢誤差（Omissions Error，OE）和準(zhǔn)確度（Accuracy Rate，AR）作為精度評價指標(biāo)［18］。各個精度評價指標(biāo)計算公式：

式中：Nd表示計算出的煙株數(shù)，Nv表示實際樣本株數(shù)，Nc表示錯誤標(biāo)注的株數(shù)，No表示遺漏標(biāo)注的株數(shù)。

煙株中心點檢測過程中出現(xiàn)的5種結(jié)果如圖9所示。其中圖9a探測到煙株中心點位置位于煙草位置的緩沖區(qū)內(nèi)，且僅探測到一個中心點，為正確標(biāo)注；圖9b和圖9c為兩種錯檢情況；圖9d、圖9e為兩種漏檢情況。其中圖9b和9e分別作為一個正確標(biāo)注和一個錯誤標(biāo)注處理。

圖9 煙株識別中出現(xiàn)的情況分析Fig.9 Situations occurred during tobacco plant recognition

數(shù)據(jù)1的實際煙株數(shù)為259株，本試驗中提取的煙株數(shù)為257株，總體精度為99.23%，錯檢率為3.86%，漏檢率為2.32%，準(zhǔn)確度為93.82%；數(shù)據(jù)2實際煙株數(shù)為1 272株，提取的煙株數(shù)為1 264株，總體精度為99.37%，錯檢率為3.62%，漏檢率為2.67%，準(zhǔn)確度為93.71%；數(shù)據(jù)3的實際煙株數(shù)為508株，提取的煙株數(shù)為513株，總體精度為99.02%，錯檢率為4.13%，漏檢率為3.15%，準(zhǔn)確度為92.72%。精度分析結(jié)果見表2。

表2 煙株提取精度分析Tab.2 Evaluation of extraction precision of tobacco plants

從試驗結(jié)果來看，示例數(shù)據(jù)1和2煙草長勢一致，煙株均勻，且煙田中無雜草，試驗總體精度和準(zhǔn)確度較高;數(shù)據(jù)3中煙株大小不一致，很多小煙株被漏檢，而較大的煙株被拆分開，導(dǎo)致錯檢?？傮w而言，煙株提取的平均總體精度和平均準(zhǔn)確度均較高，分別為99.21%和93.42%。

不同提取方法對煙株的提取效果見表3。從表3中可以看出，本試驗中采用的方法平均總體精度和平均準(zhǔn)確度均達到最高。

表3 不同提取方法的比較Tab.3 Comparison among different extraction methods （%）

3 結(jié)論

基于無人機影像，結(jié)合U-Net和SLIC超像素分割，建立了煙株自動提取和計數(shù)方法。結(jié)果表明，該方法在煙株提取和計數(shù)中應(yīng)用效果良好，煙株提取的平均總體精度為99.21%，平均準(zhǔn)確度為93.42%。該方法自動化程度高，提取精度可滿足實際生產(chǎn)管理需求，為煙草種植管理提供了技術(shù)支持。