模糊超像素分割算法的無人機(jī)影像煙株精細(xì)提取

夏炎，黃亮,2，陳朋弟

(1.昆明理工大學(xué)國土資源工程學(xué)院，昆明 650093； 2.云南省高校高原山區(qū)空間信息測繪技術(shù)應(yīng)用工程研究中心，昆明 650093)

0 引言

煙草是一種經(jīng)濟(jì)價(jià)值較高的作物，云南省因其自然環(huán)境優(yōu)勢，成為煙草種植的主要地區(qū)之一，種植煙草已成為當(dāng)?shù)責(zé)熮r(nóng)經(jīng)濟(jì)收入和經(jīng)濟(jì)發(fā)展的主要途徑之一。國家煙草專賣局于2007年提出發(fā)展現(xiàn)代農(nóng)業(yè)的戰(zhàn)略目標(biāo)，并建設(shè)現(xiàn)代化煙草農(nóng)業(yè)，努力實(shí)現(xiàn)“一基四化”的目標(biāo)[1]。與傳統(tǒng)人工統(tǒng)計(jì)相比，煙株的自動(dòng)化提取可以大大加快對于煙草的統(tǒng)計(jì)速度，通過提取結(jié)果對煙草的產(chǎn)量、質(zhì)量以及銷售價(jià)格做到估計(jì)和預(yù)判，可幫助貧困煙農(nóng)產(chǎn)煙銷煙。努力實(shí)現(xiàn)農(nóng)村地區(qū)煙草單株自動(dòng)化提取，并與精準(zhǔn)扶貧工作相結(jié)合[2]，對加快現(xiàn)代化農(nóng)業(yè)發(fā)展有重要意義。

運(yùn)用遙感影像對煙草進(jìn)行提取已逐漸被推廣，國內(nèi)外諸多學(xué)者就煙草的提取問題探討和研究。Han[3]采用支持向量機(jī)(support vector machine，SVM)的方法對烤煙的生長部分進(jìn)行識別和提取； 吳孟泉等[4]對云南產(chǎn)煙縣利用遙感監(jiān)測手段和監(jiān)督分類方法對煙田地塊和面積進(jìn)行提取； Guru等[5]結(jié)合概率神經(jīng)網(wǎng)絡(luò)和形態(tài)學(xué)，對病變的幼苗煙葉進(jìn)行分類和提取； 李天坤[6]以多種遙感影像為數(shù)據(jù)源，利用SVM和面向?qū)ο蠓诸惖确椒▽煵莘N植面積進(jìn)行提??； 董梅等[7]和陳金等[8]等分別選取多種特征值，結(jié)合形態(tài)學(xué)和面向?qū)ο蟮确椒?，對煙草的種植面積進(jìn)行提取； 胡九超[9]選取雙極化Terra SAR-X和的全極化Radarsat-2為研究數(shù)據(jù)，利用高分辨率合成孔徑雷達(dá)(synthetic aperture Radar，SAR)對煙草進(jìn)行識別和提取； 劉明芹等[10]以資源三號衛(wèi)星為研究數(shù)據(jù)，利用面向?qū)ο蟮姆椒?，結(jié)合地面控制點(diǎn)(ground control-point, GCP)的光譜、紋理和形狀等屬性對煙草面積進(jìn)行提??； 王政等[11]以環(huán)境一號(HJ-1)衛(wèi)星為基礎(chǔ)，分析比較歸一化植被指數(shù)(normalized difference vegetation index , NDVI)和比值植被指數(shù)(ratio vegetation index , RVI),快速準(zhǔn)確的獲得烤煙種植信息； 付靜[12]結(jié)合Otsu算法和形態(tài)學(xué)方法，分別對煙草苗期株數(shù)進(jìn)行提取。分析近年來國內(nèi)外針對煙草的提取研究可知，由于煙草為小目標(biāo)地物，許多衛(wèi)星遙感影像的空間分辨率不足以區(qū)分出種植煙草株數(shù)，僅依靠種植面積很難判斷煙草產(chǎn)量、長勢和蟲害等情況，煙株提取則更為有效直觀，可獲取更多豐富信息。目前大多集中于種植面積提取，而對于煙草株數(shù)提取方面則研究較少； 從提取方法上看，由于煙草葉片較小且形狀不規(guī)則等因素，給其單株提取帶來了極大的困難，在前期研究中，采用的方法有多尺度分割算法和基于形態(tài)學(xué)分割算法等，但仍然存在一定問題，如邊界依附性差、分割尺度難以確定以及分割錯(cuò)誤等。具體來說，目前常用的分割方法中，SVM算法可以解決非線性分類，但對和函數(shù)的選取敏感，且計(jì)算量大耗時(shí)較長[13-14]； Otsu算法雖不受圖像對比度和亮度的影像，但對噪音較為敏感，當(dāng)目標(biāo)與背景的灰度有較多重疊時(shí)，也難以將其區(qū)分[15-16]，分水嶺算法受噪聲點(diǎn)和圖像的連續(xù)性影像較大，容易出現(xiàn)嚴(yán)重的過分割現(xiàn)象[17]； K-mean算法中對k值的選取難以把握，且容易陷入局部最優(yōu)的問題[18-19]。

采用模糊超像素(fuzzy-superpixels,FS)算法進(jìn)行預(yù)分割可為后續(xù)煙草精細(xì)提取提供基礎(chǔ)，F(xiàn)S算法更易理解和實(shí)現(xiàn)，具有更好的邊界一致性，也可減少混合超像素產(chǎn)生，耗時(shí)較短，部分學(xué)者也利用相似的方法對高分辨率遙感影像進(jìn)行分割[20]。因此，本文以云南省宜良縣為研究區(qū)，選取亞米級空間分辨率的無人機(jī)影像作為實(shí)驗(yàn)影像，提出FS分割結(jié)合多特征的無人機(jī)煙株提取方法，以期實(shí)現(xiàn)煙株的精細(xì)提取。

1 研究區(qū)概況及數(shù)據(jù)源

1.1 研究區(qū)概況

宜良縣位于云南省中部，地處N24°30′36″～25°17′02″，E102°58′22″～103°28′75″之間，屬北亞熱帶季風(fēng)氣候區(qū)，全年平均氣溫16.3 ℃，年均降雨量898.9 mm，5—10月受孟加拉海灣海洋西南季風(fēng)影響，導(dǎo)致降雨量顯著增加，占全年的80～85%； 大部分地區(qū)海拔在1 500～1 800 m之間，占地1 913.53 km2，地勢為南低北高，境內(nèi)河流屬珠江流域西江水系，土壤多以紅壤為主，占土壤總面積的85.1%，該區(qū)域主要種植的作物有小麥、玉米、豆類、煙草、油菜和水稻等。

1.2 數(shù)據(jù)源

以穩(wěn)定性較強(qiáng)的中海達(dá)iFly-U3電動(dòng)固定翼無人機(jī)為平臺(tái)，搭載SONYa7R相機(jī)，像幅大小為7 360像素×4 912像素。拍攝日期為2018年7月中旬，飛行速度為85 km/h，飛行高度介于3 000～4 000 m之間，拍攝氣溫19 ℃。

選取3景影像(圖1)，均為復(fù)雜場景下的煙草種植區(qū)，包含房屋、灌木、裸地、道路和湖泊等多種地物，影像分辨率均為0.05 m，影像清晰，變形小且無云霧遮擋，滿足煙株提取要求。影像包含紅(R)、綠(G)、藍(lán)(B)3個(gè)波段，采用WGS-84坐標(biāo)系。其中，數(shù)據(jù)1大小為1 230像素×675像素，種植區(qū)域不規(guī)則，煙葉顏色多為青黃色和暗黃色，葉片較??； 數(shù)據(jù)2大小為1 163像素×919像素，煙株葉片呈深綠色，種植區(qū)域位于房屋之間； 數(shù)據(jù)3的影像大小為1 438像素×800像素，種植區(qū)域位于湖泊下側(cè)，煙株間差異較大，左下方煙株顏色多為深綠色，葉片較大且生長密集，其余煙株顏色多為暗黃色，葉片較小。3景影像通過目視可有效辨認(rèn)煙株數(shù)目，為后期提取煙株數(shù)目提供有效參考，但煙葉之間以及煙草與周圍雜草之間均存在相互遮擋的情況，煙葉種植邊界與灌木或雜草的邊界難以區(qū)分，給后期提取帶來一定困難。

2 研究方法

本文研究方法分為5個(gè)步驟： ①對無人機(jī)進(jìn)行植被提取并判斷是否提取完全； ②采用FS分割算法對影像進(jìn)行分割； ③選擇對應(yīng)特征并對特征值的最佳閾值進(jìn)行選??； ④結(jié)合最佳閾值和人機(jī)交互對煙株數(shù)目進(jìn)行提?。?⑤對提取得到的煙株信息進(jìn)行統(tǒng)計(jì)分析和精度評價(jià)。具體流程圖如圖2所示。

圖2 方法流程Fig.2 Flow chart of proposed method

2.1 綠地提取方法

無人機(jī)影像的光譜性質(zhì)特殊，只含有R，G，B這3個(gè)波段，缺少對于綠地較為敏感的近紅外(NIR)波段，固先將影像的顏色空間從RGB轉(zhuǎn)換為HSV，然后對圖像進(jìn)行色彩分割，通過多次實(shí)驗(yàn)，確定分割的閾值如下： 0.180.16； 再將提取得到結(jié)果中面積小于0.1 m2的圖斑刪除并對內(nèi)部空洞處進(jìn)行填充，最終得到綠地區(qū)域。

2.2 FS超像素分割算法

超像素分割在圖像的分割、分類和信息提取方面都是一個(gè)重要的組成部分，它是由許多位置相鄰且擁有相似特征(如光譜特征、紋理特征和幾何特征)的像素組成的像素集合，形成的區(qū)域提高了分割的效率，減少了分割的冗余信息，并保留了較完整的圖形邊界。不同的超像素算法有各自不同的優(yōu)缺點(diǎn)，但現(xiàn)有分割方法存在形成大量混合超像素的問題，對信息提取有較大影響。

Guo等[21]針對這一問題提出模糊超像素這一概念，目的是強(qiáng)制減少混合超像素。模糊超像素分為兩部分： 超像素和不確定像素。其中，不確定像素是指未被確定的像素且也不屬于任何超像素的像素。FS超像素具體的實(shí)現(xiàn)步驟如下：

2)根據(jù)模糊超像素的數(shù)量和聚類中心找出非重疊搜索區(qū)域和重疊搜索區(qū)域，非重疊搜索區(qū)域中的像素屬于該聚類中心對應(yīng)的超像素，并分配對應(yīng)標(biāo)簽。針對任何一個(gè)像素，所對應(yīng)的不同聚類中心的隸屬度u和為1。定義為：

(1)

式中：i為重疊區(qū)域的像素；j為對應(yīng)中心像素；c為與像素i可能有關(guān)的的所有聚類中心像素總數(shù)；n為重疊區(qū)域像素的次數(shù)。

重疊區(qū)域的每一個(gè)像素到該聚類中心的距離定義為：

(2)

式中:u(i,j)∈[0,1]，其中[0,1]為隸屬度的取值范圍;C1,…,Cc為中心像素，Jj∈(C1,...,Cc)；m∈[1,∞)為索引權(quán)重;Dpolsar為像素i、中心像素j之間的距離計(jì)算公式，既考慮了無人機(jī)影像的性質(zhì)又考慮了像素之間的位置關(guān)系，其具體定義如下：

(3)

式中：dw(i,j)為基于Wishart分布的距離；dxy(i,j)為空間距離；mpol為一個(gè)平衡基于Wishart分布的距離和位置距離的重要性參數(shù)，mpol值越大，位置越接近。dw(i,j)和dxy(i,j)公式分別為：

(4)

(5)

式中:Ti為該分布的相干矩陣； Tr為矩陣Ti的跡。

構(gòu)造最小化目標(biāo)函數(shù)，使J(U,C1,....Cc)取得最小值，最小化目標(biāo)函數(shù)定義為：

(6)

式中λ為該約束函數(shù)的梯度值。

3)確定非重疊區(qū)域的超像素，然后計(jì)算重疊區(qū)域的像素和中心像素之間的隸屬度，過程如下：

(7)

(8)

式中k為未重疊時(shí)的中心像素。

4)后處理。通過判斷像素的隸屬度進(jìn)而判斷該像素是否屬于超像素，同時(shí)強(qiáng)調(diào)區(qū)域的連通性。判斷過程如下：

Udiff=Umax-Usubmax=[Udiff1,...,Udiffn] ，

(9)

UdiffMed=median(Udiff)，

(10)

式中：Udiff為像素隸屬度差值;Umax為對應(yīng)像素最大隸屬值;Usubmax為下一像素的最大隸屬值;UdiffMed為該像素隸屬值的中值。?i∈n，若Udiffi>UdiffMed，則像素i屬于中心像素的超像素; 否則，i為未被確定的像素。

2.3 特征最佳閾值分析

結(jié)合影像信息，通過多次對不同特征的驗(yàn)證，選擇均值(Mean)、亮度(Brightness)、形狀指數(shù)(Shape Index)、長寬比(Length/Width)、自定義植被指數(shù)(custom vegetation index,CVI)、各波段灰度共生矩陣熵(GLCM Entropy)和對比度(GLCM Contrast)以及紅、綠、藍(lán)3個(gè)波段。

均值由構(gòu)成對象的全部n個(gè)像素的灰度值Cn計(jì)算得到，均值和亮度的公式分別為：

學(xué)?？梢蚤_展針對任務(wù)型教學(xué)法的觀課、評課比賽。通過學(xué)習(xí)其他教師的教學(xué)優(yōu)勢，提高自身素質(zhì)，定期檢查教案，評比教案。教師需要反復(fù)收集材料，處理材料，設(shè)定任務(wù)，精算時(shí)間。這是一個(gè)班級成功的關(guān)鍵。備課是一項(xiàng)艱苦的心理活動(dòng)，教師必須在有限的時(shí)間內(nèi)計(jì)劃好所有的步驟，準(zhǔn)備應(yīng)對緊急情況的策略。與沒有任何準(zhǔn)備的純教學(xué)相比，它有不同的效果。在任務(wù)的設(shè)計(jì)上，一個(gè)課時(shí)的任務(wù)數(shù)量要根據(jù)教學(xué)內(nèi)容來設(shè)置。它不能太多或太少。Skehan曾說過，“任務(wù)型教學(xué)的核心是讓學(xué)生通過學(xué)習(xí)語言完成任務(wù)?！盵1]任務(wù)設(shè)置必須有針對性。通過完成這項(xiàng)任務(wù)，學(xué)生將掌握一些技能。老師應(yīng)該掌握這項(xiàng)工作的困難程度。

(11)

(12)

式中：n為像素個(gè)數(shù)；L為圖層數(shù)；CLi為i層對應(yīng)的灰度值；nL為影像對象圖層的數(shù)量；ci為第i層影像對象的光譜值。

長寬比是取影像矩陣長和寬特征值的協(xié)方差，得到比值γ：

(13)

式中eigi(i=1,2)為長(寬)協(xié)方差矩陣的特征值。

形狀指數(shù)s公式為：

(14)

式中：e為影像對象的邊界長度；A為影像對象的總面積。使用形狀指數(shù)可以描述影像對象邊界的光滑度，影像對象越破碎，則形狀指數(shù)越大。

CVI公式為：

(15)

式中：G為綠波段值;B為藍(lán)波段值;R為紅波段值。

熵(GLCM Entropy,E)和對比度(GLCM Contrast,C)的公式分別為：

(16)

(17)

首先對綠地進(jìn)行提取得到煙草的候選區(qū)域，利用以上特征來計(jì)算超像素的各個(gè)特征值，分別進(jìn)行計(jì)算和分析，結(jié)合監(jiān)督分類，將綠地分為煙草區(qū)域和非煙草區(qū)域兩部分，對比兩類區(qū)域不同特征的變化。通過多次實(shí)驗(yàn)，得到差別最為明顯的特征分別為均值、亮度、自定義植被指數(shù)和灰度共生矩陣對比度4個(gè)特征，具體如圖3所示。由于煙草和非煙草的數(shù)據(jù)量都較大，在進(jìn)行特征統(tǒng)計(jì)和分析時(shí)，選用該特征每一階段的平均值作為實(shí)際使用值，減少了大量的冗余數(shù)據(jù)。從圖中可以看出，煙草的光譜均值、亮度值和灰度共生矩陣對比度的值均處于非煙草同種特征值的上方，如圖(a)、(b)、(d)所示； 從圖(c)中可以看出，煙草的CVI指數(shù)的波動(dòng)范圍明顯比非煙草的波動(dòng)范圍小，大概穩(wěn)定在0.1和0.17之間，以上特征能較好地將煙草區(qū)域和非煙草區(qū)域區(qū)分開。

3 結(jié)果與分析

3.1 植被提取結(jié)果

通過植被提取算法，得到影像的綠地提取結(jié)果，如圖4所示。從圖中可以看出，植被從影像中被完全提取出來，裸地、土壤和建筑物的信息被全部剔除，減少了后期對煙草提取的大量干擾。

3.2 分割結(jié)果

由于無人機(jī)的拍攝高度不同，導(dǎo)致3景影像中煙草煙葉大小相差較大，分割尺度也不同。利用FS超像素算法對植被提取結(jié)果進(jìn)行分割，經(jīng)過多次實(shí)驗(yàn)，得到相對最優(yōu)分割尺度，其中： 數(shù)據(jù)1分割尺度為2 500，如圖5(a)所示； 數(shù)據(jù)2分割尺度為2 300，如圖5(b)所示； 數(shù)據(jù)3分割尺度為3 000，如圖5(c)所示。

以FS超像素分割尺度為基礎(chǔ)，利用多尺度分割算法對植被提取結(jié)果進(jìn)行分割，計(jì)算公式為：

(18)

式中：Len為多尺度分割的分割尺度；N為影像的總像素大小；M為FS超像素算法的分割尺度。計(jì)算得到3景影像分割尺度分別為25，21和20，分割結(jié)果如圖6所示。

3.3 煙株提取結(jié)果

本文研究方法得到的提取結(jié)果如圖7所示。從圖中可以看出，白色區(qū)域?yàn)樘崛〉玫降臒煵輩^(qū)域，紅色部分為煙株的提取邊界，和真實(shí)煙株相比較可看出邊界一致性較好，提取得到的圖斑形狀和煙葉形狀高度吻合，通過統(tǒng)計(jì)圖斑個(gè)數(shù)，最終得到煙株數(shù)目，且大部分的煙草周邊雖存在諸多不同地物，但仍然被準(zhǔn)確識別并提取。

對比實(shí)驗(yàn)采用傳統(tǒng)的多尺度分割算法，提取得到的提取結(jié)果如圖8所示，其中白色區(qū)域?yàn)闊煵萏崛^(qū)域，紅色部分為煙葉的提取邊界，對比實(shí)際煙葉可以看出，提取結(jié)果與煙葉實(shí)際形狀不符，邊界一致性較差，提取的圖斑破碎，無法對煙株數(shù)目進(jìn)行統(tǒng)計(jì)。

3.4 精度評價(jià)

對煙株提取結(jié)果的精度進(jìn)行定量評價(jià)，本文采用總體精度(Overall accuracy, O)、錯(cuò)檢率(False rate, F)和漏檢率(Miss rate, M)進(jìn)行評價(jià)，具體定義為：

(19)

式中：FP為錯(cuò)檢數(shù)目；FN為漏檢數(shù)目；t為像元總和。

(20)

(21)

式中：m為行像素；n為影像的列像素；RCD為總數(shù)中存在的不合格數(shù)。

實(shí)驗(yàn)中，采用FS算法對煙株進(jìn)行提取，得到數(shù)據(jù)1提取數(shù)目為650株，實(shí)際株數(shù)為626株，總體精度為84.28%； 數(shù)據(jù)2提取數(shù)目為490株，實(shí)際株數(shù)為438株，總體精度為89.05%，數(shù)據(jù)3提取數(shù)目為552株，實(shí)際株數(shù)為513株，總體精度為82.97%； 采用SLIC超像素算法對煙株進(jìn)行提取，3景影像的總體精確度分別為54.05%，59.2%和63.7%，由于過分割現(xiàn)象嚴(yán)重，無法對煙株進(jìn)行數(shù)目統(tǒng)計(jì)。從精度評價(jià)結(jié)果來看，3景影像采用FS算法得到的總體精度明顯高于傳統(tǒng)方法，錯(cuò)檢率和漏檢率也均低于傳統(tǒng)算法。具體數(shù)據(jù)如表1所示。

表1 煙草提取精度評價(jià)Tab.1 Tobacco extraction accuracy evaluation

4 結(jié)論和討論

為解決煙株提取難的問題，實(shí)驗(yàn)采用了FS模糊超像素方法對煙株進(jìn)行提取。結(jié)果表明，該方法提取得到的煙株數(shù)目與實(shí)際數(shù)目相差較小，相比傳統(tǒng)算法，該算法在總體精度上有大幅提高?？傮w而言，實(shí)驗(yàn)結(jié)果能夠滿足小范圍內(nèi)煙草的自動(dòng)化提取，且提取得到的煙葉邊界一致性更好。

但實(shí)驗(yàn)過程中依然存在諸多問題： ①煙葉形狀不規(guī)則，且不同生長時(shí)期的煙葉大小和顏色差異較大，同物異譜或異物同譜現(xiàn)象普遍，導(dǎo)致被錯(cuò)識或漏識； ②無人機(jī)遙感影像分辨率較高，地物成像更為清晰真實(shí)，但在影像中，地物較為復(fù)雜，如河流、建筑物和雜草等，導(dǎo)致目標(biāo)地物與周邊地物邊界難以區(qū)分，邊界模糊，這對精細(xì)提取帶來極大的干擾； ③種植煙草時(shí)，煙株間的間距較小，煙葉生長過程中存在互相遮蓋的情況，使得目視辨認(rèn)得到的參考煙株數(shù)目存在一定誤差，并且很難對其建立適合的模型，利用形態(tài)學(xué)的方法也較難區(qū)分開，這對單株精細(xì)提取帶來了極大的困難。

針對上述提及的實(shí)驗(yàn)中存在的問題，后期研究中還需進(jìn)行改進(jìn)和完善，比如可以將無人機(jī)影像和多光譜影像相結(jié)合，獲取更多的煙草光譜信息和特征信息，加強(qiáng)對煙草形狀模型構(gòu)建的研究等，從而得到更多準(zhǔn)確的煙株信息。此外，還將在后續(xù)的工作中，獲取更高空間分辨率的無人機(jī)影像，并研究空間分辨率對現(xiàn)有方法的影響。