基于閾值分割的松材線蟲病樹計數(shù)與定位

余博文，黃 巍

武漢工程大學(xué)計算機科學(xué)與工程學(xué)院，湖北 武漢430205

松材線蟲是我國危害較大的外來入侵物種之一，松材線蟲?。╬ine wilt disease，PWD）是該物種造成的一種毀滅性森林蟲害，通過松墨天牛（monochamusalternatus）等媒介昆蟲傳播于松樹體內(nèi)，進而引發(fā)松林病害。最新公告［1］顯示目前松材線蟲病已在我國18個省份（666個區(qū)、縣、市）發(fā)現(xiàn)，導(dǎo)致大量松樹枯黃死亡，造成嚴重經(jīng)濟和生態(tài)損失。不同密度的松材線蟲病樹處理方式并不相同，對于10%以上病樹率的區(qū)域，需要組織專業(yè)隊伍全面砍伐，對于病樹密度不大、只是零星分散著病樹的區(qū)域，可以只處理病樹［2］。因此對區(qū)域病樹的計數(shù)和定位是松材線蟲病樹檢測與防治的關(guān)鍵。

隨著無人機技術(shù)和計算機視覺技術(shù)的發(fā)展，利用無人機航拍圖像和計算機視覺技術(shù)處理松材線蟲病樹計數(shù)與定位取得了較大的進步［3］。松材線蟲入侵松樹后，外部具有顯著癥狀：先是針葉失水，褪綠，繼而變褐，而后整株枯死，針葉全呈紅黃色［4］。利用該特征對病樹進行計數(shù)與定位，有助于病樹的處理，防止疫情擴散。

傳統(tǒng)計數(shù)方法大致分為無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)兩大類。無監(jiān)督學(xué)習(xí)算法主要利用外觀相似性［5］和運動相似性［6］解決計數(shù)問題，但前者無法處理遮擋密度較高的計數(shù)問題，后者無法處理靜止圖像的計數(shù)問題。有監(jiān)督學(xué)習(xí)分為基于檢測的計數(shù)方法（counting by detection）和基于回歸的計數(shù)方法（counting by regression）。基于檢測的方法［7］一般通過檢測圖像中每個獨立的目標來進行計數(shù)，這類方法首先生成候選框（bounding boxes），然后通過非極大值抑制（non-maximun suppression，NMS）篩選候選框［8］得到病樹的區(qū)域，雖然有較好的效果，但篩選過程需要大量的計算。也有研究提出通過局部關(guān)系推測目標數(shù)量的方法［9-11］，雖然省略了傳統(tǒng)基于檢測的方法中非極大值抑制篩選候選框的計算量，但算法時間復(fù)雜度仍然較高。假設(shè)背景單一、目標均勻分布的前提下，蒙特卡洛方法［12］和形態(tài)學(xué)分析［13］可以達到較好的檢測效果，但假設(shè)不成立的情況下，這些方法計數(shù)效果都不理想?；谏疃葘W(xué)習(xí)的檢測方法，包括兩階段（two-stage）的fast-RCNN［14］和一階段（one-stage）的YOLO［15］檢測方法，有較高的檢測精度，但計算量大且需要大量數(shù)據(jù)支持［16］?；跈z測的計數(shù)方法簡單易行，但對于高密度、高遮擋的復(fù)雜環(huán)境不太適用［17］。基于回歸的計數(shù)方法無需找到目標的具體位置，主要是尋找圖像特征與目標數(shù)量的映射關(guān)系。對低密度計數(shù)圖像，可以使用背景消除［18］分割出前景像素，然后使用最小二乘法［19］或神經(jīng)網(wǎng)絡(luò)［20］獲得參數(shù)模型；對高密度計數(shù)圖像，可以使用灰度共生矩陣［21］、切比雪夫矩 等［22］描 述紋理特征，再使 用 神 經(jīng) 網(wǎng) 絡(luò)［21］或SVM［23］學(xué)習(xí)紋理特征與目標數(shù)量的映射關(guān)系。結(jié)合前景像素和紋理特征的回歸計數(shù)方法［24-26］雖然避免了目標檢測的困難，但同時也丟失了目標空間信息。密度函數(shù)［27］概念的提出彌補了基于回歸的計數(shù)方法的不足，這種方法是通過圖像特征與圖像計數(shù)目標密度圖的映射關(guān)系來對目標計數(shù)，有效保留了計數(shù)目標的空間信息，進一步優(yōu)化了計數(shù)精確度［28］。

松材線蟲病區(qū)區(qū)域較大，建筑、巖石、土壤等干擾因素較多，這要求計數(shù)定位算法克服復(fù)雜場景下的干擾，以提高病木的計數(shù)定位精度。本文對密度函數(shù)計數(shù)方法進行改進，利用色調(diào)（hue）、飽和度（saturation）、明度（value）（簡稱HSV）顏色空間的閾值分割、形態(tài)學(xué)處理、超像素對背景消除以突出前景像素目標，減少計數(shù)定位的干擾因素，從而提高松材線蟲病樹的計數(shù)與定位精度。

1 基于閾值分割的計數(shù)方法

1.1 密度計數(shù)

傳統(tǒng)密度計數(shù)方法在醫(yī)學(xué)領(lǐng)域中取得了顯著的效果［27］，這些方法一般利用歸一化高斯核函數(shù)（normalized Gaussian kernel，NGK）構(gòu)建真實密度函數(shù)：

式中假設(shè)I1,I2,…,IN是N幅訓(xùn)練圖像表示均值點在P處，協(xié)方差矩陣為σ2E的歸一化高斯核函數(shù)，一般σ值取計數(shù)目標半徑。

使用線性函數(shù)將每個像素點的特征向量映射到密度函數(shù)值，即帶參數(shù)的密度函數(shù)為：

每幅圖像Ii的每個像素點p都可以用一個K維向量表示∈R K，ω∈R K是密度函數(shù)模型線性變換的參數(shù)向量就是指定參數(shù)ω時密度函數(shù)的估計。

根據(jù)經(jīng)驗風(fēng)險最小化原理（empirical risk minimization，ERM）求參數(shù)ω，同時加入正則化項，以防止過擬合：

式中D是距離函數(shù)，它是訓(xùn)練密度函數(shù)與真實密度函數(shù)差異的一種度量，ωΤω是復(fù)雜度懲罰項，避免求得ω值過大，正數(shù)λ為正則化參數(shù)，控制正則化強度。

這種密度函數(shù)模型適用于背景像素均勻且單一的醫(yī)學(xué)細胞圖像，但在松材線蟲病樹區(qū)域這種復(fù)雜環(huán)境的圖像中無法達到理想的計數(shù)精度。這是因為松材線蟲病樹區(qū)域存在梯田、土壤、建筑等大量干擾因素，如圖1箭頭所指區(qū)域，這些干擾會對密度計數(shù)結(jié)果產(chǎn)生負面的影響。

圖1 密度計數(shù)干擾因素示意圖Fig.1 Schematic diagram of interference factors in density counting

如圖2所示，為了減弱干擾因素的影響，提高目標計數(shù)的準確度，可以首先使用HSV顏色空間閾值分割方法預(yù)處理原始采集的圖像，HSV顏色空間的閾值分割又分為形態(tài)學(xué)處理分割和超像素顏色均值分割。HSV顏色空間的閾值分割能夠降低復(fù)雜圖像中的干擾因素的影響，提高松材線蟲病樹的計數(shù)與定位精度。完整算法的結(jié)構(gòu)如圖2所示，輸入圖像首先經(jīng)過HSV顏色空間的閾值分割處理，得到過濾圖像，再使用密度計數(shù)對過濾圖像進行處理，輸出計數(shù)結(jié)果和對應(yīng)的密度圖像。

圖2 基于閾值分割的計數(shù)方法流程圖Fig.2 Flow chart of counting method based on threshold segmentation

1.2 HV通道過濾

本文使用HSV顏色空間的閾值分割直接去除背景像素，分割完成后，像素坐標點(x,y)處的像素值為：

式中f(x,y)表示H通道或V通道的值，Y表示閾值。當存在2個以上灰度閾值時，式（4）變?yōu)椋?/p>

由于圖像中除前景像素中需要計數(shù)的目標病樹外，背景像素中還存在大量健康樹木、土壤、梯田、建筑等干擾因素，這些干擾因素和目標病樹的中心點的H和V通道值的散點圖如圖3所示。

圖3中紅、綠、黃、藍、紫點分別代表病樹、健康樹、土壤、梯田、建筑。其中健康樹木由于色調(diào)與目標病樹明顯不同，可以利用HSV顏色空間的H通道設(shè)定閾值去除，在數(shù)據(jù)集中隨機選取50個病樹中心提取分析H通道數(shù)值，繪制成直方圖，如圖4（a）所示。

圖3 HV通道散點圖Fig.3 Scatter plot for H-channel and V-channel

圖4 病樹中心像素的通道直方圖：（a）H通道，（b）V通道Fig.4 Histogram of central pixel of infected trees：（a）H-channel，（b）V-channel

從圖3中還發(fā)現(xiàn)土壤、梯田、建筑這些干擾因素雖然H通道值近似于目標病樹的H通道值，但V通道數(shù)值大多數(shù)高于目標病樹，可以利用HSV顏色空間的V通道設(shè)定閾值去除這些干擾因素，隨機選取50個病樹中心提取分析V通道數(shù)值，繪制成直方圖，如圖4（b）所示。

從圖4中可以看出，病樹H通道數(shù)值基本上都分布在9到35之間，V通道數(shù)值基本上都分布在29到46之間，可以設(shè)定9到35為H通道閾值，設(shè)定29到46為V通道閾值，對圖1進行H通道過濾操作和V通道過濾操作，結(jié)果如圖5所示。

圖5 過濾通道：（a）過濾H通道，（b）過濾HV通道Fig.5 Filtered channel：（a）filtered H-channel，（b）filtered HV-channel

對比圖5（a）和圖1，可以發(fā)現(xiàn)健康樹已被過濾，但還剩下大量土壤、梯田、建筑等干擾因素。經(jīng)過HV通道過濾后，如圖5（b）所示，土壤、梯田、建筑等干擾因素已被過濾，剩下的就是松材線蟲病樹初步估計區(qū)域。

1.3 形態(tài)學(xué)處理

原始采集得到的圖像經(jīng)過H和V通道過濾后可以再進行形態(tài)學(xué)處理以進一步提升密度估計的圖像質(zhì)量。由圖5（b）發(fā)現(xiàn)經(jīng)過H和V通道過濾的圖像已經(jīng)過濾了大部分土壤、梯田等干擾元素，但仍然存在許多接近點像素的細小干擾像素，且目標區(qū)域也有部分像素被錯誤過濾而形成“孔洞”。由于過濾圖像是一幅二值化圖像，因此利用形態(tài)學(xué)圖像處理可以改善過濾圖像的質(zhì)量。

使用半徑為2個像素的圓形結(jié)構(gòu)元素C對H和V過濾圖像B進行開操作，達到消除細小干擾像素的目的，執(zhí)行開操作后的圖像L由式（6）得到：

式（6）中：Θ表示腐蝕操作，⊕表示膨脹操作。使用C對L進行閉操作，達到修復(fù)目標區(qū)域內(nèi)“孔洞”的目的，執(zhí)行閉操作后的圖像N由式（7）得到：

圖5（b）所示H和V通道過濾圖像經(jīng)過形態(tài)學(xué)操作后的結(jié)果如圖6所示。

從圖6可以發(fā)現(xiàn)，大部分細小干擾像素已被過濾，目標區(qū)域部分過濾掉的像素造成的“孔洞”減少，圖像更加圓滑，目標病樹區(qū)域更加清晰。

圖6 使用形態(tài)學(xué)處理的過濾HV通道Fig.6 Filtered HV-channel with morphological processing

1.4 超像素顏色均值圖生成

超像素顏色均值分割即對原圖像進行超像素處理再進行H和V通道過濾。分析圖5（a）中H和V通道過濾圖可以發(fā)現(xiàn)，這些多余的細小干擾像素的主要來源是由于梯田、土壤、建筑等干擾區(qū)域與病樹的H通道和V通道數(shù)值接近，缺失的目標區(qū)域部分“孔洞”的來源主要由于某些病樹像素的H通道或V通道數(shù)值與病樹相差較大而被過濾。針對這些原因，可以對原圖像做超像素處理，再執(zhí)行分割過濾操作。

為了有效地利用相鄰像素的紋理、顏色、亮度等特征將像素分組，本文使用簡單線性迭代聚類算法（simple linear iterative clustering，SLIC）［29］對原始圖像進行超像素分割。然后對每一個超像素進行均值化處理，得到超像素顏色均值圖。圖1的局部圖像的超像素均值圖如圖7所示。

圖7 超像素顏色均值Fig.7 Average color of superpixels

從圖7可以發(fā)現(xiàn)利用超像素方法實現(xiàn)的像素值修正效果較好，將像素成功劃分為具有相似值的病樹、健康樹、土壤等區(qū)域。對超像素顏色均值圖進行HSV顏色空間的H和V通道過濾，結(jié)果與直接進行H和V通道過濾對比如圖8所示。

從圖8（b）可以發(fā)現(xiàn)，由于H通道和V通道數(shù)值接近病樹而被保留下來的多余的干擾像素已被去除，由于H通道或V通道數(shù)值與病樹相差較大而被過濾的缺失的目標區(qū)域部分已被補齊，圖像更加圓滑，目標病樹區(qū)域更加清晰。

圖8 過濾HV通道對比：（a）不使用超像素處理的過濾HV通道，（b）使用超像素處理的過濾HV通道Fig.8 Comparison of filtered HV-channel：（a）filtered HV-channel without superpixelsprocessing，（b）filtered HV-channel with superpixelsprocessing

2 實驗部分

2.1 數(shù)據(jù)集獲取

實驗數(shù)據(jù)為使用大疆無人機采集的湖北省某縣松材線蟲疫區(qū)圖像，照相機型號為FC6310，其參數(shù)信息如表1所示。

表1 大疆無人機FC6310航拍相機及相片參數(shù)表Τab.1 Parameters of FC6310 aerial camera and photo of DJIUAV

數(shù)據(jù)集包括92張圖像，無人機的飛行高度為350 m。為優(yōu)化計算速度，對數(shù)據(jù)集圖片作了重采樣，得到的圖片分辨率統(tǒng)一為972×728。按照7∶3的比例將數(shù)據(jù)集分為65張訓(xùn)練圖像和27張測試圖像，每張圖像都有對應(yīng)的ground-truth人工標注文件。

2.2 評價指標

為了對比經(jīng)典的密度計數(shù)算法與本文算法性能差異，采用平均絕對誤差（mean absolute error，MAE）、均 方 根 誤 差（root mean squared error，RMSE）和絕對誤差的方差（variance of absolute error，VAE）作為評價指標，平均絕對誤差M、均方根誤差R和絕對誤差的方差V的定義如下：

式中N是測試圖像數(shù)量，zi是第i張圖像中實際病木數(shù)量，ei是第i張圖像中算法估計的病木數(shù)量。通常M值和R值越小說明模型預(yù)測準確度越高，V值越小說明模型魯棒性越高。

為使評價指標更加直觀，使用計數(shù)準確率作為第4個評價指標，其計算公式如下：

2.3 對比實驗

為驗證本文算法的有效性，選擇了Lempitsky的密度計數(shù)算法（density learning，DL）［27］、使用形態(tài)學(xué)處理分割的密度計數(shù)法（density learning with morphological processing，DLMP）、使用超像素顏色均值分割的密度計數(shù)法（density learning with super pixel，DLSP）進行對比實驗。其中DLMP和DLSP均屬于使用HSV顏色空間的閾值分割的密度計數(shù)法。

不同算法的評價指標如表2所示。

表2 不同算法計數(shù)誤差對比Τab.2 Comparison of counting errors of different algorithms

從表2中可以看出，DLMP和DLSP算法的M、R和V3個評估參數(shù)都優(yōu)于Lempitsky的DL密度計數(shù)算法［27］，相對于DL算法，DLMP和DLSP算法的MAE分別下降了10.9和12.5，DLMP和DLSP算法的RMSE分別下降了8.4和10.5，DLMP和DLSP算法的VAE分別下降了56.0和77.6，DLMP和DLSP算法的計數(shù)準確率分別提高了23.2%和26.6%。由此可見，使用HSV顏色空間的閾值分割可以有效提升密度函數(shù)模型的計數(shù)精度。

圖9展示了不同算法在多建筑、多土壤、密林區(qū)域計數(shù)效果的密度圖。為了便于比較分析，圖9截取了完整圖像的局部細節(jié)，圖9中紅色箭頭表示目標病樹漏檢或誤檢。

從圖9中可以發(fā)現(xiàn)，Lempitsky的傳統(tǒng)密度計數(shù)算法DL對于松材線蟲病區(qū)的病樹存在大量誤檢和漏檢，本文DLMP和DLSP算法相較于DL算法，對于多建筑、土壤、巖石等干擾項的計數(shù)區(qū)域計數(shù)效果良好，且密度圖中標注的病樹位置準確，只存在少量病樹的誤檢和漏檢，這證明了DLMP和DLSP有能力處理復(fù)雜背景下的計數(shù)問題。

圖9 密度圖對比：（a）航拍圖像，（b）病樹真實位置，（c）DL算法密度圖，（d）DLMP算法密度圖，（e）DLSP算法密度圖Fig.9 Comparison of density maps：（a）aerial imagery，（b）ground truth，（c）density map generated by DL，（d）density map generated by DLMP，（e）density map generated by DLSP

3 結(jié) 論

利用形態(tài)學(xué)處理和超像素均值分割技術(shù)，通過HSV顏色空間的閾值分割對數(shù)據(jù)集進行優(yōu)化處理，以此消除復(fù)雜環(huán)境下建筑、巖石、土壤等干擾因素對密度計數(shù)與定位結(jié)果的影響，最終得到高質(zhì)量的計數(shù)結(jié)果和密度圖。實驗結(jié)果表明，這種方法可以有效的解決松材線蟲病樹計數(shù)與定位問題。