基于YOLOv4和雙重回歸的復(fù)雜環(huán)境檀香樹缺苗定位方法

張 宇 徐浩然 牛家俊 涂淑琴 趙文鋒

(1.華南農(nóng)業(yè)大學(xué)電子工程學(xué)院(人工智能學(xué)院)，廣州 510642；2.華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院，廣州 510642)

0 引言

檀香樹是一種在亞熱帶地區(qū)種植的農(nóng)作物，其生長緩慢，經(jīng)濟(jì)價(jià)值極高[1]。如果在其生長過程中，缺苗補(bǔ)種不及時(shí)，會(huì)造成檀香樹生長時(shí)差長、植株差異大，導(dǎo)致更為嚴(yán)重的遮擋死亡，因此及時(shí)檢補(bǔ)缺苗，才能保證檀香園產(chǎn)量。目前，主要依賴人工進(jìn)行缺苗排查，該方法成本高、效率低且效果難以監(jiān)管，這些問題也同樣發(fā)生在其它大規(guī)模作物種植園。因此，亟需一種智能缺苗檢測技術(shù)取代人工，進(jìn)行智能實(shí)時(shí)缺苗檢測和定位，該技術(shù)對(duì)智慧種植、作物生長過程智能化監(jiān)控和提高作物產(chǎn)量具有重要意義。

近年來，智能缺苗檢測逐步成為智慧農(nóng)業(yè)的一個(gè)研究熱點(diǎn)，國內(nèi)外研究團(tuán)隊(duì)從穴盤到自然環(huán)境種植場景均取得了研究成果。在標(biāo)準(zhǔn)穴盤種植中，王永維等[2]采用灰度化和Otsu閾值分割等數(shù)字圖像處理技術(shù)，依次獲取幼苗和穴盤二值圖、穴孔位置、穴孔內(nèi)苗的生長情況，實(shí)現(xiàn)缺苗判斷；張國棟等[3]采用類似方法識(shí)別好苗、壞苗和空穴，并開發(fā)了穴盤苗檢測系統(tǒng)；文永雙等[4]利用光纖傳感器信號(hào)進(jìn)行缺苗判斷，同時(shí)設(shè)計(jì)了穴盤種植移栽缺苗補(bǔ)償系統(tǒng)。

在自然環(huán)境下，對(duì)作物檢測[5-8]、行識(shí)別[9-15]是實(shí)現(xiàn)缺苗檢測的關(guān)鍵。盡管這些方法對(duì)相對(duì)規(guī)則、種植單一的自然場景缺苗檢測效果良好，然而卻很難適應(yīng)檀香樹種植，原因在于，檀香樹人工種植行列不齊或受臺(tái)風(fēng)、暴雨等影響，行列有時(shí)會(huì)偏離直線排列很大；必備的伴生植物和插種的木薯等作物，使檀香樹植株處于非常雜亂的環(huán)境；另外，檀香園通常位于不規(guī)則的濕熱地帶，地塊邊緣的植株容易出現(xiàn)被漏檢或錯(cuò)檢等，這種情況需要算法進(jìn)一步優(yōu)化。

基于處于復(fù)雜生長環(huán)境且需要及時(shí)補(bǔ)苗的檀香樹種植需求，本文擬充分運(yùn)用無人機(jī)遙感技術(shù)的快速采集、YOLOv4的精準(zhǔn)目標(biāo)檢測，并構(gòu)建以列線雙重回歸及延長補(bǔ)漏策略為核心的缺苗定位算法，以期為其提供快速、精確、有效的技術(shù)支持。

1 數(shù)據(jù)獲取與處理

1.1 數(shù)據(jù)采集

于2020年9月29日在廣東省臺(tái)山市白沙鎮(zhèn)研究區(qū)(22.14°N，112.83°E，如圖1所示)，使用大疆Phantom4型無人機(jī)進(jìn)行了檀香樹遙感圖像樣本采集。設(shè)置云臺(tái)拍攝角度為垂直地面，航向重疊率80%，拍攝高度分別為10、20、30 m，每幅圖像尺寸為4 000像素×3 000像素，航拍區(qū)域覆蓋略大于試驗(yàn)區(qū)域。共采集1 051幅遙感圖像，其中拍攝高度10、20、30 m的圖像分別有696、155、200幅。所有拍攝高度的遙感圖像中，隨機(jī)取出557幅用于檀香樹目標(biāo)檢測模型訓(xùn)練、驗(yàn)證和測試；從拍攝高度為30 m的遙感圖像中取40幅用于檀香樹缺苗定位任務(wù)。

圖1 研究區(qū)示意圖

1.2 數(shù)據(jù)集構(gòu)建

將采集的遙感圖像用LabelImg工具進(jìn)行標(biāo)注，根據(jù)檢測和缺苗定位任務(wù)，進(jìn)行2種不同的標(biāo)注。

首先，按照Pascal VOC[16]數(shù)據(jù)集格式，對(duì)檢測任務(wù)的557幅遙感圖像中的檀香樹植株標(biāo)注，標(biāo)簽為“sandalwood”，標(biāo)注文件包含每幅圖像目標(biāo)檀香樹的像素坐標(biāo)及標(biāo)簽，并劃分成訓(xùn)練集、驗(yàn)證集和測試集，分別占比80%、10%和10%，用于YOLOv4模型的訓(xùn)練、驗(yàn)證和測試任務(wù)。

其次，按照YOLO數(shù)據(jù)集格式，對(duì)進(jìn)行缺苗定位任務(wù)的40幅遙感圖像，用150像素×150像素的框標(biāo)注1 746個(gè)真實(shí)缺苗區(qū)域，標(biāo)簽為“empty”，同時(shí)對(duì)其中的檀香樹植株標(biāo)注與檢測任務(wù)集一致。評(píng)測檀香樹缺苗定位算法(missing seeding localization algorithm，MSL)前，需要根據(jù)種植列方向?qū)D像進(jìn)行旋轉(zhuǎn)。兩部分?jǐn)?shù)據(jù)集的標(biāo)注示意如 圖2 所示。

圖2 檀香樹及缺苗位置

2 研究方法

首先用YOLOv4目標(biāo)檢測模型檢測檀香樹目標(biāo)。然后構(gòu)建缺苗定位算法：基于檀香樹目標(biāo)的像素坐標(biāo)關(guān)系劃分列區(qū)域；利用雙重列線性回歸和延長回歸線策略擬合生成、優(yōu)化檀香樹的列回歸線排列；在各條列回歸線上，根據(jù)檀香樹植株間距和規(guī)劃距離30 cm的關(guān)系，實(shí)現(xiàn)缺苗定位。算法缺苗定位方法流程如圖3所示。圖中，[,]表示缺苗位置信息，如[2,3]表示在第2列、第3個(gè)位置缺苗。

圖3 缺苗定位方法流程圖

2.1 YOLOv4算法

檀香樹植株檢測是實(shí)現(xiàn)缺苗定位的前提，需要充分利用深層語義特征的深度學(xué)習(xí)方法進(jìn)行?；谏疃葘W(xué)習(xí)的目標(biāo)檢測算法分為兩類算法：基于候選區(qū)的兩階段算法，主要代表為R-CNN、Faster R-CNN、Mask R-CNN[17-20]算法；基于回歸的單階段算法，主要代表為SSD[21]、CenterNet[22]、YOLO[23-27]系列算法。其中單階段算法相比兩階段算法，更具速度優(yōu)勢，因此適用于無人機(jī)遙感影像的快速檢測應(yīng)用?？紤]到運(yùn)行效率與精度的需要，選擇YOLOv4作為檀香樹檢測器。

YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)分為輸入端、Backbone、Neck和Head。在輸入端，YOLOv4算法創(chuàng)新了Mosaic數(shù)據(jù)增強(qiáng)和Self-adversarial-training(SAT)，提高了模型的泛化能力；在Backbone階段采取了CSPNet[28]的方法，將基礎(chǔ)層的特征映射為兩部分，并使用跨階段層次結(jié)構(gòu)將兩部分合并，減少了計(jì)算量，進(jìn)而從圖像中提取豐富的特征信息；在Neck階段采取PANet[29]的方法，PANet采用了一種自下向上路徑的特征金字塔網(wǎng)絡(luò)(Feature pyramid networks，F(xiàn)PN)結(jié)構(gòu)，避免信息丟失問題，提高了檢測不同尺寸和尺度物體的能力。YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2.2 缺苗定位算法

遙感圖像上可觀察到檀香園中植株間距大、種植列線偏離理想直線、行線混亂問題。為應(yīng)對(duì)這些問題，本文充分利用雙重線性回歸結(jié)合延長列回歸線補(bǔ)漏的策略，并在此基礎(chǔ)上構(gòu)建缺苗定位算法(MSL)。完整算法如圖5所示，主要分為以下5個(gè)步驟：

圖5 缺苗定位算法流程圖

(1)基于YOLOv4預(yù)測的檀香樹像素坐標(biāo)確定列基準(zhǔn)位置，并進(jìn)行列區(qū)域分配。

在P中隨機(jī)取出一個(gè)檀香樹目標(biāo)pi，將pi作為一個(gè)列區(qū)域的基準(zhǔn)，并從P中移除pi。在P中進(jìn)行遍歷：若存在一個(gè)檀香樹目標(biāo)pj(pj∈P)，且pj的橫坐標(biāo)范圍Xj與pi的橫坐標(biāo)范圍Xi有交集，表示為Xi∩Xj≠?，則將該檀香樹目標(biāo)pj歸屬到pi作為基準(zhǔn)的第k個(gè)列區(qū)域Rk，并從P中移除pj；將所有橫坐標(biāo)范圍與Xi有交集的檀香樹目標(biāo)分配至同一個(gè)列區(qū)域Rk，則該列區(qū)域Rk由m個(gè)檀香樹目標(biāo)共同組成，將該列區(qū)域記為Rk={pk1,pk2,…,pki,…,pkj,…，pkm}；當(dāng)P中除pi以外的所有檀香樹目標(biāo)均遍歷完成，則隨機(jī)選取下一個(gè)檀香樹目標(biāo)并作為一個(gè)新的列區(qū)域的基準(zhǔn)，重復(fù)上述遍歷操作，直至P中所有的檀香樹目標(biāo)分配至列區(qū)域。

(2)對(duì)所有列區(qū)域進(jìn)行線性回歸，得到相應(yīng)的列回歸線。

wi——線性回歸表達(dá)式權(quán)重

bi——線性回歸表達(dá)式偏置

該線性表達(dá)式通過最小二乘法訓(xùn)練得出。

將wi初始值設(shè)為0，bi初始值設(shè)為該列區(qū)域Ri的x坐標(biāo)平均值。若列區(qū)域目標(biāo)數(shù)大于1，則進(jìn)行線性回歸；否則，將該列區(qū)域線性回歸表達(dá)式fi的wi、bi固定為初始值。

(3)延長列回歸線，將位于延長段上的邊緣目標(biāo)歸屬至該直線所屬的列區(qū)域中。

實(shí)際種植中的檀香樹分布存在偏離理想直線的問題。在此情況下，步驟(1)中列區(qū)域分配并未很好地找到偏離種植直線的目標(biāo)，而步驟(2)線性回歸擬合出大致的列向分布規(guī)律，在此基礎(chǔ)上步驟(3)進(jìn)行延長回歸直線，將其他邊緣目標(biāo)重新歸屬至正確的列區(qū)域，一定程度上可以補(bǔ)回偏離種植直線的目標(biāo)。

(4)對(duì)擴(kuò)充后列區(qū)域中的目標(biāo)進(jìn)行第2次線性回歸，修正線性回歸直線，使之更準(zhǔn)確表達(dá)每列植株排列分布規(guī)律。同時(shí)，未擴(kuò)充的列區(qū)域不參與第2次線性回歸，該設(shè)定減小了性能浪費(fèi)，同時(shí)保持?jǐn)M合精度。

(5)將真實(shí)規(guī)定種植距離30 cm轉(zhuǎn)換為遙感圖像中像素距離(本場景為300像素)，并在每個(gè)列區(qū)域的線性回歸直線上進(jìn)行缺苗定位。

在每一個(gè)線性回歸函數(shù)fi(q)中，q表示像素?cái)?shù)且q∈[0,H]，H表示遙感圖像像素高度。若存在一個(gè)q，使得位置(fi(q),q)與其同一回歸線上相鄰的檀香樹目標(biāo)或缺苗目標(biāo)中心像素歐氏距離大于設(shè)定距離，將其設(shè)定為缺苗位置，并在遙感圖像中標(biāo)識(shí)。重復(fù)上述操作，直至所有列回歸線遍歷完成，最終輸出帶有缺苗位置標(biāo)識(shí)的圖像。

3 試驗(yàn)

3.1 試驗(yàn)環(huán)境

訓(xùn)練YOLOv4模型的Ubuntu服務(wù)器環(huán)境配置有Xeon E5-2678 v3 CPU，NVIDIA Tesla K80顯卡。

缺苗定位試驗(yàn)所用的計(jì)算機(jī)硬件環(huán)境配置CPU為AMD 5800H，系統(tǒng)環(huán)境配置操作系統(tǒng)為Windows 10、科學(xué)計(jì)算的Python發(fā)行版anaconda(Python 3.8)、Pytorch 1.8.2深度學(xué)習(xí)框架和Cuda 10.2加速程序。

3.2 評(píng)測指標(biāo)

采用精確率(Precision)、召回率(Recall)、F1值(F1-score)、運(yùn)行時(shí)間作為評(píng)測指標(biāo)，對(duì)本文缺苗定位方法進(jìn)行性能評(píng)測。

3.3 結(jié)果與分析

3.3.1完整算法與殘缺算法結(jié)果對(duì)比與分析

對(duì)1.2節(jié)中缺苗定位任務(wù)40幅遙感圖像進(jìn)行評(píng)測，MSL完整算法共判斷1 654個(gè)缺苗位置，準(zhǔn)確判斷1 436個(gè)，錯(cuò)誤判斷218個(gè)，漏判斷310個(gè)。測試平均運(yùn)行時(shí)間8.19 s、精確率86.82%、召回率82.25%、F1值84.47%。從圖6不同圖像色調(diào)、場景的缺苗定位結(jié)果和表1評(píng)測結(jié)果可以看出，本文方法可以針對(duì)不同條件的復(fù)雜自然環(huán)境，精確識(shí)別檀香樹真實(shí)缺苗位置，同時(shí)向種植園工作人員提供清晰位置(即行、列)信息。

圖6 缺苗定位結(jié)果

表1 算法評(píng)測結(jié)果對(duì)比

為了驗(yàn)證MSL完整算法的必要性，對(duì)完整步驟算法和殘缺步驟算法進(jìn)行比較。完整步驟算法中，經(jīng)過了列區(qū)域分配(Partition)、列線性回歸(Regression)、延長回歸線(Extension)、第2次列線性回歸(Regression)和缺苗定位(Localization)，稱為MSL-Full算法；殘缺步驟算法為經(jīng)過列區(qū)域分配、列線性回歸、缺苗定位的算法，稱為MSL-PRL算法；僅經(jīng)過列區(qū)域分配和缺苗定位的殘缺步驟算法稱為MSL-PL算法。

算法評(píng)測結(jié)果對(duì)比如表1所示。其中經(jīng)過完整步驟的MSL-Full算法評(píng)測性能最好，精確率較MSL-PRL提高0.86個(gè)百分點(diǎn)，F(xiàn)1值提高0.32個(gè)百分點(diǎn)；精確率較MSL-PL提高5.95個(gè)百分點(diǎn)，F(xiàn)1值提高3.49個(gè)百分點(diǎn)。

圖7直觀地對(duì)比了3種算法的表現(xiàn)。在圖7a對(duì)比中，如紅色框所示，MSL-PL所預(yù)測的植株回歸直線并未擬合種植列線，且斜率為0，因而預(yù)測的缺苗區(qū)域偏離真實(shí)缺苗區(qū)域；MSL-PRL與MSL-Full均擬合了真實(shí)種植列線，且延長回歸直線時(shí)并未檢測到邊緣目標(biāo)，所以兩者預(yù)測的回歸直線以及缺苗位置相同。在圖7b對(duì)比中，如紅色框所示，MSL-PL、MSL-PRL在同一真實(shí)種植列區(qū)域中均預(yù)測出雙列回歸線，該誤差由列區(qū)域分配中隨機(jī)選取基準(zhǔn)點(diǎn)步驟產(chǎn)生；而MSL-Full將MSL-PRL產(chǎn)生的回歸直線延長，將該列區(qū)域附近的邊緣目標(biāo)納入，刪除多余列區(qū)域及對(duì)應(yīng)的回歸直線，再通過第2次線性回歸操作，使回歸直線更貼合真實(shí)種植直線，最后預(yù)測的缺苗位置也較MSL-PL、MSL-PRL算法更為精確。

圖7 完整步驟算法與殘缺步驟算法比較示例

綜上，完整步驟算法比殘缺步驟算法在缺苗定位的過程中更好地?cái)M合了植株分布規(guī)律，因此具有更好的缺苗定位性能。

3.3.2缺苗定位中檀香樹檢測訓(xùn)練結(jié)果與分析

YOLOv4訓(xùn)練設(shè)置如下：

(1)參數(shù)設(shè)置：設(shè)置網(wǎng)絡(luò)輸入圖像尺寸為640像素×640像素；每次迭代訓(xùn)練的樣本數(shù)為2；開啟凍結(jié)訓(xùn)練150輪，學(xué)習(xí)率為0.001；關(guān)閉凍結(jié)訓(xùn)練后訓(xùn)練100輪，學(xué)習(xí)率為0.000 1；兩階段訓(xùn)練均設(shè)置余弦退火學(xué)習(xí)率調(diào)整策略。

(2)訓(xùn)練策略：訓(xùn)練前，載入預(yù)訓(xùn)練權(quán)重；在訓(xùn)練過程中，通過采用Mosaic增強(qiáng)、旋轉(zhuǎn)、翻轉(zhuǎn)、調(diào)整色調(diào)等方式在線生成更多訓(xùn)練樣本，提高網(wǎng)絡(luò)魯棒性和準(zhǔn)確性。

如圖8評(píng)測結(jié)果所示，在檀香樹目標(biāo)檢測任務(wù)測試集中，YOLOv4模型平均精度(Average precision，重疊率0.5)為96.66%；在缺苗定位任務(wù)數(shù)據(jù)集中平均精度為98.52%。表明該目標(biāo)檢測模型能夠應(yīng)對(duì)復(fù)雜的自然環(huán)境，精確檢測出檀香樹目標(biāo)，為進(jìn)一步缺苗定位做好準(zhǔn)備。

圖8 YOLOv4評(píng)測結(jié)果

3.3.3缺苗定位誤差分析

本文缺苗定位方法還存在一定誤差，誤差主要來源于目標(biāo)檢測算法對(duì)檀香樹多檢和漏檢。

如圖9a紅框內(nèi)容所示，目標(biāo)檢測算法無法識(shí)別該位置的檀香樹，根據(jù)植株距離設(shè)定，缺苗定位算法將該位置判斷為缺苗位置，從而造成目標(biāo)檢測漏檢誤差。如圖9b紅框內(nèi)容所示，對(duì)非檀香樹誤判定為檀香樹，并將該目標(biāo)所在列判斷為種植列，最終對(duì)此列錯(cuò)誤地缺苗預(yù)測，造成目標(biāo)檢測多檢誤差。這兩類誤差是因?yàn)槟繕?biāo)檢測模型對(duì)小目標(biāo)識(shí)別精度低，無法區(qū)分部分檀香樹小苗與周圍雜草植株而導(dǎo)致的。

圖9 目標(biāo)檢測漏檢、多檢誤差

4 結(jié)束語

針對(duì)復(fù)雜的生長環(huán)境，基于YOLOv4算法和雙重回歸策略，提出了一種檀香樹實(shí)時(shí)智能缺苗定位方法。通過將遙感技術(shù)、YOLOv4目標(biāo)檢測算法與MSL算法相結(jié)合，先定位檀香樹目標(biāo)，再依次使用列區(qū)域分配、列線性回歸、延長回歸直線、第2次線性回歸方法，最后實(shí)現(xiàn)了在回歸直線上定位缺苗位置。同時(shí)，提出了一種根據(jù)真實(shí)缺苗區(qū)域與預(yù)測目標(biāo)點(diǎn)位置關(guān)系驗(yàn)證的評(píng)測方法，評(píng)測結(jié)果表明，該缺苗定位方法的精確率86.82%、召回率82.25%、F1值84.47%、運(yùn)行時(shí)間8.19 s。相比人工巡查的傳統(tǒng)方案，該缺苗定位方法結(jié)合了遙感技術(shù)，利用了快速飛行的無人機(jī)與高效的缺苗定位算法，更體現(xiàn)高效實(shí)時(shí)優(yōu)勢；與蔬菜穴盤苗缺苗定位方法對(duì)比，無需過多結(jié)構(gòu)化要求，便能解決復(fù)雜的自然環(huán)境下檀香樹植株缺苗定位問題。