利用無(wú)人機(jī)航拍視頻結(jié)合YOLOv3模型和SORT算法統(tǒng)計(jì)云杉數(shù)量

陳鋒軍，朱學(xué)巖，周文靜，鄭一力，顧夢(mèng)夢(mèng)，趙燕東,4

利用無(wú)人機(jī)航拍視頻結(jié)合YOLOv3模型和SORT算法統(tǒng)計(jì)云杉數(shù)量

陳鋒軍1,2，朱學(xué)巖1,2，周文靜1,2，鄭一力1，顧夢(mèng)夢(mèng)3，趙燕東1,4※

（1. 北京林業(yè)大學(xué)工學(xué)院，北京 100083；2. 城鄉(xiāng)生態(tài)環(huán)境北京實(shí)驗(yàn)室，北京 100083；3. 德州農(nóng)工大學(xué)園藝系，大學(xué)城 77843；4. 林業(yè)裝備與自動(dòng)化國(guó)家林業(yè)局重點(diǎn)實(shí)驗(yàn)室，北京 100083）

準(zhǔn)確、快速地統(tǒng)計(jì)苗木數(shù)量對(duì)苗圃的運(yùn)營(yíng)和管理具有重要意義，是提高苗圃運(yùn)營(yíng)和管理水平的有效方式。為快速準(zhǔn)確統(tǒng)計(jì)完整地塊內(nèi)苗木數(shù)量，該研究選取云杉為研究對(duì)象，以無(wú)人機(jī)航拍完整地塊云杉視頻為數(shù)據(jù)源，提出一種基于YOLOv3（You Only Look Once v3，YOLOv3）和SORT（Simple Online and Realtime Tracking，SORT）的云杉數(shù)量統(tǒng)計(jì)方法。主要內(nèi)容包括數(shù)據(jù)采集、YOLOv3檢測(cè)模型構(gòu)建、SORT跟蹤算法和越線(xiàn)計(jì)數(shù)算法設(shè)計(jì)。以平均計(jì)數(shù)準(zhǔn)確率（Mean Counting Accuracy，MCA）、平均絕對(duì)誤差（Mean Absolute Error，MAE）、均方根誤差（Root Mean Square Error，RMSE）和幀率（Frame Rate，F(xiàn)R）為評(píng)價(jià)指標(biāo)，該方法對(duì)測(cè)試集中對(duì)應(yīng)6個(gè)不同試驗(yàn)地塊的視頻內(nèi)云杉進(jìn)行數(shù)量統(tǒng)計(jì)的平均計(jì)數(shù)準(zhǔn)確率MCA為92.30%，平均絕對(duì)誤差MAE為72，均方根誤差RMSE為98.85，幀率FR 11.5 幀/s。試驗(yàn)結(jié)果表明該方法能夠快速準(zhǔn)確統(tǒng)計(jì)完整地塊的云杉數(shù)量。相比SSD+SORT算法，該方法在4項(xiàng)評(píng)價(jià)指標(biāo)中優(yōu)勢(shì)顯著，平均計(jì)數(shù)準(zhǔn)確率MCA高12.36個(gè)百分點(diǎn)，幀率FR高7.8 幀/s，平均絕對(duì)誤差MAE和均方根誤差RMSE分別降低125.83和173.78。對(duì)比Faster R-CNN+SORT算法，該方法在保證準(zhǔn)確率的基礎(chǔ)上更加快速，平均計(jì)數(shù)準(zhǔn)確率MCA僅降低1.33個(gè)百分點(diǎn)，但幀率FR提高了10.1 幀/s。該研究從無(wú)人機(jī)航拍視頻的角度為解決完整地塊的苗木數(shù)量統(tǒng)計(jì)問(wèn)題做出了有效探索。

無(wú)人機(jī)；模型；算法；云杉；數(shù)量統(tǒng)計(jì)；YOLOv3；SORT

0 引 言

苗木數(shù)量是總結(jié)種苗生產(chǎn)與供需情況、分析和預(yù)測(cè)種苗供需關(guān)系的關(guān)鍵數(shù)據(jù)[1]。研究苗木數(shù)量自動(dòng)統(tǒng)計(jì)有利于苗圃的庫(kù)存管理和生產(chǎn)成本核算，提高苗圃行業(yè)的智能化水平。目前，苗木數(shù)量的統(tǒng)計(jì)工作主要依靠人工目視，成本高、效率低、數(shù)據(jù)更新緩慢且無(wú)法保證統(tǒng)計(jì)的精度[2]。準(zhǔn)確、快速地統(tǒng)計(jì)完整地塊內(nèi)的苗木數(shù)量已成為當(dāng)前迫切需要解決的問(wèn)題之一。近年來(lái)，無(wú)人機(jī)和深度學(xué)習(xí)等新技術(shù)的發(fā)展為真正解決完整地塊內(nèi)的苗木數(shù)量統(tǒng)計(jì)問(wèn)題提供了可能。

國(guó)內(nèi)外學(xué)者已在無(wú)人機(jī)航拍苗圃圖像的基礎(chǔ)上，采用傳統(tǒng)圖像處理[3-4]、機(jī)器學(xué)習(xí)[5]或深度學(xué)習(xí)[6]技術(shù)研究苗木的自動(dòng)數(shù)量統(tǒng)計(jì)問(wèn)題。傳統(tǒng)圖像處理方法一般在RGB[7]、HSV[8]、Lab[9]和YCbCr[10]等顏色空間分割苗木后采用連通區(qū)域統(tǒng)計(jì)[11]、平均像素面積[12]和霍夫圓檢測(cè)[13-14]等方法統(tǒng)計(jì)數(shù)量，并有效應(yīng)用在蘋(píng)果[15]、菊花[16]和菌落[17]等的數(shù)量統(tǒng)計(jì)中。但是傳統(tǒng)圖像處理方法受光照、噪聲和雜草背景等因素干擾，導(dǎo)致苗木數(shù)量統(tǒng)計(jì)的準(zhǔn)確率普遍偏低。

機(jī)器學(xué)習(xí)方法一般提取苗木的顏色[18]、形狀[19]和紋理[20]等淺層特征，通過(guò)支持向量機(jī)[21]、K均值聚類(lèi)[22-23]、極限學(xué)習(xí)機(jī)[24]和反向傳播神經(jīng)網(wǎng)絡(luò)[25]等方法統(tǒng)計(jì)苗木數(shù)量。目前，機(jī)器學(xué)習(xí)方法已被應(yīng)用于麥穗[26]、棕櫚樹(shù)[27]和葉片氣孔[28]等的數(shù)量統(tǒng)計(jì)。Xie等[29]提出在Lab顏色空間分割煙草后采用支持向量機(jī)識(shí)別并統(tǒng)計(jì)煙草數(shù)量，準(zhǔn)確率達(dá)到96.1%。但是機(jī)器學(xué)習(xí)方法中提取的顏色、形狀和紋理等淺層特征的表達(dá)能力有限，支持向量機(jī)和反向傳播神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)方法不能解決苗木粘連和遮擋等問(wèn)題，無(wú)法準(zhǔn)確、快速地實(shí)現(xiàn)苗木數(shù)量統(tǒng)計(jì)。

深度學(xué)習(xí)方法一般通過(guò)大量帶標(biāo)注的苗木圖像訓(xùn)練Faster R-CNN[30]（Faster Region-based Convolutional Neural Network）和YOLOv3[31]等模型實(shí)現(xiàn)數(shù)量統(tǒng)計(jì)。目前，深度學(xué)習(xí)方法已應(yīng)用于柑橘樹(shù)[32]、煙草[33]和棕櫚樹(shù)[34]等[35]的統(tǒng)計(jì)。Wang等[36]提出結(jié)合全卷積網(wǎng)絡(luò)分割和Harris角點(diǎn)檢測(cè)的麥穗數(shù)量統(tǒng)計(jì)方法，能夠統(tǒng)計(jì)遮擋、光照不均勻等復(fù)雜條件下的麥穗，準(zhǔn)確率達(dá)到97.4%。Li等[37]搭建了一種可以統(tǒng)計(jì)棕櫚樹(shù)數(shù)量的卷積神經(jīng)網(wǎng)絡(luò)模型，準(zhǔn)確率達(dá)到96%。已有研究表明，深度學(xué)習(xí)方法對(duì)光照、遮擋等復(fù)雜環(huán)境條件具有很強(qiáng)的魯棒性，是統(tǒng)計(jì)苗木數(shù)量的一種理想方法。然而，以上數(shù)量統(tǒng)計(jì)方法大多只能統(tǒng)計(jì)圖像內(nèi)的麥穗和棕櫚樹(shù)數(shù)量，并未實(shí)現(xiàn)對(duì)完整地塊內(nèi)麥穗和棕櫚樹(shù)的數(shù)量統(tǒng)計(jì)。為此，陳鋒軍等[38]提出在Sift算法拼接獲得云杉試驗(yàn)地塊的全景圖像后，利用改進(jìn)YOLOv3模型統(tǒng)計(jì)試驗(yàn)地塊云杉，準(zhǔn)確率達(dá)到96.81%。但是，這種先拼接獲取完整圖像后進(jìn)行數(shù)量統(tǒng)計(jì)的方式速度較慢。

為克服現(xiàn)有基于拼接圖像的完整地塊苗木數(shù)量統(tǒng)計(jì)速度較慢的問(wèn)題，嘗試通過(guò)無(wú)人機(jī)航拍視頻的角度研究完整地塊的苗木數(shù)量統(tǒng)計(jì)。以無(wú)人機(jī)航拍云杉完整試驗(yàn)地塊視頻為實(shí)驗(yàn)數(shù)據(jù)，以YOLOv3模型和SORT算法為基礎(chǔ)，研究完整地塊內(nèi)云杉數(shù)量的快速準(zhǔn)確統(tǒng)計(jì)問(wèn)題，以期實(shí)現(xiàn)完整地塊內(nèi)云杉數(shù)量的快速準(zhǔn)確統(tǒng)計(jì)。

1 研究區(qū)域和數(shù)據(jù)采集

1.1 研究區(qū)域

本文試驗(yàn)場(chǎng)地位于內(nèi)蒙古自治區(qū)呼和浩特市南部（111°49′47′′E，40°31′47′′N(xiāo)，海拔約1 134 m），總面積約2 136 hm2，如圖1所示。主要培育云杉、樟子松和油松等20余種苗木，儲(chǔ)量達(dá)到4 000余萬(wàn)株，研究基地位置如圖1a所示。挑選地形相對(duì)平坦且相對(duì)規(guī)整的18.6 hm2的云杉種植區(qū)域作為訓(xùn)練和測(cè)試區(qū)域，如圖1b和圖1c所示。研究區(qū)域內(nèi)云杉株齡在8～30 a不等，行間距1.5 m，株距1 m，典型云杉植株如圖1d所示。

1.2 數(shù)據(jù)采集

本文選用大疆精靈4無(wú)人機(jī)采集云杉圖像和視頻數(shù)據(jù)，無(wú)人機(jī)鏡頭成像角度范圍-90°～30°，最大靜態(tài)圖像尺寸4 000像素í3 000像素，最大視頻分辨率4 096像素í2 160像素，幀率60幀/s。選擇天氣晴朗無(wú)風(fēng)的環(huán)境采集圖像和視頻，具體時(shí)間為2018年11月和2019年9月，設(shè)置鏡頭成像角度-90°。采集圖像數(shù)據(jù)選擇區(qū)域M1～M6，無(wú)人機(jī)飛行速度4 m/s，如圖2a所示S型航線(xiàn)，飛行高度12～36 m，手動(dòng)拍攝確保圖像之間重疊面積小于10%。視頻數(shù)據(jù)選擇T1～T6區(qū)域采集，T1和T2區(qū)域如圖1c所示，無(wú)人機(jī)飛行速度2 m/s，飛行高度和航線(xiàn)與圖像采集一致，如圖2b所示直線(xiàn)型航線(xiàn)。以采集的云杉圖像558幅建立訓(xùn)練集，視頻6段建立測(cè)試集。

2 研究方法

深度學(xué)習(xí)中目標(biāo)檢測(cè)模型YOLOv3檢測(cè)速度快，目標(biāo)跟蹤算法SORT速度快、算力消耗小且跟蹤穩(wěn)定，已被應(yīng)用于車(chē)輛[39]和行人[40]等的跟蹤和數(shù)量統(tǒng)計(jì)中。Khazukov等[41]使用YOLOv3模型和SORT算法跟蹤街道車(chē)輛實(shí)現(xiàn)車(chē)流量統(tǒng)計(jì)和車(chē)速估計(jì)，對(duì)車(chē)輛統(tǒng)計(jì)的準(zhǔn)確率超過(guò)92%，車(chē)速估計(jì)誤差不超過(guò)1.5 km/h。研究表明，YOLOv3和SORT可以快速準(zhǔn)確統(tǒng)計(jì)視頻內(nèi)的目標(biāo)。為此本文提出基于YOLOv3和SORT的云杉數(shù)量統(tǒng)計(jì)方法，其基本流程如圖3所示，包括：1）基于YOLOv3的云杉檢測(cè)模型設(shè)計(jì)；2）基于SORT的云杉跟蹤算法設(shè)計(jì)；3）基于越線(xiàn)計(jì)數(shù)的云杉數(shù)量統(tǒng)計(jì)。

2.1 基于YOLOv3模型的云杉檢測(cè)

YOLOv3模型在保障精度的前提下運(yùn)行速度快，故選作云杉檢測(cè)的基礎(chǔ)模型，并根據(jù)云杉的特點(diǎn)將矩形邊界框改進(jìn)為橢圓形邊界框。本文改進(jìn)的橢圓形邊界框具有以下兩個(gè)優(yōu)點(diǎn)：1）橢圓形邊界框可以更好的擬合無(wú)人機(jī)航拍圖像和視頻中云杉樹(shù)冠的橢圓形狀；2）橢圓形邊界框可以從視覺(jué)上提升云杉數(shù)量統(tǒng)計(jì)的清晰程度。為此，將YOLOv3模型的矩形邊界框改進(jìn)為擬合云杉樹(shù)冠的橢圓邊界框，具體如圖4所示。

YOLOv3云杉檢測(cè)模型包括Darknet-53特征提取模塊和多尺度預(yù)測(cè)模塊兩部分。Darknet-53模塊借鑒ResNet的殘差結(jié)構(gòu)，使用1í1和3í3卷積核替代最大池化層，對(duì)輸入的云杉圖像或視頻提取和計(jì)算獲得云杉特征圖，有效的提取特征信息并減少參數(shù)量，具體如表1所示。

表1 Darknet-53特征提取模塊

注：í1，í2和í8表示該模塊重復(fù)1次，2次和8次。

Note: í1, í2 and í8 indicate that the module is repeated 1, 2 and 8 times.

多尺度預(yù)測(cè)模塊在13í13、26í26和52í52三個(gè)尺度上預(yù)測(cè)云杉。尺度感受野的大小隨13í13、26í26和52í52依次減小，分別適合預(yù)測(cè)大、中和小冠幅尺寸的云杉。

多尺度預(yù)測(cè)模塊輸出的矩形邊界框在當(dāng)前特征圖上的坐標(biāo)為（t,t,t,t），其中t和t為矩形邊界框在當(dāng)前特征圖上的中心點(diǎn)坐標(biāo)，t和t為矩形邊界框在當(dāng)前特征圖上的寬度和高度。根據(jù)式（1）計(jì)算得到矩形邊界框在原始圖像上的坐標(biāo)為（b,b,b,b），其中b和b為矩形邊界框在原始圖像上的中心點(diǎn)坐標(biāo)，b和b為矩形邊界框在原始圖像上的寬度和高度，具體如圖5a所示。實(shí)線(xiàn)矩形框?yàn)槎喑叨阮A(yù)測(cè)模塊輸出的矩形邊界框；虛線(xiàn)矩形框?yàn)榫匦芜吔缈虻南闰?yàn)框，由K均值聚類(lèi)處理訓(xùn)練集的標(biāo)注文件得到。

橢圓邊界框的坐標(biāo)參數(shù)（e,e,e,e）根據(jù)矩形邊界框的坐標(biāo)參數(shù)（b,b,b,b）計(jì)算得到，計(jì)算過(guò)程如式（2）所示，轉(zhuǎn)化過(guò)程示意如圖5a所示。

式中（e,e）為橢圓邊界框的中心坐標(biāo)，e和e分別為橢圓邊界框的半長(zhǎng)軸和半短軸。由圖5b和圖5c可見(jiàn)，橢圓邊界框相比矩形邊界框更清晰的展示云杉檢測(cè)效果，有效減少矩形邊界框之間的重疊。

2.2 基于SORT算法的云杉跟蹤

基于SORT算法的云杉跟蹤分為云杉狀態(tài)估計(jì)、數(shù)據(jù)關(guān)聯(lián)匹配和跟蹤器更新3個(gè)步驟。

2.2.1 云杉狀態(tài)估計(jì)

為跟蹤YOLOv3模型檢測(cè)到的每一株云杉，定義8維狀態(tài)向量表征云杉的狀態(tài)，如式（3）。

云杉的狀態(tài)估計(jì)通過(guò)卡爾曼濾波器實(shí)現(xiàn)，包括預(yù)測(cè)和更新兩個(gè)階段。預(yù)測(cè)階段根據(jù)前一幀被跟蹤云杉的位置完成當(dāng)前幀云杉位置的預(yù)測(cè)；更新階段根據(jù)當(dāng)前幀檢測(cè)到的云杉位置更新預(yù)測(cè)階段的云杉位置。云杉的狀態(tài)預(yù)測(cè)如式（4）。

云杉的狀態(tài)更新如式（5）。

2.2.2 數(shù)據(jù)關(guān)聯(lián)匹配

2.2.3 跟蹤器更新

云杉數(shù)據(jù)關(guān)聯(lián)匹配后，跟蹤器需要更新以便進(jìn)行下一幀的云杉跟蹤。跟蹤器更新主要包括以下3種情況：

1）對(duì)于匹配成功的跟蹤器，被檢測(cè)的云杉將繼承與其匹配成功的跟蹤器編碼，并利用該橢圓邊界框的狀態(tài)信息預(yù)測(cè)下一幀中云杉的位置；

4.2.2 基于基準(zhǔn)、粗放和集約利用等三種情景的各類(lèi)用地面積SD模型仿真結(jié)果中城市土地利用預(yù)測(cè)總面積年均增長(zhǎng)率分別為0.305%、0.761%和0.163%，且其中年均用地面積占比最大的兩類(lèi)建設(shè)用地是粗放利用方案中的住宅用地和交通運(yùn)輸用地面積，其值分別達(dá)到12.416%和10.090%；基于三種情景的SD-MOP模型的仿真結(jié)果中預(yù)測(cè)用地總面積年均增長(zhǎng)率分別為0.743%、2.551%和2.210%，且其中年均面積占比最大兩類(lèi)建設(shè)用地則為粗放利用情景下的工礦倉(cāng)儲(chǔ)用地和集約利用情景下的商服用地，其值分別達(dá)到16.924%和13.811%。

2）對(duì)于匹配失敗的跟蹤器，暫時(shí)保留該跟蹤器但不更新其狀態(tài)，并將該跟蹤器與下一幀的數(shù)據(jù)關(guān)聯(lián)匹配。當(dāng)該跟蹤器與之后連續(xù)5幀未能匹配檢測(cè)結(jié)果時(shí)，刪除該跟蹤器；

3）對(duì)于匹配失敗的被檢測(cè)云杉，為其創(chuàng)建新的跟蹤器，分配新的編碼并利用當(dāng)前被檢測(cè)云杉的信息進(jìn)行下一幀的預(yù)測(cè)。

2.3 基于越線(xiàn)計(jì)數(shù)的云杉數(shù)量統(tǒng)計(jì)

無(wú)人機(jī)的飛行方向會(huì)影響視頻中云杉的運(yùn)動(dòng)方向，本文根據(jù)云杉運(yùn)動(dòng)方向設(shè)計(jì)兩種數(shù)量統(tǒng)計(jì)模式，如圖6所示。模式1的數(shù)量統(tǒng)計(jì)流程：1）統(tǒng)計(jì)視頻第一幀位于頂部區(qū)域的云杉數(shù)量，記為N；2）實(shí)時(shí)統(tǒng)計(jì)由底部區(qū)域運(yùn)動(dòng)到頂部區(qū)域的云杉數(shù)量，并在N上累加，直到第-1幀；3）統(tǒng)計(jì)第幀底部區(qū)域內(nèi)的云杉，記為N。模式2的數(shù)量統(tǒng)計(jì)流程：1）統(tǒng)計(jì)視頻第一幀位于底部區(qū)域的云杉數(shù)量，記為N；2）實(shí)時(shí)統(tǒng)計(jì)由頂部區(qū)域運(yùn)動(dòng)到底部區(qū)域的云杉數(shù)量，并在N上累加，直到第-1幀；3）統(tǒng)計(jì)第幀頂部區(qū)域內(nèi)的云杉，記為N。假設(shè)前-1幀統(tǒng)計(jì)結(jié)果為N，則模式1數(shù)量統(tǒng)計(jì)結(jié)果為N和N的和，模式2數(shù)量統(tǒng)計(jì)結(jié)果為N和N的和。

圖6中，計(jì)數(shù)線(xiàn)AB根據(jù)經(jīng)驗(yàn)劃定，兩種模式中頂部區(qū)域和底部區(qū)域的比例分別為1∶3和3∶1。并且，計(jì)數(shù)線(xiàn)AB的位置對(duì)計(jì)數(shù)結(jié)果影響很小。以模式1為例，統(tǒng)計(jì)誤差主要出現(xiàn)在統(tǒng)計(jì)第1幀位于頂部區(qū)域的云杉和統(tǒng)計(jì)最后1幀位于底部區(qū)域的云杉時(shí)。因?yàn)椋@兩部分只依賴(lài)檢測(cè)，并直接將檢測(cè)到的云杉數(shù)量作為該部分的統(tǒng)計(jì)結(jié)果，這不可避免的存在誤檢和漏檢的情況。并且，該部分的誤差基本不受計(jì)數(shù)線(xiàn)位置變化的影響。

2.4 試驗(yàn)設(shè)置

本文算法試驗(yàn)的硬件環(huán)境為：Intel(R) Core i7-8700K CPU 3.70GHz，GeForce GTX 1080 Ti GPU；試驗(yàn)操作系統(tǒng)為：Ubuntu 16.04；軟件試驗(yàn)環(huán)境為：Python編程語(yǔ)言，Tensorflow框架。云杉檢測(cè)模型訓(xùn)練過(guò)程設(shè)置批處理量為64，初始學(xué)習(xí)率為0.001，權(quán)值衰減為0.000 5，動(dòng)量為0.9，丟棄比為0.5，迭代至10 000、40 000和50 000步時(shí)學(xué)習(xí)率分別衰減10倍。

橢圓邊界框的初始大小由先驗(yàn)框確定，先驗(yàn)框采用K均值聚類(lèi)算法處理訓(xùn)練集的標(biāo)注文件獲得。本文獲得的對(duì)應(yīng)416像素í416像素下的9個(gè)先驗(yàn)框分別為[6, 7]，[11, 14]，[17, 20]，[21, 24]，[26, 25]，[30, 33]，[34, 35]，[42, 45]和[68, 90]。

3 結(jié)果與分析

3.1 試驗(yàn)結(jié)果

本文算法在測(cè)試集中對(duì)應(yīng)6個(gè)不同試驗(yàn)地塊的視頻上進(jìn)行測(cè)試，平均計(jì)數(shù)準(zhǔn)確率MCA為92.30%，平均絕對(duì)誤差MAE為72，均方根誤差為98.85，幀率FR為11.5 幀/s。結(jié)果表明，本文基于YOLOv3和SORT的云杉數(shù)量統(tǒng)計(jì)方法能夠準(zhǔn)確統(tǒng)計(jì)試驗(yàn)地塊內(nèi)的云杉數(shù)量。以試驗(yàn)地塊T3為例，無(wú)人機(jī)采集試驗(yàn)地塊T3獲得視頻共有1 141幀，數(shù)量統(tǒng)計(jì)結(jié)果如圖7所示。其中，第1幀的數(shù)量統(tǒng)計(jì)結(jié)果為10，前571幀的數(shù)量統(tǒng)計(jì)結(jié)果為49，整個(gè)試驗(yàn)地塊的數(shù)量統(tǒng)計(jì)結(jié)果為135。云杉的跟蹤匹配過(guò)程部分云杉編碼發(fā)生跳變，但越線(xiàn)計(jì)數(shù)法有效解決編碼跳變對(duì)計(jì)數(shù)結(jié)果的影響，在地面雜草背景與云杉顏色十分接近的干擾下，實(shí)現(xiàn)云杉數(shù)量的準(zhǔn)確統(tǒng)計(jì)。

注：矩形和橢圓邊界框均為云杉檢測(cè)框，邊界框上的數(shù)字為被跟蹤云杉的編號(hào)，實(shí)心點(diǎn)為被跟蹤云杉的中心。下同。測(cè)試視頻共包含1 141幀，圖中1、571和1 141是采用固定步長(zhǎng)570幀獲得的典型幀。

3.2 對(duì)比試驗(yàn)

為充分驗(yàn)證YOLOv3+SORT算法的性能，以測(cè)試集中對(duì)應(yīng)6個(gè)不同試驗(yàn)地塊的視頻內(nèi)云杉為實(shí)驗(yàn)數(shù)據(jù)，以目標(biāo)檢測(cè)領(lǐng)域表現(xiàn)良好的SSD和Faster R-CNN模型為檢測(cè)器，結(jié)合SORT算法進(jìn)行數(shù)量統(tǒng)計(jì)。以試驗(yàn)地塊T1為例，無(wú)人機(jī)采集試驗(yàn)地塊T1獲得視頻共有441幀，3種不同方法的云杉數(shù)量統(tǒng)計(jì)結(jié)果對(duì)比如圖8所示。在圖 8中，SSD+SORT算法對(duì)第1幀的數(shù)量統(tǒng)計(jì)結(jié)果為25，對(duì)前221幀的數(shù)量統(tǒng)計(jì)結(jié)果為231，對(duì)整個(gè)試驗(yàn)地塊的數(shù)量統(tǒng)計(jì)結(jié)果為526；Faster R-CNN+SORT算法對(duì)第1幀的數(shù)量統(tǒng)計(jì)結(jié)果為30，對(duì)前221幀的數(shù)量統(tǒng)計(jì)結(jié)果為352，對(duì)整個(gè)試驗(yàn)地塊的數(shù)量統(tǒng)計(jì)結(jié)果為736；YOLOv3+SORT算法對(duì)第1幀的數(shù)量統(tǒng)計(jì)結(jié)果為30，對(duì)前221幀的數(shù)量統(tǒng)計(jì)結(jié)果為360，對(duì)整個(gè)試驗(yàn)地塊的數(shù)量統(tǒng)計(jì)結(jié)果為744。在圖8a中，SSD模型在檢測(cè)云杉時(shí)出現(xiàn)了較為嚴(yán)重的漏檢，這也是導(dǎo)致SSD+SORT算法數(shù)量統(tǒng)計(jì)結(jié)果準(zhǔn)確率低且誤差較大的主要原因。在圖8b和8c中，F(xiàn)aster R-CNN和YOLOv3模型能夠準(zhǔn)確檢測(cè)視頻中的云杉，基本沒(méi)有漏檢和誤檢。同時(shí)通過(guò)對(duì)比可見(jiàn)，本文改進(jìn)的橢圓邊界框能夠更加清晰的展示云杉檢測(cè)效果，尤其在云杉稠密的情況下極大的減少檢測(cè)結(jié)果重疊的情況。

對(duì)于3種不同方法數(shù)量統(tǒng)計(jì)的線(xiàn)性回歸分析如圖9所示。可以發(fā)現(xiàn)，本文基于YOLOv3和SORT的云杉數(shù)量統(tǒng)計(jì)方法的決定系數(shù)為0.999 8，比SSD+SORT算法的決定系數(shù)高0.001 1，與Faster R-CNN+SORT算法相同。

以平均計(jì)數(shù)準(zhǔn)確率MCA、平均絕對(duì)誤差MAE、均方根誤差RMSE和幀率FR為評(píng)價(jià)指標(biāo)，定量比較3種方法的性能，對(duì)測(cè)試集6個(gè)不同試驗(yàn)地塊的視頻試驗(yàn)結(jié)果如表2所示。

表2 不同云杉數(shù)量統(tǒng)計(jì)方法的定量評(píng)價(jià)

在3種方法中，本文基于YOLOv3和SORT的云杉數(shù)量統(tǒng)計(jì)方法準(zhǔn)確率高并且檢測(cè)速度最快，對(duì)比Faster R-CNN+SORT算法，該方法在保證準(zhǔn)確率的基礎(chǔ)上更加快速，平均計(jì)數(shù)準(zhǔn)確率MCA僅降低1.33個(gè)百分點(diǎn)，但幀率FR提高10.1 幀/s，是完成視頻中云杉數(shù)量統(tǒng)計(jì)任務(wù)的最優(yōu)方法。SSD+SORT算法在各項(xiàng)指標(biāo)中表現(xiàn)欠佳，無(wú)法滿(mǎn)足視頻中云杉數(shù)量統(tǒng)計(jì)快速準(zhǔn)確的需求。Faster R-CNN+SORT算法雖然在準(zhǔn)確率方面表現(xiàn)好，但是在速度指標(biāo)方面的表現(xiàn)還有很大的優(yōu)化空間，不適用于視頻中云杉數(shù)量統(tǒng)計(jì)快速的需求。

4 結(jié) 論

本文以無(wú)人機(jī)航拍的云杉視頻為研究對(duì)象，針對(duì)統(tǒng)計(jì)完整地塊苗木數(shù)量的問(wèn)題，提出一種基于YOLOv3和SORT的云杉數(shù)量統(tǒng)計(jì)方法。主要工作包括采集數(shù)據(jù)、構(gòu)建YOLOv3檢測(cè)模型、設(shè)計(jì)SORT跟蹤算法和越線(xiàn)計(jì)數(shù)方法。試驗(yàn)結(jié)果得到如下結(jié)論：

1）基于YOLOv3和SORT的云杉數(shù)量統(tǒng)計(jì)方法快速準(zhǔn)確統(tǒng)計(jì)完整地塊內(nèi)云杉的數(shù)量。測(cè)試結(jié)果顯示本文方法的平均計(jì)數(shù)準(zhǔn)確率為92.30%、平均絕對(duì)誤差為72、均方根誤差為98.85、幀率為11.5 幀/s，線(xiàn)性回歸分析的決定系數(shù)為0.999 8?；赮OLOv3和SORT的云杉數(shù)量統(tǒng)計(jì)方法有效解決了完整地塊云杉數(shù)量難以快速準(zhǔn)確統(tǒng)計(jì)的問(wèn)題。

2）基于YOLOv3和SORT的云杉數(shù)量統(tǒng)計(jì)方法與SSD+SORT算法以及Faster R-CNN+SORT算法進(jìn)行對(duì)比。測(cè)試結(jié)果顯示：在平均計(jì)數(shù)準(zhǔn)確率、平均絕對(duì)誤差和均方根誤差這3個(gè)指標(biāo)上，基于YOLOv3和SORT的數(shù)量統(tǒng)計(jì)方法顯著優(yōu)于SSD+SORT算法，與Faster R-CNN+SORT算法相近，但幀率比其高出10.1 幀/s。是實(shí)現(xiàn)云杉數(shù)量快速準(zhǔn)確統(tǒng)計(jì)的有效方法。

[1] Hao Z, Lin L, Liu J, et al. Automated tree-crown and height detection in a young forest plantation using mask region-based convolutional neural network (Mask R-CNN)[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 178: 112-123.

[2] Xiong H, Cao Z, Lu H, et al. TasselNetv2: In-field counting of wheat spikes with context-augmented local regression networks[J]. Plant Methods, 2019, 15: 150.

[3] 肖德琴，張玉康，范梅紅，等. 基于視覺(jué)感知的蔬菜害蟲(chóng)誘捕計(jì)數(shù)算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49(3)：51-58.

Xiao Deqin, Zhang Yukang, Fan Meihong, et al. Vegetable pest counting algorithm based on visual perception[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(3): 51-58. (in Chinese with English abstract)

[4] 梁習(xí)卉子，陳兵旗，李民贊，等. 質(zhì)心跟蹤視頻棉花行數(shù)動(dòng)態(tài)計(jì)數(shù)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(2)：175-182.

Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Dynamic counting method of cotton rows in video based on centroid tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(2): 175-182. (in Chinese with English abstract)

[5] Li D, Guo H, Wang C, et al. Individual tree delineation in windbreaks using airborne-laser-scanning data and unmanned aerial vehicle stereo images[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(9): 1330-1334.

[6] Wang J, Chen X, Cao L, et al. Individual rubber tree segmentation based on ground-based LiDAR data and Faster R-CNN of deep learning[J]. Forests, 2019, 10(9): 793.

[7] 趙靜，潘方江，蘭玉彬，等. 無(wú)人機(jī)可見(jiàn)光遙感和特征融合的小麥倒伏面積提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(3)：73-80.

Zhao Jing, Pan Fangjiang, Lan Yubin, et al. Wheat lodging area extraction using UAV visible light remote sensing and feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(3): 73-80. (in Chinese with English abstract)

[8] Mekhalfi M, Nicolo C, Lanniello L. Vision system for automatic on-tree kiwifruit counting and yield estimation[J]. Sensors, 2020, 20(15): 4214.

[9] Payne A, Walsh K, Subedi P. Estimation of mango crop yield using image analysis - Segmentation method[J]. Computers and Electronics in Agriculture, 2013, 91: 57-64.

[10] Jiang H, Chen S, Li D, et al. Papaya tree detection with UAV images using a GPU-accelerated scale-space filtering method[J]. Remote Sensing, 2017, 9(7): 721.

[11] Dorj U, Lee M, Han S. A comparative study on tangerine detection counting and yield estimation algorithm[J]. Journal of Information Security and Applications, 2013, 7(3): 405-412.

[12] Waleed M, Um T, Khan A. Automatic detection system of olive trees using improved k-means algorithm[J]. Remote Sensing, 2020, 12(5): 760.

[13] Hassler S, Baysal-Gurel F. Unmanned aircraft system(UAS) technology and applications in agriculture[J]. Agronomy-Basel, 2019, 9(10): 618.

[14] Dilek K, Serdar S, Nathan A, et al. Automatic citrus tree extraction from UAV images and digital surface models using circular Hough transform[J]. Computers and Electronics in Agriculture, 2018, 150: 289-301.

[15] Linker R, Cohen O, Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture, 2012, 81(1): 45-57.

[16] Scott J, Gent D, Hay F, et al. Estimation of pyrethrum flower number using digital imagery[J]. Horttechnology, 2015, 25(5): 617-624.

[17] 李艷肖，胡雪桃，張芳，等. 基于高光譜技術(shù)的菌落圖像分割與計(jì)數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(20)：326-332.

Li Yanxiao, Hu Xuetao, Zhang Fang, et al. Colony image segmentation and counting based on hyperspectral technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 326-332. (in Chinese with English abstract)

[18] Bargoti S, Underwood J. Image segmentation for fruit detection and yield estimation in apple orchards[J]. Journal of Field Robotics, 2017, 34(6): 1039-1060.

[19] Wu B, Yu B, Wu Q, et al. Individual tree crown delineation using localized contour tree method and airborne LiDAR data in coniferous forests[J]. International Journal of Applied Earth Observation and Geoinformation, 2016, 52: 82-94.

[20] 杭艷紅，蘇歡，于滋洋，等. 結(jié)合無(wú)人機(jī)光譜與紋理特征和覆蓋度的水稻葉面積指數(shù)估算[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(9)：64-71.

Hang Yanhong, Su Huan, Yu Ziyang, et al. Estimation of rice leaf area index combining UAV spectrum, texture features and vegetation coverage[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 64-71. (in Chinese with English abstract)

[21] 梁習(xí)卉子，陳兵旗，李民贊，等. 基于HOG特征和SVM的棉花行數(shù)動(dòng)態(tài)計(jì)數(shù)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(15)：173-181.

Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Method for dynamic counting of cotton rows based on HOG feature and SVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(15): 173-181. (in Chinese with English abstract)

[22] 劉哲，黃文準(zhǔn)，王利平. 基于改進(jìn)K-means聚類(lèi)算法的大田麥穗自動(dòng)計(jì)數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(3)：174-181.

Liu Zhe, Huang Wenzhun, Wang Liping. Field wheat ear counting automatically based on improved K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 174-181. (in Chinese with English abstract)

[23] 李莉，王宏康，吳勇，等. 基于K-means聚類(lèi)算法的草莓灌溉策略研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(1)：295-302.

Li Li, Wang Hongkang, Wu Yong, et al. Investigation of strawberry irrigation strategy based on K-means clustering algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(1): 295-302. (in Chinese with English abstract)

[24] Shang L, Guo W, Nelson S. Apple variety identification based on dielectric spectra and chemometric methods[J]. Food Analytical Methods, 2015, 8(4): 1042-1052.

[25] 徐洋，陳燚，黃磊，等. 基于多層BP神經(jīng)網(wǎng)絡(luò)和無(wú)參數(shù)微調(diào)的人群計(jì)數(shù)方法[J]. 計(jì)算機(jī)科學(xué)，2018，45(10)：235-239.

Xu Yang, Chen Yan, Huang Lei, et al. Crowd counting method based on multilayer BP neural networks and Non-parameter tuning[J]. Computer Science, 2018, 45(10): 235-239. (in Chinese with English abstract)

[26] 李毅念，杜世偉，姚敏，等. 基于小麥群體圖像的田間麥穗計(jì)數(shù)及產(chǎn)量預(yù)測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(21)：185-194.

Li Yinian, Du Shiwei, Yao Min, et al. Method for wheatear counting and yield predicting based on image of wheatear population in field[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 185-194. (in Chinese with English abstract)

[27] Djerriri K, Ghabi M, Karoui M, et al. Palm trees counting in remote sensing imagery using regression convolutional neural network[C]//IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium, Valencia, Spain: IEEE, 2018.

[28] 孫壯壯，姜東，蔡劍，等. 單子葉作物葉片氣孔自動(dòng)識(shí)別與計(jì)數(shù)技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(23)：170-176.

Sun Zhuangzhuang, Jiang Dong, Cai Jian, et al. Automatic identification and counting of leaf stomata of monocotyledonous crops[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 170-176. (in Chinese with English abstract)

[29] Xie H, Fan Z, Li W, et al. Tobacco plant recognizing and counting based on SVM[C]// 2016 International Conference on Industrial Informatics - Computing Technology, Intelligent Technology, Wuhan, China: IEEE, 2016.

[30] 姜海燕，徐燦，陳堯，等. 基于田間圖像的局部遮擋小尺寸稻穗檢測(cè)和計(jì)數(shù)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(9)：152-162.

Jiang Haiyan, Xu Can, Chen Yao, et al. Detecting and counting method for small-sized and occluded rice panicles based on in-field images[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(9): 152-162. (in Chinese with English abstract)

[31] 易詩(shī)，沈練，周思堯，等. 基于增強(qiáng)型Tiny-YOLOV3模型的野雞識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(13)：141-147.

Yi Shi, Shen Lian, Zhou Siyao, et al. Recognition method of pheasant using enhanced Tiny-YOLOV3 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 141-147. (in Chinese with English abstract)

[32] Osco L, Arruda M, Junior J, et al. A convolutional neural network approach for counting and geolocating citrus-trees in UAV multispectral imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 160: 97-106.

[33] Fan Z, Lu J, Gong M, et al. Automatic tobacco plant detection in UAV images via deep neural networks[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(3): 876-887.

[34] Raul M, Lodewijk V, Joris I. DiSCount: computer vision for automated quantification of striga seed germination[J]. Plant Methods, 2020, 16(1): 60.

[35] Zhou W, Zhu X, Chen F. Spruce counting based on Lightweight Mask R-CNN with UAV Images[J]. International Journal of Circuits, Systems and Signal Processing, 2021, 15: 634-642.

[36] Wang D, Fu Y, Yang X, et al. Combined use of FCN and harris corner detection for counting wheat ears in field conditions[J]. IEEE Access, 2019, 7: 178930-178941.

[37] Li W, Fu H, Yu L, et al. Deep learning based oil palm tree detection and counting for high-resolution remote sensing images[J]. Remote Sensing, 2017, 9(1): 22.

[38] 陳鋒軍，朱學(xué)巖，周文靜，等. 基于無(wú)人機(jī)航拍與改進(jìn)YOLOv3模型的云杉計(jì)數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(22)：22-30.

Chen Fengjun, Zhu Xueyan, Zhou Wenjing, et al. Spruce counting method based on improved YOLOv3 model in UAV images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(22): 22-30. (in Chinese with English abstract)

[39] Ibryaeva O, Shepelev V, Kuzmicheva O, et al. A study of the impact of the transport queue structure on the traffic capacity of a signalized intersection using neural networks[J]. Transportation Research Procedia, 2020, 52: 589-596.

[40] Alver Y, Onelcin P, Cicekli A, et al. Evaluation of pedstrian critical gap and crossing speed at midblock crossing using image proccessing[J]. Accident Analysis and Prevention, 2021, 156(4): 106127.

[41] Khazukov K, Shepelev V, Karpeta T, et al. Real-time monitoring of traffic parameters[J]. Journal of Big Data, 2020, 7: 84.

[42] Bewley A, Ge Z, Ott L, et al. Simple online and realtime tracking[C]// 2016 IEEE International Conference on Image Processing (ICIP), Phoenix, AZ, USA: IEEE, 2016: 3464-3468.

Quantity statistics of spruce under UAV aerial videos using YOLOv3 and SORT

Chen Fengjun1,2, Zhu Xueyan1,2, Zhou Wenjing1,2, Zheng Yili1, Gu Mengmeng3, Zhao Yandong1,4※

(1.,,100083,;2.,100083,;3.,,77843,;4.,100083,)

A seedling quantity is a key indicator to predict the actual production, supply, and demand for the operation and management of a nursery. The manual visualization has still dominated the statistics for the number of seedlings in complete plots. However, the application needs cannot be fully met in recent years, such as high cost, low efficiency, and slow data update. Therefore, it is necessary to fast and accurately estimate the number of seedlings in the whole plots. Taking the spruce as the research object, this study aims to propose a quantity statistics approach under Unmanned Aerial Vehicle (UAV) aerial videos using YOLOv3 and SORT. The specific procedure included the data acquisition, YOLOv3 detection model, SORT tracking, and cross-line counting. Two areas were divided for the image and video acquisition, each with 6 complete test plots. In the stage of data acquisition, 558 images and 6 videos were captured by a DJI Phantom 4 (UAV). The quantity statistics dataset was then constructed with the acquired images and videos, where the training dataset contained 558 images, and the test dataset contained 6 videos. Subsequently, a YOLOv3 model was selected to detect the spruce, while a SORT model was to track the spruce, and the cross-line counting to count the number of spruce. The performance of the combined YOLOv3+SORT was also quantitatively evaluated using Mean Count Accuracy (MCA), Mean Absolute Error (MAE), Root Mean Square Error (RMSE), and Frame Rate (FR). It was found that the MCA of 92.30%, MAE of 72, RMSE of 98.85, and FR of 11.5 frames/s for the test dataset in the quantity statistics. The experimental results showed that quick and accurate counting was achieved for the number of spruce in the complete plots. The YOLOv3+SORT was also compared with the SSD+SORT and Faster R-CNN+SORT, in order to further verify the performance of the model. The results showed that the YOLOv3+SORT performed over the SSD+SORT in all four evaluation indexes. Particularly, the YOLOv3+SORT was much faster with higher guaranteed accuracy, with 1.33 percentage points lower MCA, and 10.1 frames/s higher FR, compared with the Faster R-CNN+SORT. In summary, the quantity statistics using YOLOv3 and SORT can be widely expected to serve as an effective way to rapidly and accurately count the number of seedlings in the whole plots. This study can also offer promising potential support to the seedling quantity statistics from the perspective of UAV aerial videos.

unmanned aerial vehicle; model; algorithm; spruce; quantity statistics; YOLOv3; SORT

陳鋒軍，朱學(xué)巖，周文靜，等. 利用無(wú)人機(jī)航拍視頻結(jié)合YOLOv3模型和SORT算法統(tǒng)計(jì)云杉數(shù)量[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(20)：81-89.doi：10.11975/j.issn.1002-6819.2021.20.009 http://www.tcsae.org

Chen Fengjun, Zhu Xueyan, Zhou Wenjing, et al. Quantity statistics of spruce under UAV aerial videos using YOLOv3 and SORT[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(20): 81-89. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.20.009 http://www.tcsae.org

2021-06-27

2021-10-06

國(guó)家重點(diǎn)研發(fā)計(jì)劃（2019YFD1002401）、中央高校基本科研業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金資助（2015ZCQ-GX-04）和北京市共建項(xiàng)目聯(lián)合資助

陳鋒軍，博士，副教授，研究方向?yàn)榱謽I(yè)信息檢測(cè)。Email：chenfj227@bjfu.edu.cn

趙燕東，博士，教授，博士生導(dǎo)師，研究方向?yàn)樯鷳B(tài)智能檢測(cè)與控制。Email：yandongzh@bjfu.edu.cn

10.11975/j.issn.1002-6819.2021.20.009

TP391.4

A

1002-6819(2021)-20-0081-09