無(wú)人機(jī)遙感影像在油菜品種識(shí)別中的應(yīng)用

李婕 李毅 張瑞杰 李俐俐 李禮 姚劍 喬江偉

摘要： 采用無(wú)人機(jī)遙感技術(shù)進(jìn)行油菜品種識(shí)別，是產(chǎn)量預(yù)測(cè)及災(zāi)害評(píng)估的重要前提和基礎(chǔ)。本研究利用無(wú)人機(jī)作為數(shù)據(jù)采集設(shè)備，以基地24個(gè)品種油菜苗期育種材料為識(shí)別數(shù)據(jù)，將無(wú)人機(jī)獲取的影像進(jìn)行拼接、裁剪、旋轉(zhuǎn)等預(yù)處理，按照4∶ 1劃分訓(xùn)練集和測(cè)試集，構(gòu)建注意力機(jī)制引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)搭建油菜影像識(shí)別網(wǎng)絡(luò)模型，并采用總體準(zhǔn)確率、Kappa系數(shù)等評(píng)價(jià)參數(shù)對(duì)識(shí)別結(jié)果進(jìn)行評(píng)價(jià)。結(jié)果表明，本研究的網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率和Kappa系數(shù)分別達(dá)到了89.60%和0.889 4，高于5個(gè)經(jīng)典網(wǎng)絡(luò)模型。說(shuō)明，注意力機(jī)制能夠更加充分地提取無(wú)人機(jī)遙感影像的油菜特征，有效地提高卷積神經(jīng)網(wǎng)絡(luò)對(duì)不同品種油菜的識(shí)別精度。本研究網(wǎng)絡(luò)模型彌補(bǔ)了傳統(tǒng)油菜細(xì)分需要人力統(tǒng)計(jì)及現(xiàn)有方法設(shè)備成本高的缺陷，為采用無(wú)人機(jī)遙感技術(shù)進(jìn)行作物品種識(shí)別提供技術(shù)支撐。

關(guān)鍵詞： 油菜; 無(wú)人機(jī)遙感技術(shù); 品種識(shí)別; 卷積神經(jīng)網(wǎng)絡(luò); 注意力機(jī)制

中圖分類號(hào)： TP75?? 文獻(xiàn)標(biāo)識(shí)碼： A?? 文章編號(hào)： 1000-4440（2022）03-0675-10

Application of UAV remote sensing image in rape variety identification

LI Jie 1 ， LI Yi 1 ， ZHANG Rui-jie 2 ， LI Li-li 2 ?， LI Li 2 ， YAO Jian 2 ， QIAO Jiang-wei 3

（1.School of Electrical and Electronic Engineering， Hubei University of Technology， Wuhan 430068， China; 2.School of Remote Sensing and Information Engineering， Wuhan University， Wuhan 430070， China; 3.Oil Crops Research Institute， Chinese Academy of Agricultural Sciences， Wuhan 430062， China）

Abstract： Using unmanned aerial vehicle （UAV） remote sensing technology to identify rape varieties is an important prerequisite and basis for yield prediction and disaster assessment. In this study， UAV was used as data acquisition equipment， and the breeding materials of 24 rape varieties at seedling stage in the base were used as identification data. The images obtained by the UAV were preprocessed such as splicing， clipping and rotation. The training set and test set were divided according to the ratio of 4∶ 1， and the convolutional neural network guided by attention mechanism was constructed to build the recognition model. The overall accuracy， Kappa coefficient and other evaluation parameters were used to evaluate the recognition results. The results showed that the recognition accuracy and Kappa coefficient of the network model constructed in this study reached 89.60% and 0.889 4 ， respectively， which were higher than those of the five classical network models. The attention mechanism can extract the rape features of UAV remote sensing images more fully， and effectively improve the recognition accuracy of convolutional neural network for different varieties of rape. The network model constructed in this study makes up for the shortcomings of human statistics and high cost of existing methods and equipment， and provides technical support for crop variety identification using UAV remote sensing technology.

Key words： rape; unmamed aerial vehicle （UAV） remote sensing technology; variety identification; convolutional neural network; attention mechanism

油菜是中國(guó)主要的油料作物，占世界產(chǎn)量的20%，在國(guó)民經(jīng)濟(jì)發(fā)展中占據(jù)著舉足輕重的地位 [1-2] 。長(zhǎng)江中下游作為油菜高產(chǎn)區(qū)，油菜品種繁多，不同品種的產(chǎn)量、抗性等有所差異，因此，及時(shí)、準(zhǔn)確地獲取油菜品種種植信息是產(chǎn)量預(yù)測(cè)及災(zāi)害評(píng)估的重要前提和基礎(chǔ)，對(duì)油菜種植規(guī)劃及生產(chǎn)管理措施制定具有重要意義。

長(zhǎng)期以來(lái)，中國(guó)油菜品種種植信息等重要農(nóng)業(yè)統(tǒng)計(jì)數(shù)據(jù)，主要通過(guò)人工統(tǒng)計(jì)等傳統(tǒng)方法獲得，普遍存在調(diào)查工作量龐大、財(cái)力和物力耗費(fèi)高、調(diào)查周期長(zhǎng)等諸多缺陷。如今，遙感技術(shù)發(fā)展迅速，利用高分辨率的衛(wèi)星并以地面采樣調(diào)查為輔助，可實(shí)現(xiàn)油菜種植品種信息的精細(xì)提取 [3] ，但是由于衛(wèi)星重返周期長(zhǎng)，指定區(qū)域的實(shí)時(shí)性數(shù)據(jù)無(wú)法保證，所以單一利用遙感進(jìn)行油菜品種識(shí)別，監(jiān)測(cè)精度無(wú)法滿足實(shí)時(shí)性要求。因此，采用無(wú)人機(jī)遙感技術(shù)進(jìn)行油菜品種細(xì)分成為必要。

目前，無(wú)人機(jī)遙感結(jié)合深度學(xué)習(xí)技術(shù)在大面積、快速、不破壞作物結(jié)構(gòu)的同時(shí)能夠獲取不同時(shí)空的多尺度作物冠層信息 [4] ，為作物表型研究 [5-6] 、產(chǎn)量及品質(zhì)監(jiān)控評(píng)估 [7-8] 、作物長(zhǎng)勢(shì)動(dòng)態(tài) [9] 、精細(xì)農(nóng)業(yè) [10] 等提供了可視化的分析依據(jù)。無(wú)人機(jī)根據(jù)載荷、監(jiān)測(cè)目的的不同能夠搭載不同類型的遙感傳感器。雖然無(wú)人機(jī)搭載多光譜成像傳感器的應(yīng)用較多 [11-12] ，但多光譜傳感器存在波段數(shù)有限、光譜信息量小、樣本標(biāo)記代價(jià)高的問(wèn)題，使其大面積推廣應(yīng)用受到限制;而無(wú)人機(jī)搭載高光譜傳感器在農(nóng)作物精細(xì)識(shí)別方面得到廣泛應(yīng)用 [13-16] ，由于其獲取的影像包含數(shù)百個(gè)波段，光譜分辨率能夠達(dá)到2～ 4 nm，因此高光譜成像傳感器能夠準(zhǔn)確地反映大田中農(nóng)作物的光譜特征和不同農(nóng)作物之間的光譜差異 [17] ，但也存在樣本標(biāo)記代價(jià)高，實(shí)施成本昂貴的問(wèn)題 [18] 。

無(wú)人機(jī)搭載RGB相機(jī)，具有成本低且受天氣影響較小等優(yōu)點(diǎn)，能夠獲取占用內(nèi)存較小的數(shù)碼照片，使大面積農(nóng)田信息快速采集、簡(jiǎn)單處理成為可能 [19] 。近年來(lái)國(guó)內(nèi)外學(xué)者運(yùn)用無(wú)人機(jī)搭載RGB相機(jī)的數(shù)碼照片對(duì)農(nóng)作物信息進(jìn)行提取取得了不錯(cuò)的效果，Bendig等 [20] 利用數(shù)碼相機(jī)估算大麥的株高、葉面積指數(shù)、倒伏狀況等信息，牛慶林等 [21] 采用無(wú)人機(jī) RGB 影像提取各個(gè)時(shí)期、各個(gè)田塊玉米的株高信息。目前應(yīng)用低空無(wú)人機(jī)遙感手段估測(cè)油菜成長(zhǎng)參數(shù)的研究尚處在初級(jí)階段，已有的基于RGB相機(jī)對(duì)油菜品種的細(xì)分研究主要以近距離拍攝的圖像作為輸入 [22-23] ，鮮少僅以高空農(nóng)作物影像作為輸入。因此，本研究基于深度學(xué)習(xí)理論，以無(wú)人機(jī)獲取的影像為數(shù)據(jù)，利用不同油菜品種的高空視覺表型特征，提出一種基于普通消費(fèi)級(jí)無(wú)人機(jī)遙感影像的油菜品種的識(shí)別方法。該方法采用多尺度特征的提取方式，結(jié)合通道注意力機(jī)制，利用高維空間的最優(yōu)分類函數(shù)，對(duì)模型進(jìn)行優(yōu)化，使之與高空拍攝農(nóng)作物影像的識(shí)別與處理吻合。最后，通過(guò)構(gòu)建多組數(shù)據(jù)、多種模型的對(duì)比試驗(yàn)，驗(yàn)證該方法的有效性，為油菜的品種識(shí)別及農(nóng)作物智慧決策提供有益補(bǔ)充。

1 材料與方法

1.1 試驗(yàn)布置與數(shù)據(jù)采集

油菜種植分為冬油菜（9底種植，次年5月收獲）和春油菜（4月底種植，9月收獲）。其中，冬油菜的種植面積和產(chǎn)量均占全國(guó)的90% 以上，占世界的1/4。本研究選取湖北省武漢市新洲區(qū)中國(guó)農(nóng)業(yè)科學(xué)院油料作物研究所陽(yáng)邏基地（30°42′E，14°30′N）作為研究區(qū)域（圖1），該區(qū)域海拔約24 m，氣候類型為亞熱帶季風(fēng)氣候。試驗(yàn)田共分252個(gè)小區(qū)，小區(qū)面積分為8 m2（2 m× 4 m）和6 m2（2 m× 3 m） 2種。試驗(yàn)選擇24個(gè)不同品種的油菜材料，以p1～p24依次命名，其中，p1～ p6每個(gè)品種重復(fù)種植24個(gè)小區(qū)，p7～ p24每個(gè)油菜品種重復(fù)種植6個(gè)小區(qū)。試驗(yàn)時(shí)間在冬油菜的幼苗期，即2020年10月至次年1月。

數(shù)據(jù)采集使用的無(wú)人機(jī)型號(hào)為大疆精靈Phantom 4 Pro V2.0，搭載相機(jī)為2× 10 7 像素，拍攝單張圖像尺寸為5 472× 3 648 ，具體采集環(huán)境如表1所示。采用自動(dòng)規(guī)劃航拍模式，航向重疊率和旁向重疊率設(shè)定為75%，飛行高度10 m，以等距間隔方式進(jìn)行拍照，飛行速度為1.9 m/s ，約10 min完成研究區(qū)域數(shù)據(jù)采集。大田24個(gè)不同品種的油菜苗期影像數(shù)據(jù)輸入，按照從左至右，自上而下順序分別放置了第1種至第24種不同油菜品種材料影像（圖2）。由圖2可以發(fā)現(xiàn)，部分品種視覺效果差異很小。

1.2 數(shù)據(jù)預(yù)處理

為了獲取識(shí)別網(wǎng)絡(luò)模型的訓(xùn)練樣本，無(wú)人機(jī)分別拍攝了油菜在六葉期、八葉期以及十葉期的影像數(shù)據(jù)，每期包含p1～ p24共24個(gè)油菜品種數(shù)據(jù)集，將獲取的無(wú)人機(jī)遙感影像數(shù)據(jù)進(jìn)行預(yù)處理，每期油菜數(shù)據(jù)集進(jìn)行4∶ 1劃分訓(xùn)練集和測(cè)試集。具體步驟如圖3所示。首先將研究區(qū)域的無(wú)人機(jī)航拍影像進(jìn)行拼接，獲取大田的正射影像，然后利用圖像處理軟件將正射影像按照實(shí)際地面尺寸進(jìn)行裁剪，同時(shí)綜合大田種植時(shí)的數(shù)據(jù)，為對(duì)應(yīng)的影像打上標(biāo)簽。因?yàn)樵囼?yàn)田和油菜品種有限，所以獲取的影像數(shù)據(jù)較少，可能不滿足模型訓(xùn)練的特征提取，為了解決這個(gè)問(wèn)題，本研究對(duì)標(biāo)記好的原始圖片進(jìn)行裁剪，并考慮到數(shù)據(jù)采集過(guò)程中天氣情況對(duì)圖像亮度的影響不同，對(duì)剪裁圖像的亮度進(jìn)行了操作。首先將圖像從RGB色彩空間轉(zhuǎn)變到HSV色彩空間，然后對(duì)亮度進(jìn)行調(diào)整，以10%的比例增加亮度，使網(wǎng)絡(luò)模型對(duì)不同天氣造成的亮度變化具有更強(qiáng)的適應(yīng)性。為了增加訓(xùn)練樣本以防止圖像數(shù)據(jù)過(guò)度擬合，需要對(duì)裁剪得到的中圖影像進(jìn)行數(shù)據(jù)擴(kuò)展。將獲取的單張品種p1～ p6油菜中圖影像裁剪成18張小圖，品種p7～ p24油菜中圖影像裁剪成15張小圖，得到最終的網(wǎng)絡(luò)模型訓(xùn)練和測(cè)試所需要的剪裁后的數(shù)據(jù)集（圖3）。

1.3 油菜品種識(shí)別網(wǎng)絡(luò)模型

本研究采用的網(wǎng)絡(luò)模型結(jié)構(gòu)圖如圖4所示，其中主干網(wǎng)絡(luò)模型共分為3個(gè)尺度模塊，每個(gè)尺度模塊由2個(gè)連續(xù)的3× 3卷積層（ stride =1）及ReLU非線性激活函數(shù)組成，為了擴(kuò)展到下一個(gè)尺度模塊，采用2× 2最大池化層并保留輸出塊中的最大像素使輸出分辨率減半。雖然每個(gè)卷積步驟中都存在2個(gè)像素的損失，但由于本研究目標(biāo)不是精確的特征定位，因此在不影響整體性能的情況下提高了訓(xùn)練和推理速度。

考慮到網(wǎng)絡(luò)模型的全局表現(xiàn)以及提升運(yùn)行速度，在每一次非線性激活函數(shù)之后，實(shí)行批量歸一化。識(shí)別部分采用參數(shù)較少的卷積操作來(lái)完成，通過(guò)特征提取得到圖像的特征后，首先經(jīng)過(guò)1× 1的卷積將特征圖維度調(diào)整成1，然后用全局平均池化層得到輸入圖像的24類識(shí)別結(jié)果，最終用Softmax將結(jié)果轉(zhuǎn)化為各品種的概率。

為了讓網(wǎng)絡(luò)模型在通道之間篩選提取出更加有用的特征信息，本研究考慮在主干網(wǎng)絡(luò)模型的基礎(chǔ)上添加注意力模塊。具體的結(jié)構(gòu)框圖如圖5所示。首先，通過(guò)對(duì)卷積得到的特征圖進(jìn)行處理，得到一個(gè)和通道數(shù)相同的一維向量作為每個(gè)通道的評(píng)價(jià)分?jǐn)?shù)，然后將該分?jǐn)?shù)分別施加到對(duì)應(yīng)的通道上。假設(shè)特征圖維度為 h× w× c ，在此基礎(chǔ)上做全局池化，池化窗口為 h× w ，通道數(shù)不變，那么經(jīng)過(guò)池化操作得到 ?1× 1× c 的特征圖;然后，連接2個(gè)全連接層，其中，第一個(gè)全連接層神經(jīng)元個(gè)數(shù)為 c/r ，相當(dāng)于對(duì) c 進(jìn)行了降維;輸入 c 個(gè)特征，第二個(gè)全連接層神經(jīng)元個(gè)數(shù)為 c ，相當(dāng)于維度回到了 c 個(gè)特征，與直接用1個(gè)全連接層相比，這種鏈接方式具備更多的非線性，可以更好地?cái)M合通道間復(fù)雜的相關(guān)性，因此極大地減少了參數(shù)量和計(jì)算量;最后，考慮到通道之間的相關(guān)性，連接1個(gè)sigmod層，得到 1× 1× c 的特征圖輸出。

主干網(wǎng)絡(luò)模型的特征圖維度 h× w× c ，輸入到注意力模塊，得到通道的權(quán)值，維度為 1× 1× c ，將主干網(wǎng)絡(luò)模型特征圖與權(quán)重特征圖相乘，得到的特征圖對(duì)應(yīng)的每個(gè)通道的重要性不同，權(quán)重大的特征值更大。

在訓(xùn)練過(guò)程中，采用Loss函數(shù)為交叉熵函數(shù)，損失函數(shù)表達(dá)式如公式1所示：

L=1N∑（-∑M c=1 y ic? lg p ic ） （1）

其中， M 表示類別數(shù)， y ic? 為指示變量，如果該類別與樣本 i 的類別相同則為1，否則為0; p ic? 表示觀測(cè)樣本 i 為類別 c 的預(yù)測(cè)概率; N 為樣本的數(shù)量。而本研究所對(duì)應(yīng)的任務(wù)，需要用多分類的交叉熵函數(shù)對(duì)24類的交叉熵函數(shù)進(jìn)行擴(kuò)展。

1.4 評(píng)價(jià)指標(biāo)

本研究深度學(xué)習(xí)運(yùn)行硬件環(huán)境為Ubuntu 16.04，硬件內(nèi)存為128 G，2張NVIDIA GTX 1080Ti顯卡。為了檢驗(yàn)?zāi)Ｐ偷姆€(wěn)定性，本研究利用交叉驗(yàn)證的方法，將樣本集分成5份，按照4∶ 1劃分訓(xùn)練集和測(cè)試集，最終計(jì)算 ?n 次訓(xùn)練下的評(píng)價(jià)指標(biāo)。本研究采用公式（2）～公式（7）所示的評(píng)價(jià)指標(biāo)來(lái)評(píng)估網(wǎng)絡(luò)模型整體性能Top3和Top5準(zhǔn)確率，即在概率向量最大的前3/前5中，只要出現(xiàn)了正確概率即為預(yù)測(cè)正確。

A（Accuracy）=TP+TNTP+TN+FP+FN （2）

P（Precision）=TPTP+FP （3）

R（Recall）=TPTP+FN （4）

F1 = 2×P×RP+R （5）

MacroF1 =∑ F1 ? i n （6）

MicroF1 = 2×all_p×all_rall_p+all_r （7）

其中，準(zhǔn)確率 （Accuracy） ：識(shí)別正確樣本數(shù)除以總樣本數(shù);查準(zhǔn)率 （Precision） ：識(shí)別正確的正樣本個(gè)數(shù)占分類器分成的所有正樣本個(gè)數(shù)的比例;召回率 （Recall） ：識(shí)別正確的正樣本個(gè)數(shù)占實(shí)際正樣本個(gè)數(shù)的比例; MacroF1 和 MicroF1 值：兼顧識(shí)別模型的查準(zhǔn)率和召回率，是兩者的調(diào)和均值; ?TP （ True ??Positive ）表示正類樣本被模型分為正類樣本， FP （ False ??Positive ）表示負(fù)類樣本被模型分為正類樣本。 TN （ True ??Negetive ）表示負(fù)類樣本被模型分為負(fù)類樣本， FN （ False ??Negetive ）表示正類樣本被模型分為負(fù)類樣本。

2 結(jié)果與分析

2.1 本研究網(wǎng)絡(luò)模型的驗(yàn)證

為了驗(yàn)證本研究網(wǎng)絡(luò)模型的有效性，本研究分別用4個(gè)單獨(dú)時(shí)期的油菜數(shù)據(jù)集進(jìn)行試驗(yàn)。每期數(shù)據(jù)按照4∶ 1的比例劃分訓(xùn)練小區(qū)和測(cè)試小區(qū)，然后將對(duì)應(yīng)小區(qū)增強(qiáng)后的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，得到參與訓(xùn)練和測(cè)試的樣本數(shù)量分別為6 510 張和1 914 張，如表2和表3所示。經(jīng)過(guò)迭代后訓(xùn)練效果如圖6所示，從圖6可以看出，隨著迭代次數(shù)的增加，精度提升，誤差降低，大約訓(xùn)練150個(gè)周期后，誤差和精度趨于平穩(wěn)，說(shuō)明網(wǎng)絡(luò)模型的偏差、方差和精度接近完全收斂。

在試驗(yàn)中基本參數(shù)設(shè)置，學(xué)習(xí)率為0.01，batch_size為32，epoch為300。試驗(yàn)得到6個(gè)性能指標(biāo)在4個(gè)數(shù)據(jù)集里的整體性能如表4所示。對(duì)比不同油菜苗期數(shù)據(jù)集上的識(shí)別結(jié)果，總體上前期識(shí)別精度更高，各項(xiàng)性能指標(biāo)更好，油菜在六葉期更加適合品種識(shí)別。

為了評(píng)價(jià)本研究網(wǎng)絡(luò)模型識(shí)別不同品種油菜的效果，對(duì)24個(gè)油菜品種p1～ p24進(jìn)行歸類分析，每個(gè)品種識(shí)別精確度如圖7所示。對(duì)4個(gè)采集時(shí)期的每個(gè)油菜品種識(shí)別精度求平均，將平均識(shí)別精度效果分為4個(gè)層次，高于95.0%為識(shí)別效果最好， 85.1%～ 95.0%為較好， 75.1%～ 85.0%為一般，低于75%為較差，具體識(shí)別效果如表5所示。結(jié)果表明，本研究模型對(duì)p3、p5、p11、p12、p19、p22、p23、p24這8個(gè)油菜品種識(shí)別效果最好，平均精度都是95%以上，尤其是品種p12和p22，其識(shí)別精度分別達(dá)到了99.45%和99.19%;但是對(duì)品種p1和p7識(shí)別效果較差，其識(shí)別精度只有68.62%和72.73%，分析原因可能是品種p1和p7整體表型差異性較小，葉片密集且極度相似，視覺上難以區(qū)分（圖8），網(wǎng)絡(luò)模型對(duì)其誤判嚴(yán)重，所以導(dǎo)致識(shí)別精度不高。

2.2 本研究網(wǎng)絡(luò)模型在不同時(shí)期采集數(shù)據(jù)上的識(shí)別精度分析

在4個(gè)采集時(shí)期中，本研究網(wǎng)絡(luò)模型隨著油菜成長(zhǎng)期的推進(jìn)對(duì)其識(shí)別的準(zhǔn)確率呈下降趨勢(shì)， F1、Top3、Top5 指標(biāo)也相應(yīng)下降。因?yàn)檫M(jìn)入八葉期、十葉期，葉片逐漸茂盛，隨著生長(zhǎng)發(fā)育進(jìn)程的推進(jìn)，油菜葉形不斷發(fā)生變化，而氣溫長(zhǎng)時(shí)間在零下的越冬期，葉形最復(fù)雜，因?yàn)橛筒巳~片會(huì)出現(xiàn)受凍癥狀。圖9展示了油菜品種p1在同一位置的4個(gè)采集時(shí)期的影像，從圖9中可以發(fā)現(xiàn)，第4次采集的數(shù)據(jù)與前面3次采集的數(shù)據(jù)相比，差異較大。因?yàn)榈?次采集的數(shù)據(jù)采集時(shí)間正處于冬油菜的越冬期，由于氣溫較低，油菜葉片呈現(xiàn)卷曲現(xiàn)象，甚至有的葉片發(fā)紫變黃，出現(xiàn)不同程度的凍傷現(xiàn)象，從而導(dǎo)致準(zhǔn)確率及識(shí)別精度與前面3次相比有所降低。

圖10為本研究模型在4個(gè)采集時(shí)期形成的混淆矩陣，其中混淆矩陣的行表示真實(shí)值的樣本，每一行之和表示真實(shí)樣本數(shù)量;混淆矩陣的列表示預(yù)測(cè)樣本類別，每一列之和表示預(yù)測(cè)為該類別的樣本數(shù)量。通過(guò)混淆矩陣可以看出，基于當(dāng)前的樣本集合，有一些類別具有較強(qiáng)相似性。

2.3 識(shí)別結(jié)果的可視化

本研究在試驗(yàn)田的測(cè)試區(qū)展示了第2次采集數(shù)據(jù)的識(shí)別結(jié)果。這種顯示方式一定程度上可以幫助管理者快速獲得識(shí)別結(jié)果。如圖11所示，黑色實(shí)線矩形框區(qū)域?yàn)楸敬畏诸悓?shí)驗(yàn)田，黑色虛線內(nèi)的白色矩形框區(qū)域?yàn)闇y(cè)試區(qū)的47個(gè)小區(qū)，種有24個(gè)品種。放大的測(cè)試區(qū)中顏色越深表明小區(qū)的分類錯(cuò)誤率越高，從試驗(yàn)結(jié)果可以看出，測(cè)試區(qū)1主要為品種p1至p6，結(jié)果顯示無(wú)錯(cuò)分類別;測(cè)試區(qū)2為品種p7至p24，其中，顏色最深的2塊小區(qū)對(duì)應(yīng)的品種p16容易被錯(cuò)分為品種p4，剩下的較淺的錯(cuò)分區(qū)域主要為品種p13和p15分類混淆。

本研究將錯(cuò)分的類別影像進(jìn)行了對(duì)比，分類錯(cuò)誤的樣本與真實(shí)的樣本視覺上具有極高的相似度，導(dǎo)致本研究模型誤判，從而降低了不同油菜品種識(shí)別的區(qū)分精度，這幾個(gè)品種在幼苗期具有極強(qiáng)的相似性，油菜生長(zhǎng)周期長(zhǎng)，不同時(shí)期不同環(huán)境生長(zhǎng)的油菜特征差異可能會(huì)更加明顯，因此可能需要在不同時(shí)期不同種植位置采集這幾個(gè)相似性強(qiáng)的品種，獲取更多數(shù)據(jù)，增加差異性，得到更強(qiáng)的特征，從而更好地加以細(xì)分。由于本研究網(wǎng)絡(luò)模型屬于輕量化設(shè)計(jì)，所以網(wǎng)絡(luò)模型訓(xùn)練參數(shù)量少，速度快，網(wǎng)絡(luò)模型結(jié)構(gòu)簡(jiǎn)單，因此對(duì)極相似油菜品種不易區(qū)分，后續(xù)考慮改進(jìn)算法增加網(wǎng)絡(luò)模型復(fù)雜度和采集不同環(huán)境下的數(shù)據(jù)，提高差異性較小的不同油菜品種的識(shí)別能力，增加網(wǎng)絡(luò)模型的魯棒性。

2.4 本研究網(wǎng)絡(luò)模型與傳統(tǒng)識(shí)別網(wǎng)絡(luò)模型的對(duì)比

為了驗(yàn)證本研究提出的網(wǎng)絡(luò)模型的客觀性，本研究將其分別與Resnet [24] 、Densenet [25] 、Resnext [26] 、Efficientnet [27] 、Shufflenet [28] ?5種經(jīng)典的網(wǎng)絡(luò)模型進(jìn)行對(duì)比，試驗(yàn)過(guò)程中采用相同的基本參數(shù)，由于不同品種油菜生長(zhǎng)不同步，有的油菜品種早期葉片極度稀少，晚期油菜葉片有大量?jī)鰝?，這些數(shù)據(jù)會(huì)影響數(shù)據(jù)集的質(zhì)量，所以本研究選擇在生長(zhǎng)狀況較好的八葉期采集的數(shù)據(jù)。

不同網(wǎng)絡(luò)模型在同一個(gè)數(shù)據(jù)集的相同基本參數(shù)下的各項(xiàng)性能指標(biāo)如表6所示。從表6可以看出，本研究提出的網(wǎng)絡(luò)模型在各項(xiàng)指標(biāo)上的精度都高于其他5個(gè)經(jīng)典網(wǎng)絡(luò)模型，準(zhǔn)確率達(dá)到89.60%。 Densenet網(wǎng)絡(luò)模型是通過(guò)每層直接相連的相鄰設(shè)置，對(duì)上一層學(xué)習(xí)到的特征進(jìn)行重用，極大地減少網(wǎng)絡(luò)的參數(shù)量，加強(qiáng)了特征傳播，緩解了梯度消失的問(wèn)題，便于更好訓(xùn)練，提升了識(shí)別準(zhǔn)確率，因此在5種經(jīng)典網(wǎng)絡(luò)模型中擁有最高的準(zhǔn)確率。Resnext、Efficientnet、Resnext網(wǎng)絡(luò)模型的準(zhǔn)確率相近，相比于Resnet網(wǎng)絡(luò)模型，準(zhǔn)確率提升了4個(gè)百分點(diǎn)左右，而Resnet網(wǎng)絡(luò)模型卷積層層數(shù)多，參數(shù)量大，訓(xùn)練時(shí)間長(zhǎng)，在本研究構(gòu)造的小數(shù)據(jù)集中的準(zhǔn)確率最低。Resnext網(wǎng)絡(luò)模型利用分組卷積控制基數(shù)減少了超參數(shù)，簡(jiǎn)化了網(wǎng)絡(luò)模型結(jié)構(gòu)。Efficientnet和Shufflenet網(wǎng)絡(luò)模型也通過(guò)建立輕量級(jí)網(wǎng)絡(luò)模型減少網(wǎng)絡(luò)模型復(fù)雜度和減少訓(xùn)練時(shí)間來(lái)提升準(zhǔn)確率，這2種網(wǎng)絡(luò)模型準(zhǔn)確率、 Macro_F1和Top3以及Top5 的數(shù)值相近。

總體而言，由于經(jīng)典網(wǎng)絡(luò)模型常具有較多的參數(shù) [29-30] ，因此容易發(fā)生過(guò)擬合，而本研究設(shè)計(jì)的網(wǎng)絡(luò)模型，結(jié)構(gòu)簡(jiǎn)單，參數(shù)量較少，并且能夠更精確地識(shí)別不同品種的油菜。

3 討 論

針對(duì)傳統(tǒng)油菜品種細(xì)分需要人力統(tǒng)計(jì)及現(xiàn)有方法設(shè)備成本高的問(wèn)題，本研究提出了一種基于普通消費(fèi)級(jí)無(wú)人機(jī)遙感影像的油菜品種識(shí)別方法，采用無(wú)人機(jī)遙感進(jìn)行了數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理等研究工作，結(jié)合本研究提出的網(wǎng)絡(luò)模型結(jié)構(gòu)，首先對(duì)4次采集的油菜數(shù)據(jù)進(jìn)行了試驗(yàn)以尋找最適合分類的油菜時(shí)期，再用油菜八葉期的2個(gè)時(shí)間段合并的數(shù)據(jù)集與傳統(tǒng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比，并對(duì)識(shí)別結(jié)果進(jìn)行分析，結(jié)果表明：

（1）基于SE注意力模塊的卷積神經(jīng)網(wǎng)絡(luò)能夠從油菜作物無(wú)人機(jī)遙感影像中學(xué)習(xí)到表達(dá)力更強(qiáng)的語(yǔ)義特征，提取特征更加充分。且本研究網(wǎng)絡(luò)模型架構(gòu)簡(jiǎn)單，參數(shù)量較少，在增加SE注意力模塊后，網(wǎng)絡(luò)模型學(xué)習(xí)的特征信息豐富，從而能夠達(dá)到對(duì)油菜生長(zhǎng)時(shí)期關(guān)鍵節(jié)點(diǎn)的影像快速分類的目的。與Resnet、Densenet 、Resnext 、Efficient 、Shufflenet等傳統(tǒng)網(wǎng)絡(luò)模型相比，本研究網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率和Kappa系數(shù)最高，達(dá)到了89.60%和0.889 4 ，為利用無(wú)人機(jī)遙感影像識(shí)別油菜品種提供了一種新的技術(shù)參考。

（2）通過(guò)對(duì)24個(gè)油菜品種進(jìn)行歸類分析，發(fā)現(xiàn)在品種p1～ p24中，本研究網(wǎng)絡(luò)模型最容易識(shí)別出品種p12和p22，其識(shí)別精度接近100%，對(duì)品種p3、p5、p11、p19、p23、p24這6個(gè)品種識(shí)別效果也很好，平均精度都在95%以上，但是對(duì)p1和p7識(shí)別效果較差，其精度只有70%左右，余下14個(gè)品種識(shí)別效果都處于較好級(jí)別，整體識(shí)別效果較好，表明無(wú)人機(jī)遙感影像結(jié)合增加注意力模塊的卷積神經(jīng)網(wǎng)絡(luò)能夠很好地對(duì)油菜品種進(jìn)行識(shí)別。

（3）冬油菜進(jìn)入八葉期、十葉期，葉片逐漸茂盛，隨著生長(zhǎng)發(fā)育進(jìn)程的推進(jìn)，油菜葉形不斷的發(fā)生變化，而當(dāng)油菜長(zhǎng)時(shí)間處于氣溫零下的越冬期時(shí)，葉形最復(fù)雜，溫度降低導(dǎo)致部分油菜品種葉片出現(xiàn)受凍癥狀，視覺效果呈現(xiàn)為葉片卷曲和顏色變深，具體表現(xiàn)為葉片發(fā)黃或發(fā)紫、皺縮、僵化、葉柄呈水漬狀;而當(dāng)溫度回升、土壤解凍后，葉片逐漸萎蔫、變黃、脫落，導(dǎo)致同一品種的無(wú)人機(jī)遙感影像差異大，從而使網(wǎng)絡(luò)模型學(xué)習(xí)特征較難，致使網(wǎng)絡(luò)模型識(shí)別精度下降。因此，識(shí)別時(shí)期應(yīng)選擇在幼苗期前期。

結(jié)合無(wú)人機(jī)遙感影像與深度學(xué)習(xí)在油菜品種識(shí)別中展現(xiàn)出的較好效果，增加SE注意力模塊后的網(wǎng)絡(luò)模型與傳統(tǒng)網(wǎng)絡(luò)模型相比，在準(zhǔn)確率上也有較大優(yōu)勢(shì)，各項(xiàng)性能指標(biāo)均有提高。但由于試驗(yàn)小區(qū)及品種的局限性，后續(xù)將考慮增加試驗(yàn)田和油菜品種，用以驗(yàn)證網(wǎng)絡(luò)模型結(jié)構(gòu)的魯棒性;另外，考慮到在幼苗期部分品種的相似性，本研究考慮添加不同物候期的油菜數(shù)據(jù)用于后續(xù)精細(xì)化的識(shí)別研究。

參考文獻(xiàn)：

[1] QIONG H， WEI H， YAN Y， et al. Rapeseed research and production in China[J]. The Crop Journal， 2017， 5（2）： 127-135.

[2] 劉 成，馮中朝，肖唐華，等. 我國(guó)油菜產(chǎn)業(yè)發(fā)展現(xiàn)狀、潛力及對(duì)策[J].中國(guó)油料作物學(xué)報(bào)， 2019， 41（4）： 485-489.

[3] 王晨宇，張亞民，吳伯彪，等. 基于無(wú)人機(jī)遙感的農(nóng)作物自動(dòng)分類研究[J]. 農(nóng)業(yè)與技術(shù)， 2021， 41（1）： 52-57.

[4] 尹 凡，劉 燕，董晶晶，等. 基于冠層實(shí)測(cè)光譜的油菜品種識(shí)別[J]. 湖北農(nóng)業(yè)科學(xué)， 2013， 52（23）： 5866-5870.

[5] 袁培森，李潤(rùn)隆，任守綱，等. 表示學(xué)習(xí)技術(shù)研究進(jìn)展及其在植物表型中應(yīng)用分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2020， 51（6）：1-14.

[6] JIANG Y， LI C. Convolutional neural networks for image-based high-throughput plant phenotyping： a review[J]. Plant Phenomics， 2020， 2（1）： 1-22.

[7] MASJEDI A， CARPENTER N R， CRAWFORD M M， et al. Prediction of sorghum biomass using UAV time series data and recurrent neural networks[C]. Long Beach， America： IEEE/CVF， 2019.

[8] MASJEDI A， ZHAO J， ZHAO J， et al. Sorghum biomass prediction using UAV-Based remote sensing data and crop model simulation[C]. Valencia， Spain： IEEE， 2018.

[9] KOH J C O， HAYDEN M， DAETWYLER H， et al. Estimation of crop plant density at early mixed growth stages using UAV imagery[J]. Plant Methods， 2019， 15（1）：1-9.

[10] BAUER A， BOSTROM A G， BALL J， et al. Combining computer vision and deep learning to enable ultra-scale aerial phenotyping and precision agriculture： a case study of lettuce production[J]. Horticulture Research， 2019， 6（1）： 1-12.

[11] CANDIAGO S， REMONDINO F， GIGLIO M D， et al. Evaluating? multispectral images and vegetation indices for precision farming applications from UAV images[J]. Remote Sensing， 2015， 7（4）： 4026-4047.

[12] VERGER A， VIGNEAU N， CHRON C， et al. Green area index from an unmanned aerial system over wheat and rapeseed crops[J]. Remote Sensing of Environment， 2014， 152： 654-664.

[13] 張 豐，熊 楨，寇 寧. 高光譜遙感數(shù)據(jù)用于水稻精細(xì)分類研究[J]. 武漢理工大學(xué)學(xué)報(bào)， 2002， 24（10）： 36-39.

[14] 劉 亮，姜小光，李顯彬，等. 利用高光譜遙感數(shù)據(jù)進(jìn)行農(nóng)作物分類方法研究[J]. 中國(guó)科學(xué)院研究生院學(xué)報(bào)， 2006， 23（4）：484-488.

[15] 孫 婷，田建平，胡新軍，等. 基于高光譜成像技術(shù)的釀酒高粱品種分類[J]. 食品與發(fā)酵工業(yè)， 2021， 47（5）：186-192.

[16] 王林江，吳炳方，張 淼，等. 關(guān)鍵生育期冬小麥和油菜遙感分類方法[J]. 地球信息科學(xué)學(xué)報(bào)， 2019， 21（7）： 1121-1131.

[17] COLOMINA I， MOLINA P. Unmanned aerial systems for photogrammetry and remote sensing： a review[J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2014， 92： 79-97.

[18] 陳小幫，左亞堯，王銘鋒，等. 面向深度學(xué)習(xí)識(shí)別高空農(nóng)作物的方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2020， 41（2）： 580-586.

[19] 戴建國(guó)，張國(guó)順，郭 鵬，等. 基于無(wú)人機(jī)遙感可見光影像的北疆主要農(nóng)作物分類方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（18）： 122-128.

[20] BENDIG J， BOLTEN A， BENNERTZ S， et al. Estimating biomass of barley using crop surface models （CSMs） derived from UAV-based RGB imaging[J]. Remote Sensing， 2014， 6（11）： 10395-10412.

[21] 牛慶林，馮海寬，楊貴軍，等. 基于無(wú)人機(jī)數(shù)碼影像的玉米育種材料株高和 LAI 監(jiān)測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（5）： 73-82.

[22] 楊壽勇，張海陽(yáng)，李 成，等. 基于卷積神經(jīng)網(wǎng)絡(luò)模型的微藻種類識(shí)別[J]. 環(huán)境科學(xué)與技術(shù)， 2020， 43（S2）：158-164.

[23] 傅隆生，馮亞利，TOLA E，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的田間多簇獼猴桃圖像識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（2）： 205-211.

[24] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. Las Vegas， America： IEEE，2016： 770-778.

[25] HUANG G， LIU Z， MAATEN L V D， et al. Densely connected convolutional networks[C]. Honolulu， America： IEEE， 2017.

[26] XIE S， GIRSHICK R， DOLLAR P， et al. Aggregated residual transformations for deep neural networks[C]. Honolulu， America： IEEE， 2017.

[27] TAN M， LE Q V. EfficientNet： Rethinking model scaling for convolutional neural networks[C]. Long Beach， America： ICML， 2019.

[28] ZHANG X， ZHOU X， LIN M， et al. Shufflenet： an extremely efficient convolutional neural network for mobile devices[C]. Salt Lake City， America： IEEE/CVF， 2018.

[29] 謝 軍，江朝暉，李 博，等. 基于二次遷移模型的小樣本茶樹病害識(shí)別[J].江蘇農(nóng)業(yè)科學(xué)，2021，49（6）：176-182.

[30] 劉翱宇，吳云志，朱小寧，等. 基于深度殘差網(wǎng)絡(luò)的玉米病害識(shí)別[J].江蘇農(nóng)業(yè)學(xué)報(bào)，2021，37（1）：67-74.

（責(zé)任編輯：陳海霞）

收稿日期：2021-09-09

基金項(xiàng)目：國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2017YFB1302401）;湖北省教育廳中青年人才項(xiàng)目（Q20201409）

作者簡(jiǎn)介：李 婕（1984-），女，湖北宜昌人，博士，主要從事計(jì)算機(jī)視覺研究。 （E-mail）jielonline@163.com。李毅為共同第一作者。

通訊作者：?jiǎn)探瓊?，（E-mail）qiaojiangwei@caas.cn