結(jié)合輕量級(jí)麥穗檢測(cè)模型和離線Android軟件開發(fā)的田間小麥測(cè)產(chǎn)

陳佳瑋，李 慶，譚巧行，桂世全，王 笑，易福金，姜 東，周 濟(jì),5

·農(nóng)業(yè)信息與電氣技術(shù)·

結(jié)合輕量級(jí)麥穗檢測(cè)模型和離線Android軟件開發(fā)的田間小麥測(cè)產(chǎn)

陳佳瑋1,2，李 慶3，譚巧行1，桂世全1，王 笑3，易福金4，姜 東3，周 濟(jì)1,5※

（1. 南京農(nóng)業(yè)大學(xué)前沿交叉研究院/植物表型組學(xué)研究中心/江蘇省現(xiàn)代作物生產(chǎn)省部共建協(xié)同創(chuàng)新中心，南京 210095；2. 南京農(nóng)業(yè)大學(xué)工學(xué)院，南京 210095；3. 南京農(nóng)業(yè)大學(xué)農(nóng)學(xué)院，南京 210095；4. 南京農(nóng)業(yè)大學(xué)經(jīng)濟(jì)管理學(xué)院，南京 210095；5. 英國(guó)劍橋作物研究中心/英國(guó)國(guó)立農(nóng)業(yè)植物研究所，劍橋 CB3 0LE，英國(guó)）

單位面積麥穗數(shù)是重要的產(chǎn)量構(gòu)成因素之一，通過(guò)該性狀和不同品種歷史數(shù)據(jù)在田間完成對(duì)小麥產(chǎn)量的預(yù)估，對(duì)育種栽培和農(nóng)業(yè)生產(chǎn)具有非常重要的意義。該研究基于小麥田間栽培試驗(yàn)提出了一套結(jié)合輕量級(jí)深度學(xué)習(xí)技術(shù)和小麥測(cè)產(chǎn)算法在Android（安卓）智能手機(jī)上離線分析單位面積穗數(shù)和田間測(cè)產(chǎn)的技術(shù)方案。首先介紹了手機(jī)標(biāo)準(zhǔn)化俯拍小麥冠層和手機(jī)端圖像預(yù)處理算法，再根據(jù)灌漿期小麥冠層圖像構(gòu)建了MobileNetV2-YOLOV4深度學(xué)習(xí)模型對(duì)單位面積中的麥穗進(jìn)行識(shí)別，然后結(jié)合遷移學(xué)習(xí)和TensorFlow.lite轉(zhuǎn)換器完成了模型輕量化，最后通過(guò)Android SDK和SQLite構(gòu)建了不同小麥品種在手機(jī)端的產(chǎn)量數(shù)據(jù)庫(kù)和人機(jī)交互圖形界面。開發(fā)的安卓軟件“YieldQuant-Mobile”（YQ-M）可離線識(shí)別手機(jī)拍攝的麥穗數(shù)量，并在田間完成產(chǎn)量預(yù)測(cè)和結(jié)果輸出等功能。基于從中國(guó)各小麥主產(chǎn)區(qū)中選擇的80個(gè)代表性品種（共240個(gè)1 m2小區(qū)），使用YQ-M完成了這些品種的麥穗檢測(cè)和小區(qū)測(cè)產(chǎn)研究。結(jié)果顯示YQ-M的精確率、召回率、平均精確度和1分?jǐn)?shù)分別為84.43%，91.05%，91.96%和0.88。單位面積測(cè)產(chǎn)結(jié)果和實(shí)際產(chǎn)量的決定系數(shù)為0.839，均方根誤差為17.641 g/m2。研究表明YQ-M對(duì)麥穗識(shí)別精度高，在田間環(huán)境下測(cè)產(chǎn)結(jié)果和算法魯棒性良好。此外，YQ-M還具有良好的擴(kuò)展性，可為其他作物的離線智能測(cè)產(chǎn)提供借鑒，并為小麥研究和生產(chǎn)實(shí)踐提供低成本、便捷可靠的田間測(cè)產(chǎn)方法。

模型；算法；產(chǎn)量；輕量級(jí)深度學(xué)習(xí)；麥穗計(jì)數(shù)；Android軟件開發(fā)；小麥

0 引 言

小麥?zhǔn)鞘澜缟献钪匾淖魑镏?，也是中?guó)主要的糧食作物之一。2019年全國(guó)小麥消耗量達(dá)1.28億t，小麥產(chǎn)量的監(jiān)測(cè)對(duì)保障中國(guó)國(guó)民經(jīng)濟(jì)和糧食安全，及時(shí)調(diào)整農(nóng)業(yè)生產(chǎn)政策等方面具有重要意義[1]。產(chǎn)量估算不僅能幫助育種學(xué)家和農(nóng)學(xué)家更快的進(jìn)行種質(zhì)評(píng)估、調(diào)整耕種，也能為產(chǎn)量保險(xiǎn)等農(nóng)經(jīng)服務(wù)提供低成本的管理方式。但是，對(duì)產(chǎn)量估算受多種因素的影響，其中計(jì)算小麥理論產(chǎn)量涉及到3個(gè)重要的因素：?jiǎn)挝幻娣e麥穗數(shù)[2]、千粒質(zhì)量和穗粒數(shù)[3]。所以，快速準(zhǔn)確地量化統(tǒng)計(jì)田間小麥產(chǎn)量構(gòu)成因素對(duì)作物高產(chǎn)育種、栽培和農(nóng)業(yè)生產(chǎn)具有重要意義。傳統(tǒng)估算方法一般基于人工田間調(diào)查[4]，不僅準(zhǔn)確率低且對(duì)人力物力消耗較大，無(wú)法滿足精準(zhǔn)育種和智慧農(nóng)業(yè)中快速可靠統(tǒng)計(jì)大量不同品種小麥產(chǎn)量數(shù)據(jù)的需求。因此目前多地點(diǎn)田間估產(chǎn)研究還處于初步探索階段。

近年來(lái)，基于圖形圖像的處理技術(shù)，研究人員針對(duì)小麥冠層形態(tài)、麥穗計(jì)數(shù)和產(chǎn)量評(píng)估開展了一系列探索[5-7]。這些研究一般使用傳統(tǒng)圖像處理算法，依靠對(duì)顏色、光譜、紋理和形態(tài)等特征對(duì)冠層穗?yún)^(qū)進(jìn)行分割。例如，F(xiàn)ernandez-Gallego等[5]應(yīng)用傅里葉濾波和二維離散快速傅里葉變換（Fast Fourier Transform）將麥穗和背景區(qū)分開，通過(guò)形態(tài)學(xué)及濾波方法消除“非小麥”像素簇，從背景（如土壤等）中分割出麥穗像素。Zhou等[6]提出一種雙支持向量機(jī)的方法，對(duì)顏色、紋理和邊緣3種特征的直方圖進(jìn)行分析，尋找不同拍攝角度下麥穗特征的差異，并以此完成麥穗分割。李毅念等[8]通過(guò)提取麥穗圖像的色彩飽和度，通過(guò)凹點(diǎn)檢測(cè)匹配連線的方法對(duì)粘連麥穗實(shí)現(xiàn)分割，再結(jié)合千粒質(zhì)量和穗粒數(shù)等參數(shù)計(jì)算產(chǎn)量。雖然上述方法相比于傳統(tǒng)人工田間調(diào)查有了明顯的進(jìn)步，但這類方法依賴顏色、紋理和形態(tài)等特征，算法魯棒性和計(jì)數(shù)準(zhǔn)確度均有欠缺。

隨著作物表型組學(xué)研究的快速發(fā)展，針對(duì)不同表型數(shù)據(jù)采集平臺(tái)的性狀處理算法趨于多樣化[9-11]。通過(guò)結(jié)合機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)算法對(duì)復(fù)雜環(huán)境下麥穗計(jì)數(shù)的研究也有了較大的進(jìn)展。針對(duì)田間檢測(cè)麥穗性狀這一問(wèn)題，結(jié)合深度學(xué)習(xí)技術(shù)和最新公開的世界小麥麥穗訓(xùn)練集（Global Wheat Head Detection Dataset）[12]為該研究方向開辟了一條新的途徑。例如，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）在小麥麥穗檢測(cè)和圖片分類中獲得了較好的應(yīng)用[13-14]。Zhao等[15]通過(guò)改進(jìn)YOLOV5目標(biāo)檢測(cè)算法，對(duì)無(wú)人機(jī)獲取的麥穗圖片集進(jìn)行訓(xùn)練，獲得在田間復(fù)雜場(chǎng)景下的麥穗檢測(cè)模型。Joshua等[16]結(jié)合監(jiān)督式機(jī)器學(xué)習(xí)和圖像處理，同時(shí)處理多序列麥穗圖片，在提取多個(gè)種子輪廓的基礎(chǔ)上完成麥穗計(jì)數(shù)。鮑文霞等[17]針對(duì)小麥在灌漿期麥穗密集的特點(diǎn)，使用點(diǎn)標(biāo)注方法，在減少了輸入擁擠場(chǎng)景識(shí)別網(wǎng)絡(luò)（Congested Scene Recognition Network）計(jì)算復(fù)雜度的基礎(chǔ)上估算麥穗密度。Alkhudaydi等[18]先通過(guò)田間分布式表型工作站收集不同品種的小麥圖像序列，再通過(guò)完全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）對(duì)圖像進(jìn)行語(yǔ)義分割，最后完成對(duì)穗?yún)^(qū)的量化分析。然而，以上檢測(cè)需要在電腦端完成，很難在田間試驗(yàn)中大規(guī)模使用，因此在智能移動(dòng)端快速可靠完成上述檢測(cè)的需求正變得愈發(fā)迫切。

隨著智能手機(jī)價(jià)格的下降及其計(jì)算處理能力日益強(qiáng)大，在手機(jī)移動(dòng)端已可直接進(jìn)行快速圖片分類、分析和檢測(cè)等任務(wù)[19]。例如，Lu等[20]在智能手機(jī)上開發(fā)了應(yīng)用軟件（APP）完成采集和傳輸圖像，并通過(guò)服務(wù)器使用VGG16網(wǎng)絡(luò)進(jìn)行小麥病害檢測(cè)，對(duì)患病小麥的檢測(cè)準(zhǔn)確率達(dá)96.6%。Al-Hami等[21]采用8位量化方法壓縮AlexNet和VGG16，將模型大小分別減少了14%和10%以適應(yīng)智能手機(jī)端的運(yùn)行。然而，由于原始模型較大，即使通過(guò)模型量化（quantization）[22]，這類方法在手機(jī)終端的運(yùn)行也十分緩慢，且需消耗大量計(jì)算資源。此外，以上方法對(duì)通信網(wǎng)絡(luò)要求較高，因?yàn)楹诵墓δ芎湍Ｐ途渴鹪诜?wù)器端，一旦遇到網(wǎng)絡(luò)不穩(wěn)定、使用者較多或服務(wù)器不響應(yīng)等情況，此類分析模式很難滿足大規(guī)模田間試驗(yàn)和實(shí)時(shí)分析的要求。所以，如何能在離線條件下依靠智能手機(jī)的算力完成特征檢測(cè)和田間測(cè)產(chǎn)顯得尤為重要。

針對(duì)現(xiàn)有安卓端作物測(cè)產(chǎn)軟件的缺失和云算模式存在的各類問(wèn)題，本研究以灌漿期代表性小麥品種為研究對(duì)象，首先基于輕量級(jí)深度學(xué)習(xí)模型完成麥穗計(jì)數(shù)算法，在離線條件下對(duì)智能手機(jī)拍攝的單位面積中的穗數(shù)進(jìn)行分析，進(jìn)而基于與品種對(duì)應(yīng)的千粒質(zhì)量、穗粒數(shù)和積溫等歷史數(shù)據(jù)構(gòu)建數(shù)據(jù)庫(kù)，最后在安卓端結(jié)合麥穗計(jì)數(shù)和歷史數(shù)據(jù)構(gòu)建小麥測(cè)產(chǎn)應(yīng)用軟件。

1 材料與方法

1.1 田間試驗(yàn)及圖像預(yù)處理

1.1.1 小麥產(chǎn)量三要素分析

基于Web of Science數(shù)據(jù)庫(kù)對(duì)影響小麥產(chǎn)量因素的研究進(jìn)行文獻(xiàn)檢索，使用基于Python編程語(yǔ)言的爬蟲技術(shù)，利用抓取工具Scrapy（https://scrapy.org/）對(duì)2000—2021年小麥相關(guān)研究中與小麥產(chǎn)量和小麥產(chǎn)量構(gòu)成因素的關(guān)鍵詞進(jìn)行爬取。共收集了影響小麥產(chǎn)量最關(guān)鍵的18個(gè)關(guān)鍵詞，如品種、地區(qū)種植、播期、氣候條件或病蟲害等。對(duì)小麥產(chǎn)量影響最突出的三要素為單位面積穗數(shù)、穗粒數(shù)和千粒質(zhì)量，其中有效穗數(shù)對(duì)產(chǎn)量貢獻(xiàn)最大[23]。因此，本研究確立了對(duì)單位面積中的麥穗數(shù)這一關(guān)鍵產(chǎn)量性狀開展研究的策略。

1.1.2 田間試驗(yàn)

為開發(fā)和驗(yàn)證測(cè)產(chǎn)結(jié)果，本研究從中國(guó)小麥各主產(chǎn)區(qū)選取了80個(gè)產(chǎn)量差異明顯的冬小麥品種為田間試驗(yàn)材料。于2019－2020年小麥生長(zhǎng)季在江蘇省南京市溧水區(qū)南京農(nóng)業(yè)大學(xué)白馬基地種植（圖1a、1b）。試驗(yàn)田塊土壤質(zhì)地為肥力均勻的黃壤土（圖1c），含有機(jī)質(zhì)7.6 mg/kg，全氮0.67 mg/kg，堿解氮66.03 mg/kg，速效磷 8.91 mg/kg，速效鉀130.67 mg/kg。以上數(shù)據(jù)表明本試驗(yàn)土壤肥力偏低，可反映不同代表性小麥品種在相同氮肥處理下的產(chǎn)量差異，為測(cè)產(chǎn)算法的構(gòu)建服務(wù)。

圖2展示了本研究的數(shù)據(jù)采集和預(yù)處理過(guò)程。如圖2a所示，田間試驗(yàn)采用裂區(qū)試驗(yàn)設(shè)計(jì)，共使用80個(gè)品種，設(shè)置為3個(gè)重復(fù)，共240個(gè)小區(qū)。采用人工開溝條播，于11月12號(hào)播種，小區(qū)種植4行，每行長(zhǎng)1 m，行間距0.25 m，播種量150 kg/hm2，3葉1心期定苗至240株/m2，所有小區(qū)保持一致基本苗。氮肥為尿素（含N 46%），磷肥為過(guò)磷酸鈣（含P2O512%），鉀肥為氯化鉀（含K2O 60%），磷、鉀肥用量都為120 kg/hm2，氮肥基追比為5:5，全部的磷、鉀肥及50%的氮肥作為底肥撒施，剩余50%于拔節(jié)期追施。其他田間管理措施同一般高產(chǎn)田。

1.1.3 圖像獲取

如圖2b所示，圖像數(shù)據(jù)是通過(guò)華為智能手機(jī)（Mate20 Pro下同）在田間小麥試驗(yàn)田中收集的。試驗(yàn)者手持拍攝桿，保持在小麥小區(qū)冠層上方1 m處拍攝。將智能手機(jī)固定在自拍桿上，通過(guò)水平儀保持水平，藍(lán)牙控制手機(jī)后置攝像頭朝向下方采集圖像。數(shù)據(jù)采集時(shí)間在2020年5月2—5日。此時(shí)小麥正處于灌漿期，在天氣為多云時(shí)或早晨自然光條件下采集圖像，避免了強(qiáng)光對(duì)圖像采集造成的過(guò)曝和色彩失真等問(wèn)題。一次田間拍攝可收集240張圖像（分辨率為3 968像素×2 976像素）。

1.1.4 圖像預(yù)處理

采集圖像后，對(duì)所有單個(gè)小區(qū)的圖像進(jìn)行手機(jī)端預(yù)處理。如圖2c所示，原圖采集到的是整個(gè)小區(qū)的頂視圖片，能顯示出小區(qū)中小麥的所有麥穗、冠層麥葉及背景土壤。如對(duì)整個(gè)小區(qū)進(jìn)行目標(biāo)檢測(cè)，會(huì)造成模型算法識(shí)別時(shí)間過(guò)長(zhǎng)、內(nèi)存過(guò)度消耗和準(zhǔn)確率低等問(wèn)題。所以，使用了手機(jī)端OpenCV圖像庫(kù)（https://opencv. org/android/）對(duì)采集圖像進(jìn)行預(yù)處理，將原始圖像9等分處理。自動(dòng)化分割后的每一張等分子圖像素值相同，便于訓(xùn)練和識(shí)別，以及在手機(jī)端完成麥穗分析。

1.1.5 數(shù)據(jù)集標(biāo)注

采用矩形框?qū)π←滬溗脒M(jìn)行標(biāo)注，采用開源標(biāo)注軟件LabelImg（https://pypi.org/project/labelImg；圖2d）。對(duì)麥穗進(jìn)行人工標(biāo)注，標(biāo)注數(shù)據(jù)集以PASCAL VOC[24]數(shù)據(jù)集的格式存儲(chǔ)，包括：圖像尺寸（長(zhǎng)寬以及通道數(shù)）、檢測(cè)物體類別、檢測(cè)框坐標(biāo)（對(duì)應(yīng)圖片中、軸坐標(biāo)值）等。經(jīng)預(yù)處理，可完成對(duì)原始圖像的9等分，單次數(shù)據(jù)采集所獲得圖像集可增至2 160張（分辨率為1 322×992像素），減少了訓(xùn)練過(guò)程中所需的計(jì)算資源，利于訓(xùn)練輕量級(jí)深度學(xué)習(xí)模型時(shí)的快速收斂。

1.1.6 數(shù)據(jù)增強(qiáng)

為了提高了模型的泛化能力，根據(jù)田間實(shí)際拍攝情況采用以下方法對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)。如圖2e所示：1）俯仰角調(diào)整：隨機(jī)改變?cè)瓐D±15°的俯視和仰視角度，模擬采集中拍攝桿傾斜造成的角度偏差。2）翻轉(zhuǎn)：對(duì)圖像進(jìn)行水平和垂直翻轉(zhuǎn)，模擬采集圖像時(shí)的隨機(jī)性，該方法不會(huì)改變麥穗數(shù)量。為了提升訓(xùn)練集，通過(guò)數(shù)據(jù)增強(qiáng)將圖像數(shù)據(jù)從2 160張?jiān)黾拥?5 120張，并通過(guò)不同特征圖像來(lái)避免深度學(xué)習(xí)訓(xùn)練中過(guò)擬合和不收斂等問(wèn)題。3）添加噪點(diǎn)：對(duì)圖像增加信噪比0.95的椒鹽噪聲，使模型對(duì)噪點(diǎn)具有更好的兼容性。4）灰度化：使模型對(duì)采集到的過(guò)曝圖片進(jìn)行識(shí)別。5）角度變換：對(duì)圖像旋轉(zhuǎn)一定角度，模擬麥穗位置改變。通過(guò)上述方法，共擴(kuò)展得到15 120張圖像集，其中12 096張為訓(xùn)練集（80%），3 024張為測(cè)試集（20%）。

1.2 麥穗檢測(cè)模型的建立及安卓應(yīng)用軟件開發(fā)

1.2.1 小麥麥穗檢測(cè)模型建立及訓(xùn)練

灌漿期小麥麥穗圖像中麥穗較為密集，葉片與麥穗顏色特征差異不顯著，因此需選取針對(duì)小目標(biāo)檢測(cè)效果良好的學(xué)習(xí)網(wǎng)絡(luò)來(lái)構(gòu)建模型。通過(guò)對(duì)各類檢測(cè)模型的比較，本研究選擇了結(jié)合MobileNetV2[25]和YOLOV4[26]網(wǎng)絡(luò)來(lái)快速、高效地檢測(cè)麥穗目標(biāo)。如圖3所示，本研究構(gòu)建的麥穗檢測(cè)模型兼顧了以上兩種網(wǎng)絡(luò)的特點(diǎn)。例如，MobileNetV2是Google專為移動(dòng)和嵌入式設(shè)備設(shè)計(jì)的輕量級(jí)深度學(xué)習(xí)網(wǎng)絡(luò)。YOLOV4算法則通過(guò)單個(gè)深度神經(jīng)網(wǎng)絡(luò)檢測(cè)小目標(biāo)物體對(duì)象的形態(tài)特征。使用數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集，訓(xùn)練結(jié)合后的學(xué)習(xí)模型，生成了記錄模型訓(xùn)練網(wǎng)絡(luò)參數(shù)的權(quán)重。其中，MobileNetV2的關(guān)鍵模塊是倒殘差結(jié)構(gòu)（Inverted Residual Module，IRM）。IRM首先通過(guò)點(diǎn)式卷積將輸入特征圖通道數(shù)擴(kuò)展6倍，然后進(jìn)行深度卷積[27]和另外一個(gè)點(diǎn)式卷積。深度卷積會(huì)更改輸入特征圖的寬度和高度，并在第二個(gè)點(diǎn)式卷積中，降低特征通道數(shù)到輸入數(shù)量[28]。YOLOv4使用的提取網(wǎng)絡(luò)為CSPDarknet-53[29]，網(wǎng)絡(luò)缺點(diǎn)是模型計(jì)算復(fù)雜，精確度高但需較多計(jì)算資源。

本研究采用MobilenetV2替換CSPDarknet-53，作為模型的特征提取網(wǎng)絡(luò)，節(jié)省了模型計(jì)算所需硬件資源。再將倒殘差結(jié)構(gòu)與深度卷積相結(jié)合，調(diào)整輸入圖像尺寸。例如，YOLO模型原始的輸入圖像大小為256×256，但是輸入圖像過(guò)小導(dǎo)致檢測(cè)精度降低，因此將輸入圖像分辨率從原來(lái)的256×256像素調(diào)整為416×416。改進(jìn)之后的網(wǎng)絡(luò)的第一層使用3×3的標(biāo)準(zhǔn)卷積，從第二層開始，網(wǎng)絡(luò)將3×3的標(biāo)準(zhǔn)卷積分解為3×3的深度卷積和1×1的點(diǎn)式卷積。檢測(cè)層從不同比例特征圖中提取不同錨框（Anchor box）來(lái)進(jìn)行麥穗檢測(cè)。最后，模型使用檢測(cè)層為每個(gè)錨定框中存在的麥穗生成預(yù)測(cè)的邊界框和置信度分?jǐn)?shù)，生成最終輸出圖像（圖3b）。如圖3b所示，將MobileNetV2的13個(gè)卷積層（即Conv1～Conv13）中的每一層輸出的特征圖進(jìn)行可視化后，可從各層的特征圖中觀察到不同層在模型運(yùn)行中對(duì)特征區(qū)域識(shí)別的結(jié)果，即圖3b中Conv1～Conv13各層特征圖中白色區(qū)域?yàn)槟Ｐ图せ顓^(qū)域，黑色區(qū)域表示模型忽略的區(qū)域?？梢杂^察到早期層（Conv0～1，Conv2～3,Conv4～5）被麥穗狀對(duì)象激活。但是，這些層只顯示了局部紋理、顏色和細(xì)節(jié)形態(tài)特征，這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)中的早期層只能識(shí)別較明顯的特征。中期層（Conv6～11）主要集中于識(shí)別基于全局形狀和輪廓等特征，即麥穗的輪廓區(qū)域。最后的卷積層（Conv12～13）保留了基于大小和紋理的特征，由于池化操作的重復(fù)應(yīng)用而丟失了早期層提取的信息。

1.2.2 訓(xùn)練策略和參數(shù)設(shè)定

在模型訓(xùn)練過(guò)程中，使用了遷移學(xué)習(xí)方法[30-31]。從數(shù)據(jù)集上訓(xùn)練麥穗識(shí)別模型的后端模型即YOLOV4網(wǎng)絡(luò)，得到預(yù)訓(xùn)練模型，然后將預(yù)訓(xùn)練模型加載到到特征提取網(wǎng)絡(luò)MobileNetV2模型中，凍結(jié)前端網(wǎng)絡(luò)的預(yù)訓(xùn)練參數(shù)，只對(duì)后端網(wǎng)絡(luò)進(jìn)重新訓(xùn)練和參數(shù)更新。訓(xùn)練平臺(tái)為Windows10操作系統(tǒng)，運(yùn)行內(nèi)存為32 GB，使用了NVIDIA 2070 GPU加速。采用了Python3.6和TensorFlow1.15框架完成了軟件實(shí)現(xiàn)。網(wǎng)絡(luò)訓(xùn)練超參數(shù)設(shè)置為：subdivisions=8，momentum=0.9，decay=0.0005，learning_rate=0.001，batch = 64，steps=400000。

1.2.3 安卓端模型輕量化轉(zhuǎn)換

TensorFlowLite是一組可幫助開發(fā)者在移動(dòng)、嵌入式設(shè)備和IoT設(shè)備上運(yùn)行各類基于TensorFlow[32]開發(fā)的模型工具，包括可用于移動(dòng)應(yīng)用軟件開發(fā)的TensorFlowLite轉(zhuǎn)換器和解釋器[33]。TensorFlow訓(xùn)練完的模型需要轉(zhuǎn)換為.tflite格式后才能在安卓上運(yùn)行。首先，本研究使用了TensorFlow中的summary_graph和graph_transforms兩個(gè)腳本將ckpt模型轉(zhuǎn)換為pb模型，再使用TensorFlowLite的 Converter將pb模型轉(zhuǎn)換為輕量級(jí)學(xué)習(xí)模型，并將解釋器配置在智能手機(jī)上運(yùn)行模型，利用手機(jī)的硬件資源進(jìn)一步提高模型的檢測(cè)速度。常規(guī)CNN模型中權(quán)重?cái)?shù)據(jù)存儲(chǔ)均為32位浮點(diǎn)數(shù)，為減少對(duì)手機(jī)計(jì)算資源的調(diào)用，本研究采用了一種8位量化方法來(lái)加速和壓縮模型。通過(guò)將32位浮點(diǎn)數(shù)據(jù)量轉(zhuǎn)化為較小的位寬，成功將模型減少至原模型大小的1/4，并可對(duì)每個(gè)輸入通道和每個(gè)層量化分別設(shè)置權(quán)重和激活函數(shù)。

1.2.4 安卓應(yīng)用軟件開發(fā)和模塊設(shè)定

在Windows 10操作系統(tǒng)下進(jìn)行安卓系統(tǒng)的開發(fā)，安卓開發(fā)環(huán)境包括Java Development Kit（JDK）、Android Studio和Android SDK（Software Development Kit，9.0版本）3個(gè)主要部分。開發(fā)語(yǔ)言為Java編程語(yǔ)言，在測(cè)試軟件時(shí)，共使用了3種硬件配置差異明顯的手機(jī)：1）小米CC9e（處理器高通驍龍710，內(nèi)存6 GB）；2）小米11（處理器高通驍龍888，內(nèi)存8 GB）；3）華為Mate20 Pro（海思Kirin 980，內(nèi)存6 GB）。

本研究中構(gòu)建的小麥麥穗分析和產(chǎn)量預(yù)測(cè)安卓端應(yīng)用軟件稱為YieldQount-Mobile（YQ-M），軟件中集成了麥穗檢測(cè)的輕量級(jí)深度學(xué)習(xí)模型，在手機(jī)端可離線運(yùn)行目標(biāo)檢測(cè)網(wǎng)絡(luò)，達(dá)到田間條件下的麥穗檢測(cè)和結(jié)合千粒質(zhì)量、穗粒數(shù)等歷史數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)測(cè)產(chǎn)的目標(biāo)。YQ-M的系統(tǒng)設(shè)計(jì)包含5個(gè)功能模塊：圖像獲取、圖像預(yù)處理、模型加載、穗部檢測(cè)和產(chǎn)量預(yù)測(cè)。

1）圖像獲取模塊基于安卓手機(jī)的攝像頭對(duì)小麥冠層的圖像進(jìn)行采集，獲取圖片可以直接輸入到預(yù)處理模塊或保存到系統(tǒng)相冊(cè)。

2）圖像預(yù)處理模塊將采集到的圖像根據(jù)圖片像素和需要檢測(cè)目標(biāo)的大小等用戶要求分割為不同等分。例如，在用戶選取了預(yù)分割方法后，原始圖片可等分為4、9及16子圖。分割后的圖片將輸入到后續(xù)模塊。

3）模型加載模塊是根據(jù)作物種類選擇不同的目標(biāo)檢測(cè)模型，在YQ-M中已預(yù)留了加載多種作物目標(biāo)檢測(cè)模型的可擴(kuò)展端口。因本研究的作物類別是小麥，需檢測(cè)的是麥穗，所以預(yù)置了小麥檢測(cè)模型。

4）穗部檢測(cè)模塊將識(shí)別到的麥穗個(gè)數(shù)和模型識(shí)別時(shí)間在手機(jī)端展示，并畫出所有麥穗檢測(cè)框，方便用戶對(duì)檢測(cè)到的麥穗數(shù)量進(jìn)行初步判斷。若檢測(cè)效果有偏差，可更改圖像預(yù)處理模塊中的等分方法，調(diào)整圖像輸入，使檢測(cè)效果達(dá)到最佳。同時(shí)YQ-M中也開放了可加載其他檢測(cè)模型的端口，方便研究人員添加新的模型。

5）產(chǎn)量預(yù)測(cè)模塊中根據(jù)中國(guó)主要的小麥產(chǎn)區(qū)劃分出華東、華中和華北3個(gè)產(chǎn)區(qū)，在各個(gè)產(chǎn)區(qū)中選取了主要推廣的小麥品系及部分小麥品種，根據(jù)歷年穗粒數(shù)和千粒質(zhì)量數(shù)據(jù)，結(jié)合穗部檢測(cè)模塊檢測(cè)到的麥穗數(shù)和當(dāng)季小麥產(chǎn)區(qū)積溫?cái)?shù)據(jù)，對(duì)產(chǎn)量進(jìn)行加權(quán)處理。現(xiàn)階段使用測(cè)產(chǎn)計(jì)算方法如公式（1）所示。

式中為小麥單位面積產(chǎn)量，kg/m2；為單位面積穗數(shù)（株/m2）；為穗粒數(shù)；為千粒質(zhì)量，kg；為權(quán)重系數(shù)，根據(jù)當(dāng)年小麥產(chǎn)區(qū)的積溫梯度的劃分確定，介于80%到90%之間。

1.2.5 歷史數(shù)據(jù)庫(kù)建立

YQ-M軟件加載的小麥產(chǎn)量構(gòu)成要素的歷史數(shù)據(jù)庫(kù)基于SQLite關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)開發(fā)。該數(shù)據(jù)庫(kù)有5個(gè)表單：品種、品系、作物信息、作物預(yù)測(cè)結(jié)果和用戶信息。使用者信息保存在用戶信息表中，其余4個(gè)表單收錄軟件運(yùn)行中產(chǎn)生的各類數(shù)據(jù)?？紤]到Y(jié)Q-M的擴(kuò)展性，軟件除了開放其他作物目標(biāo)檢測(cè)模型的部署接口外，還開放了輸入端口。YQ-M軟件使用了SQL（Structured Query Language）查詢數(shù)據(jù)庫(kù)表單，根據(jù)小麥品系編號(hào)獲取與品種相關(guān)的產(chǎn)量因素，再通過(guò)公式（1）計(jì)算單位面積中小麥產(chǎn)量。對(duì)還未收錄的小麥品種，用戶可提交品系和品種等數(shù)據(jù)擴(kuò)充數(shù)據(jù)庫(kù)。

1.2.6 評(píng)價(jià)指標(biāo)

本研究中使用了精確率（Precision）、平均精確度（Average Precision，AP）、召回率（Recall）和1分?jǐn)?shù)4個(gè)指標(biāo)來(lái)評(píng)價(jià)模型精度。

2 結(jié)果及分析

2.1 麥穗檢測(cè)模型評(píng)估

本研究中使用輸入模型的小麥圖像數(shù)據(jù)作為測(cè)試集，分別在測(cè)試集上計(jì)算精確度、召回率、平均精確度和1得分4個(gè)指標(biāo)。識(shí)別麥穗的預(yù)測(cè)框與真實(shí)框的比值為置信度，在置信度閾值為0.5條件下，識(shí)別精確度為84.43%、召回率為91.05%、AP為91.96%、1分?jǐn)?shù)0.88（圖4），表明模型在復(fù)雜環(huán)境下采集的測(cè)試集上的表現(xiàn)良好，能在田間環(huán)境下對(duì)不同小麥品種在單位面積中的穗數(shù)進(jìn)行檢測(cè)。

為了比較不同深度學(xué)習(xí)模型對(duì)復(fù)雜背景中麥穗的檢測(cè)效果，本研究還選取了Single Shot MultiBox Detector（SSD）[34]和Faster Regions-based CNN（Faster -RCNN）[35]對(duì)麥穗數(shù)據(jù)集進(jìn)行訓(xùn)練。其中SSD是直接多目標(biāo)框預(yù)測(cè)，F(xiàn)aster-RCNN先是得到預(yù)選框，之后在進(jìn)行分類和回歸，這兩種目標(biāo)識(shí)別模型均廣泛用于目標(biāo)檢測(cè)中。將兩種模型與MobileNetV2-YOLOV4進(jìn)行了比較后，表1列出了3種模型的評(píng)估參數(shù)?？梢?，3種方法對(duì)麥穗計(jì)數(shù)都能有較好的結(jié)果。本研究中使用的模型除了在精確率這項(xiàng)指標(biāo)的精度不如SSD，其余3項(xiàng)指標(biāo)的表現(xiàn)都遠(yuǎn)優(yōu)于SSD和Faster-RCN。更重要的是，MobileNetV2-YOLOV4的淺層構(gòu)架和對(duì)計(jì)算硬件資源較低的需求使其更適合手機(jī)端的運(yùn)行。

表1 3種深度學(xué)習(xí)方法在麥穗數(shù)據(jù)集上的預(yù)測(cè)結(jié)果

2.2 YieldQuant-Mobile使用流程

圖5顯示了YQ-M在安卓手機(jī)上的簡(jiǎn)單使用流程。在完成注冊(cè)后，用戶進(jìn)入圖像提取界面，點(diǎn)擊加載模型按鈕，等待界面彈出模型加載已完成的提示，然后點(diǎn)擊添加圖片按鈕，界面底部會(huì)出現(xiàn)選擇相冊(cè)或者拍照彈框，點(diǎn)擊相冊(cè)或者相機(jī)按鈕添加需檢測(cè)圖片，該界面將會(huì)展示所選圖片，用戶也可更換圖片。確定圖片后，選擇等分?jǐn)?shù)選項(xiàng)，再點(diǎn)擊圖像分析按鈕，進(jìn)入產(chǎn)量預(yù)測(cè)頁(yè)面，該頁(yè)面顯示對(duì)所選圖片的穗部檢測(cè)結(jié)果，包括紅色長(zhǎng)方形邊框標(biāo)記的穗部、檢測(cè)穗部個(gè)數(shù)及檢測(cè)所耗時(shí)間等信息。穗部檢測(cè)完成后，用戶需選擇作物所屬區(qū)域、品系、品種及積溫等信息。輸入完成后，點(diǎn)擊預(yù)測(cè)產(chǎn)量按鈕，會(huì)計(jì)算單位面積內(nèi)產(chǎn)量，并展示結(jié)果。

2.3 YieldQuant-M麥穗計(jì)數(shù)及產(chǎn)量預(yù)測(cè)結(jié)果分析

根據(jù)不同小麥品種檢測(cè)結(jié)果，得到80個(gè)小麥品種單位面積中的麥穗個(gè)數(shù)。將3個(gè)重復(fù)中獲得的麥穗人工計(jì)數(shù)值與檢測(cè)值對(duì)比，本研究采用了線性回歸對(duì)YQ-M檢測(cè)值和人工結(jié)果進(jìn)行了對(duì)比分析。圖6a表示不同小麥品種中1 m2小區(qū)內(nèi)麥穗計(jì)數(shù)值個(gè)數(shù)和真實(shí)值的擬合結(jié)果，得到?jīng)Q定系數(shù)2值均值在0.96左右，表明輕量級(jí)深度學(xué)習(xí)模型對(duì)單位面積中不同品種麥穗數(shù)檢測(cè)值與人工計(jì)數(shù)值具有極顯著相關(guān)性，均方根誤差（RMSE）為23.494株/m2，代表了較高的精確度（=240個(gè)1 m2小區(qū)，3個(gè)重復(fù)下80個(gè)品種）。圖6b顯示了3個(gè)重復(fù)下對(duì)240個(gè)小區(qū)使用YQ-M軟件進(jìn)行產(chǎn)量預(yù)測(cè)均值與實(shí)際產(chǎn)量的線性相關(guān)性，得到?jīng)Q定系數(shù)2值為0.839，表明理論產(chǎn)量與實(shí)際產(chǎn)量具有顯著相關(guān)性，RMSE為17.641 g/m2，表明產(chǎn)量預(yù)估精確度較為穩(wěn)定。

2.4 YieldQuant-M運(yùn)行性能檢測(cè)

為了在手機(jī)端正常運(yùn)行，本研究使用的是8位量化方法來(lái)壓縮模型。為了比較輕量級(jí)模型與未量化模型及32位浮點(diǎn)型模型的運(yùn)行性能，本研究基于精確度、召回率、模型大小與檢測(cè)速度等4個(gè)指標(biāo)對(duì)不同模型進(jìn)行了對(duì)比。如表2所示，與未量化模型相比，經(jīng)過(guò)8位量化的模型在精確率和召回率上分別僅降低1.09和0.89個(gè)百分點(diǎn)，但模型大小比未量化模型減少了13.2 MB（為原模型的26%），在檢測(cè)速度上也提升了近200 ms（對(duì)圖片處理速度提升了約35%）。表明了構(gòu)建的輕量級(jí)深度學(xué)習(xí)模型在智能終端上良好的運(yùn)行性能和準(zhǔn)確性。

表2 量化和未量化檢測(cè)模型在相同麥穗數(shù)據(jù)集上的結(jié)果對(duì)比

由于田間實(shí)際環(huán)境的多樣性和復(fù)雜性，識(shí)別每幅圖像中麥穗數(shù)量所用時(shí)間也是檢驗(yàn)?zāi)Ｐ托阅艿囊粋€(gè)重要指標(biāo)。因此，本研究還分別使用了3款不同配置的智能手機(jī)進(jìn)行了對(duì)比測(cè)試。如圖7所示，通過(guò)3種不同散點(diǎn)圖表示了3種不同手機(jī)識(shí)別80個(gè)小麥品種所需要的平均時(shí)間。其中圓形散點(diǎn)代表硬件配置最差的小米CC9e的識(shí)別時(shí)間，基本在1 400 ms上下波動(dòng)；方形散點(diǎn)代表小米11的識(shí)別麥穗的時(shí)間，優(yōu)于小米CC9e的識(shí)別效果，但是穩(wěn)定性較差，識(shí)別時(shí)間上下浮動(dòng)較大；華為Mate20 Pro的配置最高，從三角散點(diǎn)可見，識(shí)別時(shí)間最少并且穩(wěn)定性較好。表明硬件配置好的手機(jī)運(yùn)行輕量級(jí)麥穗識(shí)別模型的過(guò)程中用時(shí)更少。柱狀圖表示通過(guò)3種手機(jī)對(duì)80個(gè)品種的麥穗數(shù)檢測(cè)的平均值。如圖7所示，盡管不同品種穗數(shù)有一定差異，但YQ-M在不同配置的智能手機(jī)上運(yùn)行時(shí)間波動(dòng)不大，說(shuō)明輕量級(jí)模型和安卓端軟件能在對(duì)不同品種的分析時(shí)保持較穩(wěn)定的檢測(cè)結(jié)果和識(shí)別時(shí)間。

3 結(jié)論與展望

本研究通過(guò)結(jié)合了深度學(xué)習(xí)、嵌入式人工智能技術(shù)、安卓軟件開發(fā)和SQLite輕量級(jí)數(shù)據(jù)庫(kù)等多項(xiàng)前沿技術(shù)完成了離線情況下使用智能手機(jī)終端完成了對(duì)單位面積中的麥穗進(jìn)行檢測(cè)，并結(jié)合品種數(shù)據(jù)庫(kù)預(yù)測(cè)產(chǎn)量。在安卓手機(jī)端搭建的智能化分析軟件。通過(guò)對(duì)80個(gè)小麥品種的田間測(cè)產(chǎn)試驗(yàn)和結(jié)果比對(duì)表明：

1）智能手機(jī)在田間離線情況下完成了對(duì)單位面積中麥穗圖像的采集、分析和產(chǎn)量預(yù)測(cè)，證明了嵌入式人工智能技術(shù)能在智能移動(dòng)設(shè)備上對(duì)作物可以進(jìn)行實(shí)時(shí)的產(chǎn)量檢測(cè)。在結(jié)合小麥產(chǎn)量三要素（麥穗數(shù)、千粒質(zhì)量、穗粒數(shù)）數(shù)據(jù)庫(kù)后，用戶可在麥穗識(shí)別模型的基礎(chǔ)上，通過(guò)開放端口完善歷史數(shù)據(jù)，完成更多小麥品種或其他谷類作物的田間測(cè)產(chǎn)工作。此外，在田間試驗(yàn)中不斷收集到的圖像，還可以通過(guò)再訓(xùn)練或遷移學(xué)習(xí)等方法持續(xù)擴(kuò)展共享訓(xùn)練集，為作物研究和農(nóng)業(yè)生產(chǎn)提供服務(wù)。

2）該算法在置信度為0.5時(shí)對(duì)不同品種小麥的麥穗檢測(cè)精確率、召回率、平均精確度、1分?jǐn)?shù)分別為84.43%、91.05%、91.96%、0.88，因此構(gòu)建的麥穗檢測(cè)模型具有良好的檢測(cè)性能。通過(guò)使用YQ-M軟件對(duì)80個(gè)小麥品種進(jìn)行田間麥穗檢測(cè)及產(chǎn)量預(yù)測(cè)，麥穗數(shù)量檢測(cè)結(jié)果和人工檢測(cè)值的決定系數(shù)為0.961，均方根誤差為23.494株/m2；測(cè)產(chǎn)和實(shí)際產(chǎn)量的決定系數(shù)為0.839，均方根誤差為17.641 g/m2。

YQ-M系統(tǒng)開放了部署多種輕量級(jí)模型的端口，為實(shí)現(xiàn)多種作物產(chǎn)量預(yù)測(cè)、作物品類擴(kuò)充和系統(tǒng)功能提升提供了開放式平臺(tái)?？紤]到田間環(huán)境和不同的作物研究應(yīng)用場(chǎng)景，YQ-M軟件的操作盡量簡(jiǎn)單易用，保證無(wú)需培訓(xùn)就能使用軟件。此外，安卓應(yīng)用軟件及關(guān)鍵代碼已上傳實(shí)驗(yàn)室的GitHub共享空間（https://github.com/ The-Zhou-Lab/Yield Quant-Mobile）。

隨著智能手機(jī)配置的不斷提高、本研究工作可擴(kuò)展至大部分小麥品種，為廣大農(nóng)業(yè)從業(yè)人員和科研人員提供在田間開展經(jīng)濟(jì)、便捷和可靠的產(chǎn)量量化分析的技術(shù)手段。手機(jī)硬件的提升為智能終端在田間作物試驗(yàn)中的廣泛應(yīng)用提供了新思路。例如，自帶顯微鏡功能的手機(jī)能在田間實(shí)現(xiàn)無(wú)損監(jiān)測(cè)葉片氣孔等器官表型提供硬件支持。搭載熱成像功能的手機(jī)也可為提早發(fā)現(xiàn)田間植物病害提供便捷的光譜特征信息。這些新的硬件功能結(jié)合本研究構(gòu)建的輕量級(jí)深度學(xué)習(xí)技術(shù)將為智能移動(dòng)設(shè)備在田間表型采集和近實(shí)時(shí)離線分析提供重要的技術(shù)平臺(tái)。最后，通過(guò)開發(fā)智能終端的應(yīng)用軟件來(lái)檢測(cè)各類作物的表型性狀，不但能為農(nóng)業(yè)工作者和育種專家提供經(jīng)濟(jì)、便捷的技術(shù)手段，還可對(duì)小農(nóng)戶的實(shí)際生產(chǎn)提供方便易用的監(jiān)測(cè)工具。通過(guò)智能測(cè)產(chǎn)可大幅降低保險(xiǎn)公司理賠的人工成本，對(duì)不同商業(yè)應(yīng)用場(chǎng)景提供可行的技術(shù)解決方案。為人工智能在作物研究、農(nóng)業(yè)生產(chǎn)和整個(gè)農(nóng)業(yè)產(chǎn)業(yè)鏈的應(yīng)用提供新方法和新技術(shù)。

[1] Ariel F, Julia C, Roxana S, et al. Yield determination, interplay between major components and yield stability in a traditional and a contemporary wheat across a wide range of environments[J]. Field Crops Research, 2017, 203: 114-127.

[2] Jin X, Liu S, Baret F, et al. Estimates of plant density of wheat crops at emergence from very low altitude UAV imagery[J]. Remote Sensing of Environment, 2017, 198: 105-114.

[3] Ghahremani M, Ghassemian H. Remote-sensing image fusion based on curvelets and ICA[J]. International Journal of Remote Sensing, 2015, 36(16): 4131-4143.

[4] Naemura M, Fukuda A, Mizutani Y, et al. Morphological segmentation of sport scenes using color information[J]. IEEE Transactions on Broadcasting, 2000, 46(3): 181-188.

[5] Fernandez-Gallego J A, Kefauver S C, Gutiérrez N A, et al. Wheat ear counting in-field conditions: High throughput and low-cost approach using RGB images[J]. Plant Methods, 2018, 14(1): 1-12.

[6] Zhou C, Liang D, Yang X, et al. Wheat ears counting in field conditions based on multi-feature optimization and TWSVM[J]. Frontiers in Plant Science, 2018, 9: 1024-1040.

[7] Yulei Z, Gang S, Guohui D, et al. Large-scale field phenotyping using backpack LiDAR and CropQuant-3D to measure structural variation in wheat[J]. Plant Physiolgy, 2021,187(2): 716-738.

[8] 李毅念，杜世偉，姚敏，等. 基于小麥群體圖像的田間麥穗計(jì)數(shù)及產(chǎn)量預(yù)測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(21)：185-194.

Li Yinian, Du Shiwei, Yao Min, et al. Mehtod for wheater counting and yield predicitng based on image of wheatear population in field[J]. Transactions of the Chinese Society of Agricultural Egineering (Transaction of the CSAE), 2018, 34(21): 185-195. (in Chinese with English abstract)

[9] 周濟(jì)，Tardieu F，Pridmore T，等. 植物表型組學(xué)：發(fā)展、現(xiàn)狀與挑戰(zhàn)[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2018，41(4)：580-588.

Zhou Ji, Tardieu F, Pridmore T, et al. Plant phenomics: history, present status and challenges[J]. Journal of Nanjing Agricultural University, 2018, 41(4): 580-588. (in Chinese with English abstract)

[10] 徐凌翔，陳佳瑋，丁國(guó)輝，等. 室內(nèi)植物表型平臺(tái)及性狀鑒定研究進(jìn)展和展望[J]. 智慧農(nóng)業(yè)，2020，2(1)：23-42.

Xu Lingxiang, Chen Jiawei, Ding Guohui, et al. Indoor phenotyping platforms and associated trait measurement: Progress and prospects[J]. Smart Agriculture, 2020, 2(1): 23-42. (in Chinese with English abstract)

[11] Yang W, Feng H, Zhang X, et al. Crop phenomics and high-throughput phenotyping: Past decades, current challenges, and future perspectives[J]. Molecular Plant, 2020, 13(2): 187-214.

[12] David E, Madec S, Sadeghi-Tehran P, et al. Global Wheat Head Detection (GWHD) Dataset: A large and diverse dataset of high resolution rgb labelled images to develop and benchmark wheat head detection methods[J]. Plant Phenomics, 2020, 1: 1-10

[13] Zhang N, Zhao C, Quiring S M, et al. Winter wheat yield prediction using normalized difference vegetative index and agro-climatic parameters in oklahoma[J]. Agronomy Journal, 2017, 109(6): 2700-2713.

[14] Zhang Y, Gao J, Zhou H. Breeds classification with deep convolutional neural network[C]// Proceedings of the 2020 12th International Conference on Machine Learning and Computing. New York,USA:ACM,2020: 145-151.

[15] Zhao J, Zhang X, Yan J, et al. A wheat spike detection method in UAU images based on improved YOLOV5[J]. Remote Sensing, 2021, 13(16): 1-16.

[16] Joshua C, Carmel O, Rachel W, et al. SeedGerm:a cost-effective phenotyping platform for automated seed imaging and machine-learning based phenotypic analysis of crop seed germination[J]. New Phytologist, 2020, 228(2): 778-793.

[17] 鮑文霞，張?chǎng)?，胡根生，? 基于深度卷積神經(jīng)網(wǎng)絡(luò)的田間麥穗密度估計(jì)及計(jì)數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(21)：186-194.

Bao Wenxia, Zhang Xin, Hu Gensheng, et al. Estimation and counting of wheat ears density in field based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(21): 186-194.

[18] Alkhudaydi T, Reynolds D, Griffiths S, et al. An exploration of deep-learning based phenotypic analysis to detect spike regions in field conditions for UK bread wheat[J]. Plant Phenomics, 2019(7): 1-17.

[19] Zebin T, Scully P J, Peek N, et al. Design and implementation of a convolutional neural network on an edge computing smartphone for human activity recognition[J]. IEEE Access, 2019, 7: 133509-133520.

[20] Lu J, Hu J, Zhao G, et al. An in-field automatic wheat disease diagnosis system[J]. Computers and Electronics in Agriculture, 2017, 142: 369-379.

[21] Al-Hami M, Pietron M, Casas R, et al. Methodologies of compressing a stable performance convolutional neural networks in image classification[J]. Neural Processing Letters, 2020, 51(1): 105-127.

[22] Lin D, Talathi S, Annapureddy S. Fixed point quantization of deep convolutional networks[C]// Proceedings of the 33rd International Conference on International Conference on Machine Learning, New York,USA:PMLR,2016: 2849-2858.

[23] Xiaoliang Q, Fengxia Z, Cong L, et al. Wheat yield improvements in China:past trends and future directions[J]. Field Crops Research, 2015, 177: 117-124.

[24] Everingham M, Eslami A, Van L, et al. The pascal visual object classes challenge: a retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136.

[25] Sandler M, Howard A, Zhu M, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Salt Lake City,USA:IEEE,2018: 4510-4520.

[26] Bochkovskiy A, Wang C Y, Liao H, et al. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. [2020-05-09]. https://arxiv.org/abs/2004.10934vl.

[27] Yu D, Xu Q, Guo H, et al . An efficient and lightweight convolutional neural network for remote sensing image scene classificatio[J]. Sensors, 2020, 7: 2158-2173.

[28] Catalin B, Vlad-Rares D, Cristina R. MobileNetV2 ensemble for cervical precancerous lesions classification[J]. Processes, 2020, 8: 595-625.

[29] Wang C Y, Mark Liao H Y, Wu Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, Washington, USA: CVPR, 2020: 390-391.

[30] Pan S J, Yang Q. A survey on transfer learning[J].IEEE Transactions on Knowledge and Data Engineering, 2009, 22(10): 1345-1359.

[31] Yosinski J, Clune J, Bengio Y, et al. How transferable are features in deep neural networks?[J]. Advances in Neural Information Processing Systems, 2014, 4: 3320-3328.

[32] Martin Abadi, Paul Barham, Jianmin Chen, et al. TensorFlow: A system for large-scale machine learning [C]//12th USENIX Symposium on Operating Systems Design and Implementation, Los Angeles, USA: ACM2016: 265-283.

[33] Ye J, Li X, Zhang X, et al. Deep learning-based human activity real-time recognition for pedestrian navigation[J]. Sensors, 2020, 9: 1-30.

[34] Liu W, Anguelov D, Erhan D, et al. SSD:single shot multibox detector[C]//Proceeding of the 14th European Conference on Computer Vision, Amsterdan,The Netherlands: ECCV, 2016: 21-37.

[35] Ren S, He K, Girshick R, et al. Faster R-CNN:Towards real-time object detection with region proposal networks[C]// Advances in Neural Information Processing Systems, Montreal, Canada: NeurIPS,2015: 91-99.

Combining lightweight wheat spikes detecting model and offline Android software development for in-field wheat yield prediction

Chen Jiawei1,2, Li Qing3, Tan Qiaoxing1, Gui Shiquan1, Wang Xiao3, Yi Fujin4, Jiang Dong3, Zhou Ji1,5※

(1.//,,210095,; 2.,,210095,; 3.,,210095,; 4.,,210095,; 5./,CB3 0LE,)

The number of spikes per unit area is akey yield component for cereal crops such as wheat, which is popularly used in wheat research for crop improvement. With the fast maturity of smartphone imaging hardware and recent advances in image processing and lightweight deep learning techniques, it is possible to acquire high-resolution images using a smartphone camera, followed by the analysis of wheat spikes per unit area through pre-trained artificial intelligence algorithms. Then, by combining detected spike number with variety-based spikelet number and grain weight, it is feasible to carry out a near real-time estimation of yield potential for a given wheat variety in the field. This AI-driven approach becomes more powerful when a range of varieties are included in the training datasets, enabling an effective and valuable approach for yield-related studies in breeding, cultivation, and agricultural production. In this study, we present a novel smartphone-based software application that combines smartphone imaging, lightweight and embedded deep learning, with yield prediction algorithms and applied the software to wheat cultivation experiments. This open-source Android application is called YieldQuant-Mobile (YQ-M), which was developed to measure a key yield trait (i.e. spikes per unit area) and then estimate yield based on the trait. Through YQ-M and smartphones, we standardized the in-field imaging of wheat plots, streamlined the detection of spikes per unit area and the prediction of yield, without a prerequisite of in-field WiFi or mobile network. In this article, we introduce the YQ-M in detail, including: 1) the data acquisition designed to standardize the collection of wheat images from an overhead perspective using Android smartphones; 2) the data pre-processing of the acquired image to reduce the computational time for image analysis; 3) the extraction of wheat spike features through deep learning (i.e. YOLOV4) and transfer learning; 4) the application of TensorFlow.lite to transform the trained model into a lightweight MobileNetV2-YOLOV4 model, so that wheat spike detection can be operated on an Android smartphone; 5) finally, the establishment of a mobile phone database to incorporate historic datasets of key yield components collected from different wheat varieties into YQ-M using Android SDK and SQLite. Additionally, to ensure that our work could reach the broader research community, we developed a Graphical User Interface (GUI) for YQ-M, which contains: 1) the spike detection module that identifies the number of wheat spikes from a smartphone image; 2) the yield prediction module that invokes near real-time yield prediction using detected spike numbers and related parameters such as wheat varieties, place of production, accumulated temperature, and unit area. During our research, we have tested YQ-M with 80 representative varieties (240 one-square-meter plots, three replicates) selected from the main wheat producing areas in China. The computed accuracy, recall, average accuracy, and1-score for the learning model are 84.43%, 91.05%, 91.96%, and 0.88, respectively. The coefficient of determination between YQ-M predicted yield values and post-harvest manual yield measurement is 0.839 (=80 varieties,<0.05; Root Mean Square Error=17.641 g/m2). The results suggest that YQ-M presented here has a high accuracy in the detection of wheat spikes per unit area and can produce a consistent yield prediction for the selected wheat varieties under complex field conditions. Furthermore, YQ-M can be easily accessed and expanded to incorporate new varieties and crop species, indicating the usability and extendibility of the software application. Hence, we believe that YQ-M is likely to provide a step change in our abilities to analyze yield-related components for different wheat varieties, a low-cost, accessible, and reliable approach that can contribute to smart breeding, cultivation and, potentially, agricultural production.

models; algorithm; yields; lightweight deep learning; wheat spike detection; Android system development; wheat

陳佳瑋，李慶，譚巧行，等. 結(jié)合輕量級(jí)麥穗檢測(cè)模型和離線Android軟件開發(fā)的田間小麥測(cè)產(chǎn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(19)：156-164.doi：10.11975/j.issn.1002-6819.2021.19.018 http://www.tcsae.org

Chen Jiawei, Li Qing, Tan Qiaoxing, et al. Combining lightweight wheat spikes detecting model and offline Android software development for in-field wheat yield prediction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 156-164. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.19.018 http://www.tcsae.org

2021-06-17

2021-09-12

江蘇省基礎(chǔ)研究計(jì)劃（BK20191311）；江蘇省現(xiàn)代農(nóng)業(yè)重點(diǎn)項(xiàng)目（BE2019383）；中央高?；究蒲袑ｍ?xiàng)資金（JCQY201902）

陳佳瑋，博士生，研究方向?yàn)楸硇头治雠c深度學(xué)習(xí)。Email：chenjiawei@njau.edu.cn

周濟(jì)，博士，教授，研究方向?yàn)樽魑锉硇徒M學(xué)，植物形態(tài)學(xué)，圖像分析，機(jī)器學(xué)習(xí)，稻麥育種。Email：Ji.zhou@njau.edu.cn（中），Ji.zhou@niab.com（英）

10.11975/j.issn.1002-6819.2021.19.018

S126

A

1002-6819(2021)-19-0156-09