單子葉作物葉片氣孔自動(dòng)識(shí)別與計(jì)數(shù)技術(shù)

孫壯壯，姜 東，蔡 劍，王 笑，周 琴，黃 梅，戴廷波，曹衛(wèi)星

單子葉作物葉片氣孔自動(dòng)識(shí)別與計(jì)數(shù)技術(shù)

孫壯壯，姜 東※，蔡 劍，王 笑，周 琴，黃 梅，戴廷波，曹衛(wèi)星

（南京農(nóng)業(yè)大學(xué)農(nóng)業(yè)部小麥區(qū)域技術(shù)創(chuàng)新中心，農(nóng)業(yè)部南方作物生理生態(tài)重點(diǎn)開放實(shí)驗(yàn)室，南京 210095）

為實(shí)現(xiàn)作物葉片氣孔的自動(dòng)識(shí)別與快速計(jì)數(shù)，該研究采用卷積神經(jīng)網(wǎng)絡(luò)中高計(jì)算效率的YOLOv3算法，開發(fā)了一種全自動(dòng)氣孔識(shí)別和計(jì)數(shù)解決方案。該算法優(yōu)化了物體檢測(cè)性能，可準(zhǔn)確識(shí)別顯微圖像中的氣孔。其中，對(duì)指甲油印跡法獲得照片的氣孔檢測(cè)精確率、召回率和F1值分別為0.96，0.98和0.97，便攜式顯微鏡拍攝法照片氣孔檢測(cè)精確率、召回率和F1值分別為0.95，0.98和0.96，具有很好的魯棒性。該算法檢測(cè)速度快，可實(shí)現(xiàn)對(duì)30幀/s的視頻文件進(jìn)行快速氣孔識(shí)別，實(shí)現(xiàn)了實(shí)時(shí)檢測(cè)。此外，采用拍攝的小麥葉片照片進(jìn)行訓(xùn)練得到的氣孔識(shí)別模型，還可同時(shí)實(shí)現(xiàn)對(duì)大麥、水稻和玉米等單子葉作物葉片氣孔的識(shí)別，其中，大麥的檢測(cè)精確率、召回率和F1值分別為0.94，0.83和0.88；水稻的檢測(cè)精確率、召回率和F1值分別為0.89，0.42和0.57；玉米的檢測(cè)精確率、召回率和F1值分別為0.91、0.76和0.83；顯示出模型良好的泛化能力。

卷積神經(jīng)網(wǎng)絡(luò)；機(jī)器視覺(jué)；模型；單子葉作物；氣孔識(shí)別；計(jì)數(shù)；深度學(xué)習(xí)；實(shí)時(shí)檢測(cè)

0 引 言

氣孔是陸生植物與外界進(jìn)行水分和氣體交換的主要通道，是植物登陸并適應(yīng)陸生環(huán)境所形成的關(guān)鍵器官之一[1]。氣孔也是協(xié)調(diào)作物葉片光合與水分散失平衡的重要通道，在作物應(yīng)對(duì)大氣與土壤干旱、高溫等逆境中發(fā)揮極為重要的作用[2]。與大部分雙子葉植物氣孔可通過(guò)剝撕表皮細(xì)胞觀察氣孔不同，單子葉植物葉肉層相對(duì)薄、表皮細(xì)胞剝離非常困難，所以一般采用合適的固定劑固定氣孔形態(tài)并結(jié)合顯微鏡觀察，或者直接通過(guò)顯微鏡觀察其氣孔形態(tài)[3]。但是，通過(guò)顯微鏡圖像識(shí)別氣孔并計(jì)數(shù)過(guò)程較為繁瑣，一般拍攝完圖像后，還需通過(guò)人工識(shí)別統(tǒng)計(jì)氣孔的數(shù)目，費(fèi)時(shí)費(fèi)力，而且長(zhǎng)時(shí)間通過(guò)肉眼觀察也會(huì)增加出錯(cuò)的概率。隨著技術(shù)的發(fā)展，已實(shí)現(xiàn)通過(guò)Image-J等圖像處理軟件進(jìn)行氣孔識(shí)別半手工測(cè)量，但需用戶手動(dòng)標(biāo)記孔隙邊界、氣孔長(zhǎng)度和寬度等興趣點(diǎn)[4]。這些軟件可提供額外的插件，以降低氣孔識(shí)別的難度，但仍需使用者手動(dòng)調(diào)整每幅圖像的參數(shù)，才能獲得較準(zhǔn)確的結(jié)果。同時(shí)，受觀測(cè)時(shí)間等限制，研究人員大多從捕獲的顯微鏡圖像中只選擇幾個(gè)氣孔進(jìn)行取樣人工測(cè)量，導(dǎo)致只能采用較少的數(shù)據(jù)點(diǎn)進(jìn)行相關(guān)的研究[5-6]。目前，也出現(xiàn)了很多有關(guān)氣孔識(shí)別和計(jì)數(shù)的算法。如Duarte等用預(yù)處理后的圖像通過(guò)顏色特征進(jìn)行閾值分割以分離出氣孔進(jìn)行計(jì)數(shù)[7]，但這種方法在采集照片的光照等環(huán)境發(fā)生變化時(shí)，效率會(huì)明顯下降。還有一些算法需要用戶先手動(dòng)分割氣孔，以為后面的氣孔樣本檢測(cè)提供模板進(jìn)行匹配[8]，同時(shí)還需要用戶輸入一些模型的參數(shù)，以適應(yīng)具體的科研需求?？傊鲜鲅芯课茨苓_(dá)到自動(dòng)化檢測(cè)的效果。因此，建立一種快速、全自動(dòng)、精準(zhǔn)的氣孔識(shí)別與計(jì)數(shù)工具，對(duì)提升相關(guān)領(lǐng)域的科研效能具有重要意義。

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural networks）在目標(biāo)檢測(cè)、語(yǔ)義分割等領(lǐng)域獲得廣泛應(yīng)用，目標(biāo)檢測(cè)算法在精準(zhǔn)農(nóng)業(yè)領(lǐng)域也取得了很大的突破。如Madec等基于目標(biāo)檢測(cè)技術(shù)，采用高分辨率RGB圖像估算了小麥麥穗密度[9]。目前，較流行的目標(biāo)檢測(cè)算法有兩類：一類基于候選區(qū)域（region proposal）的R-CNN系算法（R-CNN，F(xiàn)ast R-CNN, Faster R-CNN），該算法分兩步進(jìn)行，首先使用啟發(fā)式方法（selective search）或者CNN網(wǎng)絡(luò)（RPN）產(chǎn)生候選區(qū)域，然后再在候選區(qū)域上進(jìn)行分類與回歸。該類方法準(zhǔn)確度較高，但由于提取候選區(qū)域計(jì)算量較大，降低了該類方法檢測(cè)速度。第二類是YOLO（you only look once）算法，該算法是一個(gè)端到端的實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)，將物體檢測(cè)任務(wù)當(dāng)做一個(gè)回歸問(wèn)題來(lái)處理，使用一個(gè)神經(jīng)網(wǎng)絡(luò)，直接從一整張圖像來(lái)預(yù)測(cè)出后處理的坐標(biāo)、框中包含物體的類別和置信度。通過(guò)這種方式，YOLO可實(shí)現(xiàn)45幀/s的運(yùn)算速度（達(dá)到24幀/s，人眼就認(rèn)為是連續(xù)的），完全滿足實(shí)時(shí)觀測(cè)的要求。YOLO算法先后經(jīng)歷了YOLOv1[10]、YOLOv2[11]和YOLOv3[12]3個(gè)版本，YOLOv3在保證前期版本高運(yùn)算速度的基礎(chǔ)上，大幅度提高了識(shí)別精度，在很多領(lǐng)域得以廣泛使用[13]。

為此，本研究運(yùn)用YOLOv3算法，以單子葉作物葉片氣孔照片為對(duì)象，開發(fā)了單子葉作物葉片氣孔快速精確檢測(cè)與計(jì)數(shù)技術(shù)。以期為相關(guān)領(lǐng)域的科研工作者提供更好的研究方法。

1 材料與方法

1.1 試驗(yàn)設(shè)計(jì)

本研究通過(guò)2種方式進(jìn)行照片采集：指甲油印記法和便攜式顯微鏡拍攝，拍攝時(shí)期為灌漿期和幼苗期（三葉一心期），選用小麥品種揚(yáng)麥16和蘇麥188作為試驗(yàn)材料。

灌漿期植株于2018－2019年間種植在南京農(nóng)業(yè)大學(xué)牌樓試驗(yàn)站，使用盆栽種植，土壤自然風(fēng)干過(guò)篩后，播種前與肥料充分混勻，稱取7.5 kg裝入高22 cm、直徑25 cm的聚乙烯塑料盆，每盆施用尿素2 g，磷酸二氫鉀2 g，氮肥分2次施入，基追比為5:5，追肥拔節(jié)期施入，每桶選取飽滿均勻一致的種子播種21粒，三葉一心期定苗，每桶留苗7株，共計(jì)50盆。灌漿期時(shí)，選取小麥頂展葉，在葉背面中部用指甲油印跡法和便攜顯微鏡分別拍攝氣孔，每盆拍攝2～3張。

幼苗期的小麥?zhǔn)褂昧怂嘣囼?yàn)方法。選取籽粒大小均勻一致的種子，用質(zhì)量分?jǐn)?shù)為15%H2O2溶液浸泡消毒15～20 min，經(jīng)蒸餾水沖洗干凈，擺放在周轉(zhuǎn)箱中，將周轉(zhuǎn)箱放置在光照培養(yǎng)箱中進(jìn)行種子催芽，待種子吸脹露白后，選取均勻一致的種子擺入網(wǎng)筐中，種子腹溝朝下，按時(shí)補(bǔ)充水分。待小麥幼苗長(zhǎng)至一葉一心時(shí)，將長(zhǎng)勢(shì)一致的幼苗轉(zhuǎn)移到盛有水培營(yíng)養(yǎng)液的周轉(zhuǎn)箱內(nèi)。幼苗置于人工氣候室培養(yǎng)，氣候室參數(shù)設(shè)置為晝夜溫度20 ℃和14 ℃，16 h光照、光照強(qiáng)度為300mol/(m2·s)，相對(duì)濕度60%，2 d更換一次營(yíng)養(yǎng)液。幼苗長(zhǎng)至三葉一心時(shí)，選取小麥頂展葉背面中部拍攝氣孔。

1.2 圖像獲取

1.2.1 指甲油印跡法

將透明指甲油均勻涂抹在小麥等單子葉作物葉片表面，自然晾干后，用透明膠粘貼葉片表皮并輕輕撕下，轉(zhuǎn)移至載玻片上，然后置于正倒置熒光顯微鏡下,物鏡倍數(shù)為20倍，目鏡倍數(shù)為10倍，對(duì)制作的裝片進(jìn)行觀察和顯微攝影，將采集的照片按順序編號(hào)。

1.2.2 便攜式顯微鏡拍攝法

該方法采用艾尼提便攜式顯微鏡進(jìn)行葉片氣孔拍攝（Anyty 3R-WM401WiFi/3R-WM601WiFi系列，以下簡(jiǎn)稱艾尼提顯微鏡）。艾尼提顯微鏡與智能終端連接后，安裝相應(yīng)軟件，即可在相應(yīng)倍率下觀測(cè)，還可以進(jìn)行拍照和錄像。通過(guò)艾尼提顯微鏡，直接對(duì)小麥等作物葉片氣孔進(jìn)行拍攝，放大倍數(shù)為400～600倍，每次拍攝放大倍數(shù)需根據(jù)實(shí)際情況調(diào)節(jié)。2個(gè)時(shí)期取樣照片分布如表1所示。

表1 取樣照片分布情況

注：Method 1為指甲油印跡法，Method 2為便攜顯微鏡拍攝法。

Note: Method 1 is the method of nail polish printing, and Method 2 is the method of portable microscopy.

1.3 圖像標(biāo)注

使用labelImg（https://github.com/tzutalin/labelImg）工具對(duì)照片進(jìn)行標(biāo)注，生成label文件。氣孔用矩形框標(biāo)注出，矩形框以氣孔最小的外接矩形為最佳，位于照片邊緣的氣孔由人工判斷，氣孔大小超過(guò)2/3的則計(jì)入整體個(gè)數(shù)。其中，指甲油印跡法一共標(biāo)注了8 024個(gè)氣孔，便攜式顯微鏡拍攝法一共標(biāo)注了2 608個(gè)氣孔。

將照片中的所有氣孔標(biāo)出后，點(diǎn)擊保存，生成與照片同名的xml格式文件，文件中記錄照片里每個(gè)氣孔矩形框的位置坐標(biāo)及通道數(shù)等信息，由于訓(xùn)練時(shí)需要用txt格式的label文件，所以用代碼xml-to-txt-updata.py（https://github.com/shem123456/-/blob/master/xml-to-txt-update.py）進(jìn)行格式轉(zhuǎn)化，轉(zhuǎn)化后生成txt格式文件，作為訓(xùn)練的label文件。

1.4 數(shù)據(jù)集劃分

整個(gè)數(shù)據(jù)包括照片及其所對(duì)應(yīng)的txt文件，數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，其中，80%的照片和其對(duì)應(yīng)的txt文件放入訓(xùn)練集（指甲油法和便攜顯微鏡拍攝法各111和94個(gè)），用于模型訓(xùn)練；20%的照片和其對(duì)應(yīng)的txt文件放入測(cè)試集（指甲油法和便攜式顯微鏡拍攝法各27和23個(gè)）。

2 數(shù)據(jù)處理

2.1 處理流程

整個(gè)處理流程如圖1所示，YOLOv3代碼目前已經(jīng)開源，可從網(wǎng)站（https://pjreddie.com/darknet/yolo/）下載源代碼。

圖1 系統(tǒng)總體工作流程

參照官網(wǎng)的要求，下載darknet53.conv.74預(yù)訓(xùn)練權(quán)值文件（YOLO作者在ImageNet上預(yù)訓(xùn)練的權(quán)值）。并新建一個(gè)名為project的文件夾，在里面建5個(gè)文件夾，分別為data、cfg、backup、demo、log。其中：data文件夾存放數(shù)據(jù)集，包括訓(xùn)練、測(cè)試集，以及相應(yīng)的txt文件；cfg文件夾存放darknet描述神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的文件；backup存放訓(xùn)練的模型，同時(shí)存放訓(xùn)練過(guò)程中的備份模型，可以作為斷點(diǎn)備份繼續(xù)訓(xùn)練；demo用于保存測(cè)試圖片；log用于保存訓(xùn)練日志。

2.2 模型訓(xùn)練

本文采用深度學(xué)習(xí)中的YOLOv3算法進(jìn)行模型構(gòu)建和訓(xùn)練，YOLOv3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為Darknet-53，如圖2所示。整個(gè)網(wǎng)絡(luò)一共有53層，前52層主要由一系列的1×1和3×3的卷積層組成，進(jìn)行了5次下采樣，每次采樣步長(zhǎng)為2，在3個(gè)特征層進(jìn)行了邊框的預(yù)測(cè)，分別是在32倍下采樣，16倍下采樣和8倍下采樣的特征圖，在3個(gè)尺度的融合特征圖上分別獨(dú)立做檢測(cè)，這樣有助于讓網(wǎng)絡(luò)同時(shí)學(xué)習(xí)深層和淺層特征，表達(dá)效果更好，同時(shí)保留細(xì)粒度特征，增強(qiáng)小目標(biāo)的檢測(cè)效果。第53層是全連接層，通過(guò)Softmax函數(shù)進(jìn)行目標(biāo)的分類。Convolutional由Conv2d Layer、BN Layer和LeakyReLU Layer等3個(gè)模塊組成，整個(gè)網(wǎng)絡(luò)中使用大量殘差結(jié)構(gòu)（Residual），這種殘差結(jié)構(gòu)可以使網(wǎng)絡(luò)結(jié)構(gòu)在很深的情況下，仍能收斂，而殘差結(jié)構(gòu)中1×1的卷積，極大減少了每次卷積的通道數(shù)，有利于減少參數(shù)量（參數(shù)量越大，保存的模型越大），同時(shí)在一定程度上也減少計(jì)算量。

圖2 YOLOv3模型結(jié)構(gòu)圖

訓(xùn)練時(shí)使用的電腦系統(tǒng)為Ubuntu16.04，采用GPU（NVIDIA GeForce GTX 1050Ti）加速。在訓(xùn)練之前，使用預(yù)訓(xùn)練網(wǎng)絡(luò)（darknet53.conv.74）的模型，這是一種常用且高效的遷移學(xué)習(xí)方法，因?yàn)檫@個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)的原始數(shù)據(jù)集足夠大且通用，所以它學(xué)到的特征空間層次結(jié)構(gòu)可以有效地作為人眼視覺(jué)世界的通用模型。

在訓(xùn)練過(guò)程中，可以通過(guò)代碼將每次迭代完返回的信息寫入日志中，并存放在log文件中。通過(guò)python代碼extract_log.py，解析日志文件，再使用train_loss_visualization.py繪制損失變化曲線，進(jìn)行訓(xùn)練過(guò)程的可視化，效果如圖3所示。其中，橫坐標(biāo)代表訓(xùn)練次數(shù)，縱坐標(biāo)代表?yè)p失值，loss和avg loss分別表示損失和平均損失。當(dāng)返回的loss和avg loss數(shù)值很低，且趨于穩(wěn)定時(shí)，即可停止訓(xùn)練，保存訓(xùn)練模型。從訓(xùn)練損失變化曲線可知，訓(xùn)練次數(shù)在100次之后，loss和avg loss會(huì)迅速下降，到400次左右時(shí)，下降的幅度又會(huì)變得緩慢，最終，選擇在1 200次左右時(shí)，停止訓(xùn)練，并對(duì)模型進(jìn)行保存。以上的python代碼均可在https://github.com/ shem123456/-/blob/master中下載。

圖3 平均損失和損失變化曲線

2.3 模型測(cè)試

對(duì)2個(gè)數(shù)據(jù)集分別進(jìn)行訓(xùn)練后，再用訓(xùn)練后得到的模型對(duì)單張照片進(jìn)行測(cè)試。如圖4所示，算法會(huì)自動(dòng)預(yù)測(cè)出每個(gè)氣孔的位置，并用矩形框?qū)ζ浯笮∵M(jìn)行標(biāo)注，同時(shí)它給出該物體類別的置信度（為了減少遮擋，結(jié)果與討論部分的圖片隱藏了置信度的顯示），算法默認(rèn)的置信度閾值為50%，即只會(huì)標(biāo)出置信度大于50%的物體，并在圖片中顯示出置信度。

圖4 單張圖片測(cè)試

2.4 模型評(píng)估

用（positive）和（negative）代表模型的判斷結(jié)果，（true）和（false）代表評(píng)價(jià)模型的判斷結(jié)果是否正確，這樣所有結(jié)果可以分為4類：FP（假正類）、FN（假負(fù)類）、TP（真正類）和TN（真負(fù)類）。根據(jù)這4種分類，采取如下3個(gè)指標(biāo)來(lái)評(píng)估模型的性能。

召回率（Recall），針對(duì)數(shù)據(jù)集中的所有正類（TP+FN）而言，模型正確判斷出的正類（TP）占數(shù)據(jù)集中所有正類的比例。召回率也叫查全率，以氣孔檢測(cè)為例，召回率高代表著模型可以找出圖片中更多的氣孔。

精確率（Precision），也叫查準(zhǔn)率，表示模型檢測(cè)出的物體為真實(shí)物體的比例，指針對(duì)模型判斷出的所有正類（TP+FP）中，真正類（TP）占的比例。

F1值（F1 Score），是統(tǒng)計(jì)學(xué)中用來(lái)衡量二分類模型精確度的一種指標(biāo)。它同時(shí)兼顧了分類模型的精確率和召回率。F1值可以看作是模型精確率和召回率的一種加權(quán)平均，最大值為1，最小值為0。

3 結(jié)果與分析

3.1 指甲油印跡法在圖片清晰度和模型性能方面均要優(yōu)于便攜式顯微鏡拍攝法

2種氣孔圖片采集方式相比，指甲油印跡法得到的照片中氣孔形態(tài)和輪廓更加清晰，而且采樣的面積也更大，單張照片中能觀測(cè)到氣孔數(shù)量更多。受鏡頭物理倍率及軟件功能的限制，艾尼提顯微鏡拍攝照片的最高分辨率僅為11.8像素/cm，但其優(yōu)點(diǎn)是拍攝的照片更加真實(shí)，且操作方便、快捷，不受觀察時(shí)間、地點(diǎn)限制，更重要的是不需要對(duì)葉片進(jìn)行破壞性處理，可實(shí)現(xiàn)連續(xù)觀測(cè)。

使用精確度、召回率和F1值對(duì)2個(gè)模型的性能進(jìn)行評(píng)估。首先對(duì)Method 1和Method 2測(cè)試集中每張圖片進(jìn)行單張圖片測(cè)試，然后統(tǒng)計(jì)每張圖片中的FP、FN、TP和TN，最后計(jì)算出每張圖片的精確率、召回率和F1值（圖5）。圖中橫坐標(biāo)代表精確率，縱坐標(biāo)代表召回率，由于氣泡的大小較為接近，在圖的右側(cè)添加了顏色棒，便于區(qū)分氣泡的大小，由深到淺代表氣泡大小逐漸變小。由圖可知，2種方法生成模型的性能都不錯(cuò)。在測(cè)試集檢測(cè)的結(jié)果中，Method 1平均的精確率、召回率和F1值分別為0.96，0.98和0.97；Method 2平均的精確率、召回率和F1值分別為0.95，0.98和0.96。

3.2 YOLOv3算法在測(cè)試集中表現(xiàn)出良好的魯棒性

YOLOv3算法在2種數(shù)據(jù)集上都表現(xiàn)出良好的性能，而且2種方法均可實(shí)現(xiàn)準(zhǔn)確氣孔計(jì)數(shù)，以置信度50%為閾值，氣孔真實(shí)個(gè)數(shù)與預(yù)測(cè)個(gè)數(shù)線性回歸2分別為0.980 1和0.962 5。用2種方法的測(cè)試集作為輸入，進(jìn)行批量測(cè)試，置信度閾值為50%，得到每張圖片中預(yù)測(cè)氣孔個(gè)數(shù)，將每張圖片實(shí)際標(biāo)注的氣孔個(gè)數(shù)與預(yù)測(cè)的氣孔個(gè)數(shù)進(jìn)行線性回歸分析，發(fā)現(xiàn)2種方法實(shí)際標(biāo)注的氣孔個(gè)數(shù)與預(yù)測(cè)的氣孔個(gè)數(shù)均有很強(qiáng)的相關(guān)性（圖6）。

圖5 模型評(píng)估指標(biāo)氣泡圖

圖6 實(shí)際標(biāo)注與預(yù)測(cè)氣孔數(shù)目間的線性回歸關(guān)系

3.3 YOLO算法可實(shí)現(xiàn)氣孔的實(shí)時(shí)檢測(cè)

如前所述，YOLO是一個(gè)端到端的實(shí)時(shí)的目標(biāo)檢測(cè)系統(tǒng)，它將物體檢測(cè)任務(wù)當(dāng)做一個(gè)回歸問(wèn)題來(lái)處理，使用一個(gè)神經(jīng)網(wǎng)絡(luò)，直接從一整張圖像來(lái)預(yù)測(cè)出邊界框的坐標(biāo)、邊界框中包含物體的類別和置信度。通過(guò)這種方式，可實(shí)現(xiàn)較高的運(yùn)算速度，能滿足實(shí)時(shí)性要求。

本研究用指甲油印跡法制作一樣本，將其置于倒置熒光顯微鏡下，調(diào)整好放大倍數(shù)及焦距至影像清晰，打開配套的軟件，點(diǎn)擊錄制視頻，然后緩緩轉(zhuǎn)動(dòng)載物臺(tái)旋鈕，使觀測(cè)的視野移動(dòng)，同時(shí)保證圖像的清晰，錄制視頻文件，得到的視頻文件幀速率為30幀/s。

將錄制的視頻文件作為測(cè)試對(duì)象，輸入到Y(jié)OLOv3算法中，算法可自動(dòng)識(shí)別檢測(cè)每一幀影像中的氣孔，并標(biāo)識(shí)其位置，最后輸出一個(gè)標(biāo)記后的視頻文件。如圖7，顯示了氣孔個(gè)數(shù)實(shí)際值與預(yù)測(cè)值隨時(shí)間變化的曲線，表明在檢測(cè)視頻文件時(shí)，算法也具有很好的魯棒性。

3.4 該方法對(duì)其他單子葉作物的適用性

區(qū)別于雙子葉植物，小麥、大麥、玉米、水稻等單子葉作物的氣孔具有較為相似的形態(tài)特征[14]。由此，選用由小麥葉片氣孔照片訓(xùn)練構(gòu)建的模型，測(cè)試該模型是否也適于其他單子葉作物葉片的氣孔識(shí)別。為此，采用水培法培育了大麥、水稻、玉米等幼苗，利用便攜式顯微鏡采集了作物葉片氣孔的照片，以此來(lái)測(cè)試模型對(duì)其他單子葉作物的識(shí)別效果。

圖7 氣孔個(gè)數(shù)實(shí)際值與預(yù)測(cè)值隨時(shí)間變化曲線

如表2所示，大麥的檢測(cè)精確率、召回率和F1值分別為0.94，0.83和0.88，水稻的檢測(cè)精確率、召回率和F1值分別為0.89，0.42和0.57，玉米的檢測(cè)精確率、召回率和F1分別為0.91、0.76和0.83。如圖8所示，僅用小麥氣孔照片進(jìn)行訓(xùn)練得到的模型，也可實(shí)現(xiàn)對(duì)大麥、水稻和玉米等單子葉作物葉片氣孔的識(shí)別。原因在于卷積神經(jīng)網(wǎng)絡(luò)在提取特征時(shí)，不僅提取了顏色、形狀等單一的特征，而是更為復(fù)雜和豐富的抽象結(jié)構(gòu)[15]。

表2 其他單子葉作物的檢測(cè)精度評(píng)價(jià)

圖8 其他單子葉作物

在一般的深度神經(jīng)網(wǎng)絡(luò)中，剛開始提取的特征是各種邊緣形狀的集合，而隨著層數(shù)的加深，提取的特征變得越來(lái)越抽象，并且越來(lái)越難以直觀理解。深度神經(jīng)網(wǎng)絡(luò)可以有效地作為信息蒸餾管道，反復(fù)地對(duì)原始數(shù)據(jù)（RGB圖像）進(jìn)行處理，過(guò)濾掉無(wú)關(guān)信息，并放大和細(xì)化有用信息[16]。從直觀上看，能發(fā)現(xiàn)大麥作為小麥的近源種，其氣孔在形態(tài)結(jié)構(gòu)與小麥最相近，與水稻和玉米氣孔形態(tài)差異較大。

4 討 論

本文提出了一種快速、全自動(dòng)、精準(zhǔn)的氣孔識(shí)別與計(jì)數(shù)工具。與常規(guī)的基于閾值分割氣孔的方法相比，基于卷積神經(jīng)網(wǎng)絡(luò)的算法具有更好的泛化能力，而且本文提出的方法不需要用戶再手動(dòng)輸入?yún)?shù)進(jìn)行調(diào)整，實(shí)現(xiàn)了自動(dòng)檢測(cè)。與Fetter等使用深度卷積神經(jīng)網(wǎng)絡(luò)提出的氣孔自動(dòng)計(jì)數(shù)系統(tǒng)StomataCounter相比[17]，本文提出了以視頻為輸入的氣孔動(dòng)態(tài)識(shí)別與計(jì)數(shù)，為全方位地監(jiān)測(cè)作物氣孔的動(dòng)態(tài)變化提供可能。

雖然本文的方法在測(cè)試集上表現(xiàn)出良好的性能，但對(duì)模型的泛化能力仍需進(jìn)行更多的測(cè)試和探討。我們使用支架固定便攜式顯微鏡，將小麥葉片置于載物臺(tái)上，放大倍數(shù)為600倍，對(duì)葉片氣孔進(jìn)行24 h的視頻錄制，并通過(guò)算法檢測(cè)其氣孔的數(shù)目。由于原視頻文件較大，通過(guò)壓縮工具將原視頻從10.7 GB壓縮到了52.6 MB，如圖9所示，截取了視頻中20:00，次日1:00和次日7:00等3個(gè)時(shí)間點(diǎn)的畫面，其中20：00的檢測(cè)精確率、召回率和F1值分別為1.00，1.00和1.00；次日1：00的檢測(cè)精確率、召回率和F1值分別為1.00，0.92和0.96；次日7:00的檢測(cè)精確率、召回率和F1值分別為1.00，0.92和0.96。通過(guò)視頻，能較完整地觀測(cè)到葉片氣孔由閉到開的過(guò)程，同時(shí)也驗(yàn)證了晝夜環(huán)境變化和氣孔開閉程度差異等因素并不會(huì)影響模型的檢測(cè)性能。

圖9 晝夜變化下的氣孔檢測(cè)

在試驗(yàn)過(guò)程中，還關(guān)注了干旱、漬水、低溫等在內(nèi)的非生物脅迫環(huán)境下的模型性能。采用在人工氣候室中水培幼苗的方法，模擬了小麥在干旱、漬水、低溫等非生物脅迫下的生長(zhǎng)環(huán)境，在這些環(huán)境下，模型仍能精確識(shí)別出葉片中的氣孔，其中，干旱環(huán)境下的氣孔檢測(cè)精確率、召回率和F1值分別為0.94，0.99和0.97，漬水環(huán)境下的氣孔檢測(cè)精確率、召回率和F1值分別為0.95，1.00和0.97，低溫環(huán)境下的氣孔檢測(cè)精確率、召回率和F1值分別為0.96，0.99和0.98。從目前的試驗(yàn)中，模型表現(xiàn)出了良好的泛化能力，但仍不能保證該模型適用于所有場(chǎng)景下的氣孔識(shí)別，如患有赤霉病、白粉病等生物脅迫下小麥葉片的氣孔。由于生物脅迫下小麥葉片會(huì)出現(xiàn)病斑等噪聲干擾，可能會(huì)出現(xiàn)假正類（FP），這種情況下模型的性能有待進(jìn)一步驗(yàn)證。

在一般的圖像分類任務(wù)中，為了測(cè)試一個(gè)模型的性能，在計(jì)算機(jī)視覺(jué)領(lǐng)域往往使用一些公共的、標(biāo)準(zhǔn)的大型數(shù)據(jù)集，如主要用于圖像分類、目標(biāo)檢測(cè)和語(yǔ)義分割的ImageNet和Pascal VOC數(shù)據(jù)集[18]，以及主要關(guān)注實(shí)例分割的COCO數(shù)據(jù)集[19]。這些大型數(shù)據(jù)集由專業(yè)的數(shù)據(jù)公司整理標(biāo)注，體量十分龐大，在這樣的數(shù)據(jù)集中進(jìn)行測(cè)試更能衡量一個(gè)模型的性能。但是，目前在植物表型領(lǐng)域這種標(biāo)準(zhǔn)化的數(shù)據(jù)集還比較少，表型數(shù)據(jù)的整合和標(biāo)準(zhǔn)化還需多個(gè)科研團(tuán)隊(duì)之間的學(xué)科交叉和長(zhǎng)期合作[20]。因此，本文對(duì)算法進(jìn)行了較完整的封裝，并開源了原始的Python代碼，可在GitHub中下載（https://github.com/shem123456/），給相關(guān)領(lǐng)域的科研人員提供了一個(gè)可以測(cè)試氣孔照片或視頻的接口，以期能給相關(guān)科研人員提供幫助或參考，并希望能進(jìn)一步完善數(shù)據(jù)集，增加模型的泛化能力。

5 結(jié) 論

本文先采用2種常用的圖像采集方法獲取了葉片氣孔圖像，然后運(yùn)用深度學(xué)習(xí)中的YOLOv3算法，分別對(duì)2種方法采集的氣孔圖像進(jìn)行識(shí)別與計(jì)數(shù)建模。結(jié)果表明，該算法建立的模型能夠正確地識(shí)別出2種采集方法中的氣孔，其中，對(duì)指甲油印跡法獲得照片的氣孔檢測(cè)精確率、召回率和F1值分別達(dá)到0.96，0.98和0.97，便攜式顯微鏡拍攝法照片氣孔檢測(cè)精確率、召回率和F1值分別達(dá)到0.95，0.98和0.96，具有很好的魯棒性。該方法能準(zhǔn)確地估算出其氣孔數(shù)目，通過(guò)將測(cè)試集的圖片上的氣孔真實(shí)個(gè)數(shù)與預(yù)測(cè)個(gè)數(shù)進(jìn)行線性回歸，發(fā)現(xiàn)兩種方法下實(shí)際標(biāo)注的氣孔個(gè)數(shù)與預(yù)測(cè)的氣孔個(gè)數(shù)均有很強(qiáng)的相關(guān)性，線性回歸2分別為0.980 1和0.962 5。同時(shí)，YOLOv3算法是一個(gè)端到端的實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)，在檢測(cè)速度上具有很大的優(yōu)勢(shì)，以視頻文件（幀速率：30幀/s）為輸入時(shí)，達(dá)到實(shí)時(shí)檢測(cè)的效果。本模型雖然是基于小麥氣孔圖像進(jìn)行標(biāo)注訓(xùn)練的，但是對(duì)于大麥、水稻和玉米等單子葉作物的氣孔，同樣具有很好的檢測(cè)效果，其中，大麥的檢測(cè)精確率、召回率和F1值分別為0.94，0.83和0.88，水稻的檢測(cè)精確率、召回率和F1值分別為0.89，0.42和0.57，玉米的檢測(cè)精確率、召回率和F1值分別為0.91、0.76和0.83。

[1]王瑞麗，于貴瑞，何念鵬，等. 氣孔特征與葉片功能性狀之間關(guān)聯(lián)性沿海拔梯度的變化規(guī)律：以長(zhǎng)白山為例[J]. 生態(tài)學(xué)報(bào)，2016，36(8)：2175－2184.

Wang Ruili, Yu Guirui, He Nianpeng, et al. Attitudinal variation in the covariation of stomatal traits with leaf functional traits in Changbai Mountain[J]. Acta Ecologica Sinica, 2016, 36(8): 2175－2184. (in Chinese with English abstract)

[2]成雪峰，張鳳云，柴守璽. 春小麥對(duì)不同灌水處理的氣孔反應(yīng)及其影響因子[J]. 應(yīng)用生態(tài)學(xué)報(bào)，2010，21(1)：36－40.

Cheng Xuefeng, Zhang Fengyun, Chai Shouxi. Stomatal response of spring wheat and related affecting factors under different irrigation treatment[J]. The Journal of Applied Ecology, 2010, 21(1): 36－40. (in Chinese with English abstract)

[3]韋存虛，謝佩松，周衛(wèi)東，等. 凹凸不平的植物葉片表皮制片方法的觀察比較[J]. 生物學(xué)雜志，2008，25(2)：63－66.

Wei Cunxu, Xie Peisong, Zhou Weidong, et al. Comparison of preparing slice techniques of convexo-concave leaf epidermis[J]. Journal of Biology, 2008, 25(2): 63－66. (in Chinese with English abstract)

[4]Cheng Yan, Cao Ling, Wang Sheng, et al. Analyses of plant leaf cell size, density and number, as well as trichome number using cell counter plugin[J]. Bio-protocol, 2014, 4(13): 54－57.

[5]Jayakody H, Liu S, Whitty M, et al. Microscope image based fully automated stomata detection and pore measurement method for grapevines[J]. Plant Methods, 2017, 13(1): 94－98.

[6]Peel J R, Mandujano Sánchez M C, López Portillo J, et al. Stomatal density, leaf area and plant size variation of Rhizophora mangle (Malpighiales: Rhizophoraceae) along a salinity gradient in the Mexican Caribbean[J]. Revista de Biología Tropical, 2017, 65(2): 701－712.

[7]Duarte K, Carvalho M, Martins P. Segmenting high-quality digital images of stomata using the wavelet spot detection and the watershed transform[C]// Proceedings of the 12th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, Setúbal: Science and Technology Publications, 2017: 540－547.

[8]Laga H, Shahinnia F, Fleury D. Image-based plant stornata phenotyping[C]. 2014 13th International Conference on Control Automation Robotics & Vision (ICARCV). IEEE, 2014: 217－222.

[9]Madec S, Jin Xiuliang, Liu Shouyang, et al. Ear density estimation from high resolution RGB imagery using deep learning technique[J]. Agricultural and Forest Meteorology, 2019, 264: 225－234.

[10]Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society: Piscataway, NJ. 2017: 6517－6525.

[11]Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 7263－7271.

[12]Redmon J, Farhadi A. Yolov3: An incremental improvement[J]. 2018, arXiv: 1804.02767.

[13]Braun M, Krebs S, Flohr F, et al. EuroCity Persons: A novel benchmark for person detection in traffic scenes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(8):1844－1861.

[14]侯慧姣，韓鴻鵬. 單、雙子葉植物氣孔發(fā)育調(diào)控差異研究進(jìn)展[J]. 分子植物育種，2016，14(4)：896－903.

Hou Huijiao, Han Hongpeng. Research progress on the difference of stomata development and their regulation between monoco tyledon and dicotyledon[J]. Molecular Plant Breeding, 2016, 14(4): 896－903. (in Chinese with English abstract)

[15]劉軍，后士浩，張凱，等. 基于增強(qiáng) Tiny YOLOV3 算法的車輛實(shí)時(shí)檢測(cè)與跟蹤[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(8)：118－125.

Liu Jun, Hou Shihao, Zhang Kai, et al. Real-time vehicle detection and tracking based on enhanced Tiny YOLOV3 algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(8): 118－125. (in Chinese with English abstract)

[16]Francois C. Deep learning with Python[M]. USA: Manning Publicatios. 2018.

[17]Fetter K C, Eberhardt S, Barclay R S, et al. StomataCounter: A neural network for automatic stomata identification and counting[J]. New Phytologist, 2019, 223(3): 1671－1681.

[18]Hoiem D, Divvala S K, Hays J H. Pascal VOC 2008 challenge[C]//PASCAL challenge workshop in ECCV. 2010.

[19]Veit A, Matera T, Neumann L, et al. Coco-text: Dataset and benchmark for text detection and recognition in natural images[J]. arXiv, 2016: 1601.07140.

[20]周濟(jì)，Tardieu F, Pridmore T, 等. 植物表型組學(xué)：發(fā)展、現(xiàn)狀與挑戰(zhàn)[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2018，41(4)：580－588.

Zhou Ji, Tardieu F, Pridmore T, et al. Plant phenomics: history, present status and challenges[J]. Journal of Nanjing Agricultural University, 2018, 41(4): 580－588. (in Chinese with English abstract)

Automatic identification and counting of leaf stomata of monocotyledonous crops

Sun Zhuangzhuang, Jiang Dong※, Cai Jian, Wang Xiao, Zhou Qin, Huang Mei, Dai Tingbo, Cao Weixing

(,,,,,210095,)

Stomata is the dominant gate for water and gas exchange for plant leaves, and thus plays key roles in plants in response to the fluctuations of the environmental variables. Observation and counting stomata amounts is generally one of the obligatory determinants in the research of plant ecology and physiology. The classic measurement protocol of leaf stomata usually includes the capture of leaf stomata by a microscope, followed by manually identifying and counting of the target stomata. This method is well-known in disadvantages of both time and labor consuming, and of low accuracy. Although some algorithms for stomata recognition have been proposed at present, their recognition abilities showed limitation, and they could not realize the full effect of automatic recognition. Thereafter, we developed an automatic identification and counting technique based on YOLOv3, one of the high speed convolutional neural networks (CNN) algorithm in the present study. We acquired pictures of leaf stomata after the third leaf occurred and during grain filling stage of wheat (Triticum aestivum), in which, 138 pictures were taken from the method of nail polish printing, and another 117 pictures were taken from the method of portable microscopy. After that, we created separate data sets and then trained the corresponding models respectively. During the training process, we visualized the loss and average loss which were the most important training parameters, and finally stopped the training at 1 200 times. To better describe the parameters of both models, we used the key metrics to evaluate the models, such as precision, recall and F1. The precision, recall and F1 reached 0.96, 0.98 and 0.97 in the method of nail polish printing, whereas reached 0.95, 0.98 and 0.96 in the method of portable microscopy. Secondly, this algorithm could count stomata amounts accurately, and showed excellent robustness. By linear regression between the labeled and predicted stomata amounts in pictures from test sets, we found that this algorithm showed strong correlation,2were 0.980 1 and 0.962 5, respectively. What’s more, this algorithm also showed high performance in high-throughput and real-time, since it identified stomata with a speed of 30 frames per second. With this technique, we optimized the objective identifying performance, which conferred accurate identification performance of stomata in the microscope pictures of leaf stomata. Firstly, compared with the method of nail polish printing, the method of portable microscopy showed low precision and F1, but was harmless to samples. Secondly, YOLOv3 algorithm exhibited the merits of accuracy, high efficiency, as well as real-time, long-time and dynamic detection. Thirdly, this technique was high compatible due to its power in accurately identifying stomata of other monocotyledonous crops such as barley (Hordeum vulgare), rice (Oryza sativa) and maize (Zea mays). Lastly, in order to facilitate the use of more researchers, we not only opened source of the detailed Python code, but also encapsulated the method in a relatively complete way. It could provide an interface for relevant researchers to detect their stomata photo or video files. The files in our stomata project could be consulted and downloaded in Github (https://github.com/shem123456/).

convolutional neural network; machine vision; models; monocotyledonous crop; stomata identification; stomata counting; deep learning; real-time detection

孫壯壯，姜 東，蔡 劍，王 笑，周 琴，黃 梅，戴廷波，曹衛(wèi)星.單子葉作物葉片氣孔自動(dòng)識(shí)別與計(jì)數(shù)技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(23)：170－176.doi：10.11975/j.issn.1002-6819.2019.23.021 http://www.tcsae.org

Sun Zhuangzhuang, Jiang Dong, Cai Jian, Wang Xiao, Zhou Qin, Huang Mei, Dai Tingbo, Cao Weixing. Automatic identification and counting of leaf stomata of monocotyledonous crops[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 170－176. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.021 http://www.tcsae.org

2019-07-28

2019-10-22

重點(diǎn)研發(fā)計(jì)劃項(xiàng)目2016YFD0300107；國(guó)家自然科學(xué)基金（U1803235、31771693）；國(guó)家現(xiàn)代小麥產(chǎn)業(yè)技術(shù)體系（CARS-03）；江蘇省協(xié)同創(chuàng)新中心（JCIC-MCP）；“111”引智項(xiàng)目（B16026）

孫壯壯，主要從事作物表型技術(shù)研究。Email：2018101001@njau.edu.cn

姜 東，教授，主要從事作物生理生態(tài)與作物表型組學(xué)技術(shù)研究。Email：jiangd@njau.edu.cn

10.11975/j.issn.1002-6819.2019.23.021

S127

A

1002-6819(2019)-23-0170-07