融合Focal Loss與典型卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)的水稻病害圖像分類

楊非凡　徐偉誠　陳盛德　蘭玉彬

摘要：快速高效地識別水稻病害的種類并及時采取有效的防治措施對避免水稻減產(chǎn)具有重要意義，為解決人工識別水稻病害效率低、識別精度不高、深度學習樣本不平衡導致識別準確率不高等問題，融合Focal Loss與4種典型卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)對7種水稻病害進行分類識別。利用TensorFlow的Keras深度學習框架搭建卷積神經(jīng)網(wǎng)絡的圖像識別分類系統(tǒng)，使用Focal Loss損失函數(shù)解決數(shù)據(jù)集不平衡導致識別準確率低的問題，采用ResNet50、ResNet101、MobileNetV2、VGG16作為特征提取骨干，對7種水稻病害進行識別。通過imgaug庫增強數(shù)據(jù)，將13 543張水稻病害圖像按照9 ∶1的比例劃分為訓練集和驗證集并參與訓練模型，將1 404張水稻病害圖像作為測試集來驗證模型的準確性。結(jié)果表明，所搭建的數(shù)據(jù)集中ResNet50、ResNet101、MobileNetV2、VGG16的識別準確率分別為98.06%、94.26%、92.47%、97.83%?？梢?，在融合Focal Loss損失函數(shù)的情況下，ResNet50作為特征提取骨干訓練出的模型在水稻病害圖像分類中擁有最高的準確率，該成果可在實際生產(chǎn)中實現(xiàn)水稻病害的自動分類識別，有助于水稻病害的防治工作。

關鍵詞：水稻病害識別；卷積神經(jīng)網(wǎng)絡；Focal Loss；ResNet；MobileNetV2；VGG16

中圖分類號：TP391.41文獻標志碼：A

文章編號：1002-1302（2023）14-0198-07

水稻作為我國南方的主要糧食作物，占全國糧食種植面積的1/3［1］。在水稻生長期內(nèi)伴生的多種病害常導致水稻減產(chǎn)，因此水稻病害的診斷與防治具有重要意義。傳統(tǒng)水稻病害識別方法主要為專家目視觀察水稻患病部位，根據(jù)患病部位的特征判斷患病種類。該方法具有效率低、工成本高、專業(yè)技能要求高等缺點，不利于及時對水稻病害進行精準防控［2］?；谏疃葘W習技術在圖像識別領域具有無損、高效的特點，已有部分研究人員將其應用到植物病害識別領域中。Bikash等將神經(jīng)網(wǎng)絡用于識別茶樹的5種疾病［3］。Astani等使用深度學習識別番茄病害種類，準確率為95.98%［4］。徐振南等將MobileNetV3用于識別馬鈴薯葉部病害，準確率為98%［5］。鄧小玲等采用基于無人機遙感的BP神經(jīng)網(wǎng)絡結(jié)合XgBoost算法對柑橘病害進行分類，準確率達95%［6］。Deng等提出一種基于高光譜反射率的機器學習算法，對田間柑橘黃龍病進行無損檢測［7］。Huang等基于卷積神經(jīng)網(wǎng)絡對小麥葉銹病進行分類，總體準確率和標準誤差分別為91.43%和0.83%［8］。謝軍等將ResNet模型經(jīng)過二次遷移后對稀疏樣本的茶樹病害進行識別，驗證樣本識別率為98%［9］。王利偉等利用數(shù)字圖像處理和支持向量機技術對葡萄的白粉病、黑腐病、霜霉病進行分類，識別正確率為95%［10］。還有學者針對深度學習在水稻病害識別領域開展研究，姜敏等將FasterR-CNN應用于水稻病蟲害檢測中，準確率在90%以上［11］。楊穎等提出基于方向梯度直方圖與局部二值模式混合特征結(jié)合支持向量機的水稻病蟲害識別方法，檢出率可達90.7%［12］。Rahman等提出一種兩階段小型卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)，收集1 426張圖片用于識別水稻病蟲害，精確度達93.3%［13］。Zhang等采用基于swin變換的水稻病害識別方法，準確率達93.4%［14］。Krishnamoorthy等提出一種InceptionResNetV2神經(jīng)網(wǎng)絡來預測水稻葉片疾病，準確率為95.67%［15］。另外，在深度學習領域，非平衡數(shù)據(jù)集對模型結(jié)果影響巨大，針對非平衡數(shù)據(jù)集識別準確率低的問題，Lin等于2020年提出Focal Loss損失函數(shù)，用來解決一階段（one-stage）目標檢測任務中因正負樣本比例不平衡導致檢測準確率低的問題，該損失函數(shù)通過減少大量簡單負樣本在訓練中所占的權(quán)重來改善目標檢測效果［16］。上述學者針對植物病害識別的研究雖然取得了不錯的效果，但是針對水稻病害識別的研究仍然存在準確率不夠高，研究的水稻病害種類少，且未對主流神經(jīng)網(wǎng)絡在水稻病害識別上的效果進行對比。本研究融合Focal Loss損失函數(shù)與4種優(yōu)秀的卷積神經(jīng)網(wǎng)絡MobileNetV2、ResNet50、ResNet101、VGG16，在非平衡數(shù)據(jù)集上對7種常見水稻病害進行分類，對訓練出的4種水稻病害識別模型的收斂速度，識別效果進行對比［17-19］，以探究一種可自動、準確識別水稻病害的方式，并為智慧農(nóng)業(yè)和精準農(nóng)業(yè)實踐提供參考。

1 材料與方法

1.1 材料

本研究數(shù)據(jù)集來源為自采集結(jié)合網(wǎng)絡圖片，網(wǎng)絡圖片來源為中國科學院合肥智能機械研究所智能研究組公開的水稻數(shù)據(jù)集。自采集部分通過數(shù)碼相機與手機在不同時間、不同拍攝角度的自然光照下拍攝，以保證樣本多樣性，拍攝地點位于華南農(nóng)業(yè)大學增城教學科研基地和廣東省佛山市三水區(qū)三水農(nóng)場，根據(jù)不同病害產(chǎn)生的時間，拍攝時間分布于2021年6—10月，拍攝后的圖片經(jīng)過篩選裁剪后得到原始圖片集，收集的圖片通過縮放、鏡像、翻轉(zhuǎn)、旋轉(zhuǎn)、平移、改變色度、高斯模糊等方式隨機組合對圖像進行增強，增強效果見圖1。

圖像增強主要用于圖片庫的擴增，防止因樣本量少而導致模型產(chǎn)生過擬合現(xiàn)象，增強模型的魯棒性，最終得到用于水稻病害識別的數(shù)據(jù)集，包括7種病害共14 947張圖片。其中，訓練集13 543張，測試集1 404張，7種水稻病害類型對應圖片見圖2，每種病害所包含的圖片數(shù)量見表1。

1.2 方法

1.2.1 遷移學習

大規(guī)模的數(shù)據(jù)集是訓練出優(yōu)秀模型的重要條件。遷移學習是指運用已有（源領域）知識求解不同但相關領域（目標領域）問題的一種新的機器學習方法。運用遷移學習可以在少量水稻病害數(shù)據(jù)的條件下訓練出精準的水稻病害識別模型。遷移學習可分為3類：基于權(quán)重的遷移學習、基于特征選擇的遷移學習、基于特征映射的遷移學習［20］。

1.2.2 損失函數(shù)優(yōu)化

深度學習領域的傳統(tǒng)損失函數(shù)為交叉熵損失函數(shù)，交叉熵損失函數(shù)計算公式為

模型經(jīng)過1個batch訓練并激活后，結(jié)果通過softmax歸一化為概率值輸出， 代表圖像預測為每個類別的概率，在公式（1）中用p表示，p在0～1之間，取最大概率類別為預測類別。y=1表示該圖片的真實類別，由公式（1）可得出交叉熵損失函數(shù)對于正樣本（y=1）而言，p越大，表示正樣本越容易分類，其損失值越??；對于負樣本而言（其他），p越小表示負樣本越容易分類，其損失值越小，此時的損失函數(shù)在大量簡單樣本（易分類）的迭代過程中緩慢變化，難以達到最優(yōu)；另外，在深度學習領域，樣本均勻性對模型結(jié)果影響巨大，當樣本分布失衡時，損失函數(shù)也會隨之傾斜，由于損失函數(shù)的傾斜，模型在訓練過程中會側(cè)重于樣本量多的類別，導致模型對樣本量少的類別識別效果變差。

Focal Loss損失函數(shù)可解決上述2個問題，計算公式分別為

驗證一：γ能夠有效降低易分類樣本的Loss值；僅考慮γ不考慮at，對于易分類正例樣本，假設為 p=0.98，γ=2。

可以驗證γ能夠有效降低易分類樣本的Loss值，易分類樣本的概率越大效果越好。

驗證二：at能增加稀疏樣本的損失權(quán)重。假設負樣本數(shù)為100 000，pt=0.94；正樣本數(shù)為10，pt=0.06，at=0.8，γ=2，結(jié)合交叉熵損失函數(shù)。

負樣本：-lgpt×樣本數(shù)=0.026 9×100 000=2 690；

正樣本：-lgpt×樣本數(shù)=1.221 8×10=12（保留整數(shù)）；

總和Loss=2 690+12=2 702；

正樣本占比=12/2 702=0.004 4。

結(jié)合Focal Loss損失函數(shù)。

負樣本：-at（1-pt）γ（lgpt）×樣本數(shù)=0.8×（1-0.94）2×0.026 9×100 000=7.747 2；

正樣本：-at（1-p）γ（lgpt）×樣本數(shù)=0.8×（1-0.06）2×1.221 8×10=8.636 6；

正負樣本損失總和Sum Loss=8.636 6+7.747 2=16.383 8；

正樣本占比=8.636 6/16.383 8=0.527 1（相比0.004 4增加明顯）。

可以驗證at能夠增加數(shù)量較少樣本的損失權(quán)重。

1.2.3 ResNet

對于傳統(tǒng)的深度神經(jīng)網(wǎng)絡，模型準確率會隨著網(wǎng)絡層數(shù)的持續(xù)加深，先不斷上升、達到飽再下降，這是因為傳統(tǒng)的卷積層和全連接層在信息傳遞時時常存在信息丟失的問題，ResNet可以解決該問題。ResNet網(wǎng)絡由大小不同的殘差塊構(gòu)成（圖3）。將原始輸入信息經(jīng)過旁路支線連接到后續(xù)層，即shortcut結(jié)構(gòu)，使得后續(xù)層可以直接學習殘差，通過特征映射的方法緩解梯度消失的問題，其中第1層的1×1卷積對特征矩陣進行降維操作，將特征矩陣的深度由256降為64，第3層的1×1的卷積對特征矩陣進行升維操作，將特征矩陣的深度由64升維到256，使得輸入和輸出特征矩陣形狀相同以便相加。ResNet系列網(wǎng)絡結(jié)構(gòu)名稱后綴的數(shù)字表示卷積層和全連接層層數(shù)，殘差網(wǎng)絡50（ResNet50）和殘差網(wǎng)絡101（ResNet101）的完整網(wǎng)絡層次見表2。

1.2.4 MobileNetV2 MobileNetV2是一種輕量級深度神經(jīng)網(wǎng)絡，其主要特點是采用深度可分離卷積替換普通卷積，引入線性瓶頸和倒殘差來提高網(wǎng)絡的表征能力，倒殘差模塊（bottleneck）見圖4。先通過1×1的卷積將特征圖的通道擴張（升維），經(jīng)過 3×3的深度卷積提取特征，再經(jīng)過1×1的卷積將特征圖壓縮（降維），由于非線性激活函數(shù)ReLu6在負半軸為0（圖5），輸入特征若為負數(shù)，該通道的特征會被清零，在降維階段特征已經(jīng)經(jīng)過壓縮，如果使用ReLu6激活函數(shù)，則會進一步損失特征信息，故在降維階段引入線性激活函數(shù)（linear）代替ReLu6激活函數(shù)。由于從輸入到輸出會損失部分特征圖信息，故將輸入與輸出特征圖相加，整體形成“兩頭小，中間大”的結(jié)構(gòu)，與Resnet殘差模塊“兩頭大，中間小”的結(jié)構(gòu)相反，呈倒置結(jié)構(gòu)，故稱其為倒殘差。MobileNetV2的完整網(wǎng)絡結(jié)構(gòu)見表3，其中：t表示倒殘差結(jié)構(gòu)中1×1卷積相比輸入通道升維的倍率；c表示輸出特征矩陣的通道數(shù)channel；n表示倒殘差模塊的重復次數(shù)；s表示第1個倒殘差模塊中DW卷積的步長；后續(xù)重復的倒殘差模塊步長均為1。

1.2.5 VGG16 由圖6可知，該網(wǎng)絡的構(gòu)建方法為重復堆疊3×3的小型卷積核和2×2的最大池化層，該方法比單獨使用1個卷積層擁有更多的非線性變換，同時比單獨使用1個大的卷積核參數(shù)量更少。卷積層實現(xiàn)特征提取，池化層將特征圖長度和寬度壓縮為原來的1/2，全連接層將分布式特征映射到樣本標記空間，以減少特征位置對分類的影響，softmax層將分類結(jié)果歸一化為概率值。

1.2.6 本研究采用的方法 本研究采用基于權(quán)重的遷移學習方法，分別采用ResNet50、ResNet101、MobileNetV2、VGG16作為特征提取骨干，將其在ImageNet數(shù)據(jù)集上訓練出的權(quán)重作為水稻病害識別的預訓練權(quán)重，進行遷移學習，采用的4種卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)均融合Focal Loss作為損失函數(shù)，對比4種網(wǎng)絡結(jié)構(gòu)在水稻病害識別效果上的差異。

2 結(jié)果與分析

2.1 試驗環(huán)境

本試驗基于Python和TensorFlow的Keras框架搭建模型，采用Windows10操作系統(tǒng)，GPU為NVIDIA GRID T4-16Q，顯存15 G，CPU型號為Intel Xeon Gold 6130 CPU @ 2.10 GHZ，內(nèi)存64 G。設置模型迭代次數(shù)（epoch）為100，監(jiān)測測試集損失值（val_loss），如果連續(xù)迭代10次，測試集損失值仍不下降，說明模型已經(jīng)收斂，則設置早停；批次大小設置為16；ResNet50、ResNet101和MobileNetV2初始學習率設為0.001，VGG16初始學習率為0.000 1，并對學習率設置動態(tài)調(diào)整，通過監(jiān)測測試集損失值的變化自動調(diào)整學習率，具體規(guī)則設置為如果連續(xù)迭代3個世代，測試集損失值仍未下降，則自動將學習率以0.5倍的系數(shù)下降；使用TennsorBoard監(jiān)測訓練集精確度（acc）、損失值（loss）、學習率（lr）、驗證集精確度（val_acc）、驗證集損失值（val_loss）的變化情況。

2.2 試驗設計

為了對比4種模型訓練速度及識別效果的差異，4種模型的數(shù)據(jù)集均保持一致，輸入模型的數(shù)據(jù)尺寸統(tǒng)一為224像素×224像素，通道數(shù)為3，損失函數(shù)保持一致，在相同硬件條件下對不同模型進行對比試驗。將13 543張水稻病害圖片按照分層抽樣的規(guī)則以9 ∶1的比例劃分為訓練集和驗證集，訓練集和驗證集參與模型的訓練過程，1 404張水稻病害圖片作為測試集，測試集僅用于評價模型精度。

2.3 試驗結(jié)果與分析

2.3.1 模型在訓練過程中指標對比及分析 試驗使用TensorBoard監(jiān)測模型訓練過程中訓練集精確度、訓練集損失值、測試集精確度、測試集損失值的變化情況（圖7）。在模型訓練的開始階段，損失值和精確度波動幅度較大，隨著訓練的逐步進行，模型精確度和損失值漸趨穩(wěn)定，損失值隨著訓練的進行逐步下降，精確度隨著訓練的進行逐步上升，驗證集損失值和精確度波動大于訓練集，這是由于驗證集樣本數(shù)量少于訓練集樣本導致的。4種模型收斂速度對比顯示，MobileNetV2迭代45個epoch達到收斂狀態(tài)，ResNet50迭代35個epoch達到收斂狀態(tài)，ResNet101迭代53個epoch達到收斂狀態(tài)，VGG16迭代38個epoch達到收斂狀態(tài)，ResNet50收斂速度最快。

2.3.2 模型測試結(jié)果對比 采用精確率（P）、召回率（R）、F1得分、top-1準確率4個指標來評價4種水稻病害識別模型在測試集的識別效果，其中top-1準確率是指識別出的概率最大的分類結(jié)果為正確結(jié)果的圖片數(shù)與該類別圖片總數(shù)的比率。精確率（P）、召回率（R）、F1得分計算公式分別為

式中：TP是指模型將正樣本正確預測為正例的樣本數(shù)量；TN是指模型將負樣本正確預測為負例的樣本數(shù)量；FP是指模型將負樣本錯誤預測為正例的樣本數(shù)量；FN是指模型將正樣本錯誤預測為負例的樣本數(shù)量。

由表4可知，ResNet50和VGG16的精確率、召回率和F1得分整體高于MobilenetV2和ResNet101，在7種水稻病害的識別任務中，紋枯病的識別精確率、召回率、F1得分整體高于其他6種病害，識別效果最好。測得各模型的top-1準確率見表5，其中ResNet50的top-1準確率最高。

3 討論與結(jié)論

在本研究搭建的數(shù)據(jù)集中，ResNet50、ResNet101、MobileNetV2和VGG16作為特征提取骨干訓練出的模型top-1的準確率分別為98.06%、94.26%、92.47%、97.83%，模型達到收斂所需訓練世代數(shù)分別為35、53、45、38。綜合精確率、召回率、F1得分與收斂速度，ResNet50模型性能整體優(yōu)于ResNet101、MobileNetV2和VGG16。本研究可以解決現(xiàn)有針對水稻病害研究種類少、準確率不高、傳統(tǒng)水稻病害分類方法效率低、人工成本高等問題，使用本研究訓練出的模型，無需水稻病害專業(yè)知識即可實現(xiàn)田間水稻病害的自動識別，不僅可以提高智慧農(nóng)業(yè)水平，且在實際生產(chǎn)中有助于農(nóng)業(yè)人員及時采取針對性的防治措施避免水稻減產(chǎn)，實現(xiàn)精準農(nóng)業(yè)。未來的研究方向為水稻蟲害分類任務，以豐富水稻病蟲害分類數(shù)據(jù)集，解決因蟲害防治不及時導致的水稻減產(chǎn)問題。

參考文獻：

［1］呂 明，李鷹航，冉小琴，等. 推進南方水稻機械化種植工作思考和建議［J］. 農(nóng)業(yè)機械，2022（5）：59-62，65.

［2］袁 媛，陳 雷，吳 娜，等. 水稻紋枯病圖像識別處理方法研究［J］. 農(nóng)機化研究，2016，38（6）：84-87，92.

［3］Bikash C，Mohammad S U，Md K S，et al. Tea leaf diseases recognition using neural network ensemble［J］. International Journal of Computer Applications，2015，114（17）：27-30.

［4］Astani M，Hasheminejad M，Vaghefi M. A diverse ensemble classifier for tomato disease recognition［J］. Computers and Electronics in Agriculture，2022，198：107054.

［5］徐振南，王建坤，胡益嘉，等. 基于MobileNetV3的馬鈴薯病害識別［J］. 江蘇農(nóng)業(yè)科學，2022，50（10）：176-182.

［6］鄧小玲，曾國亮，朱梓豪，等. 基于無人機高光譜遙感的柑橘患病植株分類與特征波段提取［J］. 華南農(nóng)業(yè)大學學報，2020，41（6）：100-108.

［7］Deng X L，Huang Z X，Zheng Z，et al. Field detection and classification of citrus Huanglongbing based on hyperspectral reflectance［J］. Computers and Electronics in Agriculture，2019，167：1-7.

［8］Huang H S，Deng J Z，Lan Y B，et al. Detection of helminthosporium leaf blotch disease based on UAV imagery［J］. Applied Sciences，2019，9（3）：558.

［9］謝 軍，江朝暉，李 博，等. 基于二次遷移模型的小樣本茶樹病害識別［J］. 江蘇農(nóng)業(yè)科學，2021，49（6）：176-182.

［10］王利偉，徐曉輝，蘇彥莽，等. 基于計算機視覺的葡萄葉部病害識別研究［J］. 江蘇農(nóng)業(yè)科學，2017，45（23）：222-225.[HJ2mm]

［11］姜 敏，沈一鳴，張敬堯，等. 基于深度學習的水稻病蟲害診斷方法研究［J］. 洛陽理工學院學報（自然科學版），2019，29（4）：78-83.

［12］楊 穎，文小玲，章秀華. 基于方向梯度直方圖和局部二值模式混合特征的水稻病蟲害識別方法研究［J］. 河南農(nóng)業(yè)大學學報，2021，55（6）：1089-1096.

［13］Rahman C R，Arko P S，Ali M E，et al. Identification and recognition of rice diseases and pests using convolutional neural networks［J］. Biosystems Engineering，2020，194：112-120.

［14］Zhang Z H，Gong Z J，Hong Q Q，et al. Swin-transformer based classification for rice diseases recognition［C］//2021 International Conference on Computer Information Science and Artificial Intelligence.Kunming，2021：153-156.

［15］Krishnamoorthy N，Prasad L，Kumar C，et al. Rice leaf diseases prediction using deep neural networks with transfer learning［J］. Environmental Research，2021，198：111275.

［16］Lin T Y，Goyal P，Girshick R，et al. Focal loss for dense object detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（2）：318-327.

［17］Sandler M，Howard A，Zhu M L，et al. MobileNetV2：inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake，2018：4510-4520.

［18］Shafiq M，Gu Z Q. Deep residual learning for image recognition：a survey［J/OL］. Applied Sciences，2022，12（18）.（2022-08-09）［2023-01-20］. https：//www.mdpi.com/2076-3417/12/18/8972.

［19］Simonyan K，Zisserman A. Very deep convolutional networks for large-scale image recognition［J］. International Conference on Learning Representations，2015，1409（1）：1-14.

［20］莊福振，羅 平，何 清，等. 遷移學習研究進展［J］. 軟件學報，2015，26（1）：26-39.

收稿日期：2022-09-09

基金項目：華南農(nóng)業(yè)大學-碧桂園校地校企合作項目；廣東省引進領軍人才項目（編號：2016LJ06G689）；廣東省重點領域研發(fā)計劃（編號：2019B020214003）；高等學校學科創(chuàng)新引智計劃（編號：D18019）；嶺南現(xiàn)代農(nóng)業(yè)實驗室科研項目（編號：NT2021009）。

作者簡介：楊非凡（1994—），女，陜西咸陽人，碩士研究生，主要從事計算機視覺與無人機遙感研究。E-mail：1653669244@qq.com。

通信作者：蘭玉彬，博士，教授，博士生導師，主要從事精準農(nóng)業(yè)航空與遙感技術研究。E-mail：ylan@scau.edu.cn。