一種基于卷積神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化棉花等級(jí)分類算法

棉花是我國重要農(nóng)產(chǎn)品之一，全國棉花種植面積有5000萬畝左右，每年產(chǎn)出600萬噸左右棉花。而棉花的等級(jí)分類是棉花收購前的一個(gè)重要環(huán)節(jié)，目前我國對(duì)于棉花的分類仍主要采用人工分類的方法，但這種方式容易產(chǎn)生一系列問題，并且由于人工檢測的誤差容易導(dǎo)致棉農(nóng)與收購商之間產(chǎn)生利益糾紛。隨著機(jī)器視覺技術(shù)不斷發(fā)展，越來越多的問題應(yīng)用機(jī)器視覺技術(shù)得以解決。肖春燕[1]提出了一種皮棉軋工質(zhì)量分級(jí)模型，將BP神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用在了棉花的等級(jí)分類當(dāng)中，通過SPSS Modeler軟件建立神經(jīng)網(wǎng)絡(luò)模型對(duì)棉花質(zhì)量等級(jí)進(jìn)行分級(jí)，有效提高軋工質(zhì)量分級(jí)效果，減少人工誤差。但是該模型只能對(duì)二級(jí)白棉進(jìn)行分類，并且BP神經(jīng)網(wǎng)絡(luò)模型的初始網(wǎng)絡(luò)權(quán)重對(duì)模型的影響非常大，以不同的權(quán)重初始化網(wǎng)絡(luò)往往會(huì)產(chǎn)生不同的訓(xùn)練結(jié)果，從而產(chǎn)生較大誤差。

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型由于其較強(qiáng)的圖像分類能力而被廣泛地應(yīng)用于農(nóng)業(yè)領(lǐng)域的各種問題中，如植物病害識(shí)別、水果分類、農(nóng)作物品級(jí)分類等。Lu 等人[2]提出了一種基于深度學(xué)習(xí)技術(shù)的水稻病害識(shí)別方法，用于識(shí)別10種常見的水稻病害，通過引入遷移學(xué)習(xí)對(duì)預(yù)先訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行微調(diào)來提高模型的學(xué)習(xí)效率，提高了收斂速度和識(shí)別精度。王士鑫[3]等人提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的煙葉分級(jí)系統(tǒng)，通過使用卷積神經(jīng)網(wǎng)絡(luò)中的InceptionV3模型并結(jié)合遷移學(xué)習(xí)來實(shí)現(xiàn)對(duì)煙葉等級(jí)的分類。

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的棉花等級(jí)分類算法。通過搭建卷積神經(jīng)網(wǎng)絡(luò)中的VGG16模型并結(jié)合遷移學(xué)習(xí)對(duì)預(yù)訓(xùn)練好的模型進(jìn)行微調(diào)，運(yùn)用圖像增強(qiáng)來提高圖像的訓(xùn)練效率，采用批量梯度下降法對(duì)模型進(jìn)行多次訓(xùn)練并調(diào)節(jié)模型的超參數(shù)得到了最佳的分類精度，提高了棉花的分類效率。

1 圖像處理神經(jīng)網(wǎng)絡(luò)模型

1.1 卷積神經(jīng)網(wǎng)絡(luò)

作為深度學(xué)習(xí)的代表算法，卷積神經(jīng)網(wǎng)絡(luò)[4-10]具有表征學(xué)習(xí)能力，即能夠從輸入信息中提取高階特征。具體地，卷積神經(jīng)網(wǎng)絡(luò)中的卷積層和池化層能夠響應(yīng)輸入特征的平移不變性，即能夠識(shí)別位于空間不同位置的相近特征。能夠提取平移不變特征是卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺問題中得到應(yīng)用的原因之一。卷積神經(jīng)網(wǎng)絡(luò)中的隱含層卷積核參數(shù)共享和層間連接稀疏性的特點(diǎn)，可以減少參數(shù)數(shù)量，使運(yùn)算變得簡潔、高效，因此被廣泛應(yīng)用于計(jì)算機(jī)視覺和語音識(shí)別等各個(gè)領(lǐng)域。

VGGNet[10-15]由牛津大學(xué)的視覺幾何組和Google Deep-Mind公司的研究員共同提出，在ILSVRC-2014中獲得定位任務(wù)第一名和分類任務(wù)第二名。VGGNet 通過反復(fù)堆疊3×3 的小型卷積核和2×2 的最大池化層，在增加網(wǎng)絡(luò)模型深度的同時(shí)使模型的參數(shù)數(shù)量并沒有增加很多，因此VGG的網(wǎng)絡(luò)模型非常簡潔，并且對(duì)其他數(shù)據(jù)集具有較好的泛化能力，圖1為VGG16的原理圖。

圖1 VGG16原理圖

1.2 圖像處理流程

本文所采用的棉花樣本均為由河南省纖維檢驗(yàn)局提供的新疆棉，并由相關(guān)技術(shù)人員根據(jù)GB 1103.1—2012的棉花質(zhì)量檢測標(biāo)準(zhǔn)將這些棉花分為好、中、差3個(gè)等級(jí)。通過我們自主研發(fā)的棉花圖像采集裝置對(duì)這些棉花進(jìn)行圖像采集。采集得到的圖像分辨率為1200×1500，輸出的文件格式為JPEG。部分采集的原始棉花圖像如圖2。由于原始圖像中間存在異物，可能會(huì)導(dǎo)致訓(xùn)練過程中產(chǎn)生誤差降低訓(xùn)練效率。因此我們對(duì)原始圖像進(jìn)行了進(jìn)一步的處理將原始圖像分割為兩份，切去中間的異物。對(duì)所采集的3個(gè)等級(jí)圖像進(jìn)行整合匯總，用P1、P2、P3來代替好、中、差3個(gè)等級(jí)，總共樣本數(shù)量6200個(gè)，其中P1等級(jí)400個(gè)、P2等級(jí)5600個(gè)、P3等級(jí)200個(gè)。

圖2 不同等級(jí)棉花采集樣本圖像

本文選用keras深度學(xué)習(xí)框架來實(shí)現(xiàn)對(duì)VGG16網(wǎng)絡(luò)模型的搭建，首先從keras函數(shù)庫中導(dǎo)入不含頂層的VGG16網(wǎng)絡(luò)，將已經(jīng)訓(xùn)練好的模型權(quán)重參數(shù)導(dǎo)入模型當(dāng)中進(jìn)行遷移學(xué)習(xí)。在開始訓(xùn)練模型之前首先對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理，由于原始數(shù)據(jù)集圖像數(shù)量較少，容易產(chǎn)生過擬合，通過平移、轉(zhuǎn)置、鏡像、旋轉(zhuǎn)、縮放等幾何變換對(duì)采集的圖像進(jìn)行處理，來增加原始數(shù)據(jù)集的數(shù)量，可以有效地避免過擬合現(xiàn)象的產(chǎn)生提高訓(xùn)練效率。

1.3 神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練

1）首先選用交叉熵函數(shù)[15-22]作為模型的損失函數(shù)，具體表示為公式（1）：

其中L為交叉熵?fù)p失函數(shù)值，Y為實(shí)際輸出，F(xiàn)(x)為期望輸出。

2）向網(wǎng)絡(luò)模型末尾添加softmax分類器[23-26]，將VGG16提取的圖片特征值輸入到分類器當(dāng)中可以得到棉花等級(jí)的概率值，方便每次訓(xùn)練結(jié)束后直觀地得到分類精確度。

3）使用遷移學(xué)習(xí)進(jìn)行訓(xùn)練模型時(shí)，由于模型已經(jīng)在數(shù)據(jù)集上收斂過，采用較低的學(xué)習(xí)率可以有效地防止訓(xùn)練過程中目標(biāo)函數(shù)損失值的震蕩，提高模型的分類精度。因此本文采用了0.0005的低學(xué)習(xí)率來對(duì)模型進(jìn)行訓(xùn)練。

4）在優(yōu)化算法上本文采用小批量梯度下降法來對(duì)數(shù)據(jù)集進(jìn)行迭代，每次迭代使用batch-size個(gè)樣本。假設(shè)線性回歸函數(shù)為公式（2）：

其中i=1，2，……，m表示樣本數(shù)。

對(duì)應(yīng)的目標(biāo)函數(shù)即為公式（3）：

則其每次迭代對(duì)參數(shù)進(jìn)行更新表示為公式（4）：

通過小批量梯度下降法可以有效地提高內(nèi)存的利用率，降低訓(xùn)練震蕩，提高精確度。

2 結(jié)果與分析

對(duì)采集的3種等級(jí)新疆棉5600張圖像進(jìn)行訓(xùn)練，首先在epochs=20的情況下，即對(duì)數(shù)據(jù)迭代20次，得到不同批尺寸batch-size下識(shí)別正確率，如圖3所示。

圖3 批尺寸和識(shí)別正確率關(guān)系圖

從圖4中可以看出模型分類的正確率隨著batch-size的增大，在batch-size=600時(shí)達(dá)到極大值。因此在后續(xù)的訓(xùn)練中，batch-size的值選取為600。

在確定好最佳的bitch-size后開始對(duì)最佳的輪次數(shù)參數(shù)進(jìn)行分析研究，通過大量重復(fù)試驗(yàn)得到了關(guān)系如圖4，可以看出在輪次數(shù)為760時(shí)得到了最佳的分類正確率0.85。之后再增大輪次數(shù)，模型出現(xiàn)了較為明顯的過擬合現(xiàn)象，正確率的值并不再增加并且開始隨著輪次數(shù)的增加而明顯下降。

圖4 輪次數(shù)和識(shí)別正確率關(guān)系圖

確定超參數(shù)值bitch-size=600, 輪次數(shù)=760對(duì)模型進(jìn)行訓(xùn)練，將模型訓(xùn)練結(jié)果進(jìn)行仿真試驗(yàn)測試，對(duì)已經(jīng)人工分類完成的棉花進(jìn)行分類測試，不同等級(jí)的棉花得到的分類正確率如表1所示。

表1 不同等級(jí)棉花的分類正確率

3 結(jié)論

本文提出了一種基于VGG16卷積神經(jīng)網(wǎng)絡(luò)模型的棉花等級(jí)分類的算法，通過搭建VGG16神經(jīng)網(wǎng)絡(luò)模型，將預(yù)處理后的圖像輸入到模型當(dāng)中，選擇交叉熵categoricalcrossentropyloss作為損失函數(shù)，使用小批量梯度下降法對(duì)模型進(jìn)行優(yōu)化，通過不斷的重復(fù)訓(xùn)練使模型達(dá)到最優(yōu)，實(shí)際仿真測試結(jié)果可知，模型對(duì)P2等級(jí)的棉花識(shí)別準(zhǔn)確率最高，整體識(shí)別準(zhǔn)確率約為85.09%。本文的棉花分級(jí)方法能夠快速的對(duì)棉花等級(jí)進(jìn)行分類，為棉花等級(jí)的分類提供一種新的方法和思路。