基于網(wǎng)中網(wǎng)卷積神經(jīng)網(wǎng)絡(luò)的紅棗缺陷檢測

楊志銳 鄭 宏 郭中原 許曉航

(武漢大學電子信息學院，湖北 武漢 430072)

紅棗味道鮮美[1]，具有極高的營養(yǎng)價值、食用價值和藥用價值。而脫皮、裂口、蟲害等缺陷會影響紅棗的品質(zhì)和價值[2]。目前紅棗缺陷檢測方法主要有：人工分級和基于機器視覺的分級方法。人工分級成本高、效率低、勞動強度大、精度差、易誤檢漏檢等[3]。詹映[4]曾運用RGB和HIS模型提取紅棗的紅體均值、綠體均值、藍體均值及均值方差，通過設(shè)置相應(yīng)的閾值作為缺陷檢測的方法。張萌等[5]針對紅棗表面曲率變化導致其分布不均勻的特性，提出了使用單色CCD、濾光片和紅外光源提取紅棗近似圖像，通過均值濾波器對去背景后的圖像進行濾波獲取亮度圖像，并使用該亮度圖像對去背景后的紅棗圖像進行亮度校正，提高了缺陷檢測的實時性。這些方法利用圖像處理和機器視覺技術(shù)來實現(xiàn)紅棗的無損缺陷檢測，需要根據(jù)棗的不同種類人工設(shè)計相應(yīng)的特征提取器，步驟較為繁瑣，且智能化程度不高。因此需要尋找高效、快速、準確、智能的紅棗缺陷識別方案。

相較于傳統(tǒng)的特征提取方法，卷積神經(jīng)網(wǎng)絡(luò)包含的卷積層具有更強大的特征學習和表征能力，并且具有自動學習特征[6]。Mohanty等[7]采用AlexNet成功實現(xiàn)了植物病害的檢測；Wang等[8]通過訓練卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對植物病害嚴重程度的自動和準確估計；Johannes等[9]使用改進的基于深度殘差神經(jīng)網(wǎng)絡(luò)的算法進行了多種植物疾病的檢測；Ferentinos[10]開發(fā)了卷積神經(jīng)網(wǎng)絡(luò)模型對健康和病害葉片的檢測和診斷； Rangarajan等[11]使用Alexnet的預訓練模型對番茄作物病害進行了有效分類。試驗擬提出一種基于網(wǎng)中網(wǎng)(NIN-CNN)卷積神經(jīng)網(wǎng)絡(luò)的方法對紅棗進行缺陷檢測，利用含有隱藏層的MLP卷積層結(jié)構(gòu)替換Alexnet中原有的單卷積層結(jié)構(gòu)進行更加抽象復雜特征的提取，采用全局平均池化層替代原有的全連接層，以期在大大減少網(wǎng)絡(luò)參數(shù)數(shù)量的同時實現(xiàn)更高準確率的紅棗缺陷識別。

1 NIN-CNN網(wǎng)絡(luò)模型

NIN-CNN卷積神經(jīng)網(wǎng)絡(luò)是一種基于AlexNet改進的卷積神經(jīng)網(wǎng)絡(luò)，在原有AlexNet卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了1×1隱含感知層來增強網(wǎng)絡(luò)的非線性，從而提取更抽象的特征；采用全局平均池化層替換全連接層，不僅可減少參數(shù)數(shù)量，還有利于提高檢測準確率。

1.1 AlexNet卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

如圖1所示，AlexNet網(wǎng)絡(luò)結(jié)構(gòu)共有8層，其中包含5層卷積層和3層全連接層，在第1、2、5卷積層后添加了最大池化層來減少下一層輸入的參數(shù)和計算量；全連接層對最后一層卷積層提取的特征進行加權(quán)，通過線性變換將特征空間映射到樣本標記空間；在最后一個全連接層后接Softmax層進行分類。

1.2 基于AlexNet改進的NIN-CNN神經(jīng)網(wǎng)絡(luò)

Alexnet所采用的卷積濾波器屬于廣義線性模型，抽象程度較低，不利于高度抽象特征的提取；其全連接層參數(shù)量大，容易造成過擬合。針對以上缺陷，進行如下改進。

(1) 針對傳統(tǒng)卷積層，通過堆加1×1大小的卷積層組成多層感知器(MLP)微型網(wǎng)絡(luò)單元(又稱網(wǎng)絡(luò)中的網(wǎng)絡(luò)，即NIN-CNN)，使其提取特征的能力更強大。

(2) 用全局均值池化層替換全連接層，防止全連接產(chǎn)生的過擬合，并提高網(wǎng)絡(luò)模型的泛化能力。

如圖2所示，NIN-CNN模型由12個卷積層組成。網(wǎng)絡(luò)的具體參數(shù)如表1所示。該網(wǎng)絡(luò)在AlexNet網(wǎng)絡(luò)的11×11，5×5，3×3卷積層后分別串聯(lián)了兩個1×1大小的卷積核，組成4個MLP結(jié)構(gòu)，每個MLP結(jié)構(gòu)之間采用類型為最大池化層，卷積核大小為3×3，步長為2的池化層進行連接采樣，網(wǎng)絡(luò)中的最后一個MLP結(jié)構(gòu)之間采用類型為全局平均池化、卷積核大小為6×6、步長為1的全局均值池化層進行連接。

1.2.1 MLP卷積層 傳統(tǒng)卷積層使用線性濾波器進行掃描輸入，后接一個非線性激活函數(shù)，得到輸出作為特征圖。特征提取器由卷積層和空間池化層交替堆疊產(chǎn)生。按式(1)計算AlexNet特征圖。

(1)

式中：

fa,b,m——AlexNet特征圖；

xa,b——以(a，b)為中心的輸入塊；

圖1 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)示意

圖2 NIN-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

表1NIN-CNN網(wǎng)絡(luò)參數(shù)

Table1TheparametersofNIN-CNNnetwork

層名稱卷積核大小步長層名稱卷積核大小步長卷積層111×111卷積層13×31級聯(lián)跨信道參數(shù)池化層11×11級聯(lián)跨信道參數(shù)池化層51×11級聯(lián)跨信道參數(shù)池化層21×11級聯(lián)跨信道參數(shù)池化層61×11最大池化層13×32最大池化層33×32卷積層25×51卷積層43×31級聯(lián)跨信道參數(shù)池化層31×11級聯(lián)跨信道參數(shù)池化層71×11級聯(lián)跨信道參數(shù)池化層41×11級聯(lián)跨信道參數(shù)池化層81×11最大池化層23×32全局最大池化層6×61

Wm——卷積參數(shù)。

當需要提取的特征較簡單，是線性可分時，這種線性卷積足以用于提取抽象特征；當特征較為復雜，抽象度更高時，采用高度非線性函數(shù)進行抽象特征的提取。

根據(jù)CNN高層特征是底層特征通過某種運算的組合原理，NIN-CNN網(wǎng)絡(luò)對傳統(tǒng)的卷積層進行了改進：采用少量參數(shù)取得了超過AlexNet的性能，提出在每個局部感受野中增加更為復雜的運算，并引入基于感知機模型的卷積層。多層感知機作為一個深度模型，并按式(2)進行計算。

(2)

式中：

bm——第m層的偏置；

xa,b——以(a，b)為中心的輸入塊。

傳統(tǒng)卷積層后串聯(lián)兩個大小為1×1并具有ReLU函數(shù)的卷積層即可組成MLP卷積層。改進的NIN-CNN網(wǎng)絡(luò)使用的MLP卷積層實際上是由一個普通的卷積層和兩個1×1卷積層構(gòu)成，其中普通卷積層用來提取圖像的局部特征，1×1卷積層增加了網(wǎng)絡(luò)單元的非線性，有利于提取不同通道的特征圖像。此外，NIN-CNN網(wǎng)絡(luò)模型中的每個卷積層后都有一個Relu非線性層，增加了卷積層數(shù)量，使其具有更好的非線性決策函數(shù)的建模效果，提高了分類的準確率。

1.2.2 全局平均池化層 AlexNet網(wǎng)絡(luò)的卷積層、池化層以及激活函數(shù)層將原始數(shù)據(jù)映射到隱層特征空間，最后一個卷積層得到的特征圖被向量化后送入全連接層，全連接層將學到的“分布式特征表示”映射到樣本標記空間，并連接歸一化指數(shù)函數(shù)邏輯回歸層進行分類。但全連接層因為參數(shù)數(shù)量太多，容易出現(xiàn)過擬合現(xiàn)象，阻礙網(wǎng)絡(luò)的泛化能力。因此將dropout層用于正則化，在訓練過程中將全連接層的一半激活值置0，改善了其泛化能力并在很大程度上預防了過擬合。

實際上，對最后一個卷積層輸出的每個特征圖進行全局均值池化，使每張?zhí)卣鲌D都可以得到一個輸出，在大大減少參數(shù)量、減小網(wǎng)絡(luò)的同時可避免過擬合；此外，每張?zhí)卣鲌D的輸出特征可表示輸出類的特征，通過增強特征圖與類比間的對應(yīng)關(guān)系使網(wǎng)絡(luò)結(jié)構(gòu)保留得更好。dropout層的引入造成了全連接層的參數(shù)量大大增加，模型復雜度高，泛化能力差，而NIN-CNN神經(jīng)網(wǎng)絡(luò)采用全局均值池化替代全連接層的策略使得dropout不復存在，并且達到了用更少的參數(shù)取得更準確分類效果的目的。

2 基于NIN-CNN的紅棗缺陷檢測

試驗提出的基于NIN-CNN[12]的紅棗缺陷檢測流程包含網(wǎng)絡(luò)模型的學習和網(wǎng)絡(luò)模型的檢測兩大階段，具體流程圖如圖3所示。

圖3 NIN-CNN模型學習與檢測流程圖

2.1 網(wǎng)絡(luò)模型的學習

首先要進行樣本數(shù)據(jù)的增廣得到不同亮度、角度的擴充數(shù)據(jù)樣本；然后進行參數(shù)設(shè)置；最后利用預設(shè)參數(shù)的NIN-CNN模型對樣本進行學習，直至得到最終的網(wǎng)絡(luò)模型。

2.1.1 數(shù)據(jù)的增廣 卷積神經(jīng)網(wǎng)絡(luò)對于數(shù)據(jù)量的要求比較高，首先對紅棗進行數(shù)據(jù)增廣以提高模型的泛化能力。自然圖像的數(shù)據(jù)增廣包括水平或垂直翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪、平移、添加噪聲、調(diào)整對比度和亮度等。紅棗存在大小不均；在生產(chǎn)線上進行檢測時，其擺放角度也是隨機的；此外，紅棗加工所處生產(chǎn)環(huán)境中存在各種圖像噪聲。綜上，分別采用尺度統(tǒng)一化、水平及垂直翻轉(zhuǎn)、旋轉(zhuǎn)、高斯加噪的方法進行數(shù)據(jù)增廣。

數(shù)據(jù)增廣采用的是python數(shù)據(jù)增廣庫imgaug，具體步驟為：首先采用水平翻轉(zhuǎn)、上下反轉(zhuǎn)、鏡像翻轉(zhuǎn)改變紅棗的空間位置。然后利用imgaug庫中的函數(shù)進行高斯加噪模擬生產(chǎn)環(huán)境中的噪聲，同時對空間進行明暗變換來模擬生產(chǎn)線上不同的光照。最后將紅棗圖像歸一化到大小為256×256。試驗中對空間的翻轉(zhuǎn)、旋轉(zhuǎn)、明暗變換以及空間加噪賦予一定的概率，每張樣本圖片可能隨機地被翻轉(zhuǎn)隨機的度數(shù)，亮度隨機增加或減少，隨機加上噪聲。此外，根據(jù)每類紅棗的數(shù)量進行相應(yīng)倍數(shù)的增廣使其整體達到數(shù)據(jù)均衡，部分增廣后的圖片如圖4所示。由圖4可知，增廣后的紅棗在角度、光照強度等方面都發(fā)生了變化，大大提高了樣本的數(shù)量和多樣性。

圖4 數(shù)據(jù)增廣前后對比圖片

2.1.2 網(wǎng)絡(luò)的超參數(shù)設(shè)置 卷積神經(jīng)網(wǎng)絡(luò)超參數(shù)的選取與設(shè)置對訓練結(jié)果有著至關(guān)重要的影響。其中學習率的選擇決定學習算法的性能表現(xiàn)，學習率大，梯度下降比較快，可能會在某一步越過最優(yōu)值；學習率小，學習速度慢，導致收斂速度慢，容易過擬合。試驗采用從頭訓練的方式，學習率設(shè)置為0.010～0.001。此外，迭代次數(shù)也需通過選取比較進行確定，使用訓練集的全部數(shù)據(jù)對模型進行一次完整訓練為一次迭代，訓練時設(shè)定的迭代次數(shù)為20～30。

2.2 基于NIN-CNN模型的紅棗缺陷檢測流程

由于生產(chǎn)線環(huán)境嘈雜、亮度不可控等，采集的圖片存在亮度不均、噪聲多、背景雜亂等不足。因此，采用NIN-CNN進行檢測前需對紅棗進行預處理，首先對紅棗進行提取使其與背景分離，再進行圖像增強以消除噪聲，并使紅棗表面亮度分布均勻，最后將圖片輸入NIN-CNN模型中進行預測，得到分類結(jié)果。

2.2.1 紅棗的提取 如圖5所示，紅棗圖像提取步驟分為紅棗粗分割、紅棗灰度化、圖像二值化、二值化去噪、紅棗分割。

(1) 紅棗粗分割：首先對圖片進行大致的分割，按比例將圖片分為左半部分、中間部分和右半部分，分別提取左邊紅棗、中間紅棗和右邊紅棗。

(2) 紅棗灰度化：圖片灰度化常見方法有最大值法、平均值法和加權(quán)平均法，試驗采用加權(quán)平均法對紅棗圖像進行灰度化。加權(quán)平均法表示為：

圖5 紅棗提取步驟及圖像增強前后對比圖

Gray=(W×R+V×G+U×B)/3。

(3)

(3) 圖像二值化：在進行加權(quán)平均時，已將紅棗與背景進行了大致的分離。在進行二值化時，只需設(shè)置一個合適的閾值就可將紅棗部分變?yōu)榘咨袼?，背景變?yōu)楹谏袼兀鶕?jù)多次試驗經(jīng)驗，閾值設(shè)置為30。

(4) 二值化去噪：為了去除噪聲，再次對圖像進行最大輪廓的獲取，將輪廓以外的部分圖像像素變?yōu)?。

(5) 紅棗分割：采用掩膜法，因為掩膜法在去除背景和噪聲的同時，不會對關(guān)鍵區(qū)域進行破壞。由于紅棗部分的灰度值明顯高于背景部分的，因此將紅棗灰度化后設(shè)置一個合適的閾值便可獲得一個較好的掩膜。將掩膜作用于原始圖片，進而成功提取紅棗。

2.2.2 紅棗圖片的勻光處理 由于生產(chǎn)線環(huán)境為不可控因素，采集的紅棗圖片存在亮度分布不均勻現(xiàn)象[13]。此外，由于拍攝時間不同也可能造成紅棗樣本的整體亮度存在差異。為了增強深度學習的效果，圖像增強第一步為亮度校正，其目的是消除紅棗表面亮度分布不均勻的現(xiàn)象。

亮度校正算法采用的是基于照度—反射模型，圖像亮度f(x，y)可表示為入射分量i(x，y)與反射分量r(x，y)的乘積。即

f(x,y)=i(x,y)×r(x,y)。

(4)

圖像中變換緩慢的部分體現(xiàn)為入射分量，突變的部分體現(xiàn)為反射分量。根據(jù)該特性，將圖像的低頻部分從原始圖像中提取出來，再經(jīng)傅里葉反變換得到亮度圖像，獲得的亮度圖像可對原始的分布不均勻的灰度圖像進行亮度矯正。具體過程為在頻域中進行中心變換，離散傅里葉變換，最后用低通量濾波器濾波，再進行傅里葉反變換，從而實現(xiàn)了在頻域內(nèi)處理圖像，使圖像亮度分布均勻[14]。圖像增強后紅棗表面光照分布更加均勻，高光照部分亮度略微降低。

3 結(jié)果與分析

試驗針對新疆駿棗進行了實測，通過數(shù)據(jù)增廣共采用41 467張紅棗圖片作為數(shù)據(jù)集，將紅棗分為好棗、黑斑、黃皮、裂口、脫皮、皺棗和疊棗7類。按接近于6∶2∶2的比例劃分訓練集(25 129張)、驗證集(8 424張)和測試集(7 914張)。將數(shù)據(jù)集中的每類紅棗圖片表示成一個一維向量，表征紅棗的分類類別。訓練前對紅棗數(shù)據(jù)進行預處理，訓練的每張圖片的特征均要減去訓練集所有圖片的特征均值，將輸入數(shù)據(jù)各個維度都中心化為0，從而減少計算量，避免數(shù)據(jù)過度變差，訓練效果受到影響。表2為試驗中不同種類紅棗的訓練集、驗證集和測試集數(shù)量。

3.1 7類紅棗分類標準

如圖6所示，好棗由成熟的新疆駿棗進行晾曬后加工而成，表皮呈鮮紅或紫紅，無明顯的脫皮、褶皺、霉爛。皺棗是由不成熟的紅棗干制形成，果肉干癟、表皮褶皺較多。脫皮棗是在紅棗制造過程中由于鳥啄、蟲蛀等導致紅棗表皮脫落，內(nèi)部果肉外漏。黃皮棗由于樹齡短、種植技術(shù)不規(guī)范導致紅棗表皮整體顏色泛黃。爛棗是指紅棗受到微生物侵害，果肉變質(zhì)或者霉變導致表皮呈現(xiàn)黑色霉爛區(qū)域。裂口棗是由于果棗生產(chǎn)過程中受到機器損傷導致表面存在較長的裂口。疊棗是因為在生產(chǎn)線中，由于機械的翻轉(zhuǎn)、紅棗的放置等導致相機抓取圖像時視野中存在兩個或兩個以上的紅棗。

表2 7類紅棗數(shù)量

3.2 準確率計算

機器學習中常用的評價指標為準確率，即評估捕獲的成果中目標成果所占的比例，試驗中的準確率指預測正確的數(shù)量占總量的比重，并按式(5)計算準確率。

圖6 紅棗分類圖

(5)

式中：

R——準確率，%；

TP——正類預測為正類的數(shù)量；

FN——正類預測為負類的數(shù)量；

FP——負類預測為正類的數(shù)量；

TN——負類預測為負類的數(shù)量。

3.3 NIN-CNN網(wǎng)絡(luò)參數(shù)的設(shè)置

根據(jù)2.1.2中超參數(shù)設(shè)置的原則，將求解器類型設(shè)置為隨機梯度下降，學習率策略設(shè)置為Step，每10個迭代次數(shù)降低為原來的1/10，記憶因子設(shè)置為0.9，分別選擇迭代次數(shù)為20，25，30，學習率為0.010，0.001，將訓練后得到的模型采用驗證集進行預測，得到不同初始速率、迭代次數(shù)下的準確率，如表3所示。

由表3可知，NIN-CNN網(wǎng)絡(luò)在學習率為0.010時的準確率高于學習率為0.001時的，其中迭代次數(shù)為30時的準確率最高，因此最終確定NIN-CNN網(wǎng)絡(luò)的超參數(shù)為迭代次數(shù)30，學習率0.010。AlexNet網(wǎng)絡(luò)在學習率為0.001 時的準確率高于學習率為0.010時的，其中迭代次數(shù)為20時的準確率最高，因此最終確定Alexnet網(wǎng)絡(luò)的超參數(shù)為迭代次數(shù)30，學習率0.001。

3.4 試驗比較與檢測性能評估

3.4.1 不同網(wǎng)絡(luò)參數(shù)總量的比較 將兩個網(wǎng)絡(luò)的參數(shù)性能進行比較可知，NIN-CNN在添加1×1卷積層加深網(wǎng)絡(luò)深度的同時減少了大卷積核的數(shù)量，從而減少了參數(shù)數(shù)量；另一方面，采用局部均值池化代替全連接層極大地減少了參數(shù)量，同時防止了過擬合。AlexNet網(wǎng)絡(luò)的參數(shù)數(shù)量為56 896 903，而NIN-CNN網(wǎng)絡(luò)的參數(shù)數(shù)量為6 577 351，減少了88.44%。

3.4.2 數(shù)據(jù)增廣對檢測性能的影響 由表4可知，增廣后，AlexNet網(wǎng)絡(luò)的準確率提高了1.14%，NIN-CNN網(wǎng)絡(luò)的準確率提高了1.05%，驗證了數(shù)據(jù)增廣對網(wǎng)絡(luò)模型準確率提升的有效性。

表3 不同迭代次數(shù)和學習率下NIN-CNN和AlexNet網(wǎng)絡(luò)的準確率

表4 數(shù)據(jù)增廣前后準確率的比較

3.4.3 檢測性能比較 試驗引入了目前常用的基于SVM的機器視覺方法進行比較[15-16]，采用手工設(shè)計規(guī)則提取紅棗特征，然后將7類不同特征組合成特征向量輸入SVM中進行分類，最后使用驗證集對模型進行測試。由表5可知，SVM方法的好棗識別準確率最高，但其他6類缺陷紅棗的準確率均低于NIN-CNN和AlexNet網(wǎng)絡(luò)；AlexNet網(wǎng)絡(luò)的黑斑、黃皮、裂口紅棗識別準確率高于NIN-CNN網(wǎng)絡(luò)的，但好棗、脫皮、皺棗、疊棗紅棗識別的準確率低于NIN-CNN網(wǎng)絡(luò)的。相對于SVM方法，NIN-CNN網(wǎng)絡(luò)在紅棗缺陷識別方面表現(xiàn)出極大的優(yōu)越性[18]；NIN-CNN網(wǎng)絡(luò)的缺陷識別準確率比Alexnet模型的高1%左右，證明試驗采用1×1卷積核加深網(wǎng)絡(luò)，全局均值池化方式替代全連接層來提升缺陷識別準確率是有效的。

表5 不同方法檢測準確率的比較

4 結(jié)論

針對紅棗的缺陷特征，提出一種基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)對紅棗進行分類的方法，并進行驗證實驗，利用改進的網(wǎng)絡(luò)NIN-CNN對紅棗進行分類。結(jié)果表明，基于AlexNet網(wǎng)絡(luò)的紅棗識別準確率為93.81%，基于NIN-CNN網(wǎng)絡(luò)的紅棗識別準確率為94.79%，驗證了NIN-CNN網(wǎng)絡(luò)相對于AlexNet網(wǎng)絡(luò)的優(yōu)越性。試驗提出的基于NIN-CNN卷積神經(jīng)網(wǎng)絡(luò)的分類方法對裂棗和黑斑棗的識別準確率還不夠理想，后續(xù)可考慮引入殘差網(wǎng)絡(luò)等結(jié)構(gòu)對試驗方法進一步改進。