基于深度學(xué)習(xí)與圖像處理的哈密瓜表面缺陷檢測

李小占，馬本學(xué),2，喻國威，陳金成,3，李玉潔，李 聰

基于深度學(xué)習(xí)與圖像處理的哈密瓜表面缺陷檢測

李小占1，馬本學(xué)1,2※，喻國威1，陳金成1,3，李玉潔1，李 聰1

（1. 石河子大學(xué)機械電氣工程學(xué)院，石河子 832003； 2. 農(nóng)業(yè)農(nóng)村部西北農(nóng)業(yè)裝備重點實驗室，石河子 832003； 3. 新疆農(nóng)墾科學(xué)院機械裝備研究所，石河子 832000）

針對傳統(tǒng)人工檢測哈密瓜表面缺陷效率低等問題，提出利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）對哈密瓜表面缺陷進行快速檢測。對原始圖像進行主成分分析（Principal Components Analysis，PCA）、奇異值分解（Singular Value Decomposition, SVD）和二值化等預(yù)處理操作，通過數(shù)據(jù)擴充得到正常、霉菌、曬傷和裂紋的哈密瓜圖像各2 500幅。構(gòu)建一種改進的類似VGG卷積神經(jīng)網(wǎng)絡(luò)模型，將預(yù)處理后的圖像輸入模型，并使用隨機梯度下降（Stochastic Gradient Descent, SGD）優(yōu)化器進行算法優(yōu)化，為探究CNN模型的特征提取原理，將改進的類似VGG模型每層卷積的特征進行可視化，最后利用開發(fā)的哈密瓜表面缺陷檢測軟件對模型進行試驗驗證。研究結(jié)果表明：圖像預(yù)處理算法提高了模型的魯棒性和泛化能力，改進的類似VGG模型優(yōu)于AlexNet和VGG-16模型，其訓(xùn)練集和測試集準確率分別為100.00%和97.14%；對比預(yù)處理前后4類哈密瓜卷積特征可視化結(jié)果表明，隨著卷積層層數(shù)的增加，哈密瓜表面缺陷特征越來越明顯，圖像預(yù)處理后卷積層特征提取效果優(yōu)于原始圖像提取效果。軟件測試結(jié)果表明：靜態(tài)下哈密瓜缺陷檢測速率達到0.7 s/幅，識別準確率達到93.50%。研究結(jié)果可為哈密瓜表面缺陷在線檢測技術(shù)提供理論依據(jù)和技術(shù)參考。

圖像處理；缺陷；無損檢測；卷積神經(jīng)網(wǎng)絡(luò)；可視化；哈密瓜

0 引 言

國家地理性標志產(chǎn)品——新疆特色瓜果哈密瓜不僅味道鮮美，而且營養(yǎng)價值也很豐富。隨著科學(xué)技術(shù)的發(fā)展，哈密瓜的種植面積和產(chǎn)量都在不斷增長，2018年新疆甜瓜的產(chǎn)量已達201.45萬t，播種面積達5.80萬hm2[1]。現(xiàn)階段哈密瓜產(chǎn)后分級方式以人工為主，工作量大、效率低、主觀性強，哈密瓜品質(zhì)在線檢測裝置成為當下的研究熱點。

瓜果表面缺陷是影響其品質(zhì)的重要因素之一，瓜果的缺陷區(qū)域與正常瓜果通常存在顏色差異，張明等[2]提出一種基于掩模及亮度校正算法的臍橙表面缺陷分割方法，試驗結(jié)果表明基于HIS顏色空間模型法去除背景及基于多尺度高斯函數(shù)的圖像亮度不均校正算法對紐荷爾臍橙圖像背景分割和去除背景后的I分量圖像表面亮度校正均取的較好的效果，能夠準確的識別出臍橙的缺陷區(qū)域。王銀敏等[3]提出一種基于背景分割與亮度校正的蘋果表面缺陷提取方法，先將RGB圖像轉(zhuǎn)換為HSV彩色模型，對飽和度分量進行閾值分割與形態(tài)學(xué)處理，獲得蘋果背景分離模板，然后根據(jù)分離模板得到分量的背景分離圖，并對分離后的圖像進行亮度校正，最后采用單閾值分割法提取缺陷區(qū)域，試驗結(jié)果表明本方法可以在不再增加額外拍攝裝置的情況下取得較好的蘋果表面缺陷提取效果，但基于閾值分割的缺陷區(qū)域提取自適應(yīng)性不高。有些瓜果的缺陷區(qū)域與正常區(qū)域之間有明顯的邊緣，杜永忠等[4]提出一種基于Sobel與分數(shù)階微分的邊緣檢測模型，可以將圣女果細小的缺陷清晰的檢測出來。由于哈密瓜表面存在網(wǎng)紋，以上算法不適用檢測哈密瓜表面缺陷，國內(nèi)外對其品質(zhì)檢測的研究也較少，對其缺陷檢測的研究更是屈指可數(shù)。王魏[5]利用機器視覺技術(shù)在Lab色彩空間下，采用K-means聚類算法對哈密瓜缺陷區(qū)域進行分割，試驗結(jié)果表明目標分割區(qū)域有較好的完整性和較高的準確率。

近年來，深度學(xué)習(xí)已逐漸應(yīng)用到圖像識別上，復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)訓(xùn)練模型不僅縮小了工作量，而且提高了檢測速度和準確率[6]。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）[7-10]在水果檢測中已逐步興起，薛勇等[11]提出一種基于深度遷移學(xué)習(xí)的蘋果缺陷檢測方法，試驗結(jié)果表明該方法比傳統(tǒng)的檢測算法具有更好的泛化能力和魯棒性。Ahmad等[12]采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks, ANN）、支持向量機（Support Vector Machine, SVM）、決策樹（Decision Tree，DT）等多種算法對檸檬進行缺陷檢測，試驗結(jié)果表明基于CNN的檸檬缺陷檢測準確率為100%，高于其他模型。

因此，本研究針對哈密瓜外部缺陷檢測自動化程度低問題，采用圖像處理與深度學(xué)習(xí)算法對哈密瓜外部缺陷進行檢測分類，利用主成分分析（Principal Components Analysis, PCA）、奇異值分解（Singular Value Decomposition, SVD）和閾值分割等方式增強缺陷特征，采取3類卷積神經(jīng)網(wǎng)絡(luò)對原始數(shù)據(jù)和特征增強后的數(shù)據(jù)分別進行訓(xùn)練，通過對比訓(xùn)練結(jié)果確定了哈密瓜外部缺陷最佳檢測模型。為深入了解卷積神經(jīng)網(wǎng)絡(luò)檢測哈密瓜缺陷的過程，對每類哈密瓜表面缺陷進行卷積特征可視化。研究結(jié)果為哈密瓜外部品質(zhì)在線無損檢測提供理論參考。

1 材料與方法

1.1 硬件設(shè)備

西州蜜17號哈密瓜樣本于2019年6月采購于新疆兵團農(nóng)六師103團。圖像采集計算機參數(shù)為Windows10 64位系統(tǒng)，計算機內(nèi)存為16GB，搭載Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz處理器，NVIDIA GeForce RTX 2060顯卡。IDE為PyCharm 2019，配置Python3.6.6，采集裝置為USB免驅(qū)動CMOS工業(yè)相機，5～50 mm工業(yè)變焦鏡頭，200萬像素，光源為4個條形光源架于光源箱頂部。

1.2 樣本集制作

哈密瓜樣本分為正常、霉菌、曬傷和裂紋4類，如圖1所示。

利用相機在黑箱中獲取200幅正常哈密瓜圖像，由于霉菌、曬傷、裂紋3類哈密瓜樣本比較少，試驗僅采集了霉菌、曬傷、裂紋的哈密瓜圖像各100幅。各類哈密瓜樣本數(shù)量不均、數(shù)量過少均會影響模型訓(xùn)練效果，可能出現(xiàn)模型過擬合，訓(xùn)練后的模型泛化能力差等問題，降低模型的使用能力。為了在有限的數(shù)據(jù)下得到更好的分類效果，往往需要使用數(shù)據(jù)增強的方式，通過對圖像的旋轉(zhuǎn)、加入噪聲、仿射變換等方式增加數(shù)據(jù)量。試驗在Python環(huán)境下利用Imgaug數(shù)據(jù)增強庫結(jié)合OpenCV完成樣本的數(shù)據(jù)增強。Imgaug數(shù)據(jù)增強庫包含隨機翻轉(zhuǎn)、上下鏡像、高斯擾動、灰度圖等幾十種變換，本研究主要采用隨機翻轉(zhuǎn)、鏡像、裁剪、高斯噪聲、灰度圖5種變換方式得到正常、霉菌、曬傷、裂紋圖像各2 500幅，并對其像素大小調(diào)整為100×100 pixel。

1.3 預(yù)處理

1.3.1 主成分分析

PCA[13-15]是通過計算原始數(shù)據(jù)的協(xié)方差矩陣將原始的數(shù)據(jù)構(gòu)造成方陣，隨后選擇其中貢獻值（方差、熵、特征值）較大的，以此來提取一個矩陣的主要特征，并以此實現(xiàn)降維。處理算法首先對哈密瓜圖像原始數(shù)據(jù)進行去中心化，原始數(shù)據(jù)為100×100 pixel。

式中x表示個樣本和個評價指標中第個樣本的第個指標。

計算樣本的協(xié)方差矩陣：

計算新矩陣的特征值和特征向量，并對其從大到小進行排序，選取其中較大的個特征值對應(yīng)的特征向量構(gòu)造新的矩陣1。

將數(shù)據(jù)轉(zhuǎn)換到個特征向量構(gòu)建的新空間中得到：

將降維后的數(shù)據(jù)還原為1，以此來檢測損失率。

1.3.2 奇異值分解

SVD[16-18]是機器學(xué)習(xí)中廣泛應(yīng)用的算法，SVD作為一種對噪聲和光照不敏感的代數(shù)特征，通過尋求目標數(shù)據(jù)集在低維子空間中的緊致表示可以去除數(shù)據(jù)的冗余信息和噪聲光照干擾，實現(xiàn)哈密瓜識別的噪聲光照魯棒性?？梢詫θ我庑辛械木仃囘M行數(shù)值分解，將原始數(shù)據(jù)轉(zhuǎn)化為方陣。

計算新矩陣的特征值和特征向量，并對其從大到小進行排序得到特征值對角陣和特征向量陣，選取其中較大的個特征值對應(yīng)的特征向量構(gòu)造矩陣1，特征值構(gòu)成對角陣1。

逆向推導(dǎo)，利用

為一個×的矩陣，推導(dǎo)出：

將降維后的數(shù)據(jù)還原為1，以此來檢測損失率。

1.3.3 二值化

本研究采用3種二值化方式對原始哈密瓜圖像進行處理，由于不同哈密瓜樣本二值化最佳分割閾值不同，因此本研究做閾值分割時添加了滑動條，通過調(diào)節(jié)滑動條尋找最佳分割閾值。

每幅圖像經(jīng)過預(yù)處理得到5幅特征圖（圖2），再利用數(shù)據(jù)增強庫對預(yù)處理后的圖像進行數(shù)據(jù)擴充，通過隨機翻轉(zhuǎn)、鏡像、裁剪和拉伸得到正常、霉菌、曬傷、裂紋特征圖各2 500幅。

1.4 改進的類似VGG模型結(jié)構(gòu)

采用基于Keras深度學(xué)習(xí)框架，TensorFlow為后臺構(gòu)建一種改進的類似VGG的小樣本識別CNN模型，主要包括輸入層、卷積層（Convolution Layer，C）、池化層（Pooling Layer，P）、Dropout層、全連接層（Fully-connected Layer，F(xiàn)）、Softmax分類器，卷積結(jié)構(gòu)如圖3所示。

1.4.1 卷積層和激活層

卷積核的大小是影響模型特征提取的重要因素，模型第一層卷積使用16個大小為3×3的濾波器，第二層卷積使用32個大小為3×3的濾波器，第三層卷積使用64個大小為3×3的濾波器，激活函數(shù)采用線性整流單元（Rectified Linear Units，ReLU）函數(shù)[19]。卷積層的計算公式為式（12）[20-21]，ReLU函數(shù)計算公式[22]為式（13）。

1.4.2 池化層

除了卷積層，CNN也經(jīng)常使用池化層來縮減模型的大小，提高計算速度，同時提高所提取特征的魯棒性。常用的池化類型包括平均池化、最大池化和隨機池化，池化計算公式[25]如式（14）所示。

1.4.3 Dropout層

如果模型參數(shù)過多，樣本數(shù)量又太少，深度學(xué)習(xí)模型訓(xùn)練過程中容易發(fā)生過擬合，過擬合現(xiàn)象具體表現(xiàn)在訓(xùn)練數(shù)據(jù)上損失值較小，預(yù)測準確率較高；但是在測試數(shù)據(jù)上損失值比較大，預(yù)測準確率較低。模型過擬合得到的模型幾乎不能用，Dropout[27-28]可以有效緩解過擬合的發(fā)生，原理為在一次循環(huán)中先隨機選擇神經(jīng)層中的一些單元并將其臨時隱藏，然后進行該次循環(huán)中神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和優(yōu)化過程。在下一次循環(huán)中，又將隱藏另外一些神經(jīng)元，如此直至訓(xùn)練結(jié)束?？梢员容^有效的緩解過擬合的發(fā)生，在一定程度上達到正則化的效果。本模型采用Dropout參數(shù)為0.25，即在每次訓(xùn)練過程中隨機隱藏25%的神經(jīng)元，以達到緩解過擬合的效果。

1.4.4 網(wǎng)絡(luò)超參數(shù)設(shè)置

模型訓(xùn)練和測試均采用CPU處理器完成，模型引入“SGD”的梯度下降方式進行算法優(yōu)化，SGD最大的缺點是下降速度慢，而且可能會在溝壑的兩邊持續(xù)震蕩，停留在一個局部最優(yōu)點，本模型使用Nesterov Momentum（牛頓動量梯度下降）進行參數(shù)更新，加快收斂速度，抑制梯度下降時上下震蕩。學(xué)習(xí)率衰減量為1e-6，Momentum參數(shù)更新動量設(shè)為0.9，是否啟用Nesterov動量設(shè)為True。訓(xùn)練的批次樣本數(shù)量設(shè)為100，為了尋找最優(yōu)模型，學(xué)習(xí)率分別設(shè)為0.000 1、0.001、0.01，迭代次數(shù)設(shè)為300、500和700分別進行試驗，本研究采用改進的類似VGG的模型、VGG-16模型和AlexNet模型分別進行試驗，最終得到最佳訓(xùn)練模型。

1.5 可視化方法

圖像在輸入CNN向后傳播的過程中，每一層卷積都會產(chǎn)生卷積運算后的三維數(shù)據(jù)塊，將這些三維數(shù)據(jù)塊整體稱作特征圖，而特征圖是由不同卷積核卷積運算得到的二維數(shù)據(jù)堆疊在一起組成，有學(xué)者將其稱為特征面[29]或與前者統(tǒng)稱為特征圖。將這些二維數(shù)據(jù)及可視化處理后的結(jié)果統(tǒng)稱為激活映射圖與其區(qū)分，激活映射圖的計算公式[30]為：

2 結(jié)果與分析

2.1 模型結(jié)構(gòu)

試驗采用一種改進的類似VGG卷積神經(jīng)網(wǎng)絡(luò)，在類似VGG模型上增加了1層卷積層和1層池化層，輸出層設(shè)為4，表示分為4類，對比改進的類似VGG、VGG-16和AlexNet 3種卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

注：連線線連接不同卷積層的數(shù)量，比如16-32-64表示第一層16，第二層32，第三層64。

Note: The number of convolutional layers that are connected by a line, such as 16-32-64 represents the first layer 16, the second layer 32, and the third layer 64.

2.2 CNN模型訓(xùn)練與測試

試驗對圖像預(yù)處理前和預(yù)處理后分別進行訓(xùn)練，圖像預(yù)處理前后樣本集均為10 000幅，每個類別2 500幅，其中2 000幅用于制作訓(xùn)練集，500幅用于制作測試集。學(xué)習(xí)率是影響網(wǎng)絡(luò)模型的一個重要因素，學(xué)習(xí)率過小，會極大降低收斂速度，增加訓(xùn)練時間；學(xué)習(xí)率過大，可能導(dǎo)致參數(shù)在最優(yōu)解兩側(cè)來回振蕩，所以學(xué)習(xí)率對于算法性能的表現(xiàn)至關(guān)重要。對于學(xué)習(xí)率采用指數(shù)標尺選取0.000 1、0.001和0.01幾組學(xué)習(xí)率做試驗，每次試驗迭代次數(shù)選擇300、500、700分別進行，根據(jù)試驗結(jié)果確定最佳學(xué)習(xí)率和迭代次數(shù)。

圖5、6、7是原始圖像在不同學(xué)習(xí)率下的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程和結(jié)果。

表2展示了3類卷積神經(jīng)網(wǎng)絡(luò)在不同學(xué)習(xí)率下，對于原始數(shù)據(jù)集進行訓(xùn)練得到的訓(xùn)練集、測試集的準確率和訓(xùn)練時長，由訓(xùn)練結(jié)果可以看出，3種模型在學(xué)習(xí)率不同時訓(xùn)練結(jié)果也存在著差異，AlexNet模型在不同的學(xué)習(xí)率下模型均已收斂，在學(xué)習(xí)率為0.001時模型效果最佳，訓(xùn)練準確率為99.69%，測試準確率為96.52%，而改進的類似VGG模型和VGG-16模型在學(xué)習(xí)率為0.01時模型準確率提高后突然變低，然后趨于穩(wěn)定，造成這種現(xiàn)象的原因是學(xué)習(xí)速率太大，代價函數(shù)振蕩，導(dǎo)致無法擬合。VGG-16模型由于層數(shù)過深，在迭代次數(shù)為700時模型才收斂，訓(xùn)練時間也比AlexNet和改進的類似VGG模型要長。綜上所述，圖像預(yù)處理前AlexNet模型的訓(xùn)練效果最佳。

表2 預(yù)處理前不同學(xué)習(xí)率下不同模型的訓(xùn)練結(jié)果

圖8、9、10是預(yù)處理后圖像在不同學(xué)習(xí)率下CNN模型的訓(xùn)練過程和結(jié)果。

表3展示了3類卷積神經(jīng)網(wǎng)絡(luò)在不同學(xué)習(xí)率下，對于預(yù)處理后的數(shù)據(jù)集進行訓(xùn)練得到的訓(xùn)練集、測試集的準確率和訓(xùn)練時長，可以看出基于改進的類似VGG模型和VGG-16模型在學(xué)習(xí)率為0.000 1時準確率特別低，這是一種典型的欠擬合現(xiàn)象，模型的學(xué)習(xí)能力不足，通過增加訓(xùn)練數(shù)據(jù)對此類問題用處不大，可以通過增加原始數(shù)據(jù)的特征，調(diào)整參數(shù)和超參數(shù)來解決此問題。從訓(xùn)練結(jié)果中可以看出3種模型訓(xùn)練準確率均達到了100.00%，但改進的類似VGG模型在學(xué)習(xí)率為0.001時的測試準確率達到97.14%，高于其他2種模型。

表3 預(yù)處理后不同模型在不同學(xué)習(xí)率下的訓(xùn)練結(jié)果

對比數(shù)據(jù)預(yù)處理前和預(yù)處理后3種CNN模型的訓(xùn)練結(jié)果可以看出，AlexNet模型相對穩(wěn)定；VGG-16模型由于模型深度過深，容易產(chǎn)生過擬合和欠擬合等問題，調(diào)參比較困難，訓(xùn)練時間也比較長；數(shù)據(jù)預(yù)處理前改進的類似VGG模型出現(xiàn)了過擬合和欠擬合問題，數(shù)據(jù)預(yù)處理后在學(xué)習(xí)率為0.001時模型整體效果達到最佳。數(shù)據(jù)預(yù)處理前，AlexNet模型在學(xué)習(xí)率為0.001且迭代次數(shù)為500時模型效果最佳，訓(xùn)練準確率為99.69%，測試準確率為96.52%；數(shù)據(jù)預(yù)處理后改進的類似VGG模型在學(xué)習(xí)率為0.001且迭代次數(shù)為500時訓(xùn)練效果最佳，訓(xùn)練準確率為100.00%，測試準確率為97.14%。綜上所述數(shù)據(jù)預(yù)處理后改進的類似VGG模型對哈密瓜表面缺陷檢測效果最佳。

2.3 卷積層特征可視化

深度學(xué)習(xí)一直被稱為“黑盒子”，內(nèi)部算法不可見，但CNN卻能夠被可視化，通常，一幅圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取特征后，隨著層次的深入，可視化結(jié)果會變得越來越模糊和抽象[31]。卷積層特征可視化可以幫助解釋每一層卷積層學(xué)習(xí)到的特征，以便更深入了解CNN提取哈密瓜缺陷特征的過程。試驗對改進的類似VGG模型進行卷積層特征可視化，圖11為卷積神經(jīng)網(wǎng)絡(luò)提取的4類哈密瓜特征。圖12是包含霉菌的哈密瓜圖像卷積層特征可視化結(jié)果，從第一層到第三層卷積的過程中可以看出，模型學(xué)習(xí)的特征從整體到局部逐漸細化，從第三層融合后的整體圖可以看出哈密瓜缺陷特征已清晰可見。圖11是卷積神經(jīng)網(wǎng)絡(luò)提取的4類哈密瓜圖像預(yù)處理前后的特征，可以看出特征提取前后卷積神經(jīng)網(wǎng)絡(luò)提取的正常哈密瓜特征無明顯區(qū)別，包含霉菌、曬傷、裂紋的哈密瓜圖像特征提取后利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練提取的特征比特征提取前明顯，證明試驗的預(yù)處理可以增強卷積神經(jīng)網(wǎng)絡(luò)提取哈密瓜缺陷特征的效果。

2.4 模型驗證

為驗證模型的實用性，開發(fā)了一款哈密瓜表面缺陷檢測軟件進行試驗驗證，開發(fā)環(huán)境為Pycharm2019、PyQt5、python3.6.6。軟件包括前端展示界面和后臺處理兩部分，前端展示界面采用Qt進行可視化布局，軟件采用了Button組件、QLabel組件、TextEdit組件和Label組件。具體流程如圖13所示，前端展示效果如圖14所示，后臺處理通過編寫Python語言調(diào)用OpenCV打開相機，調(diào)用Keras深度學(xué)習(xí)庫進行哈密瓜表面缺陷的識別。

試驗通過實時采集圖像進行試驗驗證，正常、霉菌、曬傷和裂紋的哈密瓜樣本分別拍攝50張進行檢測。經(jīng)測試，單張圖片檢測時長約0.7 s，其中正確識別187幅，錯誤識別13幅，綜合測試準確率為93.50%，裂紋不明顯的哈密瓜和正常的哈密瓜表面圖像特征比較類似，因此測試準確率比較低，測試結(jié)果如表4所示。

表4 哈密瓜表面缺陷檢測軟件模型驗證

3 結(jié) 論

本研究以西州蜜17號哈密瓜為對象，采用圖像處理和深度學(xué)習(xí)相結(jié)合的方法對哈密瓜的正常、霉菌、曬傷和裂紋4類哈密瓜進行檢測，主要結(jié)論如下：

1）采用基于Keras深度學(xué)習(xí)框架，TensorFlow為后臺構(gòu)建一種改進的類似VGG模型，增加了1層卷積層和池化層，并用4分類代替類似VGG模型的10分類，檢測效果優(yōu)于AlexNet和VGG-16模型。

2）利用主成分分析、奇異值分解和二值化等預(yù)處理方法進行特征預(yù)處理，然后采用數(shù)據(jù)增強擴充數(shù)據(jù)集，增強模型的泛化能力。與原始數(shù)據(jù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對比試驗顯示，數(shù)據(jù)預(yù)處理后的模型效果普遍高于數(shù)據(jù)預(yù)處理前模型訓(xùn)練效果，在學(xué)習(xí)率為0.001時基于改進的類似VGG模型訓(xùn)練效果最佳，訓(xùn)練準確率為100.00%，測試準確率為97.14%。

3）基于改進的類似VGG模型開發(fā)的哈密瓜表面缺陷檢測軟件，靜態(tài)圖像檢測速率為0.7 s/幅，200個哈密瓜測試樣本的識別準確率達到93.5%，初步滿足哈密瓜表面缺陷在線檢測裝備的生產(chǎn)需求。

[1]新疆維吾爾自治區(qū)統(tǒng)計局編. 新疆統(tǒng)計年鑒2018[M]. 北京：中國統(tǒng)計出版社，2018.

[2]張明，李鵬，鄧烈，等. 基于掩模及亮度校正算法的臍橙表面缺陷分割[J]. 中國農(nóng)業(yè)科學(xué)，2019，52(2)：327-338.

Zhang Ming, Li Peng, Deng Lie, et al. Segmentation of navel orange surface defects based on mask and brightness correction algorithm[J].Scientia Agricultura Sinica, 2019, 52(2): 327-338. (in Chinese with English abstract)

[3]王銀敏，費樹岷，真昕欣，等. 基于背景分離與亮度校正的蘋果表面缺陷提取[J]. 軟件導(dǎo)刊，2020，19(8)：234-238.

Wang Yinmin, Fei Shumin, Zhen Xinxin, et al. Apple surface defect extraction based on background separation and brightness correction[J]. Software Guide, 2020, 19(8): 234-238. (in Chinese with English abstract)

[4]杜永忠，平雪良，何佳唯. 圣女果表面缺陷檢測與分級系統(tǒng)研究[J]. 農(nóng)業(yè)機械學(xué)報，2013，44(S1)：194-199. Du Yongzhong, Ping Xueliang, He Jiawei. Surface defect detection and classification system for cherry tomatoes[J].Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(S1): 194-199. (in Chinese with English abstract)

[5]王魏. 哈密瓜外觀表皮缺陷分割及紋理分析研究[D]. 蘭州：甘肅農(nóng)業(yè)大學(xué)，2012. Wang Wei. A Study on Hami Melon Skin Defect Segmentation and Texture Analysis[D]. Lanzhou: Gansu Agricultural University, 2012. (in Chinese with English abstract)

[6]Naik S, Patel B. Machine vision based fruit classification and grading-A review[J]. International Journal of Computer Applications, 2017, 170(9): 27-34.

[7]Hu Zhentao, Zhou Lin, Jin Bing, et al. Applying improved convolutional neural network in image classification[J]. Mobile Networks and Applications, 2020, 25(1): 133-141.

[8]Leontev M I, Islenteva V, Sukhov S V. Non-iterative knowledge fusion in deep convolutional neural networks[J]. Neural Processing Letters, 2020, 51(1): 1-22.

[9]Zhou Dingxuan. Universality of deep convolutional neural networks[J]. Applied and Computational Harmonic Analysis, 2020, 48(2): 787-794.

[10]任守綱，賈馥瑋，顧興健，等. 反卷積引導(dǎo)的番茄葉部病害識別及病斑分割模型[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(12)：186-195.Ren Shougang, Jia Fuwei, Gu Xingjian, et al. Recognition and segmentation model of tomato leaf diseases based on deconvolution-guiding[J]. Transactions of the Chinese Society of Agricultural Engineering (Transaction of the CSAE), 2020, 36(12): 186-195. (in Chinese with English abstract)

[11]薛勇，王立揚，張瑜，等. 基于GoogLeNet深度遷移學(xué)習(xí)的蘋果缺陷檢測方法[J]. 農(nóng)業(yè)機械學(xué)報，2020，51(7)：30-35. Xue Yong, Wang Liyang, Zhang Yu, et al. Defect detection method of apples based on GoogLeNet deep transfer learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(7): 30-35. (in Chinese with English abstract)

[12]Ahmad J, Mohammad M, Majid M, et al. Classification of sour lemons based on apparent defects using stochastic pooling mechanism in deep convolutional neural networks[J]. Scientia Horticulturae, 2020, 263: 109133.

[13]劉雙印，黃建德，徐龍琴，等. 基于PCA-SVR-ARMA的獅頭鵝養(yǎng)殖禽舍氣溫組合預(yù)測模型[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(11)：225-233. Liu Shuangyin, Huang Jiande, Xu Longqin, et al. Combined model for prediction of air temperature in poultry house for lion-head goose breeding based on PCA-SVR-ARMA[J].Transactions of the Chinese Society of Agricultural Engineering (Transaction of the CSAE), 2020, 36(11): 225-233. (in Chinese with English abstract)

[14]郭明軍，李偉光，楊期江，等. 基于SVD原理的PCA特征頻率提取算法及其應(yīng)用[J]. 華南理工大學(xué)學(xué)報：自然科學(xué)版，2020，48(1)：1-9. Guo Mingjun, Li Weiguang, Yang Qijiang, et al.PCA feature frequency extraction algorithm based on SVD principle and its application[J].Journal of South China University of Technology: Natural Science Edition, 2020, 48(1): 1-9. (in Chinese with English abstract)

[15]吳順川，張晨曦，成子橋. 基于PCA-PNN原理的巖爆烈度分級預(yù)測方法[J]. 煤炭學(xué)報，2019，44(9)：2767-2776. Wu Shunchuan, Zhang Chenxi, Cheng Ziqiao. Prediction of intensity classification of rockburst based on PCA-PNN principle[J]. Journal of China Coal Society, 2019, 44(9): 2767-2776. (in Chinese with English abstract)

[16]朱婭妮，倪煊，姚曄. 結(jié)合奇異值臉和注意力深度學(xué)習(xí)的人臉識別[J]. 小型微型計算機系統(tǒng)，2020，41(8)：1763-1767.

Zhu Yani, Ni Xuan, Yao Ye. Face recognition based on SVDF and deep learning with attention[J].Journal of Chinese Computer Systems, 2020, 41(8): 1763-1767. (in Chinese with English abstract)

[17]徐偉，劉穎，朱婷鴿. 基于DCT和SVD的圖像哈希水印算法[J]. 計算機工程與設(shè)計，2020，41(1)：145-149. Xu Wei, Liu Ying, Zhu Tingge. Image hash watermarking algorithm based on DCT and SVD[J].Computer Engineering and Design, 2020, 41(1): 145-149. (in Chinese with English abstract)

[18]Wu Xiaoqiang, Li Jia, Jin Yongquan, et al. Modeling and analysis of tool wear prediction based on SVD and BiLSTM[J]. International Journal of Advanced Manufacturing Technology, 2020, 106(9): 4391-4399.

[19]陳綿書，于錄錄，蘇越，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的多標簽圖像分類[J]. 吉林大學(xué)學(xué)報：工學(xué)版，2020，50(3)：1077-1084. Chen Mianshu, Yu Lulu, Su Yue, et al. Multi-label images classification based on convolutional neural network[J].Journal of Jilin University: Engineering and Technology Edition, 2020, 50(3): 1077-1084. (in Chinese with English abstract)

[20]王佳盛，陳燕，曾澤欽，等. 基于全卷積神經(jīng)網(wǎng)絡(luò)的荔枝表皮缺陷提取[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報，2018，39(6)：104-110.

Wang Jiasheng, Chen Yan, Zeng Zeqin, et al. Extraction of litchi fruit pericarp defect based on a fully convolutional neural network[J]. Journal of South China Agricultural University, 2018, 39(6): 104-110. (in Chinese with English abstract)

[21]向陽，林潔雯，李亞軍，等. 芒果雙面成熟度在線檢測分級系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(10)：259-266.

Xiang Yang, Lin Jiewen, Li Yajun, et al. Mango double-sided maturity online detection and classification system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transaction of the CSAE), 2019, 35(10): 259-266. (in Chinese with English abstract)

[22]Nasiri A, Taheri-Garavand A, Zhang Yudong, et al. Image based deep learning automated sorting of date fruit[J]. Postharvest Biology & Technology. 2019, 153: 133-141.

[23]Wang Gaihua, Lü Meng, Li Tao, et al. Convolutional neural network based on spatial pyramid for image classification[J]. Journal of Beijing Institute of Technology, 2018, 27(4): 630-636.

[24]王紅霞，周家奇，辜承昊，等. 用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的設(shè)計[J]. 浙江大學(xué)學(xué)報：工學(xué)版，2019，53(7)：1363-1373. Wang Hongxia, Zhou Jiaqi, Gu Chenghao, et al. Design of activation function in CNN for image classification[J].Journal of Zhejiang University: Engineering Science, 2019, 53(7): 1363-1373. (in Chinese with English abstract)

[25]肖進勝，劉恩雨，朱力，等. 改進的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法[J]. 光學(xué)學(xué)報，2017，37(3)：103-111. Xiao Jinsheng, Liu Enyu, Zhu Li, et al. Improved image super resolution algorithm based on convolutional neural network[J]. Acta Optica Sinica, 2017, 37(3): 103-111. (in Chinese with English abstract)

[26]曾窕俊，吳俊杭，馬本學(xué)，等. 基于幀間路徑搜索和E-CNN的紅棗定位與缺陷檢測[J]. 農(nóng)業(yè)機械學(xué)報，2019，50(2)：307-314. Zeng Yaojun, Wu Junhang, Ma Benxue, et al. Localization and defect detection of jujubes based on search of shortest path between frames and Ensemble-CNN model[J].Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(2): 307-314. (in Chinese with English abstract)

[27]陳英義，龔川洋，劉燁琦，等. 基于FTVGG16卷積神經(jīng)網(wǎng)絡(luò)的魚類識別方法[J]. 農(nóng)業(yè)機械學(xué)報，2019，50(5)：223-231. Chen Yingyi, Gong Chuanyang, Liu Yeqi, et al. Fish identification method based on FTVGG16 convolutional neural network[J].Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(5): 223-231. (in Chinese with English abstract)

[28]Alex K, Ilya S, Hinton G.ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[29]周飛燕，林鵬，董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計算機學(xué)報，2017，40(6)：1229-1251. Zhou Feiyan, Lin Peng, Dong Jun.Review of convolutional neural network[J]. Chinese Journal of Computers, 2017, 40(6): 1229-1251. (in Chinese with English abstract)

[30]崔永杰，高宗斌，劉浩洲，等. 基于卷積層特征可視化的獼猴桃樹干特征提取[J]. 農(nóng)業(yè)機械學(xué)報，2020，51(4)：181-190. Cui Yongjie, Gao Zongbin, Liu Haozhou, et al. Feature extraction of kiwi trunk based on convolution layer feature visualization[J].Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 181-190. (in Chinese with English abstract)

[31]李玉鑒，張婷. 深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)從入門到精通[M].北京：機械工業(yè)出版社，2018.

Surface defect detection of Hami melon using deep learning and image processing

Li Xiaozhan1, Ma Benxue1,2※, Yu Guowei1, Chen Jincheng1,3, Li Yujie1, Li Cong1

(1,,832003;2,,832003,;3,,832000,)

An improved Convolutional Neural Network (CNN) was proposed to solve the time-consuming and inefficient detection for the surface defect on the Hami melon in recent years. The Hami melons were purchased from 103 Regiment, 6th Agricultural Division, the Xinjiang Production and Construction Corps, China. A total of 200 images of normal Hami melons were taken by a camera in a black box. 100 images of Hami melons were collected with the various surface defects, such as mildew, sunburn and crack. Since it is difficult to collect samples with three defect types, the data enhancement technique was used to expand the dataset. A total of 10 000 sample images were obtained, and then divided into a training and test dataset, according to the proportion of 4:1. A VGG-like model was improved by adding a convolutional layer and a pooling layer at the beginning. As such, the improved VGG-like model included three convolutional layers, three max-pooling layers, a flatten layer, and two fully-connected layers. The softmax classifier was used in the last fully-connected layer. The Rectified Linear Unit (ReLU) function was chosen as the activation function. The Stochastic Gradient Descent (SGD) was chosen as the optimizer. The improved VGG-like model was used to identify four-class defect samples. The optimal hyperparameters in the CNN models were determined via the performance under the different learning rates and epochs. In all established CNN models, the test data showed that the AlexNet model outperformed other VGG-16 models, with the learning rate of 0.001 and the epochs of 500. Moreover, the AlexNet model can achieve the best performance with the accuracy of 99.69% and 96.62% in the training and test dataset, respectively. Three image processing techniques were compared to evaluate the preprocessing impact, including the Principal Components Analysis (PCA), Singular Value Decomposition (SVD), and binarization. The results indicated that the preprocessing provided a better detection performance on the various surface features of Hami melon in image preprocessing. The improved VGG-like model was the optimal to detect four-class defect on the Hami melon surface, indicating the learning rate of 0.001 and the epochs of 500. The prediction accuracy of improved VGG-like model in test set reached 97.14%. A visualization technique was used to analyze the features of convolutional layers, particularly on feature extraction in a CNN model. The visualization results showed that the defect features became more and more obvious with the increase of the convolutional layers. The defect features were the clearest in the captured images by the last convolutional layer. In addition, the convolutional features with the input as the preprocessing images were clearer than before. Finally, the improved VGG-like model was verified by the developed software on the plateform of PyQt5. The developed software functions included Open Camera, Read Image, Image Processing (Gray, PCA, SVD and Binarization), and Image Identification. The detection time of a single image was less than 0.7 s. In each type, 50 images were captured under the same environment. A total of 200 test images were collected. The test results showed that none of normal samples was predicted as defect samples. Only 8 crack Hami melons was incorrectly identified, due mainly to the unobvious feature. The average prediction accuracy of 200 samples was 93.5%. The improved VGG-like model with the preprocessing can be expected to apply for the detection of defects on the Hami melon surface, and other on-line nondestructive detection in the future.

image processing; defects; nondestructive detection; convolutional neural network; visualization; Hami melon

李小占，馬本學(xué)，喻國威，等. 基于深度學(xué)習(xí)與圖像處理的哈密瓜表面缺陷檢測[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(1)：223-232.doi：10.11975/j.issn.1002-6819.2021.01.027 http://www.tcsae.org

Li Xiaozhan, Ma Benxue, Yu Guowei, et al. Surface defect detection of Hami melon using deep learning and image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(1): 223-232. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.01.027 http://www.tcsae.org

2020-09-15

2020-11-10

西部特果精選關(guān)鍵技術(shù)研發(fā)與集成示范（2015BAD19B03）

李小占，主要從事農(nóng)產(chǎn)品智能化檢測。Email：15136768525@163.com

馬本學(xué)，博士，教授，博士生導(dǎo)師，主要從事農(nóng)產(chǎn)品智能化檢測技術(shù)與裝備研究。Email：mbx_shz@163.com

10.11975/j.issn.1002-6819.2021.01.027

S652.1; TP391.4

A

1002-6819(2021)-01-0223-10