基于機(jī)器視覺(jué)的糧食外觀品質(zhì)檢測(cè)研究進(jìn)展

陳衛(wèi)東，李宛玉，李 智

1.河南工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，河南 鄭州 450001 2.河南工業(yè)大學(xué) 糧油標(biāo)準(zhǔn)化研究所，河南 鄭州 450001

食品安全關(guān)系到人民群眾的身體健康和生命安全，小麥、玉米、稻谷三大谷物作為主要的政府儲(chǔ)備糧食品種，其品質(zhì)安全是食品安全的重要保障，直接影響到售糧農(nóng)民收入和國(guó)家收購(gòu)資金安全[1]。采用現(xiàn)代信息技術(shù)實(shí)現(xiàn)糧食外觀品質(zhì)快速無(wú)損檢測(cè)將成為保障食品安全的重要途徑。在傳統(tǒng)的人工檢測(cè)中，基層糧食收儲(chǔ)企業(yè)檢驗(yàn)?zāi)芰ζ毡檩^弱，檢測(cè)結(jié)果主觀性強(qiáng)、耗時(shí)長(zhǎng)，不能滿足新形勢(shì)下糧食收購(gòu)的需求。目前的糧食外觀品質(zhì)檢測(cè)主要通過(guò)高光譜成像和物理圖像識(shí)別法實(shí)現(xiàn)。高光譜成像技術(shù)采用圖譜合一的方式獲取糧粒的內(nèi)外部信息，以多模態(tài)的特征建立高精度的糧粒種類判別模型[2-5]。但其成像設(shè)備昂貴，數(shù)據(jù)量大且冗余性強(qiáng)，無(wú)法達(dá)到實(shí)際應(yīng)用的運(yùn)算速度要求?；谖锢韴D像識(shí)別的機(jī)器視覺(jué)技術(shù)擁有高效、快速、低成本、高精度的特點(diǎn)[6]，在農(nóng)業(yè)[7-9]、交通、軍事等各個(gè)領(lǐng)域發(fā)展的相對(duì)成熟，在糧食外觀品質(zhì)檢測(cè)方面也獲得了廣泛的應(yīng)用。

基于機(jī)器視覺(jué)技術(shù)的糧食外觀品質(zhì)檢測(cè)分為兩大類：傳統(tǒng)機(jī)器學(xué)習(xí)[10-11]和深度學(xué)習(xí)算法檢測(cè)[12-14]。前者依靠圖像處理、手動(dòng)設(shè)計(jì)并提取糧粒特征以及分類器，后者則能夠自動(dòng)學(xué)習(xí)并完善特征提取，為糧食品質(zhì)檢測(cè)開(kāi)創(chuàng)了新契機(jī)。為此，大量研究人員開(kāi)展了基于機(jī)器視覺(jué)技術(shù)的糧食檢測(cè)與識(shí)別方法研究，作者綜述了圖像采集、圖像處理、特征提取以及分類算法在糧食外觀品質(zhì)檢測(cè)中的成果和應(yīng)用，討論了這些方法的發(fā)展現(xiàn)狀及其不足，同時(shí)對(duì)該領(lǐng)域的發(fā)展趨勢(shì)與未來(lái)研究方向進(jìn)行了展望，推動(dòng)了機(jī)器視覺(jué)在糧食外觀品質(zhì)檢測(cè)中的應(yīng)用。

1 糧食圖像采集裝置

獲取優(yōu)質(zhì)的糧粒圖像是糧食外觀品質(zhì)檢測(cè)的前提，一定程度上決定著模型的效率。一個(gè)經(jīng)典的靜態(tài)圖像采集裝置主要部件包括：圖像傳感器、照明、圖像采集卡、計(jì)算機(jī)等，其結(jié)構(gòu)如圖1所示[15]。其中常見(jiàn)的圖像傳感器包括掃描儀中的接觸式圖像傳感器(CIS)、電子耦合器件傳感器(CCD)和互補(bǔ)金屬氧化物半導(dǎo)體傳感器(CMOS)。圖像傳感器的選取決定著圖像的質(zhì)量，合適的成像背景能夠使后續(xù)的圖像處理工作事半功倍。同時(shí)，視覺(jué)系統(tǒng)受照明單元及其強(qiáng)度的影響，需要保證光源的穩(wěn)定輸出及均勻照明[16]。

1.內(nèi)置圖像采集卡的計(jì)算機(jī)；2.相機(jī)；3.環(huán)形光源；4.試驗(yàn)箱；5.載物臺(tái)；6.糧粒圖1 糧粒靜態(tài)圖像采集裝置Fig.1 Static image acquisition device for grain

張玉榮等[17]使用分辨率為600 dpi的平板掃描儀采集小麥不完善粒的圖像，但掃描儀分辨率低，不能夠提供更優(yōu)質(zhì)的圖像。王偉宇[18]使用CCD攝像機(jī)，選擇帶有發(fā)光二極管環(huán)形光源的黑色環(huán)脂試驗(yàn)箱進(jìn)行圖像采集，該裝置提供了可靠的玉米粒圖像。Manohar等[19]、Yang[20]提出了基于機(jī)器視覺(jué)的大米檢測(cè)系統(tǒng)，利用CCD相機(jī)捕捉大米的圖像。但靜態(tài)采集的圖像不適用于實(shí)際應(yīng)用，因此如何構(gòu)建實(shí)時(shí)在線的動(dòng)態(tài)的糧粒圖像采集裝置是仍待解決的問(wèn)題。

糧粒動(dòng)態(tài)圖像采集裝置如圖2所示，將糧粒放在傳送裝置上，當(dāng)目標(biāo)物體進(jìn)入相機(jī)的視野內(nèi)快速曝光完成圖像采集。張博[21]開(kāi)發(fā)了集入料、麥粒均布、圖像采集及卸料為一體的動(dòng)態(tài)圖像采集裝置，但該裝置自動(dòng)化水平低，不能滿足在線、實(shí)時(shí)、快速檢測(cè)的需求。劉光宗等[22]、Sharma等[23]采用帶有傳送帶及CCD攝像頭等部件的動(dòng)態(tài)裝置獲取圖像，但這類裝置容易導(dǎo)致糧粒無(wú)法有效分離而影響識(shí)別精度。郭亦凡[24]采用攜帶振動(dòng)板的動(dòng)態(tài)裝置減少糧粒的堆疊。

1.相機(jī)；2.照明；3.振動(dòng)喂料機(jī)；4.糧粒；5.傳送裝置；6.支架；7.收納容器；8.內(nèi)置圖像采集卡的計(jì)算機(jī)圖2 糧粒動(dòng)態(tài)圖像采集裝置Fig.2 Dynamic image acquisition device for grain

糧粒靜態(tài)圖像采集裝置相對(duì)成熟，但不能用于真實(shí)場(chǎng)景，而動(dòng)態(tài)裝置又面臨糧粒堆疊以及特征不全的問(wèn)題。對(duì)于糧粒堆疊，振動(dòng)篩可減少該情況的發(fā)生；對(duì)于特征不全的問(wèn)題，雙面圖像采集或成為未來(lái)研究的重點(diǎn)和難點(diǎn)。

2 糧食圖像預(yù)處理研究進(jìn)展

2.1 圖像增強(qiáng)

從相機(jī)中獲得的圖像因存在噪聲而影響圖像的質(zhì)量，故需要使用圖像增強(qiáng)技術(shù)有選擇地突出有效的特征，消除圖像中的噪聲。在糧食外觀品質(zhì)檢測(cè)領(lǐng)域使用較多的圖像增強(qiáng)技術(shù)是中值濾波、均值濾波和高斯濾波。

Mittal等[25]、王石[26]使用對(duì)異常值不敏感的中值濾波去除糧粒灰度圖像的噪聲，其結(jié)果有效地保留了細(xì)節(jié)和邊緣信息，噪聲也被很好地消除。Nagoda等[27]通過(guò)從前景圖像中減去背景的方法去除大米灰度圖像上的光點(diǎn)，使用高斯濾波消除尖銳邊緣的噪聲，均值濾波和高斯濾波雖消除了噪聲，但圖像邊緣模糊，而中值濾波可彌補(bǔ)上述不足，但其處理速度慢，目前尚未找到一個(gè)簡(jiǎn)單、效果好、速度快的適合于糧食顆粒的圖像增強(qiáng)技術(shù)。

2.2 圖像分割

對(duì)糧食籽粒圖像進(jìn)行分割處理，獲取單粒糧粒圖像，不僅可以剔除多余的信息，還可以減少圖像數(shù)據(jù)[28]，分割方法有基于閾值、基于邊緣或區(qū)域的。糧食外觀檢測(cè)中常用的幾類圖像分割算法的比較如表1所示。

表1 幾類圖像分割算法的比較Table 1 Comparison of several image segmentation algorithms

張玲等[29]以灰度值作為堊白閾值區(qū)分正常米和堊白米，然而使用固定閾值實(shí)現(xiàn)分割往往達(dá)不到預(yù)期的效果，因此選用一種自適應(yīng)閾值算法是非常有必要的。胡艷俠[31]結(jié)合玉米果穗的特點(diǎn)，采用最大熵閾值算法自動(dòng)選取閾值分離目標(biāo)與背景，但是該算法包含大量對(duì)數(shù)運(yùn)算，計(jì)算量大。張曉波[30]采用主動(dòng)輪廓模型和分水嶺算法實(shí)現(xiàn)玉米籽粒的分割，研究發(fā)現(xiàn)，兩種方法都能夠?qū)D像進(jìn)行有效地分割，但前者算法較復(fù)雜，對(duì)初始點(diǎn)的選擇非?？季?，因此分水嶺算法更適合于玉米粘連籽粒的處理。最大類間方差(Otsu)法也稱大津算法，因其計(jì)算簡(jiǎn)單，不受圖像亮度和對(duì)比度的影響，被認(rèn)為是基于閾值分割的最佳算法。Yammen等[32]選用Otsu算法分割玉米圖像，該算法實(shí)現(xiàn)了玉米籽粒和背景的有效分割，然而基于閾值的圖像分割方法，結(jié)果受閾值影響大。

利用邊緣檢測(cè)提取糧粒的輪廓，通過(guò)計(jì)算籽粒大小和形狀等特征進(jìn)行品質(zhì)檢測(cè)也是較為傳統(tǒng)的方法。常用的邊緣檢測(cè)算子有Sobel算子、Canny算子、高斯拉普拉斯算子等。Mahale等[33]、Parveen等[34]選用Sobel算子提取目標(biāo)物體的輪廓，但Sobel算子邊緣定位準(zhǔn)確率不高，而Canny算子抗噪性較強(qiáng)，可以檢測(cè)到真正的弱邊緣。Devi等[35]、Patel等[36]、Asif等[37]使用Canny算子檢測(cè)稻米的邊緣，其邊緣清晰可見(jiàn)。

基于閾值的圖像分割算法雖然簡(jiǎn)單、效果好，但是當(dāng)目標(biāo)物體灰度差異小，或者不同對(duì)象灰度分布重疊時(shí)，難以達(dá)到期望的效果，而邊緣檢測(cè)算子能夠保留清晰的糧粒輪廓，但其抗噪性和檢測(cè)精度之間存在矛盾，故兩類方法均需要與其他分割方法進(jìn)行結(jié)合。

3 糧食特征提取研究現(xiàn)狀

目標(biāo)物體的特征是影響檢測(cè)結(jié)果的重要因素，每類糧食不同類型的籽粒在外觀、顏色、光滑度等方面存在差異，因此一般提取顏色、形狀、紋理特征來(lái)檢測(cè)糧食外觀品質(zhì)。一些學(xué)者采用單獨(dú)的一類特征進(jìn)行識(shí)別，也有學(xué)者使用多類特征綜合分析糧食品質(zhì)。

3.1 單類特征

在糧食外觀品質(zhì)檢測(cè)中，顏色特征一般選擇最通用的RGB模型以及符合人眼視覺(jué)特性的HSV和HSI顏色空間，常用的方法有顏色直方圖、顏色矩以及顏色空間的相互轉(zhuǎn)換。形狀特征一般采用幾何參數(shù)法表示，通常選取籽粒周長(zhǎng)、伸展度、面積、長(zhǎng)短軸長(zhǎng)、長(zhǎng)寬比等參數(shù)作為糧粒的形狀特征。紋理特征一般采用小波變換、灰度共生矩陣和局部二值模式(LBP)來(lái)提取,參數(shù)選擇平滑度、對(duì)比度、一致性、三階矩、熵等。

王應(yīng)彪等[38]分析HSV顏色空間，發(fā)現(xiàn)優(yōu)質(zhì)、一般、劣質(zhì)玉米籽粒的分類準(zhǔn)確率分別為90.5%、82.3%和92.3%。Wattana等[39]通過(guò)測(cè)量HSV模型中H分量下的玉米棒圖像兩端點(diǎn)的距離計(jì)算長(zhǎng)度，辨別其大小，提取V分量的圖像檢驗(yàn)對(duì)稱性。Fang等[40]提出了一種同時(shí)測(cè)定稻米品質(zhì)多參數(shù)的圖像分析方法，用該方法提取了大米的長(zhǎng)度、寬度、長(zhǎng)寬比、整精米含量等參數(shù)。孫進(jìn)等[41]提出將玉米粒輪廓進(jìn)行橢圓擬合，以橢圓長(zhǎng)寬比實(shí)現(xiàn)玉米品質(zhì)的自動(dòng)檢測(cè)。郭亦凡[24]提取米粒的形狀特征，分別采用周長(zhǎng)、長(zhǎng)寬比和面積檢測(cè)法來(lái)區(qū)分完整粒和碎米粒，提出了以大米長(zhǎng)寬比作為閾值判定碎米率的通用算法,使用該算法判斷米粒長(zhǎng)寬比與對(duì)應(yīng)閾值的關(guān)系，動(dòng)態(tài)地選擇計(jì)算碎米率的方案。高新浩等[42]使用小波變換對(duì)不同角度拍攝的玉米圖像進(jìn)行紋理特征提取，結(jié)合分類器模型區(qū)分5種不同品種、不同尺寸和不同破損程度的鮮食玉米。Ribeiro[43]使用LBP提取紋理特征對(duì)谷物顆粒進(jìn)行分類，結(jié)果顯示，僅使用紋理特征識(shí)別正確率就達(dá)到94%。Liu等[44]使用多尺度全向高斯導(dǎo)數(shù)濾波獲取圖像的紋理空間結(jié)構(gòu)，提取濾波響應(yīng)的韋布爾模型參數(shù)作為稻米圖像特征進(jìn)行檢測(cè)。

3.2 多類特征

對(duì)于提取單類特征進(jìn)行糧食外觀品質(zhì)檢測(cè)會(huì)因?yàn)樘卣鞑蝗娑绊懽罱K的識(shí)別精度，因此多數(shù)學(xué)者采用多類特征綜合分析來(lái)檢測(cè)糧食質(zhì)量。

張玉榮等[45]、陳尚兵等[46]分別提取玉米和大米的顏色、形狀、紋理三大類特征作為模型的輸入進(jìn)行識(shí)別分類。Gupta等[47]提取稻谷的6個(gè)形態(tài)特征，結(jié)合HSV模型的最大色調(diào)、飽和度、亮度3個(gè)顏色特征將稻米品質(zhì)分為最佳、良好、一般、3/4破損、5/8破損、1/2破損、1/4破損7個(gè)等級(jí)。胡艷俠[31]采用玉米的顏色、紋理、大小以及形狀4類特征檢測(cè)玉米品質(zhì)，使用最小外接矩形的長(zhǎng)和長(zhǎng)寬比作為玉米大小和形狀特征的參數(shù)，采用H和V分量的均值及標(biāo)準(zhǔn)差分別表示顏色和紋理特征，選擇正態(tài)分布概率法判定上述6個(gè)參數(shù)的識(shí)別檢測(cè)區(qū)間，總體正確率為96.5%。潘磊慶等[48]將稻谷圖像灰度值劃分為16個(gè)區(qū)域，各提取16個(gè)灰度特征，選取每個(gè)灰度區(qū)域下RGB各分量值以及4個(gè)紋理特征的特征參數(shù)，采用連續(xù)投影法優(yōu)選特征，構(gòu)建支持向量機(jī)(SVM)和偏最小二乘法判別分析模型識(shí)別無(wú)霉變、輕微霉變及嚴(yán)重霉變稻谷。

特征提取是糧食外觀檢測(cè)的重要步驟，不同種類的糧?？梢允褂貌煌奶卣鬟M(jìn)行識(shí)別。例如霉變粒與正常粒的顏色差異較大，可以使用顏色特征進(jìn)行區(qū)分，破損粒與正常粒可以通過(guò)形狀特征識(shí)別分類。也有研究人員通過(guò)試驗(yàn)證明綜合幾類特征的檢測(cè)效果要優(yōu)于單類特征，不過(guò)大米的綜合特征精度低于單類特征，因此試驗(yàn)時(shí)要結(jié)合每類糧食的自身特點(diǎn)靈活變通地使用各類特征。

4 糧食外觀品質(zhì)檢測(cè)分類算法研究

分類算法是糧食外觀品質(zhì)檢測(cè)的關(guān)鍵環(huán)節(jié)，直接影響著結(jié)果的精度。最常見(jiàn)的用于糧食質(zhì)量評(píng)估的傳統(tǒng)分類算法有人工神經(jīng)網(wǎng)絡(luò)、SVM等方法。同時(shí)，深度學(xué)習(xí)也在不斷發(fā)展創(chuàng)新，逐漸被應(yīng)用于糧食檢測(cè)領(lǐng)域中，表2歸納了各類分類算法在糧食外觀品質(zhì)檢測(cè)中的應(yīng)用情況。

表2 分類算法在糧食外觀品質(zhì)檢測(cè)中的應(yīng)用情況Table 2 Application of classification algorithm in grain appearance quality detection

4.1 傳統(tǒng)機(jī)器學(xué)習(xí)算法

傳統(tǒng)的用于糧食外觀品質(zhì)檢測(cè)的算法主要有BP神經(jīng)網(wǎng)絡(luò)和SVM模型，該類算法都需要人工提取糧粒的特征作為模型的輸入，搭建分類模型并找到模型的最優(yōu)解以檢測(cè)糧食品質(zhì)。

張玉榮等[17]提取小麥4種不完善粒和完善粒的三大類特征，搭建了8-17-5的BP神經(jīng)網(wǎng)絡(luò)模型，模型的平均識(shí)別率為93%。Zareiforoush等[49]獲取4種不同等級(jí)的碾米圖像，利用人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、決策樹(shù)和貝葉斯網(wǎng)絡(luò)對(duì)其進(jìn)行分類，結(jié)果表明：結(jié)構(gòu)為12-5-4的人工神經(jīng)網(wǎng)絡(luò)精度最高，達(dá)到98.72%，而B(niǎo)P神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度慢，效率較低。Nagoda 等[27]提出了一種基于顏色和紋理特征的大米分類方法，搭建了基于線性核的SVM模型實(shí)現(xiàn)各類大米的識(shí)別，平均準(zhǔn)確率為93.75%。Wu等[10]選取玉米籽粒的6個(gè)形狀特征，搭建5種不同的分類器模型：無(wú)參數(shù)優(yōu)化的SVM、支持向量機(jī)-網(wǎng)格搜索算法(SVM-GS)、支持向量機(jī)-遺傳算法(SVM-GA)、支持向量機(jī)-粒子群優(yōu)化算法(SVM-PSO)和BP神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)玉米3個(gè)等級(jí)的劃分，研究表明SVM-GA和SVM-PSO具有更好的分類效果，準(zhǔn)確率達(dá)到97.44%。Hortinela等[59]結(jié)合圖像處理技術(shù)，采用自適應(yīng)增強(qiáng)算法的支持向量機(jī)分類器對(duì)碾米顆粒進(jìn)行分級(jí)，平均精度為86.67%。相比于BP神經(jīng)網(wǎng)絡(luò)，SVM雖然在收斂速度上略勝一籌，但是難以訓(xùn)練大規(guī)模樣本，并且在解決多分類問(wèn)題時(shí)不易實(shí)現(xiàn)。

王超鵬[51]提取玉米籽粒全表面及尖端的正常和霉變籽粒的顏色特征，選擇正常和破損籽粒的形狀特征，使用SVM、BP神經(jīng)網(wǎng)絡(luò)和樸素貝葉斯分類器進(jìn)行分類，結(jié)果表明；對(duì)于霉變籽粒的檢測(cè)，樸素貝葉斯分類器的識(shí)別率最高，全表面及尖端提取精度分別為98.0%和99.3%；對(duì)于破損玉米粒的檢測(cè)，BP神經(jīng)網(wǎng)絡(luò)為最優(yōu)，準(zhǔn)確率達(dá)到了97.3%。雖然樸素貝葉斯分類器識(shí)別率高，但是其屬性之間相互獨(dú)立的假設(shè)在糧食檢測(cè)中往往是不成立的，因此不能普遍適用于糧食的檢測(cè)。

4.2 深度學(xué)習(xí)算法

基于傳統(tǒng)算法的糧食外觀品質(zhì)檢測(cè)雖然研究廣泛，但其預(yù)處理及特征提取較為復(fù)雜，而且識(shí)別率不高[60]。深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(CNN)具備自主學(xué)習(xí)、自我完善、權(quán)重共享等優(yōu)點(diǎn)，避免了人工提取特征造成的準(zhǔn)確率低、耗時(shí)耗力等影響，因此研究人員將CNN模型引入糧食外觀品質(zhì)檢測(cè)中。

于重重等[61]利用CNN模型進(jìn)行小麥不完善粒的檢測(cè)，結(jié)果表明CNN模型在目標(biāo)的檢測(cè)識(shí)別中更加精準(zhǔn)、高效。祝詩(shī)平等[52]建立LeNet-5、AlexNet、VGG-16、ResNet-34模型實(shí)現(xiàn)小麥不完善粒的識(shí)別，其中AlexNet模型性能最佳。但單純采用幾種經(jīng)典的CNN模型進(jìn)行檢測(cè)，精度不佳，研究人員通過(guò)改進(jìn)各類傳統(tǒng)的CNN模型，識(shí)別率均得到不同程度的提升。余樂(lè)等[53]采用改進(jìn)的二分類LeNet-5模型檢測(cè)小麥不完善粒，但局限于樣本量的限制，黑胚粒、蟲(chóng)蝕粒和破損粒的準(zhǔn)確率分別為93%、95%和92%。曹婷翠等[54]使用雙面單粒小麥圖像，同時(shí)進(jìn)行樣本擴(kuò)充，搭建了常規(guī)CNN結(jié)合具有更強(qiáng)特征表示能力的空間金字塔池化(SPP)的WheatNet模型。WheatNet網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。該模型在每層卷積后選擇ReLU函數(shù)進(jìn)行激活，使用Dropout減少網(wǎng)絡(luò)的過(guò)擬合，采用Softmax回歸實(shí)現(xiàn)分類。試驗(yàn)證明，改進(jìn)的WheatNet模型的精度比傳統(tǒng)CNN模型和機(jī)器學(xué)習(xí)算法分別提高了5%、15%左右，同時(shí)樣本擴(kuò)充也在一定程度上提高了準(zhǔn)確率。

圖3 WheatNet的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of WheatNet

圖4 改進(jìn)的ResNet模型的網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of improved ResNet model

張博[21]設(shè)計(jì)了具有3個(gè)殘差結(jié)構(gòu)、卷積核為5×5的12層ResNet模型，使用一個(gè)5×5卷積來(lái)代替兩個(gè)3×3卷積，即省去了34層ResNet中虛線部分的殘差結(jié)構(gòu)。改進(jìn)的ResNet的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，改進(jìn)之處不僅減少了網(wǎng)絡(luò)層數(shù)，模型的計(jì)算量也大幅度地降低了，結(jié)果證明，改進(jìn)后的模型效果最佳，不僅準(zhǔn)確率達(dá)到96.3%，用時(shí)也不長(zhǎng)，可以應(yīng)用于小麥不完善粒的快速無(wú)損檢測(cè)。

Kiratiratanapruk等[58]提取顏色、形狀、紋理特征，采用邏輯回歸、線性判別分析、K-近鄰和SVM 4種算法以及VGG16、VGG19、Exception、InceptionV3和InceptionResNetV2深度學(xué)習(xí)算法進(jìn)行水稻種子分類性能的比較，研究表明，深度學(xué)習(xí)算法優(yōu)于機(jī)器學(xué)習(xí)算法，其中精度最佳的是InceptionResNetV2模型，識(shí)別率達(dá)到95%。Shen等[55]在Inception V3的基礎(chǔ)上，設(shè)計(jì)了WheNet模型識(shí)別小麥中的雜質(zhì)，其結(jié)構(gòu)參數(shù)如表3所示,該模型準(zhǔn)確率達(dá)到97.5%，具有良好的魯棒性。

王建宇[62]在Faster R-CNN的基礎(chǔ)上提出了可直接輸入彩色圖像的玉米籽粒品質(zhì)精選檢測(cè)模型。該模型結(jié)構(gòu)如圖5所示，分為3個(gè)部分:共享卷積網(wǎng)絡(luò)部分的卷積層和池化層提取玉米籽粒的特征；候選區(qū)域生成網(wǎng)絡(luò)(RPN)計(jì)算候選框；由分類層和定位層實(shí)現(xiàn)候選區(qū)域物體的分類。設(shè)計(jì)了3種不同大小的網(wǎng)絡(luò)模型：模型1(S)、模型2(M)、模型3.0(L)檢測(cè)玉米品質(zhì)。模型的關(guān)鍵參數(shù)如表4所示。結(jié)果表明，模型2的整體性能最穩(wěn)健，檢測(cè)正確率為96.8%。

表3 WheNet模型的結(jié)構(gòu)Table 3 Structure of WheNet model

圖5 Faster R-CNN網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.5 Network model structure of Faster R-CNN

賀杰安等[56]在幾種經(jīng)典的CNN模型中加入批歸-化層，改進(jìn)后的模型的分類識(shí)別率獲得超過(guò)7個(gè)百分點(diǎn)的提升，但傳統(tǒng)CNN模型規(guī)模太大且執(zhí)行速度較慢，而實(shí)際應(yīng)用場(chǎng)景下對(duì)識(shí)別時(shí)間有較高的要求，限制了網(wǎng)絡(luò)的復(fù)雜度。而王石[26]將采用深度可分離卷積的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)MoblieNet_fc4模型引入米粒的識(shí)別中，深度可分離卷積的結(jié)構(gòu)如圖6所示。

表4 3種模型的關(guān)鍵參數(shù)Table 4 Key parameters of three models

設(shè)DA和DL分別為輸入圖像的寬高和卷積核的大小，P和Q分別為輸入圖像和輸出圖像的通道數(shù)，根據(jù)卷積的定義，傳統(tǒng)卷積的參數(shù)數(shù)量(E)：E=DL×DL×P×Q×DA×DA。

深度可分離卷積的參數(shù)數(shù)量(F)：

F=DL×DL×P×DA×DA+P×Q×DA×DA。

兩種卷積方式的參數(shù)量之比：

由此可知，與傳統(tǒng)卷積相比，深度可分離卷積的參數(shù)量顯著減少，提高了模型的運(yùn)算速度，對(duì)硬件的要求也比傳統(tǒng)網(wǎng)絡(luò)低。改進(jìn)的模型采用結(jié)構(gòu)化剪枝法優(yōu)化，通過(guò)L1和L2范數(shù)減少過(guò)擬合，最后將該網(wǎng)絡(luò)模型移植到手機(jī)端進(jìn)行驗(yàn)證，檢測(cè)精度達(dá)到85%。

傳統(tǒng)的圖像識(shí)別算法雖應(yīng)用廣泛，但需要人工提取特征，過(guò)程煩瑣且不能充分反映糧粒的特征，難以滿足快速無(wú)損檢測(cè)中精度和速度的需求。基于深度學(xué)習(xí)的模型在訓(xùn)練中雖然需要大量圖像，但其過(guò)程簡(jiǎn)單，無(wú)須手動(dòng)提取特征，并且識(shí)別率高。為此，采用深度學(xué)習(xí)算法實(shí)現(xiàn)糧食外觀品質(zhì)檢測(cè)將成為未來(lái)研究的一種趨勢(shì)。

圖6 深度可分離卷積的結(jié)構(gòu)Fig.6 Architecture of depthwise separable convolution

5 總結(jié)與展望

基于機(jī)器視覺(jué)的外觀品質(zhì)檢測(cè)在各類糧食中都被廣泛應(yīng)用，本文綜述了圖像采集、圖像處理、特征提取以及分類算法的成果。但是該技術(shù)在農(nóng)業(yè)領(lǐng)域的發(fā)展還存在著諸多問(wèn)題，因此其未來(lái)發(fā)展和研究方向主要有以下幾點(diǎn)：研發(fā)實(shí)時(shí)在線檢測(cè)系統(tǒng)，實(shí)現(xiàn)糧食外觀品質(zhì)全面信息提取(雙面圖像)以及快速無(wú)損檢測(cè)；高效、快速的糧食圖像預(yù)處理技術(shù)是提升檢測(cè)精度的重要基礎(chǔ)。從圖像采集、處理、分類模型等角度不斷改進(jìn)，提高大米的多類特征綜合檢測(cè)識(shí)別率是未來(lái)的研究方向；對(duì)于深度學(xué)習(xí)模型的識(shí)別精度受限于糧粒樣品規(guī)模的問(wèn)題，數(shù)據(jù)樣本的擴(kuò)充或基于小樣本的遷移學(xué)習(xí)[63-64]模型或是未來(lái)的解決方案；將CNN網(wǎng)絡(luò)模型輕量化使其可以提取更深層特征的同時(shí)又能較快完成識(shí)別是未來(lái)的發(fā)展趨勢(shì)。