摘 要:針對馬鈴薯表面灰度不均勻、紋理復(fù)雜不易定位的問題,通過采集類Haar(Haar-like)、局部二值模式(Local Binary Pattern, LBP)和方向梯度直方圖(Histogram of Oriented Gradient, HOG),提出了基于級聯(lián)自適應(yīng)提升(Cascade Adaptive Boosting, Cascade Adaboost)分類器的馬鈴薯定位方法。同時,針對背景區(qū)域易誤判為馬鈴薯區(qū)域的問題,提出了一種候選區(qū)域二次篩選法。結(jié)果表明:優(yōu)化后,利用訓(xùn)練好的類Haar+Cascade Adaboost分類器、 LBP+Cascade Adaboost分類器和HOG+Cascade Adaboost分類器對測試集馬鈴薯圖像進(jìn)行測試,其檢出率、虛警率、總體識別率分別為1.7%、0.8%、97.2%;95.9%、0.0%、98.9%和86.7%、3.5%、93.9%;耗時分別為8.2、7.5和30.3 ms。這說明基于級聯(lián)自適應(yīng)提升(Cascade Adaptive Boosting, Cascade Adaboost)分類器的馬鈴薯定位方法,可快速準(zhǔn)確定位運(yùn)動中的馬鈴薯目標(biāo),其中LBP+Cascade Adaboost分類器的效果最優(yōu)。
關(guān)鍵詞:Cascade Adaboost分類器;類Haar特征;局部二值模式;方向梯度直方圖;馬鈴薯
中圖分類號:S532, TP391.41 文獻(xiàn)標(biāo)識碼:A 文章編號:1006-060X(2018)02-0081-04
Potato Rapid Location Method Based on Cascade Adaboost Classifier
WANG Cheng-long,HUANG Yu-feng
(College of Electronic Information and Electrical Engineering, Huizhou University, Huizhou 516000, PRC)
Abstract:Aiming at the problem of difficultly locating potato with uneven surface grayscale and complex texture, and of easily misjudging the background area as potato area, this study put forward improvement based on a Cascade Adaptive Boosting (Cascade Adaboost) classifier potato positioning method and a candidate regional secondary screening method. The results showed that, after the optimization, the trained Haar+Cascade Adaboost classifier, LBP+Cascade Adaboost classifier and HOG+Cascade Adaboost classifier were used to test sets of potato image, the TP rate (true positive rate, detection rate), the FP rate (1 positive rate, 1 alarm rate) and the overall recognition rate tested were 1.7%-0.8%-97.2%, 95.9%-0.0%-98.9%, and 86.7%-3.5%-93.9%, and the elapsed time was 8.2 ms, 7.5ms and 30.3ms, respectively. The Cascade Adaboost classifier could be used to quickly and precisely locate the target potato in movement, in which the LBP+Cascade Adaboost classifier is the best.
Key words:Cascade Adaboost classifier; Haar-like feature; local binary pattern; histogram of oriented gradient; potato
利用機(jī)器視覺對農(nóng)產(chǎn)品外部品質(zhì)進(jìn)行檢測,可避免人眼視覺疲勞和主觀誤差對分級效率的影響。研究表明,利用機(jī)器視覺技術(shù)對水果大小、形狀、色彩等外部指標(biāo)進(jìn)行檢測,生產(chǎn)效率可達(dá)3~5 t/h[1-3]。與傳統(tǒng)圖像分割算法相比,改進(jìn)了演化算法的水果圖像分割算法(fruit image segmentation algorithm based on evolutionary algorithm, FISEA )分割效果穩(wěn)定,且耗時僅87.35 ms。研究表明,利用快速歸一化互相關(guān)函數(shù)(FNCC,fast normalized cross correlation)對番茄果實(shí)的潛在區(qū)域進(jìn)行檢測,準(zhǔn)確率高達(dá)86.7%[4]。
利用機(jī)器視覺對馬鈴薯定位,仍以基于像素級特征的圖像分割為主。周竹等[5]利用自動閾值分割法對馬鈴薯圖像進(jìn)行分割。李小昱等[6]利用差影法與馬爾可夫隨機(jī)場模型法對馬鈴薯痂瘡病部位進(jìn)行分割??讖埖萚7]、王紅軍等[8]利用二值化算法分割出圖像中馬鈴薯的區(qū)域。虞曉娟等[9]利用Otsu法對馬鈴薯區(qū)域進(jìn)行了定位。汪成龍等[10]提出一種基于GBVS 顯著性算法的馬鈴薯定位方法,其分割效果優(yōu)于Otsu法,但定位需耗時97.0 ms。上述方法雖然可準(zhǔn)確定位馬鈴薯區(qū)域,但耗時偏長。為了提高馬鈴薯在線分級效率,亟待研究一種快速高效的馬鈴薯目標(biāo)檢測算法。
級聯(lián)自適應(yīng)提升(Cascade Adaptive Boosting, Cascade
Adaboost)分類器是目前最常用的一種目標(biāo)分類器。該分類器通過對大量標(biāo)注過的圖像樣本集的訓(xùn)練,篩選出分類性強(qiáng)的特征,調(diào)整各弱分類器中的權(quán)重,從而獲得最終的強(qiáng)分類器,通過級聯(lián)的方式構(gòu)成用于目標(biāo)檢測的Adaboost分類器。
Freund和Viola分別提出了具有可自適應(yīng)地調(diào)整權(quán)重的 Boosting算法(AdaBoost 算法)[11]和級聯(lián)結(jié)構(gòu)的 AdaBoost分類器[12],并在人臉實(shí)時檢測中取得了成功應(yīng)用。用于級聯(lián)AdaBoost分類器的特征有:類Haar(Haar-like)、局部二值模式(Local Binary Pattern,LBP)和方向梯度直方圖(Histogram of Oriented Gradient,HOG)等。其中,類Haar和LBP在人臉檢測方面應(yīng)用較為廣泛,而HOG則在行人檢測中應(yīng)用較多。Chen[13]利用類Haar和級聯(lián)AdaBoost分類器檢測人臉正臉僅需45 ms。
針對馬鈴薯表面凹凸不平、灰度不均勻、紋理復(fù)雜、難以快速定位的問題,筆者提出了一種基于級聯(lián)自適應(yīng)提升(Cascade Adaptive Boosting, Cascade Adaboost)分類器的馬鈴薯定位方法,以快速定位運(yùn)動中的馬鈴薯目標(biāo),并比較了類Haar + Cascade Adaboost、LBP + Cascade Adaboost和HOG + Cascade Adaboost 3種分類器對馬鈴薯目標(biāo)的定位效果,針對背景區(qū)域易誤判的問題,提出了候選區(qū)域二次篩選法,以期提高馬鈴薯識別率,降低虛警率。
1 材料與方法
1.1 樣本制備與圖像采集
采集80個克新一號馬鈴薯,清洗晾干后編號。利用圖1所示圖像采集系統(tǒng),采集馬鈴薯圖像樣本集。將馬鈴薯置于托輥上,電機(jī)轉(zhuǎn)動帶動傳送帶運(yùn)動,當(dāng)馬鈴薯進(jìn)入圖像采集箱后,由于托輥與摩擦板之間的滾動摩擦,馬鈴薯自轉(zhuǎn)。攝像頭以4幀/s的速率連續(xù)采集分辨率為640×480的彩色圖像10 354張,其中圖片中有馬鈴薯的4 624張。
1.2 圖像特征提取方法
1.2.1 類Haar特征 該特征是由Viola提出,Lienhart等[14]擴(kuò)展的一種廣泛應(yīng)用于人臉檢測的圖像特征提取方法。與以往從圖像中像素點(diǎn)灰度提取特征不同,類Haar法從圖像中提取的是圖像的邊緣、線、環(huán)繞、對角線等特征,如圖2所示。
1.2.2 LBP特征 該特征是一種用于目標(biāo)檢測和紋理分類的圖像特征提取算法。首先,將圖像劃分為多個小塊;然后,對每個小塊中每個點(diǎn)與其他領(lǐng)域點(diǎn)的像素值比較,得到8位2進(jìn)制特征值,并統(tǒng)計其歸一化直方圖;最后,將所有直方圖連接起來就構(gòu)成了LBP特征向量[15]。
1.2.3 HOG特征 該特征是Dalal等[16]提出的一種廣泛應(yīng)用于行人檢測的圖像特征提取算法。該特征利用梯度和梯度的方向描述了物體的形狀和局部特性。首先,將圖像的梯度圖劃分為多個小塊;然后計算每個小塊的梯度直方圖;最后,將這些梯度直方圖串聯(lián)起來就形成了HOG特征向量。
1.3 分類器構(gòu)建方法
級聯(lián)Adaboost分類器是一種將多個弱分類器按照其重要性的權(quán)重疊加成的強(qiáng)分類器。首先,對樣本權(quán)重進(jìn)行初始化;然后,按照正負(fù)樣本的誤差最小化的目標(biāo),迭代更新弱分類器的權(quán)重,最終使得1分類準(zhǔn)確率最大。
1.4 訓(xùn)練樣本構(gòu)建方法
(1)在HSL空間,對彩色圖像(圖3a)H、S、L三通道分別設(shè)置二值化閾值區(qū)間為99~238、28~231、0~194。(2)對得到的二值化圖像(圖3b)取反操作(圖3c)和顆粒濾波操作(圖3d),得到馬鈴薯區(qū)域。(3)以馬鈴薯區(qū)域質(zhì)心為中心,以馬鈴薯最長邊+20(像素)為邊長,截取正方形區(qū)域為正樣本(圖3f)。(4)以正樣本區(qū)域以外,截取高度為480像素,長度隨機(jī)的區(qū)域,作為負(fù)樣本(圖3g)。(5)截取正樣本2 514張,負(fù)樣本1 200張。
1.5 訓(xùn)練分類器
設(shè)置每級分類器訓(xùn)練時所用的正樣本數(shù)目為2 514,
負(fù)樣本數(shù)目為1 200,級數(shù)為20,最小命中率為0.995,最大虛警率為0.5,分別訓(xùn)練Haar + Cascade Adaboost、LBP + Cascade Adaboost和HOG + Cascade Adaboost 3種分類器。
2 結(jié)果與分析
2.1 基于Cascade Adaboost分類器的馬鈴薯快速定位方法
(1)先將彩色圖像轉(zhuǎn)換成灰度圖像。(2)利用分類器測試。設(shè)置最小馬鈴薯區(qū)域為10×10像素,利用Haar + Cascade Adaboost、LBP + Cascade Adaboost和HOG + Cascade Adaboost 3種分類器,對7 840張灰度圖像進(jìn)行目標(biāo)檢測,得到目標(biāo)區(qū)域坐標(biāo),其中正樣本2 110張,負(fù)樣本5 730張。圖4為3種分類器檢測結(jié)果和誤判結(jié)果。
2.2 優(yōu)化前各分類器的檢測情況
由表1可知,利用Haar + Cascade Adaboost、LBP + Cascade Adaboost和HOG + Cascade Adaboost 3種分類器,對7 840張(正樣本2 110張,負(fù)樣本5 730張)灰度圖像進(jìn)行目標(biāo)檢測,3種分類器的檢出率、虛警率、總體識別率分別為83.1%、19.0%、81.6%;87.9%、13.3%、87.0%和80.4%、21.1%、79.3%。其中,LBP + Cascade Adaboost分類器的結(jié)果最優(yōu)。
2.3 優(yōu)化后各分類器的檢測情況
3種分類器對正樣本和負(fù)樣本誤判的數(shù)量較多,誤判情況主要有以下2種情況:一是馬鈴薯目標(biāo)漏檢;二是將背景區(qū)域誤判為馬鈴薯目標(biāo)。針對上述誤判情況,提出了一種候選區(qū)域二次篩選法。首先,將背景區(qū)域中誤判為馬鈴薯的區(qū)域截取作為負(fù)樣本,添加至負(fù)樣本庫;然后,重新訓(xùn)練3種分類器,對分類器輸出區(qū)域的灰度均值進(jìn)行判定,若超過30,則標(biāo)記為馬鈴薯區(qū)域,否則不標(biāo)記為馬鈴薯區(qū)域;最終輸出馬鈴薯區(qū)域坐標(biāo);結(jié)果如表2所示。經(jīng)過候選區(qū)域二次篩選法,Haar + Cascade Adaboost、LBP + Cascade Adaboost和HOG + Cascade Adaboost 3種分類器的檢出率、虛警率、總體識別率分別為91.7%、0.8%、97.2%;95.9%、0.0%、98.9%和86.7%、3.5%、93.9%。其中,仍以LBP + Cascade Adaboost分類器的結(jié)果最優(yōu)。優(yōu)化后,3種分類器的識別效果均有提升,其檢出率、虛警率、總體識別率分別提升8.6、18.2、15.6;8.0、13.3、11.9和6.3、17.6、14.6個百分點(diǎn)。
3 結(jié) 論
優(yōu)化前,Haar + Cascade Adaboost、LBP + Cascade Adaboost和HOG + Cascade Adaboost 3種分類器對
7 840張(正樣本2 110張,負(fù)樣本5 730張)灰度圖像進(jìn)行目標(biāo)檢測,其中效率最高的是LBP+ Cascade Adaboost,檢出率和總體識別率分別為87.9%和87.0%,虛警率為13.3%;這樣的結(jié)果均達(dá)不到目標(biāo)檢測的要求。因此,優(yōu)化前Haar、LBP和HOG 3種分類器均不符合馬鈴薯目標(biāo)檢測的要求。
優(yōu)化后,Haar + Cascade Adaboost、LBP+ Cascade Adaboost和HOG + Cascade Adaboost 3種分類器對7 840
張灰度圖像進(jìn)行目標(biāo)檢測,Haar+ Cascade Adaboost和LBP+ Cascade Adaboost分類器的檢出率均達(dá)到91.7%以上,虛警率均低于0.8%;其中,LBP+ Cascade Adaboost
的效果最優(yōu),檢出率和總體識別率分別為95.9%和98.9%,虛警率為0.0%;而HOG+ Cascade Adaboost的檢出率和總體識別率分別只有86.7%和93.9%,虛警率為3.5%。這說明HOG 分類器并不適用于馬鈴薯目標(biāo)檢測,而優(yōu)化后的Haar、LBP 2種分類器均可用于馬鈴薯目標(biāo)檢測,且LBP的效果優(yōu)于Haar。
參考文獻(xiàn):
[1] 蔣煥煜,應(yīng)義斌,王劍平,等. 水果品質(zhì)智能化實(shí)時檢測分級生產(chǎn)線的研究[J]. 農(nóng)業(yè)工程學(xué)報,2002,18(6):158-160.
[2] 饒秀勤,應(yīng)義斌. 基于機(jī)器視覺的水果尺寸檢測誤差分析[J]. 農(nóng)業(yè)工程學(xué)報,2003,19(1):121-123.
[3] 應(yīng)義斌,付 峰. 水果品質(zhì)機(jī)器視覺檢測中的圖像顏色變換模型[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2004,35(1):85-89.
[4] 彭紅星,鄒湘軍,陳 琰,等. 基于演化算法的水果圖像分割[J]. 農(nóng)業(yè)工程學(xué)報,2014,30(18):294-301.
[5] 周 竹,黃 懿,李小昱,等. 基于機(jī)器視覺的馬鈴薯自動分級方法[J]. 農(nóng)業(yè)工程學(xué)報,2012,28(7):178-183.
[6] 李小昱,陶海龍,高海龍,等. 基于多源信息融合技術(shù)的馬鈴薯痂
瘡病無損檢測方法[J]. 農(nóng)業(yè)工程學(xué)報,2013,29(19):277-284.
[7] 孔彥龍,高曉陽,李紅玲,等. 基于機(jī)器視覺的馬鈴薯質(zhì)量和形狀分選方法[J]. 農(nóng)業(yè)工程學(xué)報,2012,28(17):143-148.
[8] 王紅軍,熊俊濤,黎鄒鄒,等. 基于機(jī)器視覺圖像特征參數(shù)的馬鈴
薯質(zhì)量和形狀分級方法[J]. 農(nóng)業(yè)工程學(xué)報,2016,32(8):272-277.
[9] 虞曉娟,廖桂平,李錦衛(wèi),等. 基于色度域劃分的馬鈴薯綠皮檢測方法[J]. 農(nóng)業(yè)工程學(xué)報,2009,25(s2):314-319.
[10] 汪成龍,李小昱,武振中,等. 基于流形學(xué)習(xí)算法的馬鈴薯機(jī)械損
傷機(jī)器視覺檢測方法[J]. 農(nóng)業(yè)工程學(xué)報,2014,30(1):245-252.
[11] Freund Y,Schapire R E. Experiments with a new boosting algorithm[A]. Thirteenth International Conference on International Conference on Machine Learning[C]. San Francisco:Morgan Kaufmann Publishers Inc,1996.
[12] Viola P,Jones M. Rapid Object Detection Using a Boosted Cascade of Simple Features[ED/OL]. http://vision.stanford.edu/teaching/cs231b_spring1213/papers/CVPR01_ViolaJones.pdf,2001.
[13] Chen Y J. Face detection system based on adaboost algorithm[A]. Information Engineering Research Institute,USA.Proceedings of 2014 International Conference on Computational Intelligence and Industrial Engineering(CIIE2014)[C]. Texas:Information Engineering Research Institute,2014.
[14] Lienhart R,Maydt J. An extended set of Haar-like features for rapid object detection[ED/OL]. http://www.lienhart.de/Prof._Dr._Rainer_Lienhart/Source_Code_files/ICIP2002.pdf,2002.
[15] Ojala T,Pietik?inen M,M?enp?? T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis amp; Machine Intelligence,2002,24(7):971-987.
[16] Dalal N,Triggs B. Histograms of oriented gradients for human detection[ED/OL]. http://citeseer.ist.psu.edu/viewdoc/download?doi=10.1.1.101.8745amp;rep=rep1amp;type=pdf,2005.