基于計算機視覺的檳榔分級研究

許月明蔡健榮龔瑩輝

(1. 蕪湖職業(yè)技術學院生物工程學院，安徽 蕪湖　241003；2. 安徽師范大學環(huán)境科學與工程學院，安徽 蕪湖　241002；3. 江蘇大學食品與生物工程學院，江蘇 鎮(zhèn)江　212013)

?

基于計算機視覺的檳榔分級研究

許月明1，2蔡健榮3龔瑩輝3

(1. 蕪湖職業(yè)技術學院生物工程學院，安徽 蕪湖241003；2. 安徽師范大學環(huán)境科學與工程學院，安徽 蕪湖241002；3. 江蘇大學食品與生物工程學院，江蘇 鎮(zhèn)江212013)

檳榔品種的分級技術目前比較落后，主要靠人工完成分級，因而品種分級的質量難以得到保證。該試驗用計算機視覺技術進行品種分級，通過圖像獲取、預處理等提取其顏色特征、形狀特征和紋理特征，通過試驗分析，發(fā)現(xiàn)由顏色和形狀特征參數(shù)結合起來即可以獲得較好的效果。并對其進行主成分分析后代入支持向量機進行分級，預測集的正確識別率達到90.38%以上。

檳榔；計算機視覺；支持向量機；分級

檳榔[1](Betel Nut)屬棕櫚科多年生常綠喬木，果實長圓形或卵球形，質地堅硬，系熱帶珍貴藥用植物，其與砂仁、益智仁、巴戟天并稱四大南藥。檳榔根據其顏色、形態(tài)、紋理等外觀屬性分為4個等級，不同等級間的品質和價格差異較大。目前檳榔的分級主要依靠人工完成，而人工分級易受工作人員當時生理和心理因素影響，很難做到客觀、穩(wěn)定，計算機視覺技術對檳榔進行分級是解決這一問題的有效辦法。

檳榔分級主要包括檳榔鮮果分級和檳榔干果分級兩類。目前國內外利用計算機視覺技術研究檳榔分級的報道較少，其中干果的研究報道，僅檢索到Liu Tong等[2]研究了基于計算機視覺對檳榔的分級，主要采用形狀特征構建識別函數(shù)，通過閾值法提取區(qū)域特征向量，該方法僅僅反應檳榔外形特征，對于發(fā)生病變的檳榔容易發(fā)生誤判，影響整體識別準確率。本研究在文獻[2]的基礎上進行改進，通過提取檳榔的顏色特征、形狀特征和紋理特征，綜合分析3種特征參數(shù)，結合主成分分析和支持向量機的方法實現(xiàn)檳榔自動分級，以彌補該研究的缺陷。

1　試驗材料

試驗所用的檳榔樣本均由湖南胖哥食品有限責任公司提供，2015年2月生產，產地湖南湘潭。檳榔的級別已由廠家專業(yè)人員通過評定來確定等級，分別為極品、金條、泡果、小果，按照品種級別依次分為4個級別。其中：1級果(極品)的特征是有究頭，如圖2所示，有很深的紋路包括縱向紋和橫向紋，長度一般在55 mm以上；2級果(金條)的特征是表面紋路較深且比例較均勻，長度在50 mm以上；3級果(泡果)的特征是其肚子的直徑比較大，一般大于25 mm且表面紋路相對較淺、較光滑，長度與2級果類似；4級果(小果)的特征是其長度小于50 mm。

2　圖像處理

檳榔圖像處理流程見圖1。

2.1圖像獲取

通過預試驗發(fā)現(xiàn)，用黃色的滾輪和用白紙板做背景時效果最佳。試驗過程中，為了消除光線強度等外界試驗條件對圖像采集的影響，采用了直射加漫反射的光源系統(tǒng)。分別將單個檳榔樣本置于光源箱中的樣品臺上，用工業(yè)黑相機進行圖像采集。對每個檳榔樣本分別采集圖像5次，采集后的圖像信息以RGB形式存放備用。

2.2圖像預處理

首先將獲得的原始圖像分解為R、G、B 3個單通道圖像，比較各分量灰度直方圖分布，發(fā)現(xiàn)G通道圖像的直方圖峰谷比較明顯，因此選用 G 值作為閾值分割的特征值，在簡化運算的同時，又可以較好地提取出檳榔圖像[3]。由于果梗對檳榔的分級也有一定影響，所以要將檳榔的果梗去除。利用數(shù)學形態(tài)學的方法可以提取出檳榔的果梗[4]，即用圖像開運算和閉運算等對其進行操作，再將閾值分割后的圖像減去果梗圖像，即得到去除果梗后的圖像(見圖2)。再經過一些操作，即可以獲得最終用于提取各特征參數(shù)的檳榔圖像，即感興趣區(qū)域(ROI)。

2.3特征提取

基于計算機視覺獲取檳榔的外部特征主要包括顏色特征、形狀特征及紋理特征3個方面[5]。

圖2　檳榔預處理前后圖像

2.3.1顏色特征提取在檳榔分級時，檳榔的顏色是一個重要特征。檳榔的顏色一般以棕褐色為主，有的偏深，有的偏淺，不同等級的檳榔顏色也有所差別。鑒于一種顏色系統(tǒng)很難將不同品種的檳榔區(qū)分開來，因此結合RGB顏色模型和HSI顏色模型來提取檳榔的顏色特征[6]。RGB模型沒有直觀地與顏色概念建立起聯(lián)系。因此，首先將 RGB 模型轉換為HSI(hue-saturation-intensity)顏色模型，HSI模型的特點是I分量與圖像的彩色信息無關及H和S分量與人體感受顏色的方式緊密相連，這比較符合人類對顏色的理解[7]。

從預處理后的檳榔圖像區(qū)域中分別提取出紅色、綠色、藍色及色調、飽和度、強度的平均灰度值(μR、μG、μB、μH、μS、μI)和平均灰度偏差值(δR、δG、δB、δH、δS、δI)，共12個顏色特征參數(shù)。

2.3.2外形特征提取根據檳榔的圖像特點，求出其最小外接矩形，然后分別計算出檳榔的面積、長度、寬度、周長，再通過特征參數(shù)的組合，最后得到檳榔的面積、長度、寬度、周長、長寬比、檳榔面積與最小外接矩形面積的比值、凸性、圓度，共8個形狀特征參數(shù)。

2.3.3紋理特征提取紋理也是檳榔分級的重要指標之一。不同等級的檳榔表面紋理不同，有的紋理粗，有的紋理細，存在一定的規(guī)律性，是一種準規(guī)則紋理，因而采用統(tǒng)計分析方法里的灰度共生矩陣法來提取特征參數(shù)。由于檳榔的主要紋理是0°方向的，因而選取90°方向的灰度共生矩陣。在提取紋理特征參數(shù)時取檳榔的中間一段以減少檳榔頭尾紋理對其的影響。最終提取了90°方向的能量、相關性、均勻性、對比度值及圖像的平均灰度值、平均灰度偏差值和熵值，共7個紋理特征參數(shù)。

3　檳榔分級

本試驗采用支持向量機(Support Vector Machine，SVM)模式識別方法來建立模型。SVM是20世紀90年代形成的一種新的模式識別方法，它將向量映射到一個更高維的空間里，在這個空間里建立有一個最大間隔超平面[9]。SVM算法目前廣泛應用于圖形分類、圖像識別、生物信息采集等領域。本試驗數(shù)據由HALCON 9.0軟件通過編程導出，其中對特征參數(shù)數(shù)據的主成分分析是基于SPSS軟件。

3.1SVM核函數(shù)類型及其參量的確定

SVM建立模型時核函數(shù)的選擇非常重要，目前核函數(shù)類型較多，不同種類的核函數(shù)對其建立的模型性能影響顯著。試驗中選擇徑向基函數(shù)得到的擬合效果較好，因為徑向基函數(shù)可以將非線性樣本數(shù)據映射到高維特征空間，處理具有非線性關系的樣本數(shù)據[10]，另外徑向基函數(shù)取值(0K>1)簡單。本試驗選擇徑向基核函數(shù)的核參數(shù)gamma為0.02和Nu為0.05的條件下建立的模型。

3.2主成分數(shù)的確定

由于所獲得到的數(shù)據之間存在一定的相關性，因而選取合適的主成分數(shù)對模型的建立有著重要的影響。一般情況下，如果選取的主成分數(shù)偏少，有可能出現(xiàn)信息損失過多，將大大降低模型識別率；同等條件下，如果選取的主成分數(shù)偏多，又會引入過多的冗余信息，這些冗余信息的介入會降低模型的預測性能，造成模型的魯棒性降低，同時使數(shù)據處理的時間加長[11]。因此，通過主成分分析選擇合理的主成分是有效提升檳榔預測識別率的重要手段之一。

3.3識別結果

本試驗共拍了4類檳榔，第一類共拍了93幅圖像，第二類共拍了210幅圖像，第三類共拍了186幅圖像，第四類共拍了239幅圖像，總共728幅圖像?，F(xiàn)將訓練集與預測集按3∶1的比例進行訓練預測，并分別測試訓練集和預測集中各類檳榔的識別率，用以權衡SVM模型性能指標參數(shù)。

3.3.1單一類特征的識別率首先將提取出的顏色特征、形狀特征及紋理特征參數(shù)分別單獨代入支持向量機，以其全部特征參數(shù)進行判斷識別，比較各個特征對分類的影響，其預測集和訓練集的判斷結果見圖3～5。

由圖3～5可知，顏色特征和形狀特征對檳榔分級的影響較大，紋理特征對其影響較小，但當它們各自單獨作用時不管是預測集，還是訓練集的分類的效果都不是很好。因而考慮將各個特征結合來，比較各自的識別率。

圖3　　　　在顏色特征參數(shù)下各等級檳榔在預測集和訓練集中的識別率

Figure 3The recognition rate of Betel Nut of each grade in prediction set and training set which use color feature parameters

圖4　　　　在形狀特征參數(shù)下各等級檳榔在預測集和訓練集中的識別率

Figure 4The recognition rate of Betel Nut of each grade in prediction set and training set which use shape feature parameters

圖5　　　　在紋理特征參數(shù)下各等級檳榔在預測集和訓練集中的識別率

Figure 5The recognition rate of Betel Nut of each grade in prediction set and training set which use texture feature parameters

3.3.2各特征組合后的識別率將各個特征參數(shù)進行組合，即顏色特征與形狀特征結合，顏色特征與紋理特征結合、形狀特征與紋理特征結合，比較各全特征參數(shù)下各個組合預測集和訓練集的識別率，結果見圖6～8。

由圖6～8可知，圖6的預測集和訓練集的識別率都達到了比較好的效果，相比之下，圖7、8顯示的檳榔識別率就略低一點。

結合顏色特征、形狀特征與紋理特征，在各全特征參數(shù)下，預測集和訓練集的識別率結果見圖9。

由圖9可知，結合顏色特征、形狀特征與紋理特征，其預測集和訓練集的識別率都達到了比較好的效果。但與圖6比較，它們之間的差別卻不明顯。

圖6　　　　在顏色和形狀特征參數(shù)下各等級檳榔在預測集和訓練集中的識別率

Figure 6The recognition rate of Betel Nut of each grade in prediction set and training set which use color and shape feature parameters

圖7　　　　在顏色和紋理特征參數(shù)下各等級檳榔在預測集和訓練集中的識別率

Figure 7The recognition rate of Betel Nut of each grade in prediction set and training set which use color and texture feature parameters

圖8　　　　在形狀和紋理特征參數(shù)下各等級檳榔在預測集和訓練集中的識別率

Figure 8The recognition rate of Betel Nut of each grade in prediction set and training set which use shape and texture feature parameters

圖9　　　　在所有特征參數(shù)下各等級檳榔在預測集和訓練集中的識別率

Figure 9The recognition rate of Betel Nut of each grade in prediction set and training set which use all feature parameters

3.3.3最佳特征組合在不同主成分下的識別率綜上所述，當選擇顏色和形狀特征時，預測集和訓練集的識別率都較好，再添加紋理特征參數(shù)時，對各識別率的提升不大，且會增加運行時間。因而僅將顏色和形狀特征參數(shù)帶入模型進行運算，并對顏色和形狀特征參數(shù)進行主成分分析，在不降低識別率的情況下簡化數(shù)據，提高速度。在選擇顏色和形狀特征下，不同主成分數(shù)對模型預測集和訓練集的識別率見圖10～11。

圖10　　　　不同等級的檳榔在不同主成分數(shù)下預測集的識別率

Figure 10The recognition rate of different grades Betel Nut in prediction set which is under the different number of principal component

圖11　　　　不同等級的檳榔在不同主成分數(shù)下訓練集的識別率

Figure 11The recognition rate of different grades Betel Nut in training set which is under the different number of principal component

由圖10、11可知：隨著主成分數(shù)的增加，模型的識別率呈現(xiàn)增加趨勢，當主成分數(shù)達到12后，其識別率基本趨于恒定狀態(tài)。因為當主成分數(shù)達到12時，特征參數(shù)的累計方差貢獻率為99.745%，這12個主成分幾乎能全部反映圖像的20個特征變量的原始信息。且綜合考慮以1、2等級的識別率高為主，故將主成分數(shù)確定為12。

選擇檳榔顏色和形狀特征共20個參數(shù)，分別是RGB和HIS各分量的平均灰度值和平均灰度偏差值及檳榔的面積、長度、寬度、周長、長寬比、檳榔面積與最小外接矩形面積的比值、凸性、圓度。根據上述的主成分分析，圖像特征參數(shù)的最佳主成分數(shù)為12。因此，將12個主成分作為支持向量機的輸入因子，并選用徑向基函數(shù)作為支持向量機的核函數(shù)，在核參數(shù)gamma為0.02和Nu為0.05的條件下，進行訓練建立模型。該模型訓練集的識別結果見表1，其平均識別率約為99.86%，模型預測集的識別結果見表2，其平均識別率約為96.14%。

表1　檳榔在訓練集中的識別結果

表2　檳榔在預測集中的識別結果

4　結論

本試驗應用計算機視覺技術并輔以模式識別對檳榔分級進行識別判斷，以4個等級的檳榔為研究對象，對獲取的圖像提取顏色、形狀和紋理特征，通過試驗發(fā)現(xiàn)有顏色和形狀特征即可以獲得較好的識別率。再對顏色和形狀特征參數(shù)進行主成分分析提取相應的主成分輸入到支持向量機模型對檳榔進行識別。在模型建立過程中，選取徑向基函數(shù)(RBF)作為核函數(shù)，經過主成分分析發(fā)現(xiàn)，主成分數(shù)為12時建立的模型最佳，訓練集平均識別率約為99.86%，預測集的平均識別率約為96.14%。試驗結果表明應用根據檳榔的顏色和形狀特征，采用支持向量機的模式識別方法，利用計算機視覺技術將不同等級的檳榔識別出來是可行的。該試驗為計算機視覺技術對檳榔的在線分類提供了參考。

[1] 黃麗云, 劉立云, 李艷, 等. 海南主栽檳榔品種鮮果性狀評價[J]. 熱帶作物學報, 2014, 5(2): 313-316.

[2] LIU Tong, XIE Jian-bin, HE Yi-zheng, et al. An automatic classification method for betel nut based on computer vision[C]// Proceedings of the 2009 IEEE International Conference on Robotics and Biomimetics, 19-23 Dec. Guilin: [s. n.], 2009: 1 264-1 267.

[3] 李明, 房俊龍, 喬翊博, 等. 基于機器視覺黃瓜果實自動分級方法[J]. 農機化研究, 2016(11): 229-233.

[4] 劉燕德, 鄧清. 高光譜成像技術在水果無損檢測中的應用[J]. 農機化研究, 2015(7): 227-231, 235.

[5] 施健, 何建國, 張冬, 等. 基于計算機視覺鮮棗大小分級系統(tǒng)研究[J]. 食品與機械, 2013, 29(5): 134-137.

[6] 紀濱, 許正華, 胡學鋼, 等. 基于顏色的食品品質檢測技術現(xiàn)狀及展望[J]. 食品與機械, 2013, 29(4): 229-232, 236.

[7] 王養(yǎng)廷. 基于SVM的遙感圖像自動分類研究[J]. 計算機仿真, 2013, 30(6): 378-381, 385.

[8] LEEMANS V, MAGEIN H, DESTAIN M. Apple shape inspection with computer vision[C]// Proceedings of the FPAC IV Conference. Florida: [s. n.], 1997: 316-327.

[9] 田洪貞. 基于嵌入式系統(tǒng)人臉識別方法的研究[D]. 青島: 青島科技大學, 2012: 23-38.

[10] 趙杰文, 呼懷平, 鄒小波. 支持向量機在蘋果分類的近紅外光譜模型中的應用[J]. 農業(yè)工程學報, 2007(4): 149-152.

[11] 荊園園, 田源. 基于支持向量機核函數(shù)算法的圖像分割研究[J]. 紅外技術, 2015, 37(3): 234-239.

Study on grading of betel nuts by computer vision

XU Yue-ming1,2CAIJian-rong3GONGYing-hui3

(1.SchoolofBiologicalEngineering,WuhuVocationalTechnicalCollege,Wuhu,Anhui241003,China;2.CollegeofEnvironmentalScienceandEngineering,AnhuiNormalUniversity,Wuhu,Anhui241002,China;3.SchoolofFoodandBiologicalEngineering,JiangsuUniversity,Jiangsu,Zhenjiang212013,China)

Current technologies for grading betel nuts remain rudimentary and heavily rely on manual inspection, which results in no assurance over grading quality. This paper describes a betel nut grading method based on the computer vision technology, which comprises image capture and pre-processing to collect characteristics such as color, shape, and texture. It is observed that combining both color and shape characteristics leads to satisfactory grading results. This method can reach a recognition rate over 90.38% following principle components analysis (PCA) and a support vector machine (SVM) algorithm.

betel nut; computer vision; support vector machine; classification

安徽省自然科學基金重點項目(編號：KJ2016A763)；安徽省高等教育振興計劃重大教學改革研究項目(編號：2014zdjy154)；安徽省質量工程項目食品技術人才實訓中心校企合作實踐教育基地項目(編號：2013sjjd036)

許月明，女，蕪湖職業(yè)技術學院副教授，碩士。

蔡健榮(1966—)，男，江蘇大學教授，博士，博士生導師。E-mail: jrcai@ujs.edu.cn

2016-05-06

10.13652/j.issn.1003-5788.2016.08.022