基于機器視覺的核桃仁特征提取與分級方法研究

周 軍， 蔡 建， 郭俊先， 張 靜， 史建新， 艾力·哈斯木， 姜彥武

(新疆農業(yè)大學機電工程學院，新疆烏魯木齊 830052)

核桃是新疆的特色果品，在經過破殼初加工后得到的核桃仁顏色深淺不同、大小各異。不同大小和顏色的核桃仁價格差異較大，用途也不同，因此核桃仁分級系統(tǒng)的研究在核桃加工生產中具有重要意義。目前對核桃仁分級技術的研究仍處于起步階段，我國核桃仁大小分級仍主要靠人工進行分揀，這種方法不僅過程繁瑣、效率低下，同時還容易受人的主觀因素影響，不能保證分級的客觀性和標準化。為了實現(xiàn)對核桃仁大小、顏色的快速檢測、分選，判別核桃仁級別，采用機器視覺技術構建核桃仁RGB圖像采集系統(tǒng)，分析不同尺寸大小與顏色不同核桃仁的光學特性和成像特點，分析確定每一級別核桃仁的特征值，建立較優(yōu)的核桃仁特征提取、分級方法、分選算法、識別模型，最終為今后該領域設備的研發(fā)奠定研究基礎。郭俊先等采用基于特征優(yōu)選方法確定41個主要特征，二次判別函數(shù)的判別分析法來分級蘋果，驗證集分級準確率達到98.7%[1]；李衛(wèi)軍等對信號采集與處理部件通過提取玉米籽粒胚面的SIFT特征來判斷籽粒屬性，并將屬性結果發(fā)送給籽粒分選部件，分選部件根據結果控制直線滑臺的運動以實現(xiàn)籽粒篩選，系統(tǒng)對單倍體的正確識別率為95%[2]；韓仲志等測量每個花生籽粒的54個外觀特征，采用主分量分析(PCA)進行特征優(yōu)化，構建并比較BP神經網絡(ANN)和支持向量機(SVM)品質檢測模型，檢測完全正確率達到了92%[3]；張龍翔等提出了采用計算機視覺的花生外觀品質的檢測分析方法，并基于圖形用戶界面(GUI)環(huán)境建立仿真平臺，建立了3層神經網絡進行相關的品質和品種識別，總體識別率達到了96%以上[4]；陳紅基于計算機視覺提取破損區(qū)域的顏色特征，基于模式匹配，建立了以RGB顏色信息為特征參數(shù)的破損花生仁檢測系統(tǒng)，實現(xiàn)完好花生仁與破損花生仁的自動識別，檢測準確率為80.12%[5]；宋鵬等基于計算機視覺設計了玉米單倍體自動分選系統(tǒng)，分選系統(tǒng)主要由種子輸送單元、圖像采集處理單元、分揀卸料單元及系統(tǒng)控制單元組成，采用氣吸方式分離雜合體籽粒，系統(tǒng)分揀速度可達500粒/min[6]。針對人工核桃仁分選主觀因素影響大、速度慢、耗時長、衛(wèi)生條件難以保證等缺點，通過運用VS2010和OpenCV2.4.9圖像數(shù)據庫對采集到的樣本圖像進行處理，研究出提取最優(yōu)特征集和分分級算法，提高分級系統(tǒng)的準確率。

要實現(xiàn)在線快速準確進行核桃仁分級，必須解決2個關鍵問題。其一是特征提取，確定何種算法或方法可以獲得核桃仁等級數(shù)據，表征的信息量最大，該技術是核心；其二是核桃仁分選方法，要滿足識別速度快、準確度高、穩(wěn)定性好的要求，是關鍵技術之一。

1 材料與方法

1.1 材料

本檢測分級系統(tǒng)分為硬件和軟件2個部分，硬件部分由核桃仁輸送系統(tǒng)、恒大工業(yè)數(shù)字攝像機、圖像采集系統(tǒng)、分級執(zhí)行機構組成，軟件部分由設計分級軟件界面的VS2010和提供機器視覺的函數(shù)庫的OpenCV和Windows7 PC操作系統(tǒng)組成。

如圖1所示，輸送系統(tǒng)將核桃仁輸送至工業(yè)相機下，圖像采集系統(tǒng)拍下核桃仁圖像，圖像處理軟件系統(tǒng)進行圖像處理，并將分級信號輸出給分級執(zhí)行機構，氣動電磁閥結構信號指令后動作，完成分級任務，因此分級軟件中的核桃仁分級特征和分級方法至關重要，直接決定分級的速度和準確率。

1.2 方法

1.2.1 顏色空間轉換 從核桃仁等級來看，核桃仁顏色分為淡黃、淡琥珀、深色3種(人眼視覺的辨別)，相機拍攝的數(shù)字圖像使用RGB顏色空間表達，即以紅、綠、藍三原色的混合表示物體顏色，是一種與硬件相關的顏色模型。但RGB空間結構并不符合人們對顏色相似性的主觀判斷，所以本研究將RGB空間轉換為符合人眼對顏色主觀認識的HSV顏色空間，并主要在HSV顏色空間進行顏色特征的提取。

HSV顏色空間模型，即用H(色調)、S(飽和度)和V(明度)表征顏色，如圖2所示。

給定RGB顏色空間的值(r，g，b)，其中r，g，b∈[0，255]，設m=max(r，g，b)，n=min(r，g，b)，則轉換到HSV空間的h、s、v值算法為：

(1)

(2)

(3)

if(h<0)，h=b。

(4)

這里h∈[0，360]，s∈[0，1]，v∈[0，1]。

OpenCV中使用函數(shù)cvtColor()實現(xiàn)圖像空間的轉換，并使用函數(shù)split()進行顏色通道的分離。此處需要注意的是空間轉換函數(shù)使用參數(shù)COLOR_BGR2HSV轉換后h∈[0，179]，使用參數(shù)COLOR_BGR2HSV_FULL轉換后h∈[0，255]，2種轉換均有s∈[0，255∈[0，255]。

1.2.2 顏色特征提取 本研究使用顏色直方圖和顏色矩的方法提取核桃仁顏色特征。

顏色直方圖描述不同色彩在圖像中所占的比例，具有圖像縮放和旋轉不變性，即對于核桃仁動態(tài)分級下位置不一致時具有良好的魯棒性。由圖3可知，色調分布在0°～360°的圓上。將色調等間隔量化為180等份(bin)，分別隨機選取淡黃色仁、淡琥珀色仁以及等外仁各10個，作色調直方圖如圖3所示，其縱坐標為對應色調區(qū)間像素所占的頻率，從直方圖中可以看出各等級核桃仁的色調主要分布在0～30范圍內，即紅色到黃色(0°～60°)的范圍，則可以提取0～30共31個色調頻率作為一部分色調特征，組成基于顏色直方圖的從bin0～bin30的31個色調特征。OpenCV計算直方圖的函數(shù)為calcHist()，本研究采用掩膜的方式計算直方圖，即只計算核桃仁區(qū)域，去除核桃仁區(qū)域外零值像素的影響。

顏色矩是一種簡單有效的顏色特征表示方法。由于圖像的顏色信息主要分布在低階矩中，所以其一階矩(均值)、二階矩(方差)和三階矩(偏度)足以表達圖像顏色分布。3個顏色矩的數(shù)學公式如下所示：

(5)

(6)

(7)

式中：pi，j表示彩色圖像第i個通道像素j的值。OpenCV中使用函數(shù)meanStdDev()求得圖像的均值與標準差，但并沒有計算偏度的函數(shù)可供使用，可在圖像均值的基礎上編寫計算偏度的C++代碼，其中需要注意的是函數(shù)pow()(乘方函數(shù))不能對負數(shù)開三次方，可對其取絕對值開三次方后取負。為減小光源變化對圖像特征提取的影響，此處選擇圖像的色調H和飽和度S，分別計算其3個低階矩Hμ、Hv、Hs和Sμ、Sv、Ss組成表達顏色分布的6個特征。

結合基于色調直方圖的31個顏色特征和基于顏色矩的6個特征，本研究共提取與核桃仁圖像顏色有關的37個特征作為核桃仁顏色分級的原始特征。

1.2.3 完整度特征提取 通過分析不同完整度核桃仁的特點，可以選取2個特征表征核桃仁完整度的差異，分別是核桃仁輪廓面積與其最小外接圓面積的比值以及輪廓最小外界矩形長寬比。本研究為避免相機高度對核桃仁數(shù)據的影響，故暫不采用直接提取面積的方式判斷完整度。

由圖4知核桃仁輪廓最小外接矩形長寬比為：

(8)

其中輪廓最小外接矩形由OpenCV中minAreaRec()函數(shù)求得。核桃仁輪廓面積與其最小外接圓輪廓面積之比為：

(9)

其中核桃仁輪廓面積S由輪廓面積函數(shù)contoursArea()計算，最小外接圓由函數(shù)minEnclosingCircle()求得。

分別對10個四分仁和二分仁的這2種形狀特征K1、K2作散點圖(圖5和圖6)，可以看出，這2個特征的值均可較為容易地區(qū)分這2種不同的完整度。

Hu矩為圖像的幾何不變矩[7]，是利用二階和三階中心矩構造的7個矩，它們在圖像平移、旋轉和比例變化時保持不變，可用于輪廓形狀識別。M×N的平面數(shù)字圖像(離散化)f(x，y) 的(p+q)階原點矩與中心矩以及歸一化中心矩定義為：

(10)

(11)

(12)

Hu矩的數(shù)學定義為：

I1=y20+y02；

(13)

(14)

I3=(y30+3y)2+(3y21-y03)2；

(15)

I4=(y30+y12)2+(y21+y03)2；

(16)

I5=(y30-y12)(y30+y12)[(y30+y12)2-3(y21+y03)2]+(3y21-y03)(y21+y30)[3(y30+y12)2-(y21+y03)2]；

(17)

I6=(y20-y02)[(y30+y12)2-(y21+y03)2]+4y11(y30+y12)(y21+y03)；

(18)

I7=(3y21+y03)(y30+y12)[(y30+y12)2-3(y21+y03)2]+(y30-3y12)(y21+y30)[3(y30+y12)2-(y21+y03)2]。

(19)

OpenCV中使用函數(shù)moments()計算輪廓的中心矩，函數(shù)HuMoments()用來計算其Hu不變矩。結合K1、K2，則可構成與核桃仁形狀相關的9個特征用于辨別核桃仁的完整度。

2 結果與分析

2.1 建立原始特征矩陣

通過人工分級，取不同等級核桃仁樣本各30個，通過以上圖像處理與特征提取方式得到30×5個樣本特征的數(shù)據。對于OpenCV和Matlab，它們對圖像特征處理函數(shù)的輸入量均為矩陣，且多數(shù)函數(shù)要求矩陣的每一行(Row)為一個樣本，每一列(Col)為一個特征，則由所有樣本的特征數(shù)據可得到用于特征選擇與模型訓練的訓練矩陣150(Row)×46(Col)，其中Col代表的特征如表1所示。由于不同特征之間的數(shù)值可能相差較大，一些特征選擇算法對此類數(shù)據較為敏感，如mRMR算法，可能造成特征選擇不準確的情況，將訓練矩陣中每一列數(shù)據進行歸一化處理可避免這種情況，本研究將訓練矩陣通過OpenCV歸一化函數(shù)normalize()將每一列的數(shù)值線性映射到[0，1]區(qū)間內。根據5個等級的劃分，建立對應的標簽矩陣150行(與樣本矩陣一一對應)1列，內容為整數(shù)1～5表示5個等級。需要注意的是OpenCV中分類器規(guī)定訓練數(shù)據需要以float型(浮點型CV_32FC1)保存。

表1 特征與列號對照

2.2 基于mRMR的特征選擇

mRMR(最大相關最小冗余)算法是一種在保證最大相關性的同時，又去除冗余特征的方法[8]。算法利用互信息衡量特征子集中特征與特征之間、特征與類別之間的相關度，互信息是2個隨機變量統(tǒng)計相關性的測度，可以看成是一個隨機變量中包含的關于另一個隨機變量的信息量，或者是一個隨機變量由于已知另一個隨機變量而減少的不確定性。mRMR可有效減少特征向量中的冗余特征，設2個隨機變量(X、Y)的聯(lián)合分布為p(x，y)，邊際分布分別為p(x)、p(y)，則互信息I(X;Y)為聯(lián)合分布p(x，y)與乘積分布p(x)p(y)的相對熵，其公式定義為：

(22)

對于離散型變量衡量，通過以下公式使得相關性最大和冗余性最小：

(23)

(24)

式中：S為特征集合；c為目標類別；I(xi；c)為目標類別c與特征i之間的互信息，I(xi；xj)為特征i與j之間的互信息。

對多元變量Sm和目標類別c，互信息定義為：

(25)

則可定義max(D-R)或max(D/R)來統(tǒng)籌考慮相關性與冗余性，作為評價特征的準則，即互信息差(MID)與互信息商(MIQ)。對有m個特征的數(shù)據集Sm，需要從數(shù)據集{S-Sm}中選擇使得D-R最大化的第m+1個特征為：

(26)

使得D/R的最大化的第m+1個特征為：

(27)

使用基于mRMR的MID、MIQ這2種算法對訓練樣本矩陣進行特征選擇，取算法選擇的前15個特征如表2所示。

表2 MID、MIQ特征選擇結果

2.3 基于機器學習的核桃仁分級

經mRMR的MID和MIQ特征選擇算法對特征重要性做了排序[9]，但不能確定到底使用幾個特征對分類效果最好，因此，本研究分別對選擇后的特征采用序列向前選擇(SFS，屬于啟發(fā)式搜索)的方法選擇訓練集，即從1個特征開始，每次加入1個特征，組成訓練集，分別送入3個分類器中進行訓練，生成相應模型。

另取不同等級核桃仁各30個作為測試樣本，使用各個模型對這批測試樣本的靜態(tài)圖像作分級測試，對MID算法選擇的特征序列，其測試效果如圖7所示。橫坐標為加入的特征，縱坐標為分級正確率，可以看到SVM在使用11個特征后分級正確率達到最大值85.33%，決策樹在使用3個特征后正確率達到最大值96.00%，樸素貝葉斯在使用3個特征后正確率達到最大值97.33%。

對MIQ算法選擇的特征序列，其測試效果如圖8所示。可以看到由于選擇的前3個特征相同，決策樹與樸素貝葉斯效果與MID算法一致，但對于使用較多特征的支持向量機，在使用5個特征后即達到最大正確率85.33%。

用以上ReliefF算法篩選的特征集作為樣本訓練數(shù)據(特征按照算法排好的順序組成訓練矩陣)，使用OpenCV決策樹類進行特征選擇時，使用CvDtree：：getVarImportance()函數(shù)計算特征的重要性。去除重要性為0的特征，留下3個重要特征為：K1、bin19和bin17。用這3個特征重新訓練決策樹、SVM和樸素貝葉斯模型，對測試樣本進行訓練的效果如表3所示。

表3 決策樹選擇特征測試效果

2.4 分析

在靜態(tài)樣本圖像下，通過對不同特征選擇算法的測試可知，幾種特征選擇算法對重要特征的選擇很接近，且樸素貝葉斯分類器的效果均要好于其他2個分類器，支持向量機的分類效果最差。若使用支持向量機分類，當選用最少5個特征bin19、K1、bin15、bin16和bin13訓練分類器時，分類正確率達到最大為85.33%；若使用決策樹分類，當選用3個特征bin19、K1和bin15訓練分類器時，分類正確率達到最大為 96.00%；若使用樸素貝葉斯分類，當選用3個特征bin19、K1和bin15訓練分類器時，分類正確率達到最大為97.33%。

綜上所述，本次試驗可選擇特征bin19、K1和bin15，并利用分類效果最佳的樸素貝葉斯分類方法對核桃仁進行分級，對不同等級的分類效果如表4所示。

表4 樸素貝葉斯模型分級效果

3 結論

首先將核桃仁圖像從RGB顏色空間轉換到HSV顏色空間，在色調直方圖的基礎上提取了核桃仁色調圖像從紅色到黃色(0°～60°)范圍內的31個顏色特征， 基于顏色矩的方法

提取了色調和飽和度各3個低階矩共6個特征，然后與核桃仁輪廓面積與其最小外接圓面積的比值以及輪廓最小外界矩形長寬比2個完整度特征組成原始特征集，利用mRMR特征選擇算法篩選原始特征集并對特征的重要性進行排列，最后通過對支持向量機、決策樹和樸素貝葉斯3種機器學習算法進行模型訓練和測試，得出在使用特征bin19、K1和bin15訓練樸素貝葉斯分類器時，分類正確率達到最大為97.33%的結論。

參考文獻：

[1]郭俊先，李俊偉，胡光輝，等. 新疆冰糖心紅富士蘋果RGB圖像多指標分析[J]. 新疆農業(yè)科學，2013，50(3)：509-517.

[2]李衛(wèi)軍，劉玉梅，陳紹江，等. 基于機器視覺的玉米單倍體自動分選系統(tǒng)[J]. 農機化研究，2016(1)：81-85.

[3]韓仲志，趙友剛. 基于計算機視覺的花生品質分級檢測研究[J]. 中國農業(yè)科學，2010，43(18)：3882-3891.

[4]張龍翔 .基于計算機視覺的花生品質檢測分析平臺[J]. 微計算機信息，2011(9)：134-136.

[5]陳 紅. 基于計算機視覺的花生仁外觀品質無損檢測方法的研究[D]. 武漢：華中農業(yè)大學，2008.

[6]宋 鵬，吳科斌，張俊雄，等. 基于計算機視覺的玉米單倍體自動分選系統(tǒng)[J]. 農業(yè)機械學報，2010，41(增刊1)：249-252.

[7]丁幼春，陳 紅，熊利榮. 計算機視覺技術在花生仁表皮破損檢測中的應用[J]. 糧油加工，2007(8)：93-95.

[8]劉建軍，姚立健，彭樟林. 基于機器視覺的山核桃等級檢測技術[J]. 浙江農業(yè)學報，2010，22(6)：854-858.

[9]方建軍，劉仕良，張 虎. 基于機器視覺的板栗實時分級系統(tǒng)[J]. 輕工機械，2004(3)：92-94.