基于HOG與支持向量機的成熟蘋果自動識別

陳珂 許林峰 柯文德

摘要：由于采摘目標(biāo)背景復(fù)雜多變，采摘機器人提取目標(biāo)時經(jīng)常會出現(xiàn)輪廓不均勻以及分割不準(zhǔn)確的現(xiàn)象。針對前期背景和目標(biāo)物的分離處理，選取了最大類間方差法即Otsu算法提取目標(biāo)物的粗輪廓，引入目標(biāo)輪廓的HOG梯度方向特征訓(xùn)練支持向量機，進而對提取的輪廓進行細篩選，實現(xiàn)自動識別目標(biāo)。以識別成熟蘋果的試驗證明，支持向量機能夠準(zhǔn)確識別單個蘋果的輪廓，準(zhǔn)確率在93%以上，并獲得了較好的識別效果。

關(guān)鍵詞：最大類間方差法；支持向量機；HOG特征；采摘識別

中圖分類號： TP391.41文獻標(biāo)志碼： A文章編號：1002-1302（2017）07-0211-05

采摘機器人視覺系統(tǒng)在野外成熟果實的識別過程中，容易受到光照強度變化以及復(fù)雜背景的干擾，在很大程度上降低采摘機器人作業(yè)的實時性和識別的準(zhǔn)確率?？焖佟?zhǔn)確地識別出果實是采摘機器人視覺系統(tǒng)最重要而關(guān)鍵的部分，因而很多學(xué)者在此領(lǐng)域進行了大量的研究。毛亮等通過模糊聚類算法自動獲取合適的初始演化曲線輪廓，然后利用水平集方法對目標(biāo)區(qū)域輪廓進行精確的提取，很好地保持了目標(biāo)區(qū)域的完整性[1]。熊俊濤等利用基于雙邊濾波的Retinex算法進行荔枝圖像增強，從而凸顯果實和果梗，降低不同光照對荔枝的干擾[2]。郭艾俠等提出基于EA與FCM相結(jié)合的策略，將荔枝果與結(jié)果母枝從已識別的荔枝串中提取出來，但是對于強光條件下的荔枝果分割所產(chǎn)生的凹陷，處理并不好[3]。孔德運等利用蟻群算法確定初始化的聚類中心，最后引入空間約束FCM對初始分割目標(biāo)區(qū)域進行提取，并且避免了FCM在迭代過程中陷入局部最優(yōu)解[4]。楊永提出了一種基于離散小波變換的圖像模型，對于傳統(tǒng)的中值濾波算法，其處理速度更加高效[5]。對于水果圖像識別的通用快速圖像分割算法，彭紅星等提出一種基于改進的雙次Otsu算法，能夠?qū)D像中的背景、果梗、果實進行粗分割和細分割，表現(xiàn)出良好的分割質(zhì)量以及穩(wěn)定性[6]。

對于環(huán)境光照變化以及干擾物的遮掩，傳統(tǒng)的分割算法處理效果并不好。為改進對果實輪廓的提取，本研究選取了YCbCr色彩空間Cr分量來提取背景，能夠有效地去除果梗以及葉子等復(fù)雜大背景信息。以Cr分量灰度圖為基礎(chǔ)，比較區(qū)域增長法、K-means、FCM以及Otsu法[7]對輪廓的識別率以及運行時間，試驗結(jié)果表明，Otsu算法對于復(fù)雜背景下的分割具有良好的效果，同時其算法復(fù)雜度也低于傳統(tǒng)的 K-means 以及FCM[8]，具有實時性高、輪廓切割平滑的特點，因此本研究選用Otsu法進行輪廓的粗提取。

結(jié)合果實輪廓特征，本研究首次引入了一種基于方向梯度直方圖（histogram of oriented gradient，HOG）特征[9]的機器學(xué)習(xí)算法。HOG特征通過計算和統(tǒng)計圖像局部梯度方向直方圖來構(gòu)成特征，對于成熟蘋果的梯度特征，建立正HOG特征集合與負HOG特征集的監(jiān)督學(xué)習(xí)來訓(xùn)練SVM，對于Otsu提取的粗輪廓，進一步來篩選成熟果實的輪廓，從而實現(xiàn)對果實的有效識別。

1蘋果輪廓提取

1.1顏色模型選擇

對于普通的RGB圖像來說，由于在野外復(fù)雜環(huán)境下會有向光、背光、遮擋等自然光的變化，因此選取一種能夠在任何光照條件下不變的特征分量是很重要的。YCbCr顏色模型[10]是色彩空間的一種，通常會用于影片中的影像連續(xù)處理，或是數(shù)字?jǐn)z影系統(tǒng)中，其中Y是亮度分量，Cb是藍色色度分量，Cr是紅色色度分量，其中RGB與YCbCr的相互轉(zhuǎn)換公式為[11]：

YCbCr顏色模型中Cr分量的取值范圍較Y分量和Cb分量集中，對于成熟蘋果的顏色空間分析，可以發(fā)現(xiàn)其在Cr紅色顏色分量的灰度化圖像中較好地保留了與背景物的顏色分量差異[12]，因此應(yīng)用YCbCr色彩空間的Cr分量具有較好的分割背景的能力。

1.2提取蘋果輪廓

Otsu法即最大類間方差法[13]，其基本思想是使用1個閾值將整個數(shù)據(jù)分成2個類，如果2個類之間的方差最大，那么這個閾值就是最佳的閾值。其中方差的定義為[14]：

式中：pi表示某樣本分布概率，μ=E（X）表示X期望值，xi表示某樣本值。若一幅圖像有L個灰度級，[1，2，…，L]表示一幅灰度圖的等級，假設(shè)通過一個灰度級為k的門限將這些像素點劃分為2類：C0和C1（背景和目標(biāo)），則C0表示灰度級為[1，…，k]的像素點，C1表示灰度級為[k+1，…，L]的像素點。那么，每一類出現(xiàn)的概率以及各類的平均灰度級分別由下面的式子給出：

式中：ω（k）=∑ki=1pi表示像素點占圖像比例，μ（k）=∑ki=1ipi表示像素點的平均灰度值，μT=μ（L）=∑Li=1ipi表示圖像的總平均灰度值。

同時定義類內(nèi)方差σ2W與類間方差σ2B、總方差β如下：

因此Otsu法目的是將目標(biāo)物從背景提取出來，即使式（10）的總體方差最大，需要使灰度從取值范圍[0，1，…，L-1]依次取值，使得方差β最大的灰度值即為最佳閾值。

2基于HOG特征的成熟蘋果輪廓分類

在得到基于顏色空間提取的輪廓特征后，還需進一步從形狀特征來提取目標(biāo)的真實輪廓，針對一些樹枝和葉子不同的輪廓形狀，需要尋找一種能夠不受光照變化和幾何變化的特征。HOG特征對于輪廓形變和光照變化具有很強的不變性，尤其是對于成熟果實這種圓形的輪廓，能夠很好地描述局部目標(biāo)表象和形狀的梯度或邊緣方向密度分布，在這里采用HOG特征作為對果實形狀的描述子。

2.1HOG特征提取

對于一幅灰度圖來說，首先需要找出檢測的目標(biāo)以及掃描窗口，為后續(xù)支持向量機的學(xué)習(xí)提供特征輸入。本研究建立了包含目標(biāo)窗口的圖片庫，在這些特征庫中，需要人為地先對這些圖片進行裁剪，建立目標(biāo)特征集，再提取HOG特征，具體過程見圖1。

2.2標(biāo)準(zhǔn)化Gamma空間和顏色空間

為減少光照度對識別的影響，需要先將灰度圖進行歸一化處理，在圖像的紋理強度中，局部表層曝光貢獻比重較大，所以這種壓縮處理能夠有效降低圖像的陰影和光照變化，Gamma壓縮公式如下，其中Gamma可取1/2。

2.3計算梯度

計算圖像橫坐標(biāo)和縱坐標(biāo)的梯度強度和方向，一般常用的方法是Sobel離散微分算子[14]，是離散性差分算子，用來運算圖像亮度函數(shù)的灰度近似值。設(shè)圖像像素點（x，y）水平方向梯度為Gx（x，y），豎直方向梯度為Gy（x，y），則有：

則像素點（x，y）處的梯度幅值和梯度方向可以表示為：

2.4構(gòu)建細胞單元梯度方向直方圖

本研究采用8×8像素細胞矩陣，以2×2的細胞矩陣為一個Block（塊）矩陣，則Block矩陣的大小為16×16，對于一個大小為64×64像素的圖像來說，可以將其劃分為64個細胞矩陣。對于每個細胞矩陣（Cell），本研究對這8×8個像素建立9個bin的直方圖，進而統(tǒng)計這64個像素的梯度信息，再將細胞矩陣的梯度方向360°分為9個方向塊。因此，需要對每個像素所在的梯度方向在直方圖中進行加權(quán)投影，并且映射到相應(yīng)的梯度方向范圍之內(nèi)，在這里，需要將梯度強度作為投影權(quán)值，其中細胞矩陣的梯度示意圖見圖2，構(gòu)建細胞單元示意圖見圖3。

2.5串聯(lián)每個細胞組成塊并統(tǒng)計每個塊的HOG特征

由于局部光照變化以及前景和背景對比度變化，在梯度運算時，其具有一個較大的取值范圍，因此需要對梯度強度進行歸一化操作。本研究將每個細胞單元在空間上串聯(lián)成一個Block的聯(lián)通區(qū)域，并且這些Block區(qū)域互有重疊，意味著每一個單元格的特征會以不同的結(jié)果多次出現(xiàn)在最后的特征向量中。這樣一方面可以有效減弱圖像局部變化的影響，另一方面也能提高特征的利用率，降低了局部圖像突變對后期支持向量機的訓(xùn)練影響。

2.6果實的輪廓特征識別

在對果實的識別過程中，訓(xùn)練集的果實輪廓特征可以分為遮掩和無遮掩2個大類，對于無遮掩的情況，其大致輪廓呈現(xiàn)為圓形，也就是單個果實能夠在輪廓上分開來區(qū)別。而對于多個果實有遮掩的情況，其輪廓特征是復(fù)雜的，對于支持向量機[15]來說，本研究首先將單個果實的HOG特征歸類為正HOG特征，而將遮掩情況歸類為負HOG特征，具體訓(xùn)練流程見圖4。

3試驗分析

本研究首先選取經(jīng)過去噪處理的513幅蘋果圖片作為訓(xùn)練集，包含在向光、背光、陰影等多種光照不同環(huán)境下的果實圖片，確保每種光照條件下的樣本數(shù)量平均分布。對于前景與背景的分離，比較了區(qū)域增長法、K-means聚類、FCM以及Otsu對圖片的分割效果，其中平均識別率R可以定義為：

式中：r表示圖中識別果實輪廓個數(shù)，rt表示圖中真實輪廓果實個數(shù)。

3.1目標(biāo)果實提取分析

由圖5至圖7可以看出，Otsu法在不同光照下，大部分都能準(zhǔn)確分割蘋果的輪廓，由表1可以看出，其中向光、背光、陰影3種光照條件下的平均識別率依次是94.6%、93.2%、877%，但是也存在對果實誤分的現(xiàn)象，比如果實被葉子、果梗遮擋，光照太弱或者太強都會影響蘋果的準(zhǔn)確分割。

在圖7中，F(xiàn)CM和K-means聚類均出現(xiàn)了誤分情況，在試驗過程中發(fā)現(xiàn)，K-means聚類受聚類數(shù)目的影響較大，由于它是以空間中k個點為中心進行聚類，因此需要考慮圖片中背景顏色的多樣性。在背景顏色大部分為綠色背景下，當(dāng)聚類數(shù)目為2，可將大部分背景與目標(biāo)物識別開來，即將目標(biāo)和背景分為一類和二類。若背景中存在果梗、葉子、土壤等多種干擾物后，會擾亂目標(biāo)物在顏色空間中的分布，導(dǎo)致將其歸為同一類，因此在試驗中，作為折中效果方案，將聚類數(shù)目設(shè)為3，能夠?qū)σ恍┍尘皬?fù)雜情況做出較好分割，同時也說明了 K-means聚類對目標(biāo)物的提取效果容易受到目標(biāo)和背景區(qū)分度以及背景復(fù)雜度的影響，其魯棒性并不強。

3.2基于輪廓特征的果實識別

在提取果實的HOG特征過程中，本研究分2步進行，首先將500幅圖片分成2類，一類是果實輪廓不重疊圖像，另一類則是果實輪廓重疊圖像。對于第1類，從原特征集中選取200幅符合條件的不重疊輪廓圖像，并建立對應(yīng)的HOG特征庫。對于支持向量機，本研究采用交叉驗證法，即首先將數(shù)據(jù)集分成n個大小相等的子集，選擇其中1個子集作為驗證集，剩余的n-1個子集將作為訓(xùn)練集訓(xùn)練SVM，在這里，采用了4-交叉驗證法，即n=4。

通過試驗可以發(fā)現(xiàn)，當(dāng)果實之間不存在遮擋的情況下，即輪廓不重疊，支持向量機對圓特征的HOG特征識別比較準(zhǔn)確；同時針對一些果實被葉子以及樹枝遮擋的情況，會因為一SVM的訓(xùn)練參數(shù)將直接影響分類的效果，比如核函數(shù) K（x，xi） 的選擇以及懲罰參數(shù)C的大小等，都會影響后續(xù)的分類，本研究首先進行對單個果實的輪廓識別，需要將多個遮掩果實以及非果實輪廓放入負HOG特征庫當(dāng)中，選用多項式核函數(shù)、徑向基核函數(shù)以及Sigmoid核函數(shù)對樣本集進行交叉驗證試驗，其中C設(shè)為5，多項式核函數(shù)的最高項次數(shù)d設(shè)為3，徑向基核函數(shù)中的函數(shù)寬度σ2=3/2，Sigmoid 核函數(shù)的 γ=2，r=0.4，測試結(jié)果見表2。

由表2可以看出，采用多項式與Sigmoid核函數(shù)的運行時間基本上差不多，其中徑向基花費時間較長，但其識別率最高，對于單個果實輪廓的識別，徑向基的識別率高達94.3%，已基本滿足采摘識別的需要，也能夠保證對實時采摘的要求。

4結(jié)論

針對以往對采摘環(huán)境下的復(fù)雜背景所帶來的干擾，選取YCbCr色彩空間下的Cr分量作為圖片的預(yù)輸入，該分量能夠?qū)庹兆兓约熬G葉所帶來的色調(diào)變化保持不變性，同時在該顏色空間下，成熟果實的深紅分量能夠明顯與背景區(qū)分開來。

比較傳統(tǒng)的區(qū)域增長法、K-means聚類、FCM以及Otsu圖像分割方法，在背景提取方面，Otsu法的平均識別率普遍高于其他3種算法，并且Otsu算法的運行效率也能夠滿足實時采摘的需要，對于一些果梗以及樹枝的分離，Otsu的分割質(zhì)量和穩(wěn)定性也表現(xiàn)較好。

基于形狀特征的識別，引入了果實的HOG特征，結(jié)合支持向量機對HOG特征的識別，試驗結(jié)果表明，對于單個不遮擋果實輪廓的識別率已達90%以上，并且識別速度基本在025 s以內(nèi)，滿足快速識別的要求。

參考文獻：

[1]毛亮，薛月菊，孔德運，等. 基于稀疏場水平集的荔枝圖像分割算法[J]. 農(nóng)業(yè)工程學(xué)報，2011，27（4）：345-349.

[2]熊俊濤，鄒湘軍，王紅軍，等. 基于Retinex圖像增強的不同光照條件下的成熟荔枝識別[J]. 農(nóng)業(yè)工程學(xué)報，2013，29（12）：170-178.

[3]郭艾俠，鄒湘軍，朱夢思，等. 基于探索性分析的荔枝果及結(jié)果母枝顏色特征分析與識別[J]. 農(nóng)業(yè)工程報，2013，29（4）：191-198.

[4]孔德運，薛月菊，毛亮，等. 基于蟻群和帶空間約束FCM的荔枝圖像分割算法[J]. 計算機工程與應(yīng)用，2013，49（7）：187-190，203.

[5]楊永. 一種離散小波域荔枝圖像處理模型[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43（3）：385-387.

[6]彭紅星，鄒湘軍，陳麗娟，等. 基于雙次Otsu算法的野外荔枝多類色彩目標(biāo)快速識別[J]. 農(nóng)業(yè)機械學(xué)報，2014，45（4）：61-68，75.

[7]胡敏，宋銀龍. 基于二維Otsu和模糊聚類的圖像分割算法[J]. 計算機應(yīng)用研究，2012，29（4）：1563-1565.

[8]Kondo N，Yata K，Iida M，et al.Development of an end-effector for a tomato cluster harvesting robot[J]. Engineering in Agriculture：Environment and Food，2010，3（1）：20-24.

[9]蔡健榮，趙杰文. 自然場景下成熟水果的計算機視覺識別[J]. 農(nóng)業(yè)機械學(xué)報，2005，36（2）：61-64.

[10]董建民，陳偉海，岳昊嵩，等. 基于Kinect視覺系統(tǒng)的西紅柿自動識別與定位[J]. 中國農(nóng)機化學(xué)報，2014，35（4）：169-173.

[11]劉立波，趙春江，吳華瑞，等. 數(shù)學(xué)形態(tài)學(xué)在作物病害圖像預(yù)處理中的應(yīng)用研究[J]. 農(nóng)機化研究，2013（8）：180-183.

[12]Bulanon D M，Kataoka T. Fruit detection system and an end effector for robotic harvesting of Fuji apples[J]. Agricultural Engineering International：CIGR Journal，2010，12（1）：203-210.

[13]姚立健，丁為民，張培培，等. 基于改進型廣義Hough變換的茄子果實位姿識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2009，25（12）：128-132.

[14]葉敏，鄒湘軍，蔡沛鋒，等. 水果采摘機器人通用夾持機構(gòu)設(shè)計[J]. 農(nóng)業(yè)機械學(xué)報，2011，42（增刊1）：177-180.

[15]歐陽俊，陸鋒，劉興權(quán)，等. 基于多核混合支持向量機的城市短時交通預(yù)測[J]. 中國圖像圖形學(xué)報，2010，15（11）：1688-1695.