非結(jié)構(gòu)環(huán)境下基于HoG與SVM的汽車油箱蓋視覺檢測方法

梁銘裕，黃平，劉修泉

(1.華南理工大學(xué)機械與汽車工程學(xué)院，廣東廣州 510640；2.佛山職業(yè)技術(shù)學(xué)院機電工程學(xué)院，廣東佛山 528137)

0 前言

隨著無人系統(tǒng)技術(shù)的發(fā)展，以人為主導(dǎo)的傳統(tǒng)模式向著以機器人為主導(dǎo)的智能化模式轉(zhuǎn)換。機器人技術(shù)的發(fā)展為加油站提供了新的服務(wù)方式——加油機器人，利用傳感器定位汽車及油箱門和油箱口，控制系統(tǒng)指揮機器人自動完成加油。油箱蓋的識別不僅在無人智能加油站中有著較好的應(yīng)用前景，在未來電動汽車的智能充電系統(tǒng)中也有潛在的應(yīng)用價值。張新良等采用形態(tài)學(xué)與Hough變換相結(jié)合的方法檢測圓形油箱蓋，該方法不能用來檢測任意形狀的油箱蓋并且油箱蓋尺寸以及油箱蓋與相機的距離范圍是規(guī)定的，在油箱蓋檢測中靈活性低。在自然光照條件下對油箱蓋進行位置檢測，需要先對圖像進行增強處理以突出油箱蓋與覆蓋件之間的板縫區(qū)域。此類問題類似于裂縫檢測，通常先對圖像進行增強處理再進行裂縫特征提取和分析。周穎和劉彤采用圖像增強、形態(tài)學(xué)運算、連通區(qū)域標(biāo)記和碎片拼接等方法實現(xiàn)裂縫檢測。TALAB等使用Sobel算子對混凝土圖像進行濾波并使用Otsu閾值分割完成裂縫邊緣檢測。LIU等提出一種具有魯棒性的基于多尺度增強和視覺特征的裂紋檢測框架，先使用引導(dǎo)濾波和梯度多尺度增強，再進行閾值處理以提取裂縫。WANG等提出一種多種自適應(yīng)濾波和增強對比度的裂縫圖像處理方法，并采用Otsu的局部自適應(yīng)算法實現(xiàn)裂縫檢測。

在自然光照條件下采集到的包含油箱蓋的汽車圖像具有如下特點：圖像對比度低，油箱蓋與汽車覆蓋件之間板縫較為模糊；有些汽車覆蓋件因為不潔凈導(dǎo)致表面粗糙度高，從而對光線反射不均勻，有些則過于光滑導(dǎo)致產(chǎn)生高反光區(qū)域；光照的變化和各種原因?qū)е碌脑肼晻罄m(xù)處理產(chǎn)生很大影響。數(shù)學(xué)形態(tài)學(xué)方法可以根據(jù)圖像感興趣目標(biāo)的形態(tài)特征增強圖像，保留有用信息的同時可以去除噪聲。據(jù)此，提出非結(jié)構(gòu)環(huán)境下基于HoG與支持向量機(Support Vector Machines,SVM)的汽車油箱蓋視覺檢測方法。采用多尺度底帽變換可以有效突出板縫信息并且濾去背景的影響，利用改進的最大熵閾值分割與連通區(qū)域方法可以定位出目標(biāo)候選區(qū)域，再利用HoG特征和SVM分類以獲得準確識別出汽車油箱蓋的效果。

1 油箱蓋檢測算法

油箱蓋檢測算法的流程如圖1所示。

圖1 汽車油箱蓋檢測算法流程

首先，采用最大值法對圖像進行灰度化；接著，采用平均濾波法進行去噪處理；然后，用多尺度底帽變換提取圖像暗細節(jié)特征；再用改進的最大熵閾值算法求出閾值并進行二值化；針對二值化圖像，通過連通區(qū)域分析得出目標(biāo)候選區(qū)域；最后，提取目標(biāo)候選區(qū)域的HoG特征描述子并輸入到SVM二分類器進行精確檢測。

1.1 圖像預(yù)處理

1.1.1 灰度化

灰度圖是由白到黑不同灰度級組成的單色圖像，圖像中每一個像素只有一個灰度值。通常情況下，灰度級范圍為[0,255]。將RGB色彩空間圖像進行灰度化，通常有以下4種方法：分量法、最大值法、平均值法和加權(quán)平均法。對于油箱蓋檢測,需要提取油箱蓋與汽車覆蓋件之間的板縫，板縫在3個通道圖像中均具有相近的灰度而覆蓋件的灰度差別大。因此，采用最大值法可以提高板縫和覆蓋件的對比度，即：

=max{,,}

(1)

1.1.2 均值濾波

汽車圖像在采集過程中會受到各種噪聲干擾，影響后續(xù)檢測。圖像去噪過程即通過濾波算法去噪。汽車表面上的灰塵、污跡會降低圖像質(zhì)量，預(yù)處理算法選用均值濾波法平滑圖像。均值濾波法是將目標(biāo)像素及其鄰域像素取平均值。在新圖中，對應(yīng)位置的灰度為所求得的平均值，即：

(2)

其中：為中心在(,)處，大小為×的矩形窗口。

圖2所示為對采集的汽車圖像中部分原圖像進行預(yù)處理后的結(jié)果。

圖2 部分汽車原圖預(yù)處理后圖像

1.2 多尺度底帽變換

由于汽車油箱蓋與覆蓋件之間的板縫的灰度較周圍的低，為增強板縫與覆蓋件之間對比度以及去除圖像中的噪聲，選用底帽變換(Balck Top-Hat，BTH)對圖像進行處理。這樣可提取具有最小灰度的板縫信息，同時可以消除光照不均和解決覆蓋件存在高反光區(qū)域的問題。

基于灰度圖像的數(shù)學(xué)形態(tài)學(xué)方法是二值圖像形態(tài)學(xué)的擴展，將二值圖像形態(tài)學(xué)中的交、并運算擴展為灰度形態(tài)學(xué)中的最大、最小值運算。底帽變換是灰度圖與灰度腐蝕、膨脹相結(jié)合的一種復(fù)合運算?；舅阕尤缡?3)—式(6)所示。

設(shè)為輸入圖像，為結(jié)構(gòu)元素，和分別為和的定義域，則：

灰度膨脹為

(3)

灰度腐蝕為

(4)

灰度開運算為

°(,)=(?)⊕

(5)

灰度閉運算為

·(,)=(⊕)?

(6)

開運算是先用結(jié)構(gòu)元素對原始圖像進行灰度級腐蝕操作，再進行膨脹，可以用來去除灰度圖中比結(jié)構(gòu)元素小的灰度較高的區(qū)域。閉運算是先進行膨脹后進行腐蝕操作，可以用來去除灰度圖中暗細節(jié)部分。

用閉運算結(jié)果減去原圖像，這種操作稱為底帽變換，可以提取小于結(jié)構(gòu)元素的暗細節(jié)特征并去除光照不均勻的影響，定義為

(,)=·(,)-(,)

(7)

灰度級底帽變換可以提取圖像的暗細節(jié)特征，采用不同尺度的結(jié)構(gòu)元素進行底帽變換可以得到不同尺度下的暗細節(jié)特征，有選擇地放大需要的特征就可以實現(xiàn)增強局部對比度。因此，數(shù)學(xué)形態(tài)學(xué)的重點是結(jié)構(gòu)元素的選擇。底帽變換的結(jié)構(gòu)元素是提取板縫信息的決定性因素，結(jié)構(gòu)元素過大會加入較多的噪聲，過小會漏掉有用的信息。因此，采用多結(jié)構(gòu)元素自適應(yīng)提取圖像不同尺度下的暗細節(jié)特征。多尺度結(jié)構(gòu)元素定義如下：

=⊕…⊕…

(8)

其中：為初始選擇的結(jié)構(gòu)元素；為尺度參數(shù)，即大尺度結(jié)構(gòu)元素由初始結(jié)構(gòu)元素膨脹-1次得到。因此，第個尺度下由底帽變換提取的圖像暗區(qū)域BTH, 定義為

BTH,(,)=·-

(9)

(10)

(11)

圖3所示為多尺度底帽變換提取暗細節(jié)特征，為方便顯示，將圖像取反。可以看出，經(jīng)過多尺度底帽變換后的汽車圖像，油箱蓋的板縫信息在局部區(qū)域更加突出，并且可以減少光照不均、高反光區(qū)域和表面不潔凈的影響。

圖3 多尺度底帽變換

1.3 改進最大熵閾值分割

最大閾值分割法是將圖像劃分成目標(biāo)區(qū)域和背景區(qū)域，使目標(biāo)熵和背景熵的和取得最大值時的閾值為最優(yōu)閾值。方法如下：

(12)

(13)

背景區(qū)域和目標(biāo)區(qū)域的熵分別表示為

(14)

(15)

最大熵閾值分割法是通過最大化目標(biāo)熵和背景熵的和來確定閾值，最佳閾值計算公式為

(16)

通常，經(jīng)過底帽變換的汽車圖片直方圖接近單峰分布，主要都是背景區(qū)域，其像素值分布在較低的區(qū)域，而候選目標(biāo)區(qū)域占有少數(shù)比例，所以閾值應(yīng)該使目標(biāo)比例1-()盡量小，相當(dāng)于使·()盡量大。因此，最佳閾值可以通過最大化目標(biāo)熵()和·()的和來確定。最佳閾值計算公式為

(17)

式(17)中的用來控制()的作用程度。用得出的閾值對圖像進行分割得出二值化圖像，如圖4所示。

圖4 改進最大熵閾值二值化

1.4 目標(biāo)候選區(qū)域提取

閾值分割后的汽車圖像由板縫像素點、干擾噪聲像素點、背景像素點組成。根據(jù)油箱蓋板縫的特征信息，采用提取連通區(qū)域方法，先進行去噪，后提取連通區(qū)域的外接矩形，通過計算外接矩形的長寬比和面積判斷是否能選為候選區(qū)域。具體算法步驟如下：

(1)用八連通區(qū)域標(biāo)記二值圖像；

(2)統(tǒng)計各個連通區(qū)域的面積并設(shè)置閾值，將小于閾值的連通區(qū)域視為噪聲點并去除；

(3)計算剩余連通區(qū)域的外接矩形的長寬比，=(、分別為的長和寬)，保留長寬比0.5<<2的連通區(qū)域；

(4)計算剩余連通域外接矩形的面積，將面積符合一定范圍的連通域判定為目標(biāo)候選區(qū)域。

目標(biāo)候選框檢測結(jié)果如圖5所示。

圖5 目標(biāo)候選框檢測

1.5 HoG特征提取

HoG特征基于圖像梯度或邊緣方向密度分布的統(tǒng)計來描述局部目標(biāo)的形狀和外觀。通常將目標(biāo)圖像劃分為等份的細胞單元格，分別計算每個單元格的方向梯度直方圖，將這些直方圖串聯(lián)起來組成目標(biāo)區(qū)域的HoG特征描述子。

根據(jù)油箱蓋外形特點，對油箱蓋進行特征建模，采用最大值灰度圖的HoG特征。將HoG特征模型特征窗口大小設(shè)計為128像素×128像素，細胞單元格設(shè)計為16像素×16像素，每個細胞單元格的直方圖通道設(shè)置為9個。由于光照不均勻和對比度的變化會使梯度強度有較大的變化，需要對梯度強度做歸一化處理。HoG特征在一個塊中進行梯度強度的歸一化處理，設(shè)計塊的大小為2像素×2像素，移動步長為16，由此得出的HoG特征維數(shù)為1 764維。

1.6 SVM分類器訓(xùn)練

汽車油箱蓋的檢測本質(zhì)是一個二分類模式識別問題，因此可以借助二值分類器進行檢測。SVM具有優(yōu)越的分類性能，在分類樣本量較少的情況下也能獲得較好的分類性能。因此，采用SVM作為汽車油箱蓋檢測的判決器，提取樣本圖像的HoG特征進行訓(xùn)練。

分類器訓(xùn)練時采用的正樣本為汽車油箱蓋區(qū)域圖像，負樣本分為兩種：一種是不含油箱蓋的區(qū)域，另一種是與油箱蓋真值框重疊面積占20%～50%的目標(biāo)候選框。用于SVM模型訓(xùn)練的正樣本個數(shù)為600個，負樣本個數(shù)為1 000個。為提高樣本多樣性以提高分類器性能，正樣本的圖片質(zhì)量比較豐富，亮度偏低和偏高、反光、污跡和運動模糊等在樣本中都有所體現(xiàn)，部分正樣本如圖6所示。負樣本的選擇也比較豐富，包括環(huán)境背景、車身、車身與環(huán)境背景相交區(qū)域和與油箱蓋邊緣較為相似的汽車輪轂局部區(qū)域，部分負樣本如圖7所示。

圖6 正樣本

圖7 負樣本

2 實驗結(jié)果及分析

原圖像來源于手機的實拍圖片，采集不同拍攝角度、不同拍攝距離、不同拍攝背景、不同顏色的500幅大小為1 920像素×1 440像素的汽車圖像進行分析，每幅汽車圖像均僅有一個油箱蓋。其中，兩個實例的檢測結(jié)果如圖8所示。在汽車油箱蓋目標(biāo)檢測實驗中規(guī)定，如果目標(biāo)檢測框與真值框之間的IoU值大于0.7，則認為該目標(biāo)檢測是一個有效檢測。定義有效率為有效檢測數(shù)與圖像總數(shù)之比。首先，分析改進的最大熵閾值算法采用不同的常數(shù)時對檢測效果的影響，并對比不同閾值分割算法的效果；再分析多尺度底帽變換的處理效果，并與單尺度底帽變換對比；最后，從檢測精度、查全率和查準率方面對文中方法的檢測性能進行分析。

圖8 文中算法檢測效果

2.1 改進最大熵閾值分割效果分析

式(17)中常數(shù)是控制變量，不同的取值得到的閾值不同，對圖像的分割效果也不一樣。為選擇合適的值，取不同的值進行測試，分析有效率，得出當(dāng)=0.8時可取得較好的效果。

分別采用最大熵、目標(biāo)最大熵、Otsu閾值與改進的最大熵4種閾值分割算法進行實驗，對汽車油箱蓋檢測的性能影響進行對比，結(jié)果如表1所示。改進的最大熵閾值算法得出的有效率比其他3種算法高，閾值比其他方法低，可使分割后的圖像中油箱蓋板縫盡量不出現(xiàn)斷裂。

表1 不同閾值方法的檢測結(jié)果

2.2 底帽變換效果分析

底帽變換法對汽車圖像暗細節(jié)特征提取的效果主要依賴于結(jié)構(gòu)元的尺度大小，提取效果直接影響油箱蓋檢測的有效率。采用大小為5像素×5像素的圓形結(jié)構(gòu)元素為初始元素，并對多種單一尺度下的結(jié)構(gòu)元素進行測試，結(jié)果如表2所示。可以得出：采用多尺度的底帽變換的檢測效果最好。

表2 不同尺度結(jié)構(gòu)元素底帽變換的檢測效果

2.3 汽車油箱蓋檢測結(jié)果分析

對文中方法從檢測精度、查全率和查準率進行分析。其中,各個指標(biāo)評價標(biāo)準如下：

其中:為正確檢測到油箱蓋數(shù)量;為誤檢的油箱蓋數(shù)量;為漏檢數(shù);為剔除的非目標(biāo)區(qū)域個數(shù)。

對500幅汽車圖像進行實驗，正確檢測出的油箱蓋數(shù)量為430，誤檢數(shù)為33，漏檢數(shù)為14，剔除的非目標(biāo)區(qū)域數(shù)量為766,則得出查全率為96.85%，查準率為92.87%，檢測精度為96.22%?？傮w來說，文中采用的汽車油箱蓋視覺檢測算法具有良好的檢測效果。

3 結(jié)論

本文作者提出了一種非結(jié)構(gòu)環(huán)境下基于HoG與SVM的汽車油箱蓋視覺檢測方法。首先,對待檢測圖片進行灰度化并進行平均值濾波操作，再采用多尺度底帽變換提取暗細節(jié)特征，該方法可以消除光照不均和高反光區(qū)域的影響；對底帽變換后的圖像采用改進的最大熵閾值算法進行二值化，再通過連通區(qū)域方法進行去噪并提取外接矩形，根據(jù)外接矩形的面積和長寬比進行篩選,得出目標(biāo)候選區(qū)域；然后,采用基于HoG特征的SVM分類器對候選區(qū)域進行精確檢測。對500幅汽車圖像進行了實驗，結(jié)果表明:該方法可以準確地檢測油箱蓋目標(biāo)，并且有較高的檢測率，誤報較少，可以有效地解決光照不均、存在高反光區(qū)域和表面不潔凈等問題。

由于實際環(huán)境非常復(fù)雜，在一些情況下仍存在漏檢和誤檢現(xiàn)象，尤其在低照度、運動模糊、嚴重的投影透視變換和存在涂鴉圖案的場景下較為明顯。后續(xù)研究工作中，可以加入更加完備的樣本數(shù)據(jù)并優(yōu)化分類器的性能，加入更加有效的圖像處理算法,以提高油箱蓋檢測的有效率。