基于機器視覺的汽車角窗玻璃混線檢測算法

李建興，林華良，俞斌，陳煒，林晨煌，黃詩婷

(1.福建工程學(xué)院 電子電氣與物理學(xué)院，福建 福州，350118;2.福建省工業(yè)集成自動化行業(yè)技術(shù)開發(fā)基地，福建 福州，350118；3.福州市工業(yè)集成自動化行業(yè)技術(shù)創(chuàng)新中心，福建 福州，350118；4.福耀集團汽車玻璃有限公司，上海，200000)

由于汽車玻璃的制造工藝復(fù)雜，需要采用分段式生產(chǎn)，在生產(chǎn)和運輸過程中，一些外觀、材質(zhì)相近的玻璃容易混雜到一起，故而在包裝前需要對其進行混線檢測，解決目標的識別與匹配問題[1]。目前國內(nèi)大型的汽車玻璃廠商主要是依靠人工對汽車玻璃進行混線檢測[2]。

計算機視覺已被廣泛應(yīng)用于圖像檢索、文字識別、人臉識別、醫(yī)學(xué)圖像分析、機器人導(dǎo)航等諸多領(lǐng)域[3]。在現(xiàn)有的基于特征的圖像匹配技術(shù)中，幾何矩特征已經(jīng)成為了重要的特征區(qū)域集。文獻[4]提出先利用幾何矩進行輪廓匹配，保留每一次匹配過程中重疊窗口區(qū)域的計算結(jié)果在下一次匹配中使用，但計算復(fù)雜、耗費計算機內(nèi)存大，在高分辨率圖像匹配中無法快速檢索。文獻[5]先利用 Canny 算子提取兩幅圖像的輪廓，計算兩個輪廓的幾何矩，進行相似度度量完成形狀匹配，但該算法精度不高，無法準確定位。文獻[6]結(jié)合幾何矩和圖像偏轉(zhuǎn)角進行分段擬合，實現(xiàn)對車道的快速檢測，但該算法檢測準確率不高且抗干擾能力較差。

目前的檢測技術(shù)主要是利用輪廓特征進行匹配。對于角窗玻璃而言，有些型號的角窗玻璃輪廓一樣，材質(zhì)卻不相同。若僅依靠上述檢測技術(shù)無法實現(xiàn)準確的混線檢測。由于汽車玻璃材質(zhì)的不同主要在于成分與厚度，成分的不同主要表現(xiàn)為顏色的區(qū)別，而厚度的改變同樣也能影響顏色的深淺。本課題提出利用機器視覺技術(shù)進行輪廓檢測的同時融合顏色特征進行汽車玻璃的材質(zhì)與厚度的檢測，實現(xiàn)混線檢測。

1 汽車玻璃的特征分析

汽車玻璃的特征包含3個方面：輪廓特征、材質(zhì)特征和厚度特征。輪廓特征主要表現(xiàn)為外形輪廓的不同。對不同形狀的汽車玻璃提取其輪廓特征，用低階幾何矩表示。如圖1所示為部分不同輪廓的檢測對象。對其中a、b、c3種輪廓不同的玻璃進行研究，其中b、c玻璃形狀較為相似，a玻璃與b、c玻璃輪廓差異較大。用n1、n2和n3表示幾何矩的1到3階幾何矩。由表1可得，不同的汽車玻璃，幾何矩具有較大的不同。

圖1 檢測對象Fig.1 Detection objects

普通玻璃配料中需加入0.4%～0.7%的著色劑，不同的著色劑使得玻璃帶上不同的色彩，在數(shù)字圖像中則表現(xiàn)為色彩信息的不同，主要分為白玻-C(clear)、藍玻-B(blue)、綠玻-G(green)、SOLAR綠玻-SG(solar green)、茶玻-Z(bronze)和灰波-Y(gray)等6大類。厚度特征的變化也會導(dǎo)致色彩信息發(fā)生變化。汽車玻璃越厚，色彩越濃重。不同材質(zhì)與厚度的汽車玻璃樣片，其命名規(guī)則是以數(shù)字則代表厚度，單位為mm，英文字母代表玻璃材質(zhì)，例如2.0C、3.5SG、4.0G等。

表1 汽車玻璃幾何矩輪廓信息

將不同材質(zhì)與厚度的玻璃樣片置于同一位置，在光線均勻的情況下進行汽車玻璃樣片的圖像采集，對每一張所采集的圖像隨機抽取3 000個點的色彩信息數(shù)據(jù)，取平均數(shù)作為該玻璃樣片的色彩信息。部分采集到的不同材質(zhì)與厚度的汽車玻璃樣片的色彩信息如表2所示，用R、G、B 3個分量的數(shù)值來表示色彩信息。

表2 部分不同材質(zhì)與厚度的汽車玻璃色彩信息

觀察表2可知，同一厚度不同材質(zhì)的汽車玻璃色彩差異較大，易于區(qū)分；不同厚度同一材質(zhì)的汽車玻璃的色彩信息差異較小，但仍然遵循隨著厚度的增加，色彩信息變得更加濃重的規(guī)則，在表2中則表現(xiàn)為R、G、B分量的數(shù)值的降低。

綜上可知，外形的不同可用輪廓特征辨別，材質(zhì)與厚度的不同則可用色彩特征辨別，因此，采用輪廓特征信息和色彩特征信息進行汽車玻璃的混線檢測具有一定的可行性。

2 基于改進幾何矩的汽車玻璃輪廓檢測

在輪廓檢測中，形狀描述符的選擇決定了匹配算法的性能。有學(xué)者比較了輪廓檢測中4種重要的輪廓描述符的優(yōu)缺點，包括傅里葉描述符、曲率尺度空間描述符、角度徑向變換和圖像矩描述符，結(jié)果表明圖像矩描述符比其他3種方法可靠度更高，性能優(yōu)異[7,8]。故而選擇利用圖像矩描述符進行玻璃輪廓的描述。

2.1 改進的幾何矩輪廓匹配算法

2.1.1 改進的幾何矩輪廓匹配算法流程

在實際的生產(chǎn)線中，鏡頭到傳送帶的距離是固定的，因此在本課題的匹配算法中無需使用幾何矩的縮放不變性。為了去除縮放不變性的影響，本課題在傳統(tǒng)幾何矩匹配算法上增加了面積特征進行輪廓檢測。在進行幾何矩計算時已獲得面積特征，因此改進的幾何矩匹配算法不會增加額外的計算量，不影響實時檢測速度。改進的幾何矩匹配算法的流程如圖2所示。

圖2 改進幾何矩匹配算法流程圖Fig.2 Improved geometric moment matching algorithm flow chart

2.1.2 改進的圖像匹配策略

(1) 形狀相似性計算

(1)

式中，i=1,2,···,7，分別用于表示圖像的1～7階幾何矩。

利用式得到圖像A和圖像B的形狀相似性I(A,B)，其中I(A,B)越小，相似度越高。

(2)

(2)面積相似性計算

設(shè)SA和SB分別為兩張圖像上汽車玻璃的區(qū)域面積，可以通過計算零階原點矩m00獲得。S(A,B)為兩張圖像的面積相似性函數(shù)，如式(3)所示。S(A,B)的值越小，說明兩張圖像的面積越接近。

(3)

(3)綜合相似度計算

為了綜合考慮形狀相似性和面積相似性對匹配結(jié)果的影響，利用形狀相似性I(A,B)和面積相似性S(A,B)的加權(quán)綜合值作為輪廓檢測相似程度的判斷依據(jù)，如式(4)所示。若綜合值小于閾值，則表示誤差在允許范圍，輪廓匹配成功。

I(A,B)+α·S(A,B)<δ1

(4)

式中，α的取值為2；δ1是用于判斷輪廓相似性的閾值，本研究取0.1。

當式(4)的不等式成立時，當前檢測的玻璃即為排產(chǎn)玻璃；不等式左側(cè)的值越小，待測玻璃與模板玻璃的輪廓相似性越大。若待測玻璃與模板玻璃的外形輪廓完全一樣，但只要兩者的面積相差超過5%，面積相似性S(A,B)≥0.05，用本算法就能夠判斷出兩片玻璃的不同。

實際上，雖然鏡頭和輸送帶的相對位置固定，但是輸送帶運轉(zhuǎn)起來后總會有微小的抖動，導(dǎo)致輸送帶上的玻璃也會產(chǎn)生上下抖動，因此鏡頭和玻璃間的距離每次都會有微小變化，即使是從排產(chǎn)型號的玻璃采集到的玻璃圖像的大小也會與模板圖像存在微小的變化。為避免上述情況影響檢測的結(jié)果，允許待測圖像與模板圖像的面積相差5%以內(nèi)。

2.2 輪廓檢測的實驗與結(jié)果分析

2.2.1 輪廓檢測實驗設(shè)計

為了驗證提出的檢測算法的準確性和魯棒性，分別采用傳統(tǒng)的幾何矩匹配算法和改進的幾何矩匹配算法對檢測對象進行匹配測試。檢測對象為圖2所示的4種汽車玻璃，其中玻璃c與d外觀較為相似，視覺檢測上容易出現(xiàn)誤判。

第一組實驗的測試對象均為與模板圖像同一品類的玻璃。以玻璃a為例，第一組實驗將玻璃a與其經(jīng)過平移和旋轉(zhuǎn)后的同品類玻璃進行匹配測試。第二組實驗的測試對象為與模板玻璃外形輪廓一模一樣，但大小不一樣的玻璃。以玻璃a為例，將同品類的玻璃圖像經(jīng)過等比例縮放后與玻璃a的模板圖像進行匹配測試。第三組實驗測試對象是將圖2中的1種玻璃與其他3種玻璃進行匹配測試。

2.2.2 測試結(jié)果與分析

表3為圖1所示的4種汽車玻璃的前4階幾何矩和與其對應(yīng)的面積特征。n1、n2、n3和n4表示幾何矩的1到4階幾何矩，表征汽車玻璃的輪廓信息，面積大小表示在圖像中汽車玻璃黑色區(qū)域所占像素區(qū)域大小。

表3 檢測對象的輪廓與面積特征數(shù)據(jù)

玻璃a與d的輪廓和面積大小有較大不同，體現(xiàn)在表3中顯示為低階幾何矩的極大不同和面積差異較大；玻璃b、c的輪廓與面積大小均較為接近，在表3中則表現(xiàn)為低階幾何矩與面積大小的差異較小。

表4為采用傳統(tǒng)的幾何矩匹配算法的檢測結(jié)果。第一組測試數(shù)據(jù)表明傳統(tǒng)的幾何矩匹配算法對自身匹配(平移和旋轉(zhuǎn))的識別率較高，其準確率在95%以上。第二組測試數(shù)據(jù)表明當測試對象與模板玻璃外形輪廓一模一樣，大小不一樣時，準確率非常差。傳統(tǒng)幾何矩算法無法區(qū)分等比例縮放后的玻璃圖像與模板圖像的不同，這將導(dǎo)致該算法無法檢測出外形輪廓非常相似但大小不同的玻璃。第三組測試結(jié)果的準確率較低，主要是由于傳統(tǒng)的幾何矩匹配算法對于輪廓相近(例如玻璃c與d)的圖像無法較為準確地進行識別。

表4 傳統(tǒng)幾何矩匹配算法

表5為改進的幾何矩匹配算法的檢測結(jié)果。改進的算法保留了傳統(tǒng)算法對自身匹配(平移和旋轉(zhuǎn))的優(yōu)良性能，成功識別出了縮放后的玻璃與原玻璃的區(qū)別，準確率在99%以上，也提高了對其他品類玻璃的識別率，準確率在96%以上。

表5 改進的幾何矩匹配算法

3 基于色彩信息的汽車玻璃材質(zhì)和厚度檢測

汽車玻璃在生產(chǎn)過程中添加了不同的著色劑形成了不同的顏色。玻璃的色彩濃度也會隨厚度的變化而變化。色彩檢測的算法流程如圖3所示。

圖3 色彩檢測流程圖Fig.3 Color detection flow chart

3.1 邊緣色彩信息的處理

色彩檢測需要對汽車玻璃的原圖像進行色彩分析，先對原圖像進行濾波處理，排除異常區(qū)域，使預(yù)處理后的圖像能夠呈現(xiàn)出汽車玻璃的真實色彩。

彩色圖像在數(shù)字系統(tǒng)中是用RGB色彩分量的三維數(shù)組來表示的，故而預(yù)處理時需要對圖像的每個色彩分量分別進行均值濾波處理。

由于汽車玻璃具有黑色邊界部分(包括黑邊和標簽區(qū)域)，若直接采用均值濾波進行平滑處理會導(dǎo)致位于邊緣位置的像素值出現(xiàn)明顯的模糊現(xiàn)象。圖4為直接進行均值濾波后部分邊界圖像，其中標記部分為異常部分，若在信息采集時采集到該區(qū)域的色彩信息，會導(dǎo)致所采集的色彩信息不符合真實的汽車玻璃的色彩信息。

圖4 均值濾波后部分邊界圖像Fig.4 Part of the boundary image after mean filtering

為了防止上述現(xiàn)象導(dǎo)致最后得到的色彩數(shù)據(jù)不精準，結(jié)合形態(tài)學(xué)處理技術(shù)和感興趣區(qū)域提取技術(shù)，完成對邊緣色彩信息異常區(qū)域的剔除。首先利用感興趣區(qū)域提取技術(shù)獲得掩模板；再對掩模板進行形態(tài)學(xué)操作，令得到的掩模板的掩蓋區(qū)域擴大，在圖像中則表現(xiàn)為黑色區(qū)域變大、白色區(qū)域減小，由此獲得經(jīng)形態(tài)學(xué)處理后的掩模板如圖5所示。

圖5 掩模板Fig.5 Mask

最后，對已完成均值濾波的原彩色圖像進行掩模板覆蓋，得到的結(jié)果如圖6所示。圖6(b)為邊緣部分的局部放大圖，與圖4比，圖6(b)的邊緣部分不存在模糊區(qū)域。

圖6 均值濾波結(jié)果圖Fig.6 Mean filtering results

3.2 色彩匹配數(shù)據(jù)的確定

獲得玻璃的R、G、B色彩分量數(shù)據(jù)后，若用R、G、B分量直接作為判斷依據(jù)，因為色彩相近的兩塊玻璃的單個R、G、B分量的差值非常小，甚至小于設(shè)定的閾值，容易造成檢測錯誤。為了避免上述問題，需在進行色彩數(shù)據(jù)比對前，對采集到的R、G、B數(shù)據(jù)先進行預(yù)處理，以便獲得以下這3個數(shù)據(jù)：C1( R、G、B分量之和)、C2(R分量占3個分量的比例)和C3(G分量占3個分量的比例)。利用這3個數(shù)據(jù)可以擴大玻璃色彩數(shù)據(jù)的差異，提高檢測的正確性。

3.3 采集量的確定

色彩信息的采集將影響汽車玻璃材質(zhì)與厚度的確定，而采集量N的大小將影響玻璃色彩信息的準確性和數(shù)據(jù)采集的速度。在工業(yè)現(xiàn)場，影響色彩信息的因素有很多，例如灰塵、污漬、光照不均等因素。N較大時，能準確地呈現(xiàn)出色彩信息，它是通過降低異常值所占采集量的比例來減小外界因素對于色彩的影響，降低了偶然性，但計算量較大，增加采樣和處理時間；N值較小時，計算量小，處理時間短，但異常值對于色彩信息的影響較大，對于兩塊色彩十分近似的汽車玻璃，采集到的數(shù)據(jù)會較容易出現(xiàn)誤判。綜合考慮計算速度和精度，N值取值為500。

3.4 汽車玻璃色彩匹配策略

為了實現(xiàn)色彩檢測，設(shè)計的匹配策略如下：設(shè)A為被測汽車玻璃圖像，通過檢測能夠獲得3個待匹配數(shù)據(jù)分別記為CA1、CA2和CA3。設(shè)B為標準玻璃，它的3個匹配數(shù)據(jù)分別為CB1，CB2和CB3，采用歐式距離來衡量A，B兩塊玻璃的色彩相關(guān)性，如式(5)～(7)所示。

(5)

(6)

(7)

式中，δ2、δ3和δ4是設(shè)定的比較閾值。經(jīng)實驗確定，色彩信息最接近的兩塊玻璃，其δ2、δ3和δ4的差值分別為9、5、5 pixel，比較閾值需保留一定余量，經(jīng)歸一化處理后，取δ2、δ3和δ4的值分別為0.010、0.013、0.013。只有當式(5)(6)(7)均成立時才表明A和B的材質(zhì)與厚度是相同的。

3.4.1 色彩檢測實驗設(shè)計

玻璃的原料成分和厚度會影響玻璃的色彩。當玻璃較薄時，白玻(C)與綠玻(G)的色彩難以區(qū)分；當玻璃較厚時，綠玻(G)與綠玻(SG)的色彩難以區(qū)分。故而取材質(zhì)為2.0C、2.1C、2.1G、2.1SG、3.5G 、3.5SG、4.0G、4.0SG和4.2SG的汽車玻璃各20片作為測試玻璃，每片均采集5組數(shù)據(jù)；并以2.0C、2.1C、3.5G和4.0G的汽車玻璃作為標準對象，進行色彩匹配實驗。如表6所示為部分汽車玻璃的色彩模板數(shù)據(jù)。

表6 部分汽車玻璃色彩模板

3.4.2 材質(zhì)與厚度檢測結(jié)果分析

表7為色彩檢測的匹配結(jié)果，由表7數(shù)據(jù)可見存在部分匹配失敗案例。分析圖像，發(fā)現(xiàn)型號一致但厚度不同的汽車玻璃，其色彩數(shù)據(jù)差異相對較小，色彩數(shù)據(jù)受外界影響較大，不能完全準確區(qū)分同型號厚度相近的汽車玻璃。例如當以2.0C為模板時，會將部分2.1C的待測圖像誤判為2.0C或?qū)⒉糠?.0C的待測圖像誤判為2.1C。

表7 色彩檢測實驗結(jié)果

雖然存在部分匹配失敗的情況，但在進行材質(zhì)與厚度的檢測時，所提的色彩匹配策略能很好的識別出待測圖像中的模板玻璃型號，平均檢測準確率達到了99.50%。由此可知，利用色彩檢測來實現(xiàn)汽車玻璃材質(zhì)與厚度的檢測方法是可行且有效的。

4 混線檢測的實驗與結(jié)果分析

4.1 混線檢測實驗設(shè)計

將上述的輪廓檢測部分與色彩檢測部分進行統(tǒng)合，對待檢測玻璃分別進行輪廓檢測與色彩檢測，當任意檢測環(huán)節(jié)匹配失敗則表示此待檢測玻璃不符合規(guī)格要求，生產(chǎn)線上出現(xiàn)混線現(xiàn)象。

分別取厚度為2.0、2.1、3.5、4.0 mm的白玻(C)、綠玻(G)和綠玻(SG)各10塊，其輪廓形狀有非常相似的也有差異較大的，共計120塊汽車玻璃。分別以這12種不同的汽車玻璃作為模板與這120塊玻璃進行匹配實驗，統(tǒng)計其錯判的次數(shù)和匹配時間，以驗證算法的準確性與快速性。

4.2 混線檢測結(jié)果分析

運行環(huán)境：計算機(配置為：Intel(R) Core(TM) i5-7400 CPU，主頻3.0 GHz，內(nèi)存16 GB)，操作系統(tǒng)為Windows10 專業(yè)版，開發(fā)語言為MATLAB R2018a，圖像大小為2048*2592*3。在此環(huán)境下系統(tǒng)平均匹配一張圖像的時間為1.32 s。

汽車玻璃生產(chǎn)線的運行速度在15～20 m/min，一塊中等大小的汽車角窗玻璃的長度約0.5 m，兩塊玻璃之間同時存在0.1 m以上間隔。以最快的運行速度20 m/min計算，兩塊玻璃經(jīng)過同一點的間隔時間為2.00 s，大于1.32 s，符合實際要求。

表8為混線檢測實驗結(jié)果，由表8可知，混線檢測準確率普遍高于95%以上。12組實驗中，有10組實驗的準確率為高于97% ，其中有4組實驗的準確率為100%，平均檢測成功率達到 98.62%，具有較高的準確性，適用于工業(yè)現(xiàn)場。

表8 混線檢測實驗結(jié)果

5 結(jié)論

1)改進不變矩算法，增加了面積特征對汽車玻璃進行外形上的檢測，提高檢測正確率的同時對檢測效率幾乎不產(chǎn)生影響。

2)在進行色彩檢測時，利用改進的均值濾波算法，降低由灰塵、光照、污漬等引起的偶然性，并針對傳統(tǒng)的均值濾波算法產(chǎn)生的邊界模糊問題，結(jié)合形態(tài)學(xué)處理和感興趣區(qū)域提取技術(shù)，解決了傳統(tǒng)均值濾波算法導(dǎo)致的邊界模糊問題。

3)結(jié)合改進的色彩匹配策略實現(xiàn)了材質(zhì)與厚度不同的辨別。提出的結(jié)合輪廓檢測和色彩檢測來實現(xiàn)汽車玻璃的混線檢測，該策略對混線檢測的準確率達到98.62%。