基于機(jī)器視覺的膨脹閥安裝孔缺陷檢測方法

樓旭東，曹松曉，蔣慶，徐志鵬，湯建斌

(中國計(jì)量大學(xué)計(jì)量測試工程學(xué)院，浙江杭州 310016)

0 前言

近年來隨著我國制冷領(lǐng)域的快速發(fā)展，膨脹閥作為制冷系統(tǒng)中重要的零部件，其生產(chǎn)檢測技術(shù)獲得越來越多的關(guān)注。膨脹閥在制冷系統(tǒng)中起著實(shí)現(xiàn)冷凝壓力至蒸發(fā)壓力節(jié)流的作用，對制冷系統(tǒng)的整體性能有至關(guān)重要的影響。為防止生產(chǎn)運(yùn)輸過程中產(chǎn)生的缺陷影響膨脹閥的性能，在出廠前需對膨脹閥各閥孔進(jìn)行檢測。針對安裝孔缺陷的檢測，目前國內(nèi)生產(chǎn)企業(yè)多采用人工觀察、手動(dòng)剔除的方式，但因其效率低下、可靠性差、漏檢率高，嚴(yán)重制約了行業(yè)的發(fā)展。近年來機(jī)器視覺技術(shù)憑借其快速性、精確性、智能化等特性已廣泛應(yīng)用到現(xiàn)代工業(yè)的各行各業(yè)中。在工業(yè)4.0的背景下，自動(dòng)化設(shè)備取代人工檢測已是大勢所趨，且目前行業(yè)內(nèi)針對膨脹閥安裝孔的缺陷檢測方法較少或尚未成熟。綜上，研究基于機(jī)器視覺的膨脹閥安裝孔缺陷檢測方法以替代人工檢測具有充分的可行性與必要性。

機(jī)器視覺是實(shí)現(xiàn)缺陷檢測的主流方法之一。基于機(jī)器視覺的缺陷檢測方法大致可以分為三類：缺陷區(qū)域提取、圖像對比差分、圖像紋理檢測。對于缺陷區(qū)域提取，余厚云和張輝使用基于連通域的輪廓提取算法和圖像分割實(shí)現(xiàn)了汽車渦輪殼零件表面的缺陷檢測。對于圖像對比差分，URBANEK等通過閾值分割提取輸氣管道表面缺陷，將缺陷特征區(qū)域與已知缺陷模板對比，從而提取缺陷。對于圖像紋理檢測，苑瑋琦等通過分析雪糕木棒表面紋理信息的灰度特征鎖定缺陷的位置。

對于形如膨脹閥安裝孔的圓環(huán)結(jié)構(gòu)對象的缺陷檢測，汪鳳林等通過對獲取的輪廓邊緣進(jìn)行計(jì)算、擬合與差分，提出了一種飛輪齒圈缺陷和尺寸的檢測方法，能夠?qū)崿F(xiàn)缺齒和殘齒的定位；項(xiàng)新建等設(shè)計(jì)一套軸承墊圈表面缺陷檢測及分類系統(tǒng)，用最小二乘法圓擬合提取感興趣區(qū)域，基于形狀指標(biāo)和多個(gè)閾值實(shí)現(xiàn)缺陷提取與分類；黃森林等提出一種基于隨機(jī)圓擬合評估定位圓心和通過投影特征分區(qū)域分割磁滯閾值的瓶口缺陷檢測方法。以上提到的方法，其實(shí)現(xiàn)均建立在待測對象已從背景中實(shí)現(xiàn)理想分割的前提下，且上述方法在檢測區(qū)分度較小的缺陷時(shí)準(zhǔn)確率較低，難以應(yīng)用到膨脹閥這類具有復(fù)雜表面對象的缺陷檢測中。為此，本文作者主要基于缺陷區(qū)域提取的思想，針對膨脹閥安裝孔缺陷的成像特點(diǎn)，提出一種高效率、高精度的基于機(jī)器視覺的膨脹閥安裝孔缺陷檢測方法。針對閥體表面較為復(fù)雜、輪廓難以提取的問題，使用SURF(Speeded Up Robust Features)特征匹配定位待檢測區(qū)域；通過基于雙閾值遲滯分割法的預(yù)處理方法去除噪聲，利用Canny算子計(jì)算輪廓邊緣，并使用鄰域生長法提取輪廓信息。為準(zhǔn)確定位安裝孔圓心，針對缺陷信息的干擾，提出基于幾何矩與最小二乘擬合的圓心定位方法。根據(jù)輪廓上的點(diǎn)到圓心的距離分割出缺陷輪廓并在輸入圖像上進(jìn)行標(biāo)注，從而實(shí)現(xiàn)安裝孔缺陷的檢測與提取。

1 系統(tǒng)結(jié)構(gòu)

基于機(jī)器視覺的膨脹閥安裝孔缺陷檢測方法，系統(tǒng)硬件主要包括：工業(yè)相機(jī)、遠(yuǎn)心鏡頭、同軸光源、檢測平臺(tái)與計(jì)算機(jī)。其中，工業(yè)相機(jī)選用HIKVISION的MV-CA060-11GC工業(yè)面陣相機(jī)(分辨率3 072像素×2 048像素)。鏡頭選用燦銳XF-PTL11008-C雙側(cè)遠(yuǎn)心鏡頭，遠(yuǎn)心度小于0.04°，光學(xué)畸變小于0.095，能較好地抑制圖像畸變。光源選用康視達(dá)CST-COS25-W同軸光源面打光，相較主流的環(huán)形光源，其同軸光源亮度高、光照均勻且能凸顯物體表面不平整，能夠較好地克服因光照不均勻而產(chǎn)生的閥體金屬表面反光造成的干擾。檢測系統(tǒng)實(shí)物如圖1所示。將待測閥體置于檢測臺(tái)面中央，工業(yè)相機(jī)采集待測圖像并輸入至軟件算法中，實(shí)現(xiàn)膨脹閥表面缺陷的提取與檢測。系統(tǒng)結(jié)構(gòu)如圖2所示。

圖1 檢測系統(tǒng)實(shí)物

圖2 系統(tǒng)結(jié)構(gòu)

2 膨脹閥安裝孔缺陷檢測算法

膨脹閥安裝孔缺陷是指在生產(chǎn)、運(yùn)輸或保存過程中由于操作不當(dāng)而在安裝孔附近產(chǎn)生的凹陷、劃傷、油污等缺陷。為防止影響膨脹閥的性能，必須對它進(jìn)行檢測和剔除。膨脹閥表面圖像如圖3所示。

圖3 膨脹閥表面圖像

在采得圖像后，首先使用SURF特征檢測算法定位匹配點(diǎn)并根據(jù)相對位姿計(jì)算提取感興趣區(qū)域(Region of Interest,ROI)。為減小圖像噪聲的影響和方便隨后的輪廓提取，使用包括雙閾值遲滯分割法的預(yù)處理方法對圖像進(jìn)行預(yù)處理。通過Canny算子計(jì)算出預(yù)處理圖像的輪廓邊緣并通過區(qū)域生長法提取輪廓信息。使用本文作者提出的基于幾何矩與最小二乘法的圓心定位方法定位輪廓圓心，并根據(jù)輪廓上的點(diǎn)到圓心的距離提取缺陷。最終根據(jù)是否提取到缺陷輪廓判斷當(dāng)前檢測閥體是否合格。檢測流程如圖4所示。

圖4 檢測流程

2.1 特征匹配

膨脹閥圖像中，除待檢測的安裝通孔區(qū)域外，還存在其他閥孔以及背景等干擾因素。為提高算法的檢測精度和檢測效率，需將圖像處理的范圍限定在安裝孔區(qū)域內(nèi)。對于圓形區(qū)域的定位，傳統(tǒng)的圓定位方法，如Hough變換法，在處理背景復(fù)雜的對象時(shí)易出現(xiàn)擬合結(jié)果偏離真實(shí)邊緣的問題，從而導(dǎo)致定位錯(cuò)誤。為提高定位精度，結(jié)合膨脹閥表面各區(qū)域相對位置固定的特點(diǎn)，通過SURF特征檢測算法定位ROI。將特征性較強(qiáng)的冷凝器口作為匹配模板，對待檢測圖像和模板圖像進(jìn)行特征點(diǎn)提取和匹配，并根據(jù)特征點(diǎn)匹配關(guān)系計(jì)算變換矩陣，根據(jù)冷凝器口與安裝孔的相對位姿獲取ROI的坐標(biāo)信息，完成ROI的提取。

2.1.1 匹配點(diǎn)計(jì)算

冷凝器口區(qū)域特征性較強(qiáng)，因此將完好膨脹閥的冷凝器口圖像作為標(biāo)準(zhǔn)匹配模板。確定匹配模板與輸入圖像的特征匹配關(guān)系的方法如下：

(1)構(gòu)建圖像的Hessian矩陣，計(jì)算每個(gè)像素的判別式值。對于圖像(,)，其尺度為的Hessian矩陣為

(1)

對應(yīng)的判別式為

()=-(09)

(2)

式中:為沿方向的高斯二階偏導(dǎo)在(,)處與圖像的卷積，、同理。

(2)構(gòu)造尺度空間，并將每個(gè)像素的判別式值與空間鄰域內(nèi)的鄰點(diǎn)進(jìn)行對比。若該點(diǎn)的判別式值為極大點(diǎn)或極小點(diǎn)，則確定當(dāng)前點(diǎn)為極值點(diǎn)。濾除定位錯(cuò)誤與能量較低的極值點(diǎn)后，剩余的極值點(diǎn)即為特征點(diǎn)。計(jì)算獲得的圖像特征點(diǎn)如圖5所示。

圖5 圖像特征點(diǎn)

(3)計(jì)算特征點(diǎn)的特征向量，并根據(jù)兩特征點(diǎn)間特征向量的歐氏距離確定匹配度，歐氏距離越短，匹配度越高。若兩點(diǎn)的歐氏距離在設(shè)定閾值內(nèi)，且矩陣跡正負(fù)相同，即可確定兩點(diǎn)是一對匹配點(diǎn)。遍歷模板圖像和輸入圖像的無歸屬特征點(diǎn)，使所有潛在匹配點(diǎn)完成配對并獲得對應(yīng)匹配點(diǎn)組。

2.1.2 透視變換

透視變換指將圖像從原視平面投影到一個(gè)新的視平面。將模板圖像上的匹配框端點(diǎn)投影到輸入圖像的視覺平面上，而模板圖像和輸入圖像的視覺平面一般不可能完全配準(zhǔn)，需要進(jìn)行透視變換。變換矩陣的計(jì)算公式如下：

(3)

(4)

式中:(,)為模板圖像的像素坐標(biāo)；(,)為變換到輸入圖像上的像素坐標(biāo)；′、′為中間變量；、、、為圖像旋轉(zhuǎn)、伸縮參數(shù)；、用于產(chǎn)生圖像透視變換;、為圖像平移量。由式(4)可知，只需給定對應(yīng)的至少4組匹配點(diǎn)的坐標(biāo)即可求得透視變換矩陣；求得變換矩陣后，根據(jù)給定像素坐標(biāo)亦可求得變換后對應(yīng)的像素坐標(biāo)。將前文獲得的匹配點(diǎn)組代入式(4)中并求得變換矩陣。以模板圖像的邊緣制作矩形匹配框，求得模板圖像的4個(gè)端點(diǎn)坐標(biāo)投影到輸入圖像上的對應(yīng)坐標(biāo)，根據(jù)待檢測區(qū)域與匹配區(qū)域的相對位置信息完成ROI的提取。設(shè)匹配區(qū)域中心為(,)，ROI中心為(′,′)，則有：

(5)

式中:、為匹配區(qū)域中心與ROI中心像素坐標(biāo)的差值且為已知量，由此計(jì)算出ROI中心坐標(biāo)(′,′)，根據(jù)設(shè)定的矩形區(qū)域提取ROI。透視變換與ROI提取效果如圖6所示。

圖6 透視變換與ROI提取

2.2 輪廓提取算法

為分析缺陷信息，需對安裝孔輪廓進(jìn)行提取。對提取的ROI圖像進(jìn)行灰度轉(zhuǎn)換與低通濾波處理，通過雙閾值遲滯分割法對圖像進(jìn)行二值分割。使用Canny算子計(jì)算輪廓邊緣，并進(jìn)行閉操作(Close)合并連通區(qū)域。對于屬于同一輪廓的點(diǎn)，利用區(qū)域生長算法進(jìn)行提取并儲(chǔ)存在數(shù)組中以便進(jìn)一步處理。

2.2.1 圖像的預(yù)處理

圖像在采集和傳輸時(shí)往往會(huì)受到外界環(huán)境的干擾，從而產(chǎn)生噪聲；膨脹閥的表面有特殊的紋理噪聲和金屬反光，亦會(huì)影響檢測效果。為提高檢測效果，在進(jìn)行缺陷檢測前需要對圖像進(jìn)行預(yù)處理。圖像的預(yù)處理方案如下：

(1)對輸入的RGB圖像進(jìn)行灰度轉(zhuǎn)換，根據(jù)圖像各個(gè)通道的采樣值進(jìn)行加權(quán)平均,計(jì)算出灰度值取代原像素值?？紤]到人眼的生理特點(diǎn)，選用以下加權(quán)系數(shù)計(jì)算灰度：=0.299+0587+0114。

(2)為減少金屬紋理和其他細(xì)小噪聲的影響，用尺寸為5×5的高斯低通濾波器對圖像進(jìn)行濾波處理。

(3)為增強(qiáng)輪廓、抑制噪聲，對圖像進(jìn)行閾值分割。結(jié)合實(shí)驗(yàn)效果，選用雙閾值遲滯分割法對圖像進(jìn)行閾值分割。雙閾值遲滯分割法在處理低強(qiáng)度邊緣時(shí)能較好地保存真實(shí)邊緣。對于完成灰度轉(zhuǎn)換與低通濾波處理的圖像，設(shè)其當(dāng)前點(diǎn)坐標(biāo)灰度為(,)，設(shè)低閾值，高閾值。若當(dāng)前坐標(biāo)點(diǎn)灰度(,)大于高閾值或小于低閾值，則將其置為0；若(,)介于高、低閾值之間，則保留它的值。該過程可用式(6)表示：

(6)

對于(,)介于高低閾值之間的像素點(diǎn)，搜索其4個(gè)鄰域，若鄰域中存在灰度不為0的點(diǎn)，則認(rèn)定該點(diǎn)為輪廓真點(diǎn)，將其置為255，否則將其置為0。該方法能夠較好地分割輪廓周圍微小的缺陷。經(jīng)實(shí)驗(yàn)驗(yàn)證，圖像=70、=230時(shí)獲得最佳分割效果。圖像的預(yù)處理效果如圖7所示。

圖7 圖像預(yù)處理

2.2.2 輪廓信息提取

對完成預(yù)處理的輸入圖像，使用Canny算子計(jì)算圖像輪廓的邊緣像素。為進(jìn)一步增強(qiáng)邊緣信息和合并邊緣，對獲得的圖像進(jìn)行閉操作(Close)處理,效果如圖8所示，圖中像素值為255的像素點(diǎn)可視為輪廓點(diǎn)。

圖8 提取輪廓

為提取輪廓并儲(chǔ)存輪廓信息以便后續(xù)計(jì)算，本文作者使用區(qū)域生長法對圖像進(jìn)行進(jìn)一步處理。主要流程如下：開始時(shí)，遍歷并標(biāo)記輪廓圖像的像素，直至獲取一灰度為255的像素點(diǎn)，將它作為種子點(diǎn)，以它為中心，沿逆時(shí)針方向依次遍歷8個(gè)鄰近點(diǎn)。若某一鄰近點(diǎn)的灰度為255，說明該點(diǎn)是輪廓點(diǎn)，將與合并到同一區(qū)域內(nèi)，標(biāo)記點(diǎn)及其鄰點(diǎn)為已遍歷點(diǎn)，并定位到；下一次遍歷以為中心，重復(fù)上述步驟；若當(dāng)前點(diǎn)鄰域內(nèi)無符合條件的點(diǎn)，則認(rèn)為鄰域內(nèi)無輪廓點(diǎn)，結(jié)束生長。遍歷并標(biāo)記圖像所有像素，濾除組成像素小于20的輪廓，實(shí)現(xiàn)輪廓信息提取。

2.3 缺陷種類分析

使用第2.2節(jié)中提出的輪廓提取方法對缺陷樣本進(jìn)行處理。為更好地分析缺陷，結(jié)合安裝孔的同心圓環(huán)結(jié)構(gòu)與實(shí)際檢測需求，根據(jù)所處位置，將安裝孔缺陷分為3類：槽內(nèi)缺陷、外環(huán)缺陷、內(nèi)環(huán)缺陷。完好安裝孔與安裝孔缺陷如圖9所示。

圖9 完好安裝孔與安裝孔缺陷

2.4 圓心定位與缺陷提取

為提取缺陷信息，需先對輪廓的圓心進(jìn)行定位。理想情況下，安裝孔圖像是由4個(gè)圓組成的同心嵌套圓環(huán)結(jié)構(gòu)。但在實(shí)際情況中，由于圖像畸變的影響，各圓的圓心往往不在同一位置，因此需分別計(jì)算各輪廓圓心。由外而內(nèi)，設(shè)外圓環(huán)相鄰邊緣對輪廓為、，內(nèi)圓環(huán)相鄰邊緣對輪廓為、。對于上述輪廓中的某一輪廓，設(shè)其理想圓心為。由于輪廓上可能存在缺陷信息的影響，直接對它進(jìn)行擬合會(huì)產(chǎn)生較大誤差。為提高定位精度，本文作者提出一種基于幾何矩與最小二乘擬合的圓心定位方法，主要實(shí)現(xiàn)步驟如下：

(1)通過幾何矩定位輪廓的近似圓心，對于輪廓，其質(zhì)心坐標(biāo)(,)的計(jì)算公式為

(7)

(8)

式中:為圖像的零階矩；、為圖像的一階矩；(,)為上某一像素坐標(biāo)(,)的灰度。統(tǒng)計(jì)上的輪廓點(diǎn)，根據(jù)式(7)、式(8)計(jì)算得到對應(yīng)質(zhì)心坐標(biāo)(,)，并將質(zhì)心作為的近似圓心。

(2)缺陷輪廓會(huì)對圓擬合的結(jié)果產(chǎn)生影響,為避免代入缺陷點(diǎn)使圓心定位結(jié)果產(chǎn)生較大偏差，需分離輪廓上的缺陷，剔除不良點(diǎn)。計(jì)算輪廓上各點(diǎn)到近似圓心距離的平均值，該過程可用式(9)表示：

(9)

式中:為輪廓上的像素點(diǎn)數(shù);為輪廓上某一點(diǎn)到的距離。由于缺陷的影響，近似圓心較理想圓心存在一定偏差。為防止誤將真實(shí)圓輪廓濾除，將保留邊界擴(kuò)展3個(gè)像素，以為圓心，設(shè)定保留半徑區(qū)間為[-3,+3]像素，濾除區(qū)間之外的缺陷輪廓。使用上述方法依次對所有圓輪廓進(jìn)行處理，濾除各輪廓。處理效果如圖10所示。

圖10 濾除缺陷輪廓

(3)對濾除缺陷后的4組輪廓分別進(jìn)行最小二乘圓擬合。對于完成缺陷濾除的輪廓′，其某一像素坐標(biāo)為(,)，設(shè)根據(jù)最小二乘法求得的擬合圓心為(,)，擬合半徑為，為該點(diǎn)到圓心(,)距離的平方和與擬合圓半徑的平方和之差，可用式(10)表示：

(10)

(11)

擬合半徑可由式(12)計(jì)算獲得：

(12)

通過上述方法求得擬合半徑后，濾去真實(shí)輪廓點(diǎn)，即以(,)為圓心，半徑范圍為[-3,+3]圓環(huán)區(qū)域內(nèi)的輪廓，完成缺陷輪廓的提取。使用上述方法，依次對輪廓、、、進(jìn)行缺陷提取，并根據(jù)是否提取到輪廓，判斷樣本是否存在缺陷。計(jì)算缺陷輪廓的最小外接矩形，在輸入圖像上進(jìn)行標(biāo)注，如圖11所示。

圖11 缺陷標(biāo)注

3 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)中圖像處理部分運(yùn)行平臺(tái)為Windows10系統(tǒng)，CPU型號(hào)為Inter(R) Core(TM) i7-8750H，主頻為2.20 GHz，內(nèi)存為16 GB，采用開源計(jì)算機(jī)視覺處理庫OpenCV 3.4.1在Visual Studio 2019開發(fā)環(huán)境下使用C++語言編程實(shí)現(xiàn)。運(yùn)行一次耗時(shí)約305 ms，滿足現(xiàn)場檢測的需求。為驗(yàn)證文中所提出算法的可靠性，設(shè)計(jì)了圓心定位算法對比實(shí)驗(yàn)與缺陷檢測效果評定實(shí)驗(yàn)。

3.1 圓心定位算法對比實(shí)驗(yàn)

文中提出的安裝孔缺陷檢測方法準(zhǔn)確率受圓心定位的精度影響。為驗(yàn)證文中所提出的圓心定位方法的可靠性與精確度，設(shè)計(jì)如下對比實(shí)驗(yàn)。對存在缺陷的某一輪廓，按照逆時(shí)針方向搜索其輪廓點(diǎn)，依次將輪廓點(diǎn)的坐標(biāo)存入數(shù)組中并進(jìn)行編號(hào)，該過程如圖12所示。計(jì)算所提出的圓心定位方法定位的圓心坐標(biāo)到輪廓各點(diǎn)坐標(biāo)的距離，并與最小二乘圓擬合法、質(zhì)心法求取的圓心坐標(biāo)到輪廓各點(diǎn)坐標(biāo)的距離進(jìn)行比較，結(jié)果如圖13所示。可知：相較最小二乘圓擬合法與質(zhì)心法，文中方法對應(yīng)曲線更為平滑，說明文中提出的圓心定位方法能夠有效對抗缺陷的不良信息對圓心定位的干擾，定位精度較高。

圖12 輪廓點(diǎn)坐標(biāo)存入

圖13 圓心定位算法對比實(shí)驗(yàn)

3.2 缺陷檢測效果評定實(shí)驗(yàn)

實(shí)際檢測時(shí),缺陷的尺寸可根據(jù)需求定義，在文中的實(shí)驗(yàn)條件下(0.026 mm/像素)認(rèn)為缺陷提取后周長大于0.26 mm的輪廓即為缺陷。取槽內(nèi)缺陷、外環(huán)缺陷、內(nèi)環(huán)缺陷樣本各一枚，實(shí)際檢測效果如圖14所示。

圖14 膨脹閥安裝孔缺陷檢測效果

存在多種缺陷的混合缺陷樣本檢測效果如圖15所示。

圖15 混合缺陷樣本檢測效果

經(jīng)實(shí)驗(yàn)驗(yàn)證，本文作者提出的算法能夠準(zhǔn)確檢測膨脹閥安裝孔缺陷，滿足工業(yè)生產(chǎn)自動(dòng)化檢測的需求。

4 結(jié)語

本文作者提出了一種基于機(jī)器視覺的膨脹閥安裝孔缺陷檢測方法。通過SURF特征匹配算法定位ROI，使用基于雙閾值遲滯分割的方法對圖像進(jìn)行預(yù)處理，通過Canny算子計(jì)算輪廓邊緣，并使用鄰域生長法提取輪廓信息。為準(zhǔn)確分割缺陷輪廓，提出了基于圖像矩與最小二乘擬合的圓心定位方法，能夠有效對抗缺陷的干擾，并根據(jù)輪廓上的點(diǎn)到圓心的距離分割出缺陷輪廓并在輸入圖像上進(jìn)行標(biāo)注。實(shí)驗(yàn)測試表明文中所提出的缺陷檢測方法能夠準(zhǔn)確提取安裝孔缺陷，能夠滿足實(shí)際生產(chǎn)中膨脹閥安裝孔缺陷自動(dòng)檢測的需求。同時(shí)該算法也存在不足之處，當(dāng)缺陷面積較大時(shí)，可能出現(xiàn)缺陷的誤標(biāo)注。引起該問題的原因是缺陷引起圖像質(zhì)心偏移量過大，導(dǎo)致缺陷輪廓誤提取，但并不影響該算法的缺陷識(shí)別率。后續(xù)的研究將致力于解決該問題，并提高算法對膨脹閥各孔位缺陷的普遍適用性與缺陷檢測的準(zhǔn)確性。