基于機器視覺通信線纜接口檢測*

范金生，馬善農(nóng)※，周顯恩

（1.東華理工大學(xué)機械與電子工程學(xué)院，南昌 330013；2.吉安市電子信息研究院，江西 吉安 343000）

0 引言

根據(jù)十四五戰(zhàn)略規(guī)劃布局，我國逐漸從傳統(tǒng)工業(yè)向智能化制造轉(zhuǎn)型，隨著相關(guān)研究的深入，各種高精密的零配件的智能化制造也不斷迭代更新。機器視覺作為新時代智能化制造的核心技術(shù)，依據(jù)自身高精度，高效率，可替代人工，普適性強等特點進(jìn)入工業(yè)視野中心[1]。在種類繁多的線纜器材生產(chǎn)過程中，出現(xiàn)生產(chǎn)質(zhì)量的問題也是屢見不鮮，特別是在鉚換接口部分，都是導(dǎo)致線纜器材在使用過程中出現(xiàn)問題的根源所在。如果這些有缺陷瑕疵的產(chǎn)品流入市場，都會給消費者帶來不小的利益損害，與此同時也必然影響生產(chǎn)產(chǎn)品的企業(yè)形象，最終導(dǎo)致不必要的損耗。

國內(nèi)檢測通信線纜接口的品質(zhì)主要是依據(jù)人工目測，對工人的要求高，人工檢測效率低下，勞動強度較高。通信線纜的判斷標(biāo)準(zhǔn)也是良莠不齊，很難達(dá)到統(tǒng)一的標(biāo)準(zhǔn)[2]，而且很大程度上存在誤檢、漏檢、錯檢等各種問題。除此以外，產(chǎn)線人員長時間在噪聲大、光線昏暗的環(huán)境工作，長期注意力高度集中，對身體健康和視力也會有極大的影響，不管是出于身體健康角度和工作效率考慮，都急需一種方法改善線纜器材的現(xiàn)狀。這也直接影響產(chǎn)線效率、企業(yè)自動化水平和成本控制?；谝陨蠁栴}，提出一種缺陷檢測方法，創(chuàng)新性在于結(jié)合雙邊濾波進(jìn)行圖像增強算法，它在降低人工勞動強度的同時也能保持較高的穩(wěn)定性，開拓機器視覺在工業(yè)應(yīng)用的前進(jìn)方向[3]。

1 視覺系統(tǒng)

一套成熟的機器視覺系統(tǒng)包括上位機系統(tǒng)和下位機硬件系統(tǒng)。硬件系統(tǒng)觸發(fā)相機拍照后經(jīng)過圖像采集，并對圖像進(jìn)行預(yù)處理。在灰度分布、圖像增強、缺陷分割、均值濾波等處理后，對目標(biāo)圖像進(jìn)行缺陷檢測。上位機系統(tǒng)包括上位機軟件，軟件通過Visual Studio 2022 與Halcon 聯(lián)合使用C#編程，與圖像采集硬件進(jìn)行交互，達(dá)到顯示目的。下位機硬件系統(tǒng)包括工業(yè)相機、鏡頭、條形光源等。

將待檢測的通信線纜依次安裝在器件模具里，器件模具滑動到導(dǎo)軌上的過程觸發(fā)光纖傳感器，傳感器經(jīng)過器件遮擋發(fā)送高電平，觸發(fā)工控機內(nèi)相機軟件拍照，最后進(jìn)入上位機軟件進(jìn)行缺陷檢測，將檢測結(jié)果發(fā)送到工業(yè)顯示器顯示，如圖1所示。

圖1 采樣流程

2 圖像增強算法

圖像增強是采用諸多方法增強所需要的部分，在這個層面上改進(jìn)圖像視覺效果，使得原本模糊不清的整體或者局部具有更為清晰的整體和特征。在解決邊緣不夠銳利的同時也能較好地增強對比度，簡化某些不必要的特征，突顯出研究所需要的局部范圍。一般采用的圖像增強原理有灰度線性變換和非線性變換，直方圖均勻化，灰度圖像形態(tài)學(xué)等。主要使用的是灰度值線性變換和直方圖均衡化，達(dá)到增強圖像的效果，整體的灰度值成倍數(shù)增加。此處采用基于雙邊濾波的圖像增強改進(jìn)算法，可以明顯觀察到，圖像處理后圖像的對比度和亮度有了顯著提高，這同時也很好地彌補光源亮度不足的問題，方便后續(xù)的缺陷檢測。

2.1 基于雙邊濾波改進(jìn)算法

傳統(tǒng)采用的圖像增強算法有灰度線性拉伸等。雙邊濾波[4]是非線性濾波，在降低噪聲的同時保留了邊緣。本文提出的改進(jìn)算法的創(chuàng)新點在于，融合雙邊濾波的優(yōu)點，增強圖片的亮度和邊緣區(qū)域。

雙邊濾波分別有fσs和fσr，fσr表示像素間的灰度值構(gòu)成的幅值域核函數(shù)，fσs表示歐氏距離構(gòu)成的空間域核函數(shù)[5]。公式如下：

式中：IP和Iq為p、q兩點像素值；k為中心在p點的方形區(qū)域[6]。

式中：G為經(jīng)過雙邊濾波處理的像素值；Rmult為放大倍數(shù)；Radd為相加的灰度值；Gmax為在圖像內(nèi)的最大灰度值；Gmin為在圖像內(nèi)的最小灰度值。

通過MaskWidth，MaskHeight兩個濾波掩膜控制數(shù)值大小，配合對比度將灰度值控制在最佳的程度。經(jīng)過處理后如圖2所示。

圖2 定位

2.2 圖像分割

經(jīng)過精確的定位引導(dǎo)，將圖片定位到需要檢測的部分，但是為了能將缺陷檢測的部分和背景分割，需要對缺陷檢測的部分進(jìn)行精準(zhǔn)的定位切割。為了保證圖像的準(zhǔn)確性和定位的高精度，本文采用thresh全局閾值分割方法。前面的步驟可讓背景與待檢測的定位區(qū)域差異變大，此時用閾值分割就可以十分方便地切割背景和圖像[7]。

式中：dst 為結(jié)果圖像；src 為原圖像；thresh 為指閾值分割時的灰度值大??；otherwise 為指不滿足閾值小于原圖像的情況；Vmax為最大值。

根據(jù)相機觸發(fā)拍攝的圖片，將圖像轉(zhuǎn)換成只有黑白的二值圖像，相鄰的像素點之間的差異可以設(shè)置一個閾值，處在邊緣的灰度差值就可以很好地將二者切割。將目標(biāo)區(qū)域定位在缺陷檢測附近，方便后續(xù)缺陷檢測的處理。

2.3 缺陷檢測定位

缺陷檢測的需求是接口處的鐵環(huán)是否咬合緊密，檢測區(qū)域仍需要進(jìn)一步細(xì)化，篩除其余區(qū)域，機器自動尋找缺陷檢測的細(xì)化區(qū)域。如圖3所示。通過對接頭打光，使其線材正面呈高亮狀態(tài)，線材接頭側(cè)面在RGB 三通道下呈現(xiàn)不同的特征，利用這些特征進(jìn)行篩選。因為每根線材在模具中都是經(jīng)過產(chǎn)線工人的擺放固定，所以每根線材位置都是不同的，在程序運行過程中會存在誤差。項目需要高精度缺陷檢測，根據(jù)設(shè)定的程序需要對每次擺放的模具里的線材進(jìn)行定位，經(jīng)過腐蝕、聯(lián)結(jié)圖像區(qū)域、挑選區(qū)域的面積、位置以及膨脹等操作之后，找到線材的位置。

圖3 檢測

此處通過編寫rake 算子復(fù)合算法[8]，通過對線材接頭側(cè)面進(jìn)行尋找邊緣，模擬灰度值差異最顯著的邊緣，并高亮顯示。將復(fù)合算法模擬出的高亮邊緣經(jīng)過旋轉(zhuǎn)平移，模擬出線材的擺放角度，最終找到線材位置，篩選多余區(qū)域，對需要的區(qū)域進(jìn)行缺陷檢測。在此基礎(chǔ)上，還可對線材接口的上方部分進(jìn)行線材開裂，飛絲等不良檢測。紅框內(nèi)區(qū)域是線材，藍(lán)框兩側(cè)的紅框分割的區(qū)域則是缺陷檢測區(qū)域。如圖4 所示。在圖中，紅光框內(nèi)區(qū)域是通信線纜，藍(lán)框兩側(cè)的紅框分割的區(qū)域則是缺陷檢測區(qū)域。保證圖像的準(zhǔn)確性和定位的高精度，本文采用的是thresh 全局閾值分割的方法。前面的步驟可讓背景與待檢測的定位區(qū)域差異變大，此時用閾值分割就可以十分方便地切割背景和圖像[7]。

圖4 缺陷檢測區(qū)域

確定線材的位置之后，找到線材的根部，運行區(qū)域交集互減的算法原理找到根部并畫出一條線，以這根線為基點，制作矩形，然后在此矩形區(qū)域內(nèi)進(jìn)行查找通過上述閾值分割和均值濾波處理分割出缺陷檢測的區(qū)域，在缺陷檢測的區(qū)域內(nèi)進(jìn)行高精度的缺陷檢測，進(jìn)行對線材鉚環(huán)的檢測。

3 缺陷檢測

在上述步驟完成后，得到缺陷檢測的區(qū)域。首先，此處的缺陷檢測主要思路是對區(qū)域進(jìn)行開運算處理，然后閾值分割處理、三通道圖像處理、均值濾波處理，最后再篩選出需要的區(qū)域。

3.1 開運算原理

在缺陷檢測的區(qū)域內(nèi)進(jìn)行開運算，是為了消除毛刺的影響，將檢測范圍縮小至檢測區(qū)域，處理完可以得到物體本質(zhì)的形態(tài)，開運算是進(jìn)行對物體先腐蝕后膨脹的運算得到。開運算結(jié)果如圖5所示。

圖5 開運算處理

3.2 轉(zhuǎn)換通道原理

轉(zhuǎn)換原理如下，依次計算三通道H、S、V的值[9]：

若H的值小于0，需要加上360才是H的真實值。

由于需要可視化，仍需要對計算出的H、S、V進(jìn)行如下計算[10]。

首先需要將上述已經(jīng)將彩色圖片轉(zhuǎn)換成RGB 三通道的圖片進(jìn)一步處理成H 通道[11]、S 通道、V 通道，H 通道體現(xiàn)在圖像的色度，S通道表現(xiàn)在圖像的飽和度，V通道表現(xiàn)在圖像的明亮度。這3 個通道將有利于下一步的提取特征，為缺陷檢測做好準(zhǔn)備。

3.3 均值濾波

均值濾波的原理是用周圍的像素點的均值代替這一中心點的像素值，整體圖片更為清晰，去除圖片的尖銳噪聲，使整體圖像像素點平滑過渡[12]。

式中：f(x,y)為濾波后的圖像；M為N*N的卷積內(nèi)核；g(s,t)為原始圖像[11]。

3.4 閾值分割

閾值分割因為其輕量便捷，性能穩(wěn)定、優(yōu)異，使用方式較為簡便，因此被廣泛應(yīng)用于基于機器視覺的圖像處理和深度學(xué)習(xí)中，不論是在理論還是實踐方面都保持著一定的優(yōu)越性。本文使用的是基本的OTSU 法，通過最大類方差將圖片和背景分割成兩個獨立的部分，最后計算得出一個滿足類間方差最大并能將需要的物體和背景分割成獨立整體的閾值[13]。

大小為M×N圖像的像素分為L個灰度級，ni為灰度級i的像素個數(shù)，像素公式為[14]：

灰度級別的概率為：

Pi≥0。若目標(biāo)閾值為k，將所有像素分為灰度值為[0，k] 的背景類C1和[k+1，L-1] 的對象類C2。P1(k)和P2(k)為C1和C2中的概率為：

若m1(k) 和m2(k)分別為C1和C2像素的灰度平均值[15]，則

若mG為圖像的平均灰度值，θ為類間平方差，則

T即為目標(biāo)閾值，輸入圖像就可以按照閾值T進(jìn)行分割[16]，即

閾值分割結(jié)果如圖6 所示。檢測結(jié)果可反映通信線纜接口范圍的鉚環(huán)咬合緊密性，不符合標(biāo)準(zhǔn)的產(chǎn)品將會觸發(fā)控制器，發(fā)送高電平到控制器上，引起蜂鳴器報警。此系統(tǒng)可替代人工檢測，大幅減少產(chǎn)線員工勞動量，提高產(chǎn)線效率[17]。

圖6 缺陷檢測結(jié)果

4 工作臺布置

傳統(tǒng)的機器視覺機臺布置大都是將產(chǎn)線割裂開[18]，如圖7 示，并且每個機臺間的適配性較差。也因此導(dǎo)致諸多問題。主要問題：產(chǎn)線的一處節(jié)點沒能及時加工產(chǎn)品將導(dǎo)致整條產(chǎn)線癱瘓；各個加工機臺不能交替使用，適配性和靈活性都不足；增大產(chǎn)線工作量，容易造成產(chǎn)線堆積；對整條產(chǎn)線配合度的要求較高。

圖7 傳統(tǒng)方式示意圖

針對以上問題，本文提出一種靈活的工作臺安裝方法，不僅能夠解決上述問題，而且可以靈活調(diào)整角度，后期維護調(diào)整，在必要時還可以多機臺間交替使用，擁有方便性和高效率等優(yōu)點。如圖8 所示，半徑R表示工作臺的工作半徑。

圖8 新型方式示意圖

5 測試驗證和結(jié)果分析

不難觀察到，經(jīng)過圖像增強之后，灰度值從集中在原圖的0～20 變成了集中在30～40 之間，并且灰度在80～120 直接的像素點也有顯著的增多。研究目的是增加所需要的區(qū)域，減少不必要的區(qū)域的影響。80～120 的區(qū)域就是需要找到的線材的區(qū)域，線材由于光照產(chǎn)生的陰影部分是影響區(qū)域，因此需要減小這一部分的陰影的影響。增強圖片的高頻和邊緣區(qū)域，銳化圖片。通過圖9 傳統(tǒng)算法和圖10 基于雙邊濾波的改進(jìn)算法效果圖對比可知，圖像效果有顯著提升[19]，增強圖片的高頻區(qū)域，突出圖像特征。

圖9 傳統(tǒng)算法效果

圖10 基于雙邊濾波改進(jìn)算法效果

通過比對圖11 和圖12 兩者的灰度直方圖可以看出，后者的灰度值整體提升不少，并且高區(qū)域的灰度值也增長了不少[20]，基于雙邊濾波的改進(jìn)算法對后續(xù)的閾值切割和定位引導(dǎo)也方便了不少。

圖11 傳統(tǒng)算法灰度值

圖12 基于雙邊濾波改進(jìn)算法灰度值

6 結(jié)束語

針對產(chǎn)線光照亮度不足而引起的噪聲明顯，圖片亮度分布不均的問題，本文提出一種基于灰度拉伸理論基礎(chǔ)的改進(jìn)增強算法，該算法可以融合雙邊濾波的優(yōu)點，增強圖片的亮度和邊緣區(qū)域，實踐結(jié)果提高圖像亮度，達(dá)到產(chǎn)線要求，減少人工精力。

針對產(chǎn)線工作臺機動性不足而導(dǎo)致機臺間無法交替使用的問題，提出一種靈活的安裝方法。經(jīng)過實驗測試，得出以下結(jié)論：（1）基于雙邊濾波改進(jìn)算法可以提高圖片亮度，保留邊緣細(xì)節(jié)，為后續(xù)檢測提供良好環(huán)境；（2）創(chuàng)新的安裝方法能有效改善機臺工作時的機動性；（3）較為顯著的解決突出的問題，為我國的機器視覺控制領(lǐng)域開辟新的前進(jìn)方向，開拓更為廣泛的應(yīng)用前景；（4）彌補國內(nèi)在線纜器材缺陷檢測領(lǐng)域的不足，達(dá)到替代人工檢測的要求。