基于CCD視覺的線纜識別技術(shù)

劉 軍，劉 超

(江蘇大學(xué)汽車與交通工程學(xué)院，江蘇鎮(zhèn)江 212000)

電源線(接插端子)加工在機(jī)械加工制造業(yè)領(lǐng)域有著巨大的市場。目前國內(nèi)比較成熟的生產(chǎn)線在裁線、剝皮、打端子、PVC封裝等重要工序中都能實(shí)現(xiàn)較高程度的自動化，但由于缺少將線束智能識別并壓分至指定加工流道的技術(shù)，使得電源線加工的高集成度自動化無法實(shí)現(xiàn)。國際上相關(guān)企業(yè)和傳感器供應(yīng)商為此類案例進(jìn)行的設(shè)計(jì)嘗試，但均存在造價(jià)昂貴、難以維護(hù)和對不同來料的兼容性不佳等缺點(diǎn)。

目前解決顏色識別主要采取CCD視覺方案，線纜線束識別的難點(diǎn)主要包括以下幾個(gè)方面:

1)出于精簡和縮短生產(chǎn)線的考慮，要求在一個(gè)工站中完成對整束線芯線分布情況的觀察，并按指定的順序旋轉(zhuǎn)線束，以利于后續(xù)工序中一次性壓裝到位。因此，對實(shí)際成像的效果不僅要求每根芯線都能有較好的光照度，而且要考慮不同顏色芯線之間的相互干擾。

2)線材是圓柱狀的，因此正確處理其鏡面邊緣(specula’s edges)和遮擋邊緣(occlusion edges)［1］給圖像處理帶來一定的難度。

3)三芯線不僅有單色的藍(lán)色、黑色需要識別，作為地線的黃綠雙色線也給系統(tǒng)識別帶來困難。

4)芯線和橡膠外皮間的滑石粉對圖像質(zhì)量會產(chǎn)生影響。

5)芯線的纏繞曲張程度的隨機(jī)性會給系統(tǒng)帶來隨機(jī)誤差。

1 系統(tǒng)組成

系統(tǒng)由刷粉單元、圖像識別單元、機(jī)械糾正單元和PLC通訊單元組成。工作流程如圖1所示。

圖1 系統(tǒng)工作流程

1.1 刷粉單元

電機(jī)帶動齒輪減速機(jī)，控制2個(gè)刷頭分別做順時(shí)針和逆時(shí)針的高速轉(zhuǎn)動，以達(dá)到基本除去芯線表面粉塵的目的。經(jīng)試驗(yàn)，80%以上的表面粉塵都能被很好地去除。

1.2 圖像識別單元

包含工業(yè)CCD、圖像采集卡、圖像處理計(jì)算機(jī)、光源和背景。CCD選型的出發(fā)點(diǎn)是處理速度快，幀數(shù)高，而在像素級別和視場大小上則無需太高的要求。本系統(tǒng)采用東芝Teli CleverDragon系列相機(jī)。光源選擇方面，由于被測線材的特殊性，需要盡可能除去芯線重疊部分的陰影，并且對圓柱表面投上柔和的正光，故采用碗狀光源或環(huán)形光源。

1.3 機(jī)械糾正單元

包含夾爪、氣缸、伺服器、電機(jī)、PLC模塊。用一組氣缸控制夾線夾爪的關(guān)閉和打開，一組高精度高速伺服控制器和電機(jī)控制旋轉(zhuǎn)角度。PLC模塊用于實(shí)現(xiàn)和上位機(jī)的通訊、接收和返回指令。

2 圖像處理與識別相關(guān)技術(shù)

2.1 顏色空間

顏色空間按基本結(jié)構(gòu)可分兩大類:基色顏色空間和“色”、“亮”分離顏色空間。前者的典型是RGB和 CMY、CMYK、CIE XYZ等;后者包括 HSL、YCC/YUV、Lab，以及一批“色相類顏色空間”。

在計(jì)算機(jī)技術(shù)及CCD視覺方案中，使用最廣泛的彩色空間是RGB(圖2)彩色空間(RGB color space)，它建立在加性混合3種基色R、G、B的基礎(chǔ)上?；诮^大多數(shù)情況下是圖像傳感器的“參考色”，它們構(gòu)成三維正交(彩色)矢量空間的基矢量，其中零矢量代表黑色。在RGB空間，任何彩色都可以看作基矢量的線性組合。但是將RGB顏色空間引入本系統(tǒng)有很多不合適的地方。首先，它的細(xì)節(jié)難以進(jìn)行數(shù)字化的調(diào)整，它將色調(diào)、亮度、飽和度3個(gè)量放在一起表示，很難分開;其次，由于在藍(lán)色和綠色2個(gè)分量上產(chǎn)生過多的顏色細(xì)節(jié)，因此很容易在辨識電源的黃綠線和藍(lán)線時(shí)造成誤判。

本系統(tǒng)采用HSL(圖3)顏色模型。在HSL模型中，H定義顏色的波長，稱為色調(diào)(Hue);S定義顏色的強(qiáng)度(intensity)，稱為飽和度(Saturation);L定義摻入的白光量，稱為亮度(lightness)。由于人的視覺對亮度的敏感程度遠(yuǎn)強(qiáng)于對顏色濃淡的敏感程度，因此HSL顏色空間比RGB色彩空間更符合人的視覺特性［2］。圖像處理和計(jì)算機(jī)視覺中的大量算法都可在HSL色彩空間中方便地使用，它們可以分開處理且是相互獨(dú)立的。由于黃色和綠色在色環(huán)上處在相鄰的位置，故可以通過限制Hue的上下限準(zhǔn)確地將黃綠色識別為一種顏色。但是HSL色彩空間仍有一個(gè)缺陷，就是在判斷黑色芯線的時(shí)候，由于黑色不具有hue信息，只能依靠限定的低亮度和低飽和度來完成識別，所以在保證正確率的同時(shí)必然降低了識別率。

HSL色彩空間和RGB色彩空間只是同一物理量的不同表示法，因而它們之間存在著轉(zhuǎn)換關(guān)系。在RGB到HSL的轉(zhuǎn)換中，設(shè)(r，g，b)分別是一個(gè)顏色的紅、綠和藍(lán)坐標(biāo)，它們的值是0到1之間的實(shí)數(shù)。設(shè)max等價(jià)于r，g和b中的最大者，min等于這些值中的最小者。要找到在HSL空間中的(h，s，l)值，這里的 h∈［0，360)是角度的色相角，而 s，l∈［0，1］是飽和度和亮度，則:

其中h的值通常規(guī)范化到0°到360°之間，而 h=0用于max=min(即灰色)時(shí)。

2.2 中值濾波

引入中值濾波的原因是刷粉工站雖然去除了大部分滑石粉，但是仍然會殘留無法去除的粉塵以及CCD成像得到的噪點(diǎn)，需要在圖像識別前進(jìn)行過濾。

中值濾波器由于具有平滑圖像時(shí)保持邊緣的特征而常用于灰度圖像，是一種非線性的算子，它對一個(gè)局部窗口中的像素根據(jù)其灰度進(jìn)行排列，并用序列中部的像素替換窗口中心的像素。將標(biāo)量中值濾波的概念擴(kuò)展到彩色圖像處理過程中，由于缺少一種“自然”地排列矢量的概念，彩色失真和邊緣保留特性的丟失都可能發(fā)生。如果要同時(shí)考慮所有3個(gè)彩色分量，那么就要確定彩色矢量序列的順序［3］，以定義是否一個(gè)矢量比另一個(gè)矢量大。

考慮到實(shí)用性和準(zhǔn)確性，在幾種已提出的彩色圖像中值濾波技術(shù)中，系統(tǒng)采用了用于HSI空間的色度的中值濾波器［4］。由于在色度平面搜索均值，因而保證了輸出圖像的值與輸入圖像里特定窗中的值相同。這種方法可看作上述矢量中值的一種變形，僅工作在色度平面上。色度定義為一個(gè)復(fù)函數(shù)，其中，色調(diào)t(x，y)看作相位而飽和度s(x，y)看作絕對值。計(jì)算色度圖像b(x，y)，其實(shí)部R和虛部I可借助歐拉公式計(jì)算:

色度 b(x，y)可定義為

搜索窗中與其他像素的平方距離最小的像素，在輸出圖像中，確定該像素的色度。對一個(gè)尺寸為m×n的窗，k=mn，像素i到像素j的歐氏平方距離為

其中:1≤I;j≤k。像素i到所有其他像素的平方距離和為

如果一個(gè)像素的色度滿足d2=min{}，則該像素被選入輸出圖像。與矢量中值類似，這個(gè)最小值并非總是無歧義的。如果多個(gè)像素滿足上述條件，那么就選取與原始值最接近的色度值。選取一個(gè)粉塵較多、噪點(diǎn)較大的圖像做Median3x3預(yù)處理，結(jié)果顯示觀測區(qū)域的很多白點(diǎn)及噪聲得到消除，如圖4所示。

圖4 圖像做Median3x3預(yù)處理

2.3 彩色圖像二值化處理

將彩色圖像轉(zhuǎn)換為只有黑色和白色2個(gè)顏色的圖像，稱為圖像的二值化。二值圖像比彩色圖像或者灰度圖像更容易處理，可以減少大量的計(jì)算，從而節(jié)省程序運(yùn)算時(shí)間。

傳統(tǒng)的圖像二值化處理主要是將灰度圖像按設(shè)定的閾值進(jìn)行全局或局部的處理?；叶葓D像的單閾值二值化處理擴(kuò)展到彩色圖像的多閾值二值化處理需要用到之前的HSL顏色空間。所謂的多閾值［5］就是通過H、S、L 3個(gè)分量來分別確定圖像處理的閾值，然后將處理結(jié)果疊加以達(dá)到對圖像二值化處理的目的。

圖5 圖像的二值化

2.4 形態(tài)濾波

形態(tài)濾波的引入來自圖像邊緣的識別要求。圖像中的邊緣由圖像函數(shù)的不連續(xù)性刻畫。由于場景中幾何和光度的不同，邊緣的產(chǎn)生可有完全不同的原因。

鏡面邊緣(specula’s edges)或高光邊緣(highlight edges)源于光源和物體表面之間的特殊朝向，也與物體材料性質(zhì)有關(guān)。在實(shí)際生產(chǎn)過程中，表現(xiàn)為如圖6所示的特征。

圖6 棕色芯線上表現(xiàn)出的高光邊緣

遮擋邊緣(occlusion edges)是指目標(biāo)和背景間由觀察者看到的邊界。遮擋邊緣并不代表場景中的物理邊緣，他們的存在性取決于特殊的觀察位置。由于兩芯線之間的入射光強(qiáng)度的不一致性，導(dǎo)致其遮擋邊緣不能呈現(xiàn)清晰的界線，同時(shí)由于線材具有一定的反射特征，顏色容易互相映襯和疊加，導(dǎo)致二值化后的圖像邊緣不是很平整，為后續(xù)的位置計(jì)算帶來困難。

數(shù)學(xué)形態(tài)濾波的基本操作是腐蝕(erosion或Minkowski減法)和膨脹(dilation或 Minkowski加法)。它們可成功消除灰度圖像中的噪聲［6］。在形態(tài)學(xué)中，結(jié)構(gòu)元素是最重要和最基本的概念。結(jié)構(gòu)元素在形態(tài)變換中的作用相當(dāng)于信號處理中的“濾波窗口”。用B(x)代表結(jié)構(gòu)元素，對工作空間E中的每一點(diǎn)x，腐蝕和膨脹的定義為:

腐蝕:X=E⊙B={x:B(x)?E}

膨脹:Y=E⊕B={y:B(y)∩E≠φ}

如果直接對彩色圖像進(jìn)行形態(tài)濾波，結(jié)構(gòu)元素此時(shí)對所有矢量分量都定義為固定的尺寸和形狀，那么圖像會由于把各個(gè)獨(dú)立的結(jié)果合并而產(chǎn)生彩色失真。形態(tài)濾波后圖像中細(xì)節(jié)的丟失(在對灰度圖像的濾波中就已存在)將會在彩色圖像中體現(xiàn)得更為明顯。所以本系統(tǒng)在二值化后進(jìn)行濾波，可以較好地解決這兩個(gè)問題。分別進(jìn)行一次閉合(圖7)操作與一次開啟(圖8)操作，兩次處理分別實(shí)現(xiàn)不同的過濾目標(biāo)。最后選擇采用開啟形態(tài)濾波器的方式來優(yōu)化結(jié)果。

圖7 閉合操作

圖8 開啟操作

3 角度修正單元

圖9所示為需求的處理結(jié)果，3根芯線呈“品”字形固定于載具中，流入預(yù)壓工站。

受線材位置的影響，壓在下層的芯線無法獲得較佳的光照度。經(jīng)試驗(yàn)，如果同時(shí)考察3根芯線，則每種芯線HSL通道難以精確制定，導(dǎo)致極低的識別率和一定的誤判率。但若只觀察最高點(diǎn)的單根芯線，效果較佳。

受以往設(shè)計(jì)經(jīng)驗(yàn)的影響，工程師會為需要進(jìn)行顏色分析的點(diǎn)設(shè)定極小的“感興趣的區(qū)域”(region of interest)。當(dāng)該區(qū)域填充滿預(yù)設(shè)量的像素點(diǎn)時(shí)，判斷被測物體已達(dá)到目標(biāo)位置。

圖9 流出工站時(shí)需求的結(jié)果

受制于線材性質(zhì)的影響，芯線在鏡頭下的絕對位置并不是很固定，無法通過芯線在影像中的坐標(biāo)來準(zhǔn)確推斷芯線的實(shí)際高度，進(jìn)而導(dǎo)致之后的角度校準(zhǔn)效果偏差較大。日本某品牌傳感器公司為類似案例提供了加載一個(gè)高度傳感器的解決方案，即當(dāng)判斷傳感器返回的最高點(diǎn)達(dá)到拐點(diǎn)(峰值)時(shí)，可以對ROI進(jìn)行采像處理。

由于之前優(yōu)質(zhì)的圖像過濾效果，本系統(tǒng)采用對單芯線和整線束分別進(jìn)行特征分析、計(jì)算比對兩者中點(diǎn)的方式，判斷芯線達(dá)到最高點(diǎn)的位置。此方案可以有效包容線纜因隨機(jī)偏離視場中心造成的無法識別的情況，且減少了元器件的數(shù)量，提高了系統(tǒng)的穩(wěn)定性。

4 結(jié)束語

對軟性材料的加工制造是自動化產(chǎn)業(yè)中的一個(gè)難點(diǎn)。而彩色CCD視覺方案多用于判斷已定義的規(guī)范物體的有無和一些簡單的顏色判別，對于外界環(huán)境較惡劣、被測物體相互間干擾較大的情況，則需要更多的圖像處理技術(shù)和優(yōu)化算法作為輔助。本系統(tǒng)基于HSL顏色空間理論，合理融合了中值濾波、圖像二值化、數(shù)學(xué)形態(tài)濾波等彩色數(shù)字圖像處理技術(shù)，對電源線自動化生產(chǎn)中的三芯線識別進(jìn)行了探索性研究，并完成了基于CCD視覺的硬件和軟件的設(shè)計(jì)，對光照、環(huán)境和線材來料實(shí)現(xiàn)了較好的兼容性，為線纜類及相關(guān)產(chǎn)品自動化生產(chǎn)的研究和發(fā)展提供了寶貴經(jīng)驗(yàn)。

［1］余見.彩色圖像邊緣檢測和分類［D］.廈門:廈門大學(xué)，2008.

［2］Koschan，Andreas，Abidi M.Digital color image processing［Z］.Wiley-Interscience，2008.

［3］張旭明，徐濱士，董世運(yùn).用于圖像處理的自適應(yīng)中值濾波［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2005，17(2):295-299.

［4］Frey，Herbert.Digitale bildverarbeitung in farbrflumen［Z］.1988.

［5］王星，劉金義.基于HIS的彩色圖像二值化技術(shù)研究［J］.科學(xué)技術(shù)與工程，2011(7):1671-1815.

［6］Serra，Jean.Image analysis and mathematical morphology［M］.London:Academic Press，1982.