一種FPC 缺陷視覺檢測方法

孫國棟 楊林杰 張 楊

(湖北工業(yè)大學(xué)機械工程學(xué)院，湖北 武漢 430068)

0 引言

柔性印制電路(flexible printed circuit，F(xiàn)PC)是以聚酰亞胺或聚酯薄膜為基材制成，具有質(zhì)量輕、布線密集、焊點小、集成度高等傳統(tǒng)材質(zhì)無法比擬的優(yōu)點，廣泛用于手機、數(shù)碼相機、醫(yī)療器械等產(chǎn)品，被冠以“黃金薄膜”稱號［1］。補強片是FPC 軟板一個重要的貼裝部件，其細微的缺陷都會導(dǎo)致整個產(chǎn)品的報廢，這就對FPC 軟板補強片質(zhì)量提出了相當嚴格的要求［1-2］。目前國內(nèi)大多數(shù)FPC 生產(chǎn)企業(yè)主要依靠人眼輔助光學(xué)設(shè)備來檢測產(chǎn)品質(zhì)量，但長時間、高度集中觀察圖像給檢測人員帶來了極大的精神疲勞，難以保證產(chǎn)品質(zhì)量且用工成本不斷上升，因此實現(xiàn)FPC 自動機器視覺檢測是發(fā)展的必然趨勢。目前提出的檢測方法都過分依賴于FPC 軟板的紋理和幾何特征，檢測具有很大的局限性。本文綜合各方面的研究成果，基于彩色圖像顏色空間變換理論，提出了一種新的FPC 缺陷視覺檢測方法。

1 FPC 視覺檢測方案

1.1 視覺缺陷檢測平臺

視覺檢測系統(tǒng)主要由彩色工業(yè)相機、鏡頭、圖像采集卡、運動控制平臺、工控機、圖像處理軟件等部分組成。首先通過導(dǎo)入FPC 的CAD 相關(guān)數(shù)據(jù)初始化系統(tǒng)設(shè)備，運動控制平臺依據(jù)初始信息定位補強片的位置，并用串口觸發(fā)光源和彩色相機，最終處理軟件完成檢測工作。系統(tǒng)框架如圖1 所示。

圖1 系統(tǒng)框架圖Fig.1 The system structure diagram

1.2 缺陷視覺檢測總流程

FPC 軟板補強片的品質(zhì)直接決定著電子產(chǎn)品的質(zhì)量。經(jīng)過長期調(diào)研，目前其存在的主要缺陷有壓點、劃傷、溢膠。針對這三種缺陷，提出的檢測總體流程如圖2 所示。

圖2 FPC 缺陷視覺檢測總流程圖Fig.2 The general flow chart of FPC visual defect detection

通過運動定位實時采集相應(yīng)區(qū)域的圖像，并作相關(guān)預(yù)處理;然后在RGB 顏色空間對補強片的輪廓進行提取，且以輪廓為基底設(shè)計內(nèi)外圖像掩膜，從而得到對應(yīng)的感興趣區(qū)域;再通過RGB 與HSV 顏色空間相關(guān)處理算法，對經(jīng)掩膜處理后的圖像進行缺陷識別;最后以缺陷的幾何特征與空間信息為判別標準對其進行分類。

1.3 圖像預(yù)處理

在拍攝、傳輸過程中，CCD 傳感器脈沖引起的椒鹽噪聲［3］將會對后續(xù)的缺陷識別產(chǎn)生致命的影響。為保留圖像的細節(jié)信息，采用窗口為3 ×3 中值濾波器對FPC 補強片圖像進行處理。圖3 是正常FPC 補強片和含有三種缺陷的FPC 補強片在特殊設(shè)計的組合光源下經(jīng)預(yù)處理后的圖像［4-6］。

圖3 預(yù)處理后的FPC 補強片缺陷對比圖Fig.3 The defect comparison of reinforcing sheet after preprocessing

2 FPC 補強片缺陷識別算法

2.1 補強片輪廓提取

提取FPC 補強片輪廓是其缺陷識別算法中的一個重要環(huán)節(jié)。輪廓可以把視場圖像分割成內(nèi)外兩部分，使識別中內(nèi)外空間區(qū)域的缺陷特征互不干擾，并行處理;可以通過缺陷在輪廓內(nèi)外的空間信息來區(qū)分其所屬類型。當補強片內(nèi)外區(qū)域的不同缺陷呈現(xiàn)相同描述特征時，輪廓成為區(qū)分的最佳標準。

提取補強片輪廓采用RGB 顏色空間，該空間中，任一顏色在紅、綠、藍三個不同通道的分量不同，這也是彩色圖像特征識別的基礎(chǔ)［7］。在組合光源下，片體的各部分因材質(zhì)不同顏色特征存在明顯差異。由于補強片的鏡面反射，片體具有明顯不同于其他區(qū)域的顏色特征，其顏色在RGB 通道所占分量分別約為0.005(R)、0.47(G)和0.98(B)。實驗數(shù)據(jù)表明，片體顏色在B 通道的分量最大，故在該通道提取片體的輪廓。由于在B 通道背景與前景差別很大，采用otsu閾值對圖像進行分割，效果圖如圖4 所示。

圖4 FPC 補強片處理效果圖Fig.4 The processing effect of FPC reinforcing sheet

2.2 FPC 補強片圖像掩膜設(shè)計

掩膜是圖像處理中一種十分實用的技術(shù)，其最大的特點是可以設(shè)置任意形狀的感興趣區(qū)域。其原理是用預(yù)先制作的感興趣區(qū)域掩膜［8-9］與待處理圖像進行數(shù)學(xué)運算，使得感興趣區(qū)域內(nèi)圖像特征保持不變，而區(qū)域外的圖像將會被屏蔽。本文以FPC 補強片輪廓設(shè)計區(qū)域掩膜，并將其用到缺陷識別算法中。

具體實現(xiàn)為:首先按2.1 節(jié)提出的方法提取圖像中補強片輪廓，將輪廓以像素精度畫在另一幅在內(nèi)存中開辟的與采集圖像大小相同且像素灰度全為0 的圖像上，作為缺陷識別掩膜的母體;分別填充掩膜母體輪廓內(nèi)部與外部區(qū)域，從而產(chǎn)生內(nèi)外兩個圖像掩膜;分別用內(nèi)外掩膜與原圖像進行數(shù)學(xué)運算，得到內(nèi)外感興趣區(qū)域圖像。以FPC 的補強片輪廓為界，內(nèi)掩膜與采集圖像處理后可使FPC 補強片輪廓內(nèi)部的圖像得以全部保留，外部被忽略(處理后灰度值為0)。若與外掩膜作用，處理效果正好相反。

2.3 補強片缺陷提取算法

2.3.1 壓點、劃傷缺陷特征提取

如圖3 所示，在組合光源下壓點和劃傷呈白色，基于缺陷的顏色特征，采用RGB 顏色空間投影閾值算法對壓點與劃傷進行識別，并引入向量空間理論對缺陷識別算法進行解釋。RGB 顏色空間以一個單位長度的立方體來表示，過原點的三條邊r、g、b 構(gòu)成了顏色空間的單位正交基，設(shè)C 為可見光譜里面的任一種顏色，其可以等價為RGB 顏色空間的任一向量c，則有:

λr、λg、λb分別表示向量c 在顏色空間r、g、b 三個正交基上的分量。設(shè)白色與淺藍色光譜對應(yīng)的RGB顏色空間向量分別為w、b。對于向量w，有λr∶ λg∶λb=1∶1∶1，向量b 有λr=0，λg∶λb=0.5∶1。顏色的亮度由其對應(yīng)的幅值來決定。為了使白色的壓點、劃傷缺陷與藍色片體在向量空間具有較大區(qū)分度，可將w和b 向量向r 軸投影，b 在r 軸的投影為一個點，則br=0;而w 在r 軸的投影為一定長度的線段，由投影幾何關(guān)系可知向量間夾角余弦值約為0. 8，故wr=0.8 × |w|，定義向量w 和b 在r 軸投影分量比值η 來描述這種區(qū)分度，如式(2)所示。

由上式可知，理論上br趨近于0，則區(qū)分度η 趨近無窮大，說明在r 通道壓點、劃傷特征與背景才具有最大的區(qū)分度，同時CCD 傳感器對紅外光較其他光譜更敏感，因此r 軸投影的區(qū)分效果最理想。

壓點劃分缺陷提取流程如下:首先把實時采集并預(yù)處理后的圖像與內(nèi)部掩膜進行數(shù)學(xué)運算，得到輪廓內(nèi)部感興趣區(qū)域圖像，然后提取R 通道的圖像，選擇閾值Th=60 對其進行二值化處理。

2.3.2 溢膠缺陷特征提取

膠體呈粉色，在RGB 顏色空間用向量p 表示，其對應(yīng)的λr、λg、λb都有一定分量，p 不能用RGB 顏色空間中的任意兩個正交基完全線性表示，故單純在RGB顏色空間膠體難以取得較好的提取效果，于是選擇HSV 顏色空間。

將彩色圖像從RGB 空間轉(zhuǎn)換到HSV 空間，能夠有效地提取出更加豐富的彩色圖像顏色信息，特別是其色調(diào)分量(H)能夠描述不同波段的顏色光譜的變化信息，該分量不易受到光照條件變化的影響，其描述特征具有很強的魯棒性［10-11］?；谏{(diào)分量良好的描述特性，經(jīng)過大量實驗比對發(fā)現(xiàn)，H 分量更適合分離膠體與其他圖像特征。將顏色空間模型的連續(xù)角度參數(shù)離散成0 到255 的數(shù)值區(qū)間，各特征在HSV 顏色空間的色調(diào)H 離散分布為:片體的分布區(qū)間為［130，140］，背景約為［160，171］，膠體為［220，234］。從數(shù)據(jù)可以看出，膠體顏色與其他顏色特征在HSV 的H 通道具有很大的區(qū)分度，當閾值TH∈［175，215］任意一個值，都可以將膠體提取出來。

溢膠缺陷提取流程如下:通過預(yù)處理圖像與外部掩膜的數(shù)學(xué)運算，得到輪廓外部感興趣區(qū)域圖像;然后將其變換到HSV 顏色空間，提取H 通道的圖像，對其作閾值化處理，取閾值區(qū)間的中值TH=195。

3 缺陷識別與分類

進行缺陷種類數(shù)據(jù)統(tǒng)計是工業(yè)生產(chǎn)一個重要的環(huán)節(jié)，通過該數(shù)據(jù)反饋，可以更好地指導(dǎo)生產(chǎn)，改進加工工藝。經(jīng)過缺陷提取算法處理后的圖像若無以上特征，則FPC 補強片沒有這三種缺陷，否則存在。以FPC補強片輪廓為界，依據(jù)缺陷的空間信息可把缺陷分為內(nèi)部缺陷和外部缺陷，溢膠全部在輪廓外側(cè)屬于外部缺陷，壓點與劃傷為內(nèi)部缺陷。檢測要求對內(nèi)部缺陷作進一步分類，依據(jù)內(nèi)部缺陷的幾何特征將其區(qū)分為壓點與劃傷，且采用缺陷輪廓面積Scon與最小外接矩形面積Srect的比值來描述這種區(qū)分，定義為填充度。

壓點的填充度R 比較大，實驗發(fā)現(xiàn)都在0.7 以上，而劃傷呈條狀，填充度R 較小，均在0.3 以下。綜合以上分析，缺陷分類準則為:①若輪廓外部有寬度大于限定閾值Tw的白色區(qū)域，則為溢膠;②若輪廓內(nèi)部存在面積大于限定閾值Ts的白色區(qū)域，依據(jù)式(3)計算該區(qū)域的輪廓填充度R，若R ＞0.5，則為壓點，否則為劃傷。

本文取Tw=3，Ts=5，單位為像素，按照上述分類準則，內(nèi)部缺陷的輪廓及其對應(yīng)的最小外接矩形如圖5 所示。其中，圖5(a)的R =0.95;圖5(b)兩處缺陷的R 值分別為0.04 和0.78;圖5(c)為溢膠效果圖，其缺陷位置均在輪廓之外。實驗證明該分類準則具有很強的魯棒性。

圖5 FPC 三種缺陷的識別效果圖Fig.5 Three defects recognition effects of FPC

4 結(jié)束語

結(jié)合機器視覺技術(shù)，提出了一種變換顏色空間的FPC 補強片缺陷識別方法。本文基于補強片片體的顏色特征，在RGB 顏色空間對其輪廓進行提取，并依據(jù)輪廓設(shè)計了內(nèi)外圖像掩膜，從而得到相應(yīng)感興趣區(qū)域的圖像。通過RGB 顏色空間投影和HSV 顏色空間色調(diào)處理算法分別提取壓點、劃傷和溢膠缺陷，并基于缺陷幾何特征與圖像空間信息定義了分類準則，取得了良好的識別效果。

該FPC 缺陷識別算法對圖像噪聲具有一定的魯棒性，能夠滿足企業(yè)的缺陷識別要求，檢測效果穩(wěn)定，為FPC 補強片缺陷識別提供了良好的解決方案，具有重要的應(yīng)用價值。但是該算法對光源的依賴性較強，今后將進一步研究具有光照不變性的缺陷檢測算法。

［1］ 張家亮.全球撓性印制板的市場及其技術(shù)研究［J］.印刷電路信息，2011，10(1):7 -15.

［2］ 苗振海，王西峰，康運江. 基于機器視覺的FPC 檢測對位系統(tǒng)關(guān)鍵技術(shù)研究與開發(fā)［D］.北京:機械科學(xué)研究總院，2013.

［3］ 宋宇，吳滿天，孫立寧.基于相似度函數(shù)的圖像椒鹽噪聲自適應(yīng)濾除算法［J］.自動化學(xué)報，2007，33(5):474 -479.

［4］ 吳德剛，趙利平.一種去除圖像混合噪聲的濾波算法［J］.自動化儀表，2012，33(9):95 -97.

［5］ 劉瑞禎，于仕琪. OpenCV 教程［M］. 北京:北京航空航天大學(xué)出版社，2007.

［6］Galba T，Romi K，Baumgartner A.Edge-preserving partial variable median filtering for fast noise reduction in CT slices［J］.Proceedings Elmar-International Symposium Electronics in Marine，2014，10(13):195 -198.

［7］ Ryu B，Kim K，Ha Y，et al.New RGB primary for various multimedia systems［J］.Journal of Information Display，2014，15(2):65-70.

［8］ Kinoshita H，Hamamoto K，Sakaya N，et al，Aerial image mask inspection system for extreme ultraviolet lithography［J］. Japanese Journal of Applied Physics，2007，46(9):6116 -6117.

［9］ Sang H K，Jan P A. Optimal unsharp mask for image sharpening and noise removal［J］. Journal of Electronic Imaging，2005，14(2):1 -13.

［10］Cao P，Zhao Q T，Da W，et al.HSV color space based pupil position locating method ［J］. WIT Transactions on Information and Communication Technologies，2014，61(1):387 -396.

［11］秦緒佳，王慧玲，杜軼誠.HSV 色彩空間的Retinex 結(jié)構(gòu)光圖像增強算法［J］.計算機輔助設(shè)計與圖形學(xué)學(xué)報，2013，25(4):488-493.