亞像素技術(shù)在表面貼裝電子組件對準中的應(yīng)用

李西兵，范彥斌

(1.齊齊哈爾大學機電工程學院，黑龍江齊齊哈爾161006;2.佛山科學技術(shù)學院機電工程學院，廣東佛山528000)

在表面貼裝電子組件的生產(chǎn)過程中，對表面貼裝電子組件產(chǎn)品進行缺陷檢驗是一個不可或缺的工藝環(huán)節(jié)。隨著電子元器件的小型化、組件密度不斷增大和被測電子組件電路越來越復(fù)雜，借助高倍數(shù)放大鏡，已不能滿足現(xiàn)代測試工藝的要求，這種目視檢驗方法對產(chǎn)品質(zhì)量的判斷較大程度上取決于人的經(jīng)驗，使檢驗結(jié)果因人為因素可比性較差，一致性和可靠性難以得到保證，檢驗與分析過程復(fù)雜，檢測人員長期工作造成用眼疲勞，勞動強度大，成本趨高，不能實現(xiàn)實時流程控制和批量生產(chǎn)質(zhì)量預(yù)報，對生產(chǎn)過程中的貼裝電子組件缺陷原因不能做到及時發(fā)現(xiàn)、預(yù)報與修正。貼裝電子組件中電子元器件幾何尺寸差別小、顏色組合多、密度大、批量與品種多以及日復(fù)一日的重復(fù)性工作引起的心理疲勞和視覺疲勞是造成目視檢驗人員這種檢驗偏差的主要原因[1－2]。隨著計算機圖像處理和模式識別技術(shù)的不斷發(fā)展，計算機視覺硬件設(shè)備成本的不斷下降，這種方法很自然地被拓展到其他感興趣的研究領(lǐng)域，在很大程度上提高了對電子產(chǎn)品質(zhì)量進行監(jiān)測和檢測、故障趨勢預(yù)報和決策維修的效率[3－6]。AOI技術(shù)近年來的發(fā)展速度很快，并可定性和定量地對電子組件貼裝進行分析、監(jiān)測和檢測。如何有效輔助電子產(chǎn)品質(zhì)量檢測及其實施技術(shù)的研究與應(yīng)用，已成為國內(nèi)外電子行業(yè)近年來在該學科領(lǐng)域的研究熱點，并已取得了一些研究和應(yīng)用進展[7]。

局部圖像拼接前的對準關(guān)系到圖像拼接后的精度與圖像質(zhì)量，文中針對如圖1所示的圓、橢圓、正方形和長方形等4種常用對準標記，圖像的分辨率為0.128 mm/pixel，分別采用亞像素技術(shù)與普通技術(shù)方法進行對準點匹配研究，以獲得更好的拼接精度與圖像質(zhì)量。

圖1 4種常用對準標記

1 亞像素輪廓檢測與計算算法

在考慮攝像、噪聲等各種影響因素的綜合作用下，一幅CCD 圖像中的背景像素與實物像素的灰度值是在一定的范圍內(nèi)變化，因此，有必要對輪廓像素位置點的數(shù)據(jù)提取采用其相鄰像素位置點的灰度值來進行線性插值或拋物線插值的方法進行計算，為了減小各種噪聲等環(huán)境因素在輪廓像素位置點數(shù)據(jù)提取時產(chǎn)生的誤差，文中采用最佳閾值法來抵消部分誤差。由于CCD數(shù)字攝像機的分辨率高，因此每個像素所代表的尺寸較小，所以可以將實物輪廓在單個像素區(qū)域內(nèi)的變化曲線簡化為直線，然后根據(jù)其線性關(guān)系，通過誤差分析，選擇最佳閾值來進行計算。為了減小存儲容量與節(jié)省計算時間，文中針對每一幅CCD數(shù)字圖像都采用從左到右、從下到上的順序提取像素點進行計算，其最佳閾值的選取方法見文獻[8]。簡化后的輪廓計算方法如圖2所示，圖中列出了像素區(qū)域中實物輪廓所有可能出現(xiàn)的情況，其右圖為其對應(yīng)的灰度值圖[9]。

圖2 輪廓計算的分類

(1)若Hi，j+1≥Hthre，Hi，j≥Hthre，Hi+1，j＜Hthre，如圖2(a1)所示;或Hi，j+1＜Hthre，Hi，j＜Hthre，Hi+1，j≥Hthre，如圖2(b1)所示，則其計算公式為:

(2)若Hi，j+1＜Hthre，Hi，j≥Hthre，Hi+1，j≥Hthre，如圖2(c1)所示;或Hi，j+1≥Hthre，Hi，j＜Hthre，Hi+1，j＜Hthre，如圖2(d1)所示，則其計算公式為:

(3)若Hi，j+1＜Hthre，Hi，j≥Hthre，Hi+1，j＜Hthre，如圖2(e1)所示;或Hi，j+1≥Hthre，Hi，j＜Hthre，Hi+1，j≥Hthre，如圖2(f1)所示。則其計算公式為:

以上各式中:Hthre為閾值;x，y為輪廓邊界在像素(i，j)中的坐標值;Hi，j為像素(i，j)的灰度值。

對于通過提取并采用原始方法與采用亞像素方法得到的輪廓截面數(shù)據(jù)分別使用一個三維數(shù)組保存起來，由于涉及到x值與y值，因此，數(shù)組的大小應(yīng)為整幅CCD 圖像像素數(shù)的2倍，以分別存放輪廓邊界點位置處所得到的x值與y值，即:對輪廓邊界像素點(i，j)處得到的x值與y值分別存入A[i][j][0]與A[i][j][1]中，同時對這個輪廓邊界像素點位置進行灰度值標定，以最后方便對標定的像素點采用一定的輪廓跟蹤方法，把對應(yīng)存儲在數(shù)組中的輪廓像素點位置數(shù)據(jù)按一定的跟蹤順序讀取出來，并依次保存在一個數(shù)據(jù)文件中，其跟蹤準則與方法見參考文獻[10－11]。經(jīng)過輪廓檢測與計算后得到的輪廓形狀如圖3所示。

圖3 4種常用標記的輪廓

2 標記輪廓數(shù)據(jù)提取

為了方便地對提取的輪廓數(shù)據(jù)進行誤差分析，首先需采用NURBS曲線擬合方法對輪廓數(shù)據(jù)進行曲線擬合。針對上面保存在數(shù)組中實物輪廓的數(shù)據(jù)，怎樣按照輪廓像素點位置的先后順序讀取出來，并保存在以*.dat為后綴的文件中，這對于一個三維數(shù)組來說，要從數(shù)學角度來采用合適的規(guī)律進行排序是非常困難的，因此，文中提出了一種以CCD數(shù)字圖像本身實體灰度值作為搜索對象的搜索方法，由于數(shù)組中元素是與CCD數(shù)字圖像中像素位置一一對應(yīng)的，因此，只要找到實體輪廓的像素位置點，就可以讀取三維數(shù)組中所對應(yīng)的輪廓像素位置點數(shù)據(jù)。其搜索方法如下:

(1)由于對實物輪廓進行檢測時已經(jīng)根據(jù)閾值對CCD數(shù)字圖像進行了二值化處理，因此，首先可以按照從左到右、從下到上的搜索順序?qū)ふ业?個像素值標記為1的輪廓像素位置點，即找到的第1個像素值標記為1的像素點一定是最左下方的輪廓像素位置點，記為A0，并把這點的輪廓位置檢測值保存在相應(yīng)的數(shù)據(jù)文件中。由于A0是實物最左下方的輪廓像素位置點，因此它的左上方、上方、右上方與右方這4個相鄰像素位置點中至少有1個像素位置點是輪廓像素位置點，所以只需要將這4個方向上相鄰像素點依次從左上方開始按照順時針方向，以角度增量45°進行搜索，找到的下一個像素值標記為1的像素位置點就是與A0相鄰的第1個輪廓像素位置點，記為A1，并把這點的輪廓位置檢測值緊接點A0數(shù)據(jù)換行保存在相應(yīng)的數(shù)據(jù)文件中。

(2)此時搜索起點換成A1，將輪廓像素位置點A0指向輪廓像素位置點A1的方向矢量，以點A0為原點，進行逆時針方向旋轉(zhuǎn)90°，所得到新方向作為當前的搜索方向，因為只有在這個新的搜索方向上才有可能存在輪廓像素位置點，因此，同樣從輪廓像素位置點A1開始，按新的當前搜索方向，以順時針方向和角度增量為45°進行搜索，找到與輪廓像素位置點A1相鄰的第一個輪廓像素位置點，記為A2，并把這點的輪廓位置檢測值緊接點A1數(shù)據(jù)換行保存在相應(yīng)的數(shù)據(jù)文件中。

(3)為了確保搜索一圈后結(jié)束搜索，需要對新搜索得到的點與第一個輪廓像素位置點進行比較，即如果A2與A0相同，則表明經(jīng)過一圈搜索后回到了輪廓的起點，則停止搜索;否則從點A2開始，重復(fù)步驟(2)繼續(xù)搜索下一個輪廓像素位置點，直到找到第一個輪廓像素位置點A0為止，從而可以得到所有的輪廓像素位置點A0，A1，…，An的坐標值，直到所有的輪廓位置檢測值都按照一定順序保存在相應(yīng)的數(shù)據(jù)文件中為止。

3 標記輪廓重建

在工業(yè)產(chǎn)品幾何形狀的描述中，NURBS 方法作為唯一數(shù)學描述方法已經(jīng)成為曲線、曲面造型技術(shù)發(fā)展趨勢中最重要的基礎(chǔ)。針對經(jīng)過數(shù)字圖像處理后得到的輪廓像素位置點數(shù)據(jù)文件中的海量數(shù)據(jù)，并考慮實物輪廓的封閉性，文中采用封閉3次NURBS曲線來對實物的輪廓進行反求重建是非常合適的。

n個數(shù)據(jù)點的封閉三次NURBS曲線定義如式(1)所示[12]:

其中:0≤u≤1;Pi是特征多邊形頂點位置矢量;wi是相應(yīng)控制點Pi的權(quán)因子;Ni，3(u)是3次B 樣條函數(shù);公式中u為變量，i=0與i=n時為同一個數(shù)據(jù)點。

分別采用傳統(tǒng)計算與亞像素方法計算后所得的數(shù)據(jù)進行NURBS曲線重建標記輪廓如圖4所示。

圖4 4種常用標記的輪廓重建

4 標記對準誤差分析

采用標記的理論輪廓曲線上任意點A(x，y)到過此點的法線與標記輪廓重建曲線的交點A'(x'，y')之間的距離作為任意點A(x，y)處重建輪廓的絕對誤差值|δAA'|。針對標記的理論輪廓曲線，按等弧長的方式采集100個數(shù)據(jù)點，分別與傳統(tǒng)算法、亞像素算法所得到的重建輪廓進行絕對誤差分析，其比較結(jié)果如圖5所示。

圖5 4種常用標記重建輪廓的誤差

由圖5可知:對于圓形標記，采用傳統(tǒng)算法重建的標記輪廓，其最大誤差為0.248 mm (約1.94 pixel)，平均誤差為0.110 mm (約0.86 pixel)，而采用亞像素算法重建的標記輪廓，其最大誤差為0.070 mm (約0.55 pixel)，平均誤差為0.038 mm (約0.30 pixel);對于橢圓形標記，采用傳統(tǒng)算法重建的標記輪廓，其最大誤差為0.271 mm (約2.12 pixel)，平均誤差為0.110 mm (約0.86 pixel)，而采用亞像素算法重建的標記輪廓，其最大誤差為0.069 mm (約0.54 pixel)，平均誤差為0.040 mm (約0.31 pixel);對于正方形標記，采用傳統(tǒng)算法重建的標記輪廓，其最大誤差為0.188 mm (約1.47 pixel)，平均誤差為0.107 mm (約0.84 pixel)，而采用亞像素算法重建的標記輪廓，其最大誤差為0.037 mm (約0.29 pixel)，平均誤差為0.026 mm (約0.20 pixel);對于長方形標記，采用傳統(tǒng)算法重建的標記輪廓，其最大誤差為0.194 mm (約1.52 pixel)，平均誤差為0.115 mm (約0.90 pixel)，而采用亞像素算法重建的標記輪廓，其最大誤差為0.036 mm (約0.28 pixel)，平均誤差為0.022 mm (約0.17 pixel)。在如圖5所示的4種標記輪廓上分別均勻?qū)ΨQ采用200個數(shù)據(jù)點，取其平均值作為重建輪廓的中心點坐標，得到其中心點坐標誤差如表1所示，表中δx、Px，δy、Py，δs、Ps分別代表水平方向、豎直方向、連線方向與中心點的距離誤差(mm)、像素誤差(pixel)。

表1 4種常用標記重建輪廓的中心點誤差

圖6為4種標記傳統(tǒng)算法與亞像素算法的重建輪廓中心點坐標誤差對比圖，各種標記圖的左側(cè)為傳統(tǒng)算法的誤差，右側(cè)為亞像素算法的誤差。

從圖5、圖6與表1可知:采用亞像素算法重建輪廓的誤差相比采用傳統(tǒng)算法重建輪廓的誤差要減小2/3～4/5，采用正方形標記或長方形標記的輪廓誤差要比采用圓形標記或橢圓形標記的輪廓誤差小;采用標記的中心對準要比采用輪廓對準誤差小，同樣采用正方形標記或長方形標記的中心點誤差要比采用圓形標記或橢圓形標記誤差小。

圖6 4種常用標記重建輪廓的中心點誤差對比圖

5 結(jié)論

通過對表面貼裝電子組件上的4種常用標記進行分析，可以得到如下結(jié)論:

(1)采用亞像素方法對表面貼裝電子組件進行對準要比采用傳統(tǒng)像素方法的對準精度高，其對準誤差可以減小2/3～4/5，即其對準精度可以提高約兩倍;

(2)采用正方形或長方形標記要比采用圓形或橢圓形標記的對準精度高，采用傳統(tǒng)算法時誤差減小約1/4，采用亞像素算法時誤差減小約1/2;

(3)采用標記中心點對準要比采用標記輪廓對準精度高，其誤差減小約1/2。

通過分析可知:宜采用正方形或長方形作為表面貼裝電子組件的標記，通過亞像素方法對標記數(shù)據(jù)進行處理，把標記中心點作為對準點，可以使對準誤差減小到約0.2 pixel，且當噪聲一定的情況下，采用亞像素方法對精度的提高更明顯。

【1】王凡，姜建國，申潔琳.SMT 質(zhì)量檢測中的AOI技術(shù)及應(yīng)用[J].現(xiàn)代電子技術(shù)，2011，35(9):179－182.

【2】王賢辰.自動光學檢測系統(tǒng)在SMT 中的應(yīng)用[D].北京:北京交通大學，2009.

【3】LI Xibing，BAO Li，WANG Shigang，et al.Study on Image Mosaic ＆ Registration of Electronic Component through Surface Mounting Technology[J].Advanced Materials Research，2012，345:113－118.

【4】金剛.PCB AOI 關(guān)鍵技術(shù)及一種基于亞像素檢測和智能形狀分析的AOI系統(tǒng)[J].印制電路信息，2011，19(4):100－105.

【5】鄭李明，王興松.斜拉橋拉索徑向畸變CCD 圖像的邊緣檢測與圖像提取[J].機械制造與自動化，2008，37(6):107－110.

【6】代小紅，王光利.基于模式識別的零件表面瑕疵圖像提取的設(shè)計與實現(xiàn)[J].表面技術(shù)，2011，40(5):109－112.

【7】李程鵬.AOI技術(shù)在表面貼裝質(zhì)量智能檢測中的應(yīng)用研究[D].廣州:華南理工大學，2010.

【8】李西兵，范彥斌.一種提高復(fù)雜產(chǎn)品ICT 切片輪廓反求精度的方法[J].中國機械工程，2005，16(2):152－155.

【9】范彥斌，李西兵.一種基于復(fù)雜產(chǎn)品ICT 切片圖像的輪廓提取算法[J].中山大學學報:自然科學版，2004，43(3):21－24.

【10】謝鳳英，趙丹培.Visual C++數(shù)字圖像處理[M].北京:電子工業(yè)出版社，2008.

【11】陸宗騏，金登男.Visual C++.NET 圖像處理編程[M].北京:清華大學出版社，2006.

【12】希爾，克雷.計算機圖形學[M].胡事民，等，譯.北京:清華大學出版社，2009.