韓雷,張麗娜,王福亮,李軍輝,張亞楠
(中南大學(xué) 機(jī)電工程學(xué)院,現(xiàn)代復(fù)雜裝備設(shè)計(jì)與極端制造教育部重點(diǎn)實(shí)驗(yàn)室,湖南 長沙,410083)
隨著電子制造工藝的進(jìn)步以及元件的微型化、組裝的高密化,微電子行業(yè)對制造設(shè)備的運(yùn)動(dòng)速度和精度的要求越來越高。在現(xiàn)代電子封裝設(shè)備中,芯片及其上焊盤在工作臺(tái)上的精確位置只能通過視覺系統(tǒng)實(shí)測予以確定[1?3]。在熱超聲倒裝鍵合過程中,芯片凸點(diǎn)和基板焊盤定位以及對準(zhǔn)精度誤差要求小于5 μm[4]。鍵合前首先要尋找基板或芯片,實(shí)現(xiàn)芯片與基板的對準(zhǔn)。此過程在視覺系統(tǒng)的引導(dǎo)下,通過驅(qū)動(dòng)運(yùn)動(dòng)平臺(tái)的移動(dòng)來完成。在倒裝鍵合工藝中,加熱臺(tái)上的溫度可達(dá)150~160 ℃,會(huì)導(dǎo)致空氣湍流運(yùn)動(dòng),造成空氣折射率的隨機(jī)變化而導(dǎo)致光波振幅和相位隨機(jī)起伏,成像焦平面像點(diǎn)強(qiáng)度分布擴(kuò)散,點(diǎn)擴(kuò)展函數(shù)增大,峰值降低,圖像模糊和像素位置偏移及抖動(dòng)等,給目標(biāo)識(shí)別、定位帶來很大困難[5]。這種現(xiàn)象與高速飛行導(dǎo)彈導(dǎo)引頭成像時(shí)的氣動(dòng)光學(xué)效應(yīng)和天文學(xué)中因大氣湍流所導(dǎo)致的湍流退化成像類似,只是湍流退化程度不同。由于湍流退化數(shù)學(xué)模型難以確切描述,因此,對湍流退化圖像復(fù)原相當(dāng)困難[6?7]。為研究溫度對目標(biāo)識(shí)別、定位的影響,提高芯片與基板的對準(zhǔn)精度,本文作者通過在加熱條件下采集大量圖片,發(fā)現(xiàn)圖像間最顯著的現(xiàn)象是抖動(dòng)與模糊,這給芯片與基板的對準(zhǔn)帶來了困難??紤]到鍵合時(shí)因加熱將導(dǎo)致加熱臺(tái)附近空氣湍流運(yùn)動(dòng),影響成像質(zhì)量,提出通過吹穩(wěn)定氣流的方式以層流代替湍流,冷卻周圍空氣的方法來提高視覺系統(tǒng)的識(shí)別能力,提高基板與芯片對準(zhǔn)精度。
1.1.1 相位相關(guān)法
相位相關(guān)法是一種非線性、基于傅里葉變換的頻域相關(guān)技術(shù),用于檢測2幅圖像之間的平移。相位相關(guān)法對噪聲不敏感,且不受幀間光照變化的影響,是一種魯棒性強(qiáng)的圖像匹配方法,因此,在用相位相關(guān)法求平移量之前不需要將亮度均一化。
在圖像處理過程中,圖像可以用二維數(shù)組來表示,數(shù)組中元素值表示對應(yīng)像素的灰度。設(shè)數(shù)組f1表征參考圖像,數(shù)組f2表征待配準(zhǔn)圖像,f2相對f1的平移點(diǎn)坐標(biāo)為(x0, y0),即
其傅里葉變換關(guān)系為
指數(shù)相位偏移因子可以通過 f1和 f2的互功率譜計(jì)算:
對(3)式進(jìn)行傅里葉逆變換,有
式中:p(x, y)為圖像間相關(guān)函數(shù);δ (x ? x0, y ? y0)為偏移后的δ函數(shù)。進(jìn)行逆變換之后,相位相關(guān)法結(jié)合圖像插值也可以用于亞像素計(jì)算,但精度只能達(dá)0.1個(gè)像素,且計(jì)算較復(fù)雜[8]。
1.1.2 相關(guān)函數(shù)法
在源圖像中,取以所求位移點(diǎn)(x, y)為中心的(2M+1)×(2M+1)矩形計(jì)算子區(qū)(又稱模板)在變形后的目標(biāo)圖像中移動(dòng),并按某一相關(guān)函數(shù)進(jìn)行計(jì)算,尋找與模板的相關(guān)系數(shù)為最大值且以(x′, y′)為中心的(2M+1)×(2M+1)矩形區(qū)域,以確定目標(biāo)的整像素位移。目前,常用的效果較好相關(guān)函數(shù)有以下3種。
(1) 標(biāo)準(zhǔn)互相關(guān)函數(shù):
其取值范圍為[0,1]。
(2) 標(biāo)準(zhǔn)化協(xié)方差相關(guān)函數(shù):
其取值范圍為[?1,1]。
(3) 最小平方距離相關(guān)函數(shù)(SSDA):
其取值范圍為[0,+∞]。其中:C為相關(guān)函數(shù);f(x, y)表征目標(biāo)所在的源圖像;g(x+u, y+v)表征模板圖像;hm和gm為其計(jì)算窗口的平均灰度;u和v為模板中心的整像素位移。通過確定相關(guān)函數(shù)的最大值位置就可以確定目標(biāo)的位置。其中標(biāo)準(zhǔn)化協(xié)方差相關(guān)函數(shù)是利用2個(gè)相關(guān)函數(shù)的均方差來對協(xié)方差相關(guān)函數(shù)進(jìn)行歸一化。這種相關(guān)法能起到突出特征變換的效果,使得相關(guān)系數(shù)矩陣呈明顯的單峰分布,并且峰頂形狀更尖銳,在實(shí)際中應(yīng)用較多[9]。
由于數(shù)字圖像記錄的是離散灰度信息,利用式(5)~(7)來進(jìn)行相關(guān)搜索時(shí)所獲得的是整像素位移,要得到亞像素位移需要通過其他方法來實(shí)現(xiàn)。
1.2.1 曲面擬合亞像素法
目前,亞像素位移測量算法主要有亞像素灰度插值法[9]、曲面擬合法[10]、多項(xiàng)式插值法[10]、梯度法[11?12]、頻域相關(guān)法[13]、坐標(biāo)輪換法(十字搜索法)[14]、牛頓?拉普森方法[15?16]、擬牛頓方法[17]等,這些算法所能達(dá)到的定位精度為 0.005~0.100個(gè)像素。其中,以曲面擬合法與梯度法因計(jì)算量小、精度較高而較常用。一般常用的擬合方法有高斯函數(shù)擬合法和二維多項(xiàng)式擬合法。對于相關(guān)函數(shù)曲面比較平緩的情況,高斯擬合法不僅需要較大的擬合窗口,而且可能產(chǎn)生較大的誤差,因此,在實(shí)際中多采用二元二次多項(xiàng)式來擬合相關(guān)函數(shù)曲面。相關(guān)函數(shù)的計(jì)算可以采用式(5)~(7),不同的相關(guān)函數(shù)對亞像素計(jì)算精度的影響可以忽略[10]。為保證計(jì)算精度,圖像的點(diǎn)擴(kuò)展函數(shù)應(yīng)盡可能小,以減小圖像的模糊效應(yīng)。
通過前面的相關(guān)函數(shù)搜索到整像素,找到整像素匹配點(diǎn)(x, y)。假設(shè)其周圍各點(diǎn)的相關(guān)系數(shù)可用下面的二元二次函數(shù)表示:
對于n×n的擬合窗口有n×n個(gè)方程,可用最小二乘法求解待定系數(shù)a0~a5。曲面的極值點(diǎn)位置為:
(x′, y′)即為所求的亞像素位移坐標(biāo)。
在用曲面擬合計(jì)算亞像素時(shí),計(jì)算窗口與擬合窗口的選擇很關(guān)鍵。一般計(jì)算窗口越大,精度越高,但窗口達(dá)到一定值后,精度提高不明顯,而計(jì)算量增加。所以,并不是計(jì)算窗口越大越好,擬合窗口一般選擇3×3 為最佳[10]。
1.2.2 曲面擬合亞像素法驗(yàn)證
圖像 A與圖像 B均在水平及垂直方向分別存在Dx及Dy像素的相對位移,2幅圖像原窗口有M×N 個(gè)像素。通過縮小圖像來產(chǎn)生亞像素位移,縮小后圖像窗口為Mi×Ni,則縮小后2幅圖像水平與垂直位移分別為dx=DxMi/M 和dy=DyNi/N 個(gè)像素。本文中圖像A與圖像B原始窗口有900×900 個(gè)像素,相對位移分別為:Dx=8,Dy=10。計(jì)算時(shí),采用 3種不同計(jì)算窗口進(jìn)行比較,結(jié)果如表1和表2所示。
通過比較不同的計(jì)算窗口發(fā)現(xiàn):以41×41個(gè)像素為計(jì)算窗口時(shí),計(jì)算誤差較大;當(dāng)計(jì)算窗口為61×61個(gè)和81×81個(gè)像素時(shí),計(jì)算精度較高,兩者之間在計(jì)算精度上的差別并不明顯。從計(jì)算結(jié)果可以看出:曲面擬合求亞像素位移精度較高,其精度可以達(dá)到0.005~0.100個(gè)像素,滿足要求。
表1 沿x方向位移理論值與模擬值比較Table 1 Comparison of the displacements along x direction between theoretical value and simulated value單位:像素
表2 沿y方向位移理論值與模擬值比較Table 2 Comparison of displacements along y direction between theoretical value and simulated value單位:像素
在熱超聲倒裝鍵合機(jī)上分別采集A和B 2組芯片圖像,其中A組采集時(shí)沒有啟用吹氣裝置,B組采集時(shí)啟用吹氣裝置,所設(shè)計(jì)的氣流方案示意圖如圖1所示。圖中X軸方向?yàn)橥夤芊较?,Y軸方向?yàn)闅饬鞣较?,Z軸方向?yàn)樨Q直方向。實(shí)驗(yàn)吹氣裝置的氣源為 1個(gè)空氣壓縮機(jī),最大壓力為0.4 MPa,通過1個(gè)穩(wěn)壓閥可以維持穩(wěn)定壓力,外接1個(gè)直徑為8 mm的軟管,軟管末端被封住,在接近軟管末端的一側(cè)有5個(gè)針孔,間距相等,呈直線排列。從小孔中吹出的壓縮空氣形成一層較強(qiáng)的氣流,沿Y軸方向吹向倒裝鍵合臺(tái)上的芯片,所形成的氣流面與芯片平行。
實(shí)驗(yàn)光學(xué)系統(tǒng)為1個(gè)1倍定焦物鏡,將來自目標(biāo)的光線聚焦到 CCD(電荷耦合器件)傳感器光敏器件上,照明系統(tǒng)為1組環(huán)形排列的LED(發(fā)光二極管)。圖像數(shù)據(jù)采集使用黑白圖像采集卡 Matrox Meteor-II/Standard,物像比為 1:40,實(shí)際芯片面積為 1 mm×1 mm。經(jīng)換算發(fā)現(xiàn):若要對準(zhǔn)精度小于5 μm,則所采集的圖像間抖動(dòng)量應(yīng)控制在0.6個(gè)像素以下。由于攝像頭光軸與芯片所在的水平面不是完全垂直,攝像頭光軸與Z軸間存在1個(gè)很小的夾角,造成芯片的長寬比并不是1:1。
芯片圖像示意圖如圖2所示。像空間芯片圖像與物空間中順時(shí)針旋轉(zhuǎn) 90?后的芯片相對應(yīng),即物空間(圖1)中的軸與像空間(圖2)中的Y′軸對應(yīng)。
圖1 氣流方案示意圖Fig.1 Draught scheme sketch map
圖像采集時(shí)的溫度為室溫(20 ℃),實(shí)驗(yàn)過程如下:
(1) 加熱臺(tái)未加熱時(shí),A和 B組各采集圖像300張。
(2) 加熱臺(tái)加熱溫度分別為80,120和160 ℃,在每種溫度下,A和B組各采集圖像300張。
圖2 芯片圖像Fig.2 Image of die
通過實(shí)驗(yàn)發(fā)現(xiàn):溫度越高,模糊圖像越多,這類似于離焦所引起的圖像模糊。本文采用梯度函數(shù)對圖像清晰度進(jìn)行評價(jià)。梯度函數(shù)表達(dá)式為:
其中:Ix和Iy分別表示圖像水平和垂直方向的梯度。對于梯度函數(shù),對焦良好的圖像便有更尖銳的邊緣,其灰度總體梯度應(yīng)更大[18]。
在進(jìn)行圖像清晰度評價(jià)時(shí),應(yīng)先對圖像進(jìn)行預(yù)處理,消除幀間光照差別的影響。分別計(jì)算160 ℃時(shí)A和B 2組圖像的梯度函數(shù),結(jié)果如圖3所示。若將灰度總體梯度G小于1.400×107的圖像判為模糊圖像,則這樣的圖像有155張。可見:在160 ℃,A組模糊圖像占1/2左右,且A組圖像灰度總體梯度波動(dòng)范圍大,最小灰度總體梯度僅為 0.482×107。B組圖像灰度總體梯度明顯高于A組灰度總體梯度,其波動(dòng)范圍也比A組的小,最小灰度總體梯度達(dá)2.076×107??梢姡翰捎么禋庋b置后,可以消除因加熱所帶來的圖像模糊效應(yīng),為亞像素計(jì)算提供了精度保證。
圖3 160 ℃時(shí)A組和B組圖像梯度Fig.3 Gradient function values of Group A and B at 160 ℃
對于沒有啟用吹氣裝置的A組實(shí)驗(yàn)圖片,圖像間的抖動(dòng)明顯,有一定的模糊圖像,同組圖片之間存在灰度畸變。其原因?yàn)椋簜鞲衅饕氲恼麄€(gè)圖像其信號均勻變化,加熱時(shí),導(dǎo)致目標(biāo)反射率或輻射率發(fā)生變化,所以,采用不受光照影響的相位相關(guān)法求其整像素位移。計(jì)算時(shí),以每一溫度下第1張圖像為參考圖像,分別計(jì)算同組其他圖像相對于它的位移。由于抖動(dòng)方向?qū)τ趯?zhǔn)精度并不重要,所以,計(jì)算時(shí)取絕對位移。圖4所示為4次A組實(shí)驗(yàn)的平均位移和平均位移標(biāo)準(zhǔn)差。其中:圖4(a)所示為圖像的平均位移趨勢與位移分布,圖4(b)所示為4次位移標(biāo)準(zhǔn)差平均結(jié)果;和分別為圖像X方向和Y方向的平均位移;σu和σv分別為圖像X方向和Y方向的位移標(biāo)準(zhǔn)差。從圖4可以看出:在未加熱的條件下,所拍攝的300張圖像間整像素級位移為 0;隨著溫度的升高,圖像間的抖動(dòng)增大,在鍵合溫度為160 oC時(shí)平移量達(dá)到了7~8個(gè)像素,其標(biāo)準(zhǔn)差也隨著溫度升高而增大;在同一溫度下,Y方向的最大抖動(dòng)值比X方向的大,其標(biāo)準(zhǔn)差均比X方向的略大。這可能與攝像頭的偏角有關(guān),導(dǎo)致Y方向的抖動(dòng)量比實(shí)際的抖動(dòng)量略大(注:由于整像素計(jì)算時(shí)相同位移較多,導(dǎo)致在圖4(a)中的位移分布散點(diǎn)重合)。
啟用吹氣裝置后,圖像抖動(dòng)與模糊消除效果明顯,保證了用曲面擬合亞像素法計(jì)算圖像間亞像素位移的準(zhǔn)確性。圖5所示為采用4次B組實(shí)驗(yàn)的平均位移和平均位移標(biāo)準(zhǔn)差。從圖5可以看出:圖像X方向的位移與位移標(biāo)準(zhǔn)差仍隨溫度增大而增大;而Y方向位移分布和標(biāo)準(zhǔn)差與溫度之間的關(guān)系并不明顯,其標(biāo)準(zhǔn)差不再隨溫度升高而增大,且明顯小于X方向的位移標(biāo)準(zhǔn)差。這與氣流方向有關(guān),其方向與圖像Y方向一致,使氣流沿Y方向的擾動(dòng)減弱。從圖5(a)可以看出:即使在160 ℃的高溫下,最大抖動(dòng)量也不超過0.30個(gè)像素,而在 20 ℃和 80 ℃時(shí),X方向的抖動(dòng)量都小于0.10個(gè)像素;X方向的位移平均值從80 ℃開始顯著上升,因加熱引起的圖像抖動(dòng)效應(yīng)隨著溫度的上升更加明顯。
圖4 A組位移和位移標(biāo)準(zhǔn)差與溫度的關(guān)系Fig.4 Relationship among displacement and its standard deviation and temperature of experiment A
圖5 B組位移和位移標(biāo)準(zhǔn)差與溫度的關(guān)系Fig.5 Relationship among displacement and its standard deviation and temperature of experiment B
(1)在未啟用吹氣裝置時(shí),隨著溫度升高,圖像間的位移與位移標(biāo)準(zhǔn)差增大,在高溫下圖像間的抖動(dòng)明顯,模糊圖像較多。在工作溫度為160 ℃左右時(shí),抖動(dòng)可達(dá)7~8個(gè)像素,如不采取措施,將不能滿足熱超聲倒裝鍵合中基板與芯片的對準(zhǔn)精度要求。
(2) 通過縮小圖像尺寸的方法產(chǎn)生圖像間亞像素位移,證明了采用不同計(jì)算窗口計(jì)算窗口在曲面擬合亞像素法中的重要性。
(3) 在實(shí)驗(yàn)方案中,通過啟用吹氣裝置,消除了圖像模糊與圖像間整像素級的抖動(dòng),把圖像的絕對抖動(dòng)量控制在了0~0.3個(gè)像素內(nèi),可以滿足基板與芯片凸點(diǎn)的對準(zhǔn)精度要求。
[1]曹長江, 張琛, 李振波, 等. 微裝配系統(tǒng)中精密地位裝置的研制[J]. 上海交通大學(xué)學(xué)報(bào), 2000, 34(11): 1482?1485.CAO Chang-jiang, ZHANG Chen, LI Zheng-bo, et al. Design of precise position instrument for micro-assemble system[J].Journal of Shanghai Jiaotong University, 2000, 34(11):1483?1485.
[2]雷源中, 雒建斌, 丁漢, 等. 先進(jìn)電子制造中的重要科學(xué)問題[J]. 中國科學(xué)基金, 2002, 16(4): 204?209.LEI Yuan-zhong, LUO Jian-bin, DING Han, et al. Important academic problem in advanced electronic manufacturing[J].Bulletin of National Science Foundation of China, 2002, 16(4):204?209.
[3]Naren V. Application of microcomputer in submicron level measurements and control of a positioning device[J]. Journal of Microcomputer Applications, 1995, 18(2): 149?164.
[4]李建平, 鄒中升, 王福亮. 熱超聲倒裝鍵合機(jī)視覺系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 中南大學(xué)學(xué)報(bào): 自然科學(xué)版, 2007, 38(1):116?121.LI Jian-ping, ZOU Zhong-sheng, WANG Fu-liang. Design and realization of machine vision system in thermosoic flip-chip bonder[J]. Journal of Central South University: Science and Technology, 2007, 38(1): 116?121.
[5]殷興良. 氣動(dòng)光學(xué)原理[M]. 北京: 中國宇航出版社, 2003.YIN Xing-liang. Air-optic principle[M]. Beijing:Astronavigation Press, 2003.
[6]謝盛華, 張啟衡, 宿丁. 基于APEX方法的湍流退化圖像復(fù)原算法[J]. 光電工程, 2007, 34(2): 88?92.XIE Shen-hua, ZHANG Qi-heng, SU Ding. Restoration method for turbulence-degraded image based on APEX method[J].Opto-Electronic Engineering, 2007, 34(2): 88?92.
[7]陶青川, 鄧宏彬. 基于小波變換的高斯點(diǎn)擴(kuò)展函數(shù)估計(jì)[J].光學(xué)技術(shù), 2004, 30(3): 284?288.TAO Qing-chuan, DENG Hong-bin. Wavelet transform based Gaussian point spread function estimation[J]. Optical Technique,2004, 30(3): 284?288.
[8]劉衛(wèi)光, 崔江濤, 周利華. 插值和相位相關(guān)的圖像亞像素配準(zhǔn)方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2005, 17(6):1273?1277.LIU Wei-guang, CUI Jiang-tao, ZHOU Li-hua. Subpixel registration based on interpolation and extension phase correlation[J]. Journal of Computer-Aided Design & Computer Graphics, 2005, 17(6): 1273?1277.
[9]于起峰. 基于圖像的精密測量與運(yùn)動(dòng)測量[M]. 北京: 科學(xué)出版社, 2002.YU Qi-feng. Precise measurement and motion measurement based image[M]. Beijing: Science Press, 2002.
[10]潘兵, 續(xù)伯欽. 數(shù)字圖像相關(guān)中亞像素位移測量的曲面擬合法[J]. 計(jì)量學(xué)報(bào), 2005, 26(2): 128?134.PAN Bing, XU Bo-qin. Subpixel registration using quadratic surface fitting in digital image correlation[J]. Acta Metrologica Sinica, 2005, 26(2): 128?134.
[11]Zhou P, Goodson K E. Subpixel displacement and deformation gradient measurement using digital image/speckle correlation[J].Opt Eng, 2001, 40(8): 1613?1620.
[12]Zhang J, Jin G C. Application of an improved subpixel registration algorithm on digital speckle correlation measurement[J]. Optics & Laser Technology, 2003, 35:533?542.
[13]Chen D J, Chiang F P, Tan Y S, et a1. Digital speckle displacement measurement using a complex spectrum method[J].Appl Opt, 1993, 32: 1839?1849.
[14]芮嘉白, 金觀昌. 一種新的數(shù)字散斑相關(guān)方法及其應(yīng)用[J].力學(xué)學(xué)報(bào), 1994, 26(5): 599?607.RUI Jia-bai, JIN Guan-chang. A new digital speckle correlation and its application[J]. Acta Mechanica Sinica, 1994, 26(5):599?607.
[15]Bruck H A, McNeil S R, Sutton M A, et a1. Digital image correlation using Newton-Rapshon method of partial differential correction[J]. Experimental Mechanics, 1989, 29(3): 261?267.
[16]Lu H, Cary P D. Deformation measurement by digital image correlation: implementation of a second-order displacement gradient[J]. Experimental Mechanics, 2000, 40(4): 393?400.
[17]Wang H W, Kang Y L. Improved digital speckle correlation method and its application in fracture analysis of metallic foil[J].Opt Eng, 2002, 41(11): 2793?2798.
[18]曹茂永, 孫農(nóng)亮, 郁道銀. 離焦模糊圖像清晰度評價(jià)函數(shù)的研究[J]. 儀器儀表學(xué)報(bào), 2001, 22(3): 259?261.CAO Mao-yong, SUN Nong-liang, YU Dao-yin. Study on clarity-evaluation-function of out-of-focus blurred image[J].Chinese Journal of Scientific Instrument, 2001, 22(3): 259?261.