圖像處理耦合機器視覺的芯片表面缺陷檢測研究與應(yīng)用

李如平,徐珍玉,吳房勝

(1.安徽工商職業(yè)學(xué)院 電子信息系，安徽 合肥 231131；

2.農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)集成與應(yīng)用重點實驗室，安徽 合肥 230088)

?

圖像處理耦合機器視覺的芯片表面缺陷檢測研究與應(yīng)用

李如平1,徐珍玉2,吳房勝1

(1.安徽工商職業(yè)學(xué)院 電子信息系，安徽 合肥 231131；

2.農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)集成與應(yīng)用重點實驗室，安徽 合肥 230088)

摘要：微電子工業(yè)中芯片表面外觀檢查需求已廣泛存在,而人眼檢測已愈來愈不能對應(yīng)當前自動化、數(shù)字化的要求.當前已有圖像處理技術(shù)應(yīng)用在電子芯片外觀檢查上，但往往沒有整套的系統(tǒng)，只是針對某個問題提出算法或解決方法.對此，提出了一個圖像處理耦合機器視覺的芯片表面缺陷檢查系統(tǒng)，并在軟件硬件上集成實現(xiàn).首先設(shè)計并搭建光源取像平臺；然后基于輪廓定位芯片ROI區(qū)域，識別各種缺陷.最后，引入IO卡控制傳動伺服、讀碼器記錄芯片ID、基于Socket通信完成電算統(tǒng)計，從而完善整個系統(tǒng).對比實驗結(jié)果顯示：與人工檢測方法相比，所提方案具備更高的效率和精度.

關(guān)鍵詞：機器視覺；ROI；芯片檢測；Socket；圖像處理

近年來，隨著電子芯片的廣泛應(yīng)用，生產(chǎn)過程中對芯片產(chǎn)品表面外觀缺陷檢測變得越來越重要，傳統(tǒng)的依靠人工檢測的方法已經(jīng)愈來愈不能滿足工程的需要，而基于圖像處理的機器視覺檢測，也己經(jīng)在芯片產(chǎn)品表面外觀缺陷檢測中得到了應(yīng)用[1-2].

芯片缺陷種類繁多，比如上下耳缺損、大小pin缺損、齒輪斷裂等.已經(jīng)有專家、學(xué)者在這方面的圖像識別領(lǐng)域進行研究并取得一定的成就，但是一般都是針對某種特殊情況從而研究提出一種算法或者解決方方法，對整個作業(yè)流程的檢測系統(tǒng)并沒有進行深入的研究和實現(xiàn)[3-6].而作為工程領(lǐng)域，往往需要實用系統(tǒng)在生產(chǎn)線中投入穩(wěn)定的使用，實實在在提高產(chǎn)品質(zhì)量、生產(chǎn)效率、檢測精度[7-8].

對此，為了解決當前對芯片表面檢測的效率和精度要求，本文提出一種基于機器視覺的芯片表面外觀檢查解決方案，并且在硬軟件上進行集成實現(xiàn).本文主要研究的芯片表面外觀缺陷主要是上下耳缺損、大小pin缺損.

首先提出目標定位和缺陷檢測算法，基于圖像處理與分析，并編程實現(xiàn).最后，在系統(tǒng)中加入IO卡控制代碼，實現(xiàn)對材料的控制；引入讀碼器驅(qū)動代碼，實現(xiàn)對材料ID的系統(tǒng)錄入保存和電子履歷化；引入Socket通信[9-10]，將詳細的檢測數(shù)據(jù)發(fā)送至服務(wù)器數(shù)據(jù)庫，實現(xiàn)計算機整合制造.最后，驗證了本文檢測系統(tǒng)的預(yù)期功能.

1　芯片表面缺陷檢查的整體機制

本系統(tǒng)主要分為三個重點模塊：圖像采集模塊、圖像處理與分析模塊、外圍模塊(電算統(tǒng)計傳輸、讀碼保存、IO卡交互).圖像采集模塊的功能是整合硬軟件實現(xiàn)圖像采集，完成缺陷特征對比度高的取像.圖像采集用到的硬件主要有basler工業(yè)相機、kowa工業(yè)鏡頭、同軸光源和環(huán)形光源，同軸光源的優(yōu)點是使被拍攝物表面光線均勻，環(huán)形光源的優(yōu)點是使光線集中在被拍攝物表面ROI范圍.圖像采集硬件環(huán)境如圖1所示.圖像處理與分析模塊的功能是對取到的圖像進行處理，定位到芯片位置，提取出缺陷特征，并進行判斷，完成缺陷檢測.外圍模塊的功能主要保證系統(tǒng)對應(yīng)工程環(huán)境下整個流程需求，如基于IO卡編程控制進出材料的時間，形成整個系統(tǒng)機構(gòu)運作與視覺檢查的有機結(jié)合；基于讀碼器驅(qū)動編程，讀取材料ID；再利用Socket通信，把一些列檢查數(shù)據(jù)實時的傳送給服務(wù)器總數(shù)據(jù)庫，完成電算功能，整體機制的框架如圖2所示.

圖1　圖像采集硬件環(huán)境　　　圖2　本文機制架構(gòu)Fig.1　Image acquisition hardware environment Fig.2　flowchart of the mechanism in this paper

2　基于機器視覺的缺陷檢查

正常芯片表面無缺損，如圖3所示.本機制研究的芯片表面缺陷主要是：上下耳表面缺陷，即芯片的金手指上下部分表面有破損，如圖4所示；大小pin破損，即芯片的金手指有缺損，如圖5所示.

圖3　正常芯片　　　圖4　不良芯片　　　圖5　不良芯片　　　Fig.3　Normal chip Fig.4　Bad chip Fig.5　Bad chip

灰色區(qū)域會有黑色裂痕，故拉低整體灰度值.整體流程機制如圖6所示.

在圖像采集完成的基礎(chǔ)上，本文缺陷檢查機制步驟：

1)由于圖像采集位置相對穩(wěn)定，ROI范圍一般固定在一個范圍，經(jīng)過一定量材料的測試，得到ROI區(qū)域的坐標范圍.完成圖像ROI提取，因為采集到的圖像上有相當一部分是無用信息，只有芯片區(qū)域的圖像中存在有用信息(如圖7所示).故進行ROI(Region of Interest)提取，并基于OpenCV函數(shù)cvSetImageROI實現(xiàn)，見圖8.

圖6　缺陷檢查架構(gòu)圖　　　圖7　待檢測圖　　　圖8　ROI圖Fig.6　Defect inspection flowchart Fig.7　Figure to be detected Fig.8 ROI picture

2)在完成芯片ROI區(qū)域定位后，由于芯片周邊有很明顯的輪廓，在OpenCV中，有專門輪廓定位的函數(shù)：cvMatchTemplate，是以目標邊緣與背景之間的梯度差，來檢測目標的，故利用這個函數(shù)，識別得到芯片區(qū)域，如圖9所示.

3)完成芯片定位后，由于pin區(qū)域、上下耳區(qū)域的位置在芯片區(qū)域中的位置相對固定，當?shù)玫叫酒瑓^(qū)域位置時，可計算得到pin區(qū)域、上下耳區(qū)域，如圖10所示.

4)再對pin區(qū)域進行圖像處理，通過最大類間閾值分割[11]得到pin區(qū)域二值圖，然后形態(tài)學(xué)開運算[12]，去除雜質(zhì)干擾，得到包含40對大小pin 定位的二值圖，如圖11所示.

5)根據(jù)pin的面積、周長，對pin進行特征分析，判斷是否為不良.通過諸多測試驗證，以面積為例，小pin 的正常范圍是(84～148)，大pin 的正常范圍是(183～241).

6)最后，計算上下耳的平均灰度值，正常范圍是(112～163)，判斷是否存在不良.由于存在破損的上下耳在原來灰色區(qū)域會有黑色裂痕，故拉低整體灰度值.整體流程機制如圖6所示.

圖9　芯片定位結(jié)果　　　圖10　上下耳、pin定位結(jié)果　　　圖11　pin區(qū)域二值圖　　　Fig.9　Results of chip location Fig.10　location results of ear and pin Fig.11　Binary image of pin area

模板制作部分關(guān)鍵代碼：

IplImage *src;

src=cvCreateImage(cvGetSize(image),image->depth,image->nChannels);

cvCopy(image, src, NULL);

IplImage *temp1, *ftmp;

intwidth = src->width - temp1->width + 1;

intheight = src->height - temp1->height + 1;

ftmp = cvCreateImage(cvSize(width, height), 32, 1);

double min_val;

double max_val;

cvMatchTemplate(src, temp1, ftmp,0);

cvMinMaxLoc(ftmp, &min_val, &max_val, &min_loc, &max_loc, NULL);

3　系統(tǒng)的外圍完善

外圍模塊主要是輔助系統(tǒng)完成整個工程生產(chǎn)流程，在以往的研究中一般專注于算法的研究，而忽略系統(tǒng)的整體性和工程實用性.在產(chǎn)線作業(yè)中視覺檢查往往需要考慮機構(gòu)運作規(guī)律，從而有機嵌入到作業(yè)流程.材料往往通過傳送帶到達檢測設(shè)備取像位置，然后發(fā)送到達指令給檢測設(shè)備進行取像和檢測，取像檢測完成后，視覺設(shè)備發(fā)送指令給機構(gòu)，移走材料.本機制基于IO卡驅(qū)動編程實現(xiàn)機構(gòu)與視覺檢測的交互，IO卡作為輸入輸出端口控制設(shè)備，有著功能穩(wěn)定、易擴展維護升級的優(yōu)點.由于現(xiàn)代工廠需要電子履歷化，以便于日后有據(jù)可查和數(shù)據(jù)分析，因此需要對材料的ID進行記錄.本機制采用功能穩(wěn)定的datalogic讀碼器，同樣基于驅(qū)動編程控制讀碼器的讀入，完成對材料ID的記錄.隨著工業(yè)革命4.0的到來，越來越多的需要計算機整合制造，即對所有生產(chǎn)過程數(shù)據(jù)進行存儲，并且存儲到統(tǒng)一的服務(wù)器，這需要設(shè)備具有數(shù)據(jù)通信功能.本機制采用socket通信，C++編程將設(shè)備檢查數(shù)據(jù)、檢查時間等一些列數(shù)據(jù)，通過IP和端口號，傳送給服務(wù)器數(shù)據(jù)庫.

外圍模塊部分關(guān)鍵代碼：

CRecv *recvq;

void Clisten::OnAccept(int nErrorCode)

{

recvq=new CRecv();

Accept(*recvq);

CSocket::OnAccept(nErrorCode);

}

void CRecv::OnReceive(int nErrorCode)

{

char str[100];

Receive(str,100);

CString strtest;

strtest=str;

AfxMessageBox(strtest);

CSocket::OnReceive(nErrorCode);

}

Clisten m_listen;

m_listen.Create(8888);

m_listen.Listen();

m_mysocket.Connect(_T("127.0.0.1"),8888);

m_mysocket.Send(ssw,100);

4　實驗與討論

本文機制基于視覺技術(shù)實現(xiàn)圖像采集、圖像處理，最終完成對芯片的缺陷檢查，并整合了IO卡驅(qū)動機構(gòu)、讀碼器自動讀碼、Socket驅(qū)動點算的功能.整個過程做到了自動化、數(shù)字化、無人化.經(jīng)過實驗驗證，本文機制可以對產(chǎn)品進行檢測，并且與機構(gòu)進行交互、讀碼器讀取ID、配合電算完成數(shù)據(jù)傳送.如圖12所示，本文檢測機制成功地識別出芯片缺陷.而傳統(tǒng)人工機制具有主觀性、同時效率有限.傳統(tǒng)的研究往往只立足于圖像處理算法的工作，而忽略整體功能的實現(xiàn)和工程的實際需求；并且單純使用目標匹配定位，往往存在定位失誤，如圖13所示.

圖12　本文機制的檢測結(jié)果　　　圖13　傳統(tǒng)定位機制的識別結(jié)果Fig.12　The results of this detection mechanism Fig.13　Recognition results of traditional positioning mechanism

本文對相同一組材料(1000枚)完成檢測，先后采用傳統(tǒng)人工檢查和本文方案檢查識別，分別記錄所用時間和結(jié)果.結(jié)果見表1.依據(jù)表1中的數(shù)據(jù)可知，本文檢測技術(shù)的效率最高，其時耗僅為14s，檢測正確率高達99%；而傳統(tǒng)機制的時耗為47s，檢測正確率只有67%.原因是本文檢測技術(shù)只對芯片缺陷的感興趣ROI區(qū)域完成檢測，顯著降低了檢測量；而傳統(tǒng)技術(shù)是對整個芯片圖像檢測，計算量巨大，使其時耗大.

表1　測試結(jié)果

依據(jù)上述實驗結(jié)果可知，所提檢測方案的識別精度比傳統(tǒng)機制要高，而所用時間卻要少于傳統(tǒng)機制.

5　結(jié)論

為了解決當前人工檢查方式無法在效率和精度上滿足現(xiàn)代工業(yè)芯片生產(chǎn)檢查需求的問題，本文提出了基于機器視覺的芯片表面外觀檢查系統(tǒng)，并在軟硬件上進行整合實現(xiàn).首先在硬件進行實驗，篩選出最合適的相機、光源等視覺設(shè)備，然后經(jīng)過打光方式的反復(fù)檢討，建立起一個能夠采集出高對比度的采集平臺.然后用圖像處理的算法實現(xiàn)對缺陷的定位、識別，完成視覺檢查，最后加入基于IO卡的機構(gòu)交互功能、基于讀碼器的ID記錄功能、基于Socket通信的電算統(tǒng)計功能，使整個系統(tǒng)完整，能夠滿足現(xiàn)代工程的實際需求.實驗結(jié)果表明：與傳統(tǒng)的人工檢查方式相比，本文機制具有更好的精度和更高的效率.

參考文獻:

[1]岑譽,高健.基LabVIEW的電容器缺陷檢測系統(tǒng)研究[J].組合機床與自動化加工技術(shù)，2014(10)：80-84.

[2]潘武，張莉彥，徐俊成.基于機器視覺的工件的在線檢測 [J]. 組合機床與自動化加工技術(shù)，2014(7)：75-79.

[3]廖廣蘭，張學(xué)坤，于龍.基于空氣耦合超聲激勵的倒裝芯片缺陷檢測[J].華中科技大學(xué)學(xué)報：自然科學(xué)版，2011,33(10)：2886-2890.

[4]Taller D,Richards K,Slouka Z.On-chip surface acoustic wave lysis and ion-exchange nanomembrane detection of exosomal RNA for pancreatic cancer study and diagnosis[J].Materials science and bioengineering，2015,24(7)：1656-1666.

[5]査哲瑜,廖廣蘭, 陸向?qū)?基于主動紅外的倒裝芯片缺陷檢測研究[J]. 半導(dǎo)體光電，2011,32(1)：56-59.

[6]夏鏈,賈偉妙, 崔鵬. 基于機器視覺的BGA芯片缺陷檢測及其MATLAB實現(xiàn)[J].合肥工業(yè)大學(xué)學(xué)報：自然科學(xué)版，2011,32(11)：1652-1656.

[7]馬勇.計算機控制系統(tǒng)在自動化生產(chǎn)線上的應(yīng)用[J].自動化與儀器儀表，2014,31(8)：72-74.

[8]黃雪梅.基于Simevents的機電自動化生產(chǎn)系統(tǒng)的語義分析與本體建模[J].組合機床與自動化加工技術(shù)，2014(2):76-79.

[9]王建玲，王亞慧，田樂.基于無線傳感器網(wǎng)絡(luò)的Socket[J].通信研究，2014,33(2):39-42.

[10]肖美華，余立全，肖攀.Socket通信程序模型抽取及可靠性驗證[J].計算機科學(xué)，2012,39(11)：102-106.

[11]Li X,Fu M,Wang S.An integrating KFCM and threshold segmentation fusion method for contour lines extraction from color scanned topographical maps[J].Information Science,Electron，2014,21(26)：987-991.

[12]Li Y,Zhu L,Tachibana K.MORPHOLOGICAL OPERATION BASED DENSE HOUSES EXTRACTION FROM DSM[J].The International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences，2014,11(3)：183-188.

責(zé)任編輯：時凌

Research and Application on the Chip Surface Defect Inspection

Based on Image Processing and Machine Vision

LI Ruping1,XU Zhenyu2,WU Fangsheng1

(1.Department of Electronic Information，Anhui Business Vocational College,Hefei 231131,China;

2.Key Laboratory of Agriculture IoT Technology Integration and Application，Ministry of Agriculture，Hefei 230088,China)

Abstract：In the microelectronics industry,chip surface visual inspection requirements have been widely exist, while the traditional manual inspection methods are unable to correspond to the current requirements of automation and digitization.The current application of image processing technology in electronic chip appearance inspection, but often does not have a set of system, just proposed algorithm or solutions to a problem. Therefore, this paper proposes a defective chip surface inspection system based on image processing and machine vision, and integrated implementation in software hardware. First build the camera, lens, light source such as hardware platform based on the image acquisition and image processing; localization algorithm based on ROI chip area, defect identification.Finally,introduced the IO card control drive servo, code reading device, recording chip ID based on Socket communication to complete the computerization of statistics, so as to improve the whole system.Finally,the mechanism of performance test, the results show that: compared with the manual method, this mechanism has higher efficiency and precision.

Key words：machine vision; ROI; chip detection; socket; image processing

中圖分類號：TP391

文獻標志碼：A