芯片載帶缺陷的機器視覺檢測方法

魏鴻磊，蔣志留，徐家恒，孔祥志，商業(yè)彤，童強

芯片載帶缺陷的機器視覺檢測方法

魏鴻磊，蔣志留，徐家恒，孔祥志，商業(yè)彤，童強

（大連工業(yè)大學 機械工程與自動化學院，遼寧 大連 116034）

針對芯片包裝載帶在生產(chǎn)過程中經(jīng)常出現(xiàn)的型腔底部和邊緣變形、穿孔等缺陷的檢測問題，提出一種機器視覺檢測方法。首先離線準備配準模板及標準模板圖像，然后根據(jù)模板在生產(chǎn)過程中進行在線檢測。在檢測過程中由傳感器觸發(fā)采集待檢測型腔圖像，然后通過模板匹配 方法配準模板圖像和待檢測圖像，并進行異或運算檢測兩圖像差異從而定位缺陷。實驗證明邊緣變形檢測最大錯誤率為0.45%，底部變形檢測最大錯誤率為0.50%，穿孔檢測最大錯誤率為0.35%，每幀圖像檢測平均耗時為0.22 s，滿足用戶錯誤率不超過1%和每幀耗時不超過0.5 s的要求。該方法能夠?qū)崟r檢測芯片載帶邊緣變形、穿孔等缺陷，有效地實現(xiàn)載帶加工生產(chǎn)過程中的質(zhì)量監(jiān)控。

芯片載帶；缺陷檢測；機器視覺；圖像異或運算

芯片制造完成后一般要包裝到載帶中交付用戶。使用載帶包裝能防止芯片受到污染和損壞，也有利于使用貼片機自動貼片。由于載帶型腔是通過真空吹塑成型產(chǎn)生的，易出現(xiàn)變形、穿孔等缺陷，因此在生產(chǎn)時必須對載帶型腔質(zhì)量進行監(jiān)測。人工監(jiān)測經(jīng)常會出現(xiàn)漏檢，生產(chǎn)企業(yè)迫切需要載帶檢測的自動化設(shè)備。

隨著電子信息技術(shù)的發(fā)展，多種新興技術(shù)應用于物體的表面缺陷檢測。在眾多檢測方法中，基于機器視覺的缺陷檢測技術(shù)具有適用范圍廣、精度高且檢測效率高等優(yōu)點[1]，廣泛應用于多種行業(yè)，如在工業(yè)中用于金屬產(chǎn)品表面缺陷檢測[2-5]、工件外形缺陷檢測[6-7]、板材表面缺陷檢測[8]、包裝行業(yè)印刷質(zhì)量檢測[9-11]、鞋底質(zhì)量檢測[12]；在農(nóng)業(yè)中用于胡蘿卜表面?zhèn)蹤z測[13]；在交通管理中用于交通標志污損檢測[14]等。機器視覺技術(shù)在芯片載帶質(zhì)量檢測中也有應用，如毛偉民等[15]先檢測載帶結(jié)構(gòu)邊緣，然后對邊緣進行鏈碼追蹤，并根據(jù)追蹤結(jié)果確定壓痕位置；石韻昭等[16]將載帶圖像劃分成小矩形區(qū)域，并通過對各區(qū)域的灰度值和梯度值進行分析確定是否存在缺陷。由于載帶類型很多，型腔形狀各異，型腔底部經(jīng)常有各種突起的結(jié)構(gòu)在圖像上形成黑斑，上述方法難以靈活區(qū)分缺陷和正常結(jié)構(gòu)，而且一般情況下缺陷圖像對比度很低，難以穩(wěn)定地通過邊緣檢測、灰度值和梯度值檢測到，從而導致漏檢，又由于吹塑時溫度變化導致型腔底部經(jīng)常出現(xiàn)灰度變化而導致虛檢，因此可靠性不高。為實現(xiàn)在載帶生產(chǎn)中實時有效地進行質(zhì)量監(jiān)控，提出利用光照突出缺陷，將待檢測圖像與標準模板圖像配準并進行異或運算從而定位缺陷的方法。

1 載帶缺陷檢測裝置

實驗裝置見圖1，主要采用分辨率為3 072×2 048的?？低昅V?CE060?50GM黑白工業(yè)相機、16 mm焦距的定焦鏡頭，以及邊長為150 mm的正方形中孔平板光源照明，功率為10.5 W。相機垂直安裝于載帶上方，由于載帶尺寸不同，安裝高度根據(jù)載帶的尺寸進行調(diào)整，保證成型機一次吹塑出的一組型腔（一般為3～8個）都能收入相機視野，并有良好的成像質(zhì)量進行檢測。

圖1 實驗裝置

在平板光源發(fā)出垂直均勻的光線照射下，載帶的平面部分能夠垂直反射光源到鏡頭形成亮圖像，而其他部分將光線反射到別處形成暗圖像，從而能夠突出型腔結(jié)構(gòu)和缺陷特征，見圖2。

2 載帶缺陷檢測

缺陷檢測依照生產(chǎn)過程中吹模和拉帶交替完成的一組型腔作為檢測對象，檢測過程分為離線設(shè)置和在線檢測2部分，見圖3。

2.1 檢測流程

首先離線設(shè)置模板，即操作人員通過工業(yè)相機采集標準載帶圖像，然后送上位機提取ROI圖像并生成配準模板。在生產(chǎn)過程中進行在線檢測，即每次拉帶后由傳感器觸發(fā)相機采集圖像，并傳送到上位機與模板圖像配準后進行比較。若判斷結(jié)果為存在缺陷，則停機報警以提醒工作人員進行處理，否則繼續(xù)進行下一組載帶的檢測。

2.2 離線設(shè)置

圖2 載帶缺陷

圖3 檢測流程

圖4 設(shè)置索引孔ROI及檢測ROI

2.2.1 像素當量標定

當相機視野不同時，像素當量也不同。為了計算缺陷實際物理面積大小需要進行像素當量標定。按設(shè)計規(guī)范所有規(guī)格載帶的索引孔間距都是4 mm，可以用來計算像素當量。首先根據(jù)索引孔ROI裁出索引孔圖像，然后按如述步驟計算像素當量。

1）使用Canny算子提取索引孔邊緣。

式中：=4 mm為索引孔實際物理尺寸。

由于文中標定的目的是為了計算缺陷實際物理面積，以方便于閾值的設(shè)定，因此對標定精度要求不高，實驗證明上述標定方法能夠滿足要求。

2.2.2 匹配模板設(shè)定

檢測采用基于形狀的模板匹配方法[16]，將分割出ROI區(qū)域的圖像T作為模板圖像。按式（2）用Sobel算子對模板圖像進行卷積以計算各像素的梯度。

2.3 在線圖像配準

在待檢測圖像上掃描匹配，在每個掃描位置根據(jù)式（4）都可計算出一個小于1的相似度分值，取最大的分值為最終相似度，如果最終相似度大于預定閾值（文中設(shè)為0.5）則認為匹配成功，如算法1所示。

算法1 圖像配準 輸入：待測圖像I，模板圖像T，模板向量集T，可能的最大位置偏差，匹配閾值T輸出：配準參數(shù)1: for ; ;; do2: for ; ;; do3: 用在I中截取圖像塊E4: 根據(jù)式（1）計算E的方向向量集E5: 按式（3）計算E與模板T的相似度S6: If S>T then 7: If max

2.4 缺陷檢測

如圖5所示，首先對齊待檢測圖像和標準模板圖像，然后進行圖像異或運算以定位區(qū)別，即為缺陷，算法描述如下。

2）提取ROI圖像E，然后根據(jù)式（5）與模板圖像T進行異或運算得到異或圖C，見圖5。

式中：1為有缺陷；0為沒有缺陷；為允許的灰度偏差值，文中設(shè)為50。

3）對異或圖用5×5的模板進行形態(tài)學開運算處理，以消除噪聲干擾。

4）當異或圖C上檢測出缺陷區(qū)域面積大于預設(shè)閾值時，用十字星標明缺陷位置并報警等待人工處理。

3 實驗

在實際生產(chǎn)中，缺陷是很少出現(xiàn)的，而實驗需要多種缺陷大量集中在一條載帶上，因此企業(yè)現(xiàn)有的缺陷載帶無法滿足實驗條件，為此通過人工仿真缺陷的方法制備實驗載帶。通過觀察大量的實際缺陷，在一盤已經(jīng)生產(chǎn)完成的載帶上人工生成缺陷。該載帶共計2 000個型腔，在其中300個型腔中人為制造了缺陷，包括邊緣變形100個，底部變形100個，底部穿孔100個。此次實驗在企業(yè)生產(chǎn)現(xiàn)場進行，將經(jīng)上述處理的載帶安裝在真空吹塑成型機上，模擬生產(chǎn)過程以使實驗條件與生產(chǎn)條件相同，實驗環(huán)境見圖6。采用的工控機CPU型號為Intel i5–2500（主頻為3.3 GHz），內(nèi)存為4 G。

因生產(chǎn)車間上午光線很強而晚上光線較暗，為減少環(huán)境光變化的影響，首先關(guān)掉照明光源，并將鏡頭光圈調(diào)小且將曝光時間變短，得到全黑圖像，然后打開照明光源并增大亮度，直到最佳成像。在實際測試中發(fā)現(xiàn)在光線較強的上午，將光源調(diào)到最大功率時成像仍然較暗。由于使用條件和成本的限制無法更換更大功率的光源，也無法加裝暗箱，只能通過增大光圈達到有效成像，但此時環(huán)境光的影響將無法避免。為評估光線變化的影響程度，在不同時間段共進行了10次實驗。上午9時設(shè)置了模板并開始第1次實驗，其后實驗中模板再沒有修改過。

圖6 實驗環(huán)境

在企業(yè)實際生產(chǎn)過程中，由于灰塵、設(shè)備振動、光照變化等原因很容易造成圖像中出現(xiàn)噪聲影響。如果缺陷報警閾值設(shè)得過小，容易造成虛警，影響生產(chǎn)效率，設(shè)得過大又容易造成漏檢，因此按企業(yè)要求在程序中設(shè)置了可修改的閾值參數(shù)，由現(xiàn)場工程師根據(jù)生產(chǎn)經(jīng)驗動態(tài)調(diào)整，以保證虛警率和漏警率都在合理范圍內(nèi)。按照企業(yè)要求，實驗中缺陷報警閾值設(shè)定為1 mm2。

實驗結(jié)果見表1—3，其中虛警數(shù)是沒有缺陷但被誤報的次數(shù)，漏警數(shù)是有缺陷但漏報的次數(shù)，虛警率和漏警率是虛警數(shù)和漏警數(shù)占型腔總數(shù)的百分比。

由表1—3可知，邊緣變形檢測最大錯誤率為0.45%，底部變形檢測最大錯誤率為0.50%，底部穿孔檢測最大錯誤率為0.35%，均小于用戶錯誤率不超過1%的要求。從不同時間實驗錯誤率變化情況看，下午錯誤率明顯上升，夜晚最大，分析原因是模板上午9時設(shè)置，隨著時間的推移，外界光線變化導致圖像發(fā)生輕微變化引起錯誤率上升。底部變形檢測錯誤率最高，分析原因是底部變形對光線變化更為敏感，且隨著實驗多次重復進行底部變形情況慢慢緩解，從而引起漏警率上升。示例檢測結(jié)果圖像見圖7。

表1 邊緣變形檢測實驗結(jié)果

Tab.1 Experimental results of edge deformation detection

表2 底部變形檢測實驗結(jié)果

Tab.2 Experimental results of bottom deformation detection

表3 底部穿孔檢測實驗結(jié)果

Tab.3 Experimental results of bottom perforation detection

圖7 缺陷檢測結(jié)果示例

4 結(jié)語

在利用平板光源照明突出缺陷特征的基礎(chǔ)上，通過模板匹配方法配準模板圖像和待檢測圖像，并進行異或運算檢測兩圖像差異進行芯片載帶缺陷檢測。實驗結(jié)果顯示每幀圖像檢測平均耗時0.22 s，邊緣變形檢測錯誤率為0.45%，底部變形檢測錯誤率為0.50%，穿孔檢測錯誤率為0.35%，滿足企業(yè)錯誤率不超過1%和每幀耗時不超過0.5 s的要求。實驗結(jié)果表明該方法能夠?qū)崟r檢測芯片載帶邊緣變形、穿孔等缺陷，有效地實現(xiàn)載帶加工生產(chǎn)過程中的質(zhì)量監(jiān)控。以文中方法為基礎(chǔ)設(shè)計的監(jiān)測軟件已經(jīng)在企業(yè)得到了實際應用，有效地提高了工作效率、檢測精度和穩(wěn)定性，取得了良好的效果。

[1] 李少波, 楊靜, 王錚, 等. 缺陷檢測技術(shù)的發(fā)展與應用研究綜述[J]. 自動化學報, 2020, 46(11): 2319-2336.

LI Shao-bo, YANG Jing, WANG Zheng, et al. Review of Development and Application of Defect Detection Technology[J]. Acta Automatica Sinica, 2020, 46(11): 2319-2336.

[2] XU Jian-liang, MAO Jian-hui, ZHOU Ming-an, et al. Research on Surface of Casting Defect Detection Based on Machine Vision Technology[J]. Computer Science and Application, 2020, 10(1): 44-50.

[3] MIN Yong-zhi, XIAO Ben-yu, DANG Jian-wu, et al. Real Time Detection System for Rail Surface Defects Based on Machine Vision[J]. EURASIP Journal on Image and Video Processing, 2018, 2018(1): 1-11.

[4] LIU Jin-xing, HAN Xian-wei, GAO Wei, et al. Vehicle Cup-Holder Defect Detection System Based on Machine Vision[J]. Computer Science and Application, 2019, 9(6): 1085-1094.

[5] SUN Jun, LI Chao, WU Xiao-Jun, et al. An Effective Method of Weld Defect Detection and Classification Based on Machine Vision[J]. IEEE Transactions on Industrial Informatics, 2019: 15(12): 6322-6333.

[6] 李永敬, 朱萍玉, 孫孝鵬, 等. 基于形狀模板匹配的沖壓件外形缺陷檢測算法研究[J]. 廣州大學學報(自然科學版), 2017, 16(5): 62-66.

LI Yong-jing, ZHU Ping-yu, SUN Xiao-peng, et al. Shape Defect Detection Algorithm of Stamping Parts Based on Shape Template Matching[J]. Journal of Guangzhou University (Natural Science Edition), 2017, 16(5): 62-66.

[7] WANG Jiao. Research on Detection Method of Radiator Brazing Based on Machine Vision[J]. Artificial Intelligence and Robotics Research, 2020, 9(3): 163-169.

[8] HUANG Yuan-min, YI Ming, YANG Man, et al. Research on Automatic Detection Method of Plate Surface Defects Based on Machine Vision[J]. Artificial Intelligence and Robotics Research, 2019, 8(3): 109-117.

[9] HE Tao, CAO Yu-tong, ZHANG Meng-qi, et al. Design of Flexible Packaging Defect Detection System Based on Machine Vision[J]. Journal of Image and Signal Processing, 2021, 10(1): 28-35.

[10] WANG Shuo, XU Jiang-feng, WANG Fang-zhou, et al. Identification and Detection of Surface Defects of Outer Package Printed Matter Based on Machine Vision[J]. Journal of Korea Technical Association of the Pulp and Paper Industry, 2020, 52(2): 3-11.

[11] 楊健, 辛浪, 豆昌軍. 基于機器視覺技術(shù)的瓶蓋劃痕檢測[J]. 包裝工程, 2019, 40(13): 227-232.

YANG Jian, XIN Lang, DOU Chang-jun. Bottle Cap Scratch Detection Based on Machine Vision Technology[J]. Packaging Engineering, 2019, 40(13): 227-232.

[12] LI Rui-zhi, TIAN Fang, CHEN Shi-qiang. Research on Surface Defect Detection Method of E-TPU Midsole Based on Machine Vision[J]. Journal of Computer and Communications, 2020, 08(11): 145-160.

[13] XIE Wei-jun, WANG Feng-he, YANG De-yong, et al. Research on Carrot Surface Defect Detection Methods Based on Machine Vision[J]. IFAC-Papers On Line, 2019, 52(30): 24-29.

[14] 劉見平, 趙麗, 牛樹云, 等. 基于形狀模板匹配的交通標志污損檢測方法研究[J]. 公路交通科技(應用技術(shù)版), 2018, 14(12): 270-273.

LIU Jian-ping, ZHAO Li, NIU Shu-yun, et al. Research on Traffic Sign Defilement Detection Method Based on Shape Template Matching[J]. Highway Traffic Technology (Application Technology Edition), 2018, 14(12): 270-273.

[15] 毛偉民, 蘆俊, 朱衛(wèi)良, 等. 基于邊緣檢測的載帶壓痕檢測[J]. 計算機測量與控制, 2010, 18(7): 1483-1484.

MAO Wei-min, LU Jun, ZHU Wei-liang, et al. Tape Impresses Test Based on Edge Detection[J]. Computer Measurement & Control, 2010, 18(7): 1483-1484.

[16] 石韻昭, 倪軍, 李寧釧, 等. 基于機器視覺的雙工位載帶檢測系統(tǒng)研究[J]. 計量學報, 2019, 40(2): 196-200.

SHI Yun-zhao, NI Jun, LI Ning-chuan, et al. Research on Duplex Carrier Detection System Based on Machine Vision[J]. Acta Metrologica Sinica, 2019, 40(2): 196- 200.

Machine Vision Detection Method for Chip Carrier Defects

WEI Hong-lei, JIANG Zhi-liu, XU Jia-heng, KONG Xiang-zhi, SHANG Ye-tong, TONG Qiang

(School of Mechanical Engineering and Automation, Dalian Polytechnic University, Liaoning Dalian 116034, China)

An efficient and accurate machine vision detection method was proposed to detect the deformation and perforation at the bottom and edge of the cavity of chip packaging carrier tape. The registration template and standard template images are prepared offline and then detected online during production. During the detection process, the cavity image to be detected is triggered by the sensor, and then the template image and the image to be detected are registered by the template matching method, and the XOR operation is performed to detect the difference between the two images so as to locate the defect. Experiments show that the maximum error rate of edge deformation detection is 0.45%, the maximum error rate of bottom deformation detection is 0.50%, and the maximum error rate of perforation detection is 0.35%. The average detection time of each frame is 0.22 s, which meets the user's requirement that the error rate is less than 1% and the time of each frame is less than 0.5 s. This method can detect the edge deformation and perforation of the chip in real time, and effectively realize the quality monitoring in the process of chip loading processing.

chip carrier; defect detection; machine vision; image XOR operation

TS254.9

A

1001-3563(2022)11-0183-06

10.19554/j.cnki.1001-3563.2022.11.024

2021–06–24

遼寧省教育廳2021年度科學研究經(jīng)費面上項目（LJKZ0535，LJKZ0526）；2021年度本科教育教學綜合改革項目（JGLX2021020，JCLX2021008）

魏鴻磊（1973—），男，博士，大連工業(yè)大學副教授，主要研究方向為機器視覺及機電一體化系統(tǒng)設(shè)計。

童強（1989—），男，博士，大連工業(yè)大學講師，主要研究方向為機器視覺及增材制造關(guān)鍵技術(shù)。

責任編輯：曾鈺嬋