談AI技術(shù)在AOI中的應(yīng)用

鐘冠祺 吳天信

（廣州廣合科技股份有限公司，廣東 廣州 510730）

0 前言

印制電路板（PCB）發(fā)展過程中，板件生產(chǎn)日趨小型化、精密化，線條越來越細(xì)，孔徑越來越小，圖形間距也越來越密集，同時(shí)對PCB的質(zhì)量要求也越來越高，這使得提高PCB的檢測技術(shù)必不可少。PCB最早的檢測使用的是人工目測的方法，但是單靠人工檢測已經(jīng)無法確保檢驗(yàn)結(jié)果是精確的以及是有效的，引進(jìn)自動(dòng)光學(xué)檢測系統(tǒng)AOI（Automatic Optic Inspect）再輔以人工智能（AI）圖像識(shí)別技術(shù)可以學(xué)習(xí)人工檢測缺陷的特性，進(jìn)而協(xié)助或者取代人，從而達(dá)到減少復(fù)檢人員的數(shù)量，實(shí)現(xiàn)產(chǎn)品的量產(chǎn)，達(dá)到提升檢測覆蓋率，降低誤判的效果。AOI使用光學(xué)技術(shù)[精密光學(xué)鏡頭、高精度CCD（圖像傳感器）、CMOS等感光組件]獲取圖像的光信號(hào)，再經(jīng)過光電信號(hào)轉(zhuǎn)換、數(shù)字圖像處理、識(shí)別等算法處理后，從被檢測物件獲得所需要的信息，利用這些信息可進(jìn)行產(chǎn)品外觀檢測，缺陷鑒定分類，主要應(yīng)用于內(nèi)層芯板檢測和外層成品檢測中的缺陷，比如缺口、突銅、凹銅、短路、斷路、殘銅、針孔、線寬線距不足等問題。由于現(xiàn)在的芯片載板越來越精細(xì)，檢規(guī)也越來越嚴(yán)格，導(dǎo)致在線AOI掃描的結(jié)果存在大量的假缺陷，如果把內(nèi)層和外層的缺陷都統(tǒng)計(jì)起來，集中傳送到人工檢修站（VT）檢測機(jī)，這一定會(huì)增加設(shè)備成本、人工成本、時(shí)間成本，而直接影響生產(chǎn)效率，這對于重資產(chǎn)的制造業(yè)來說是致命的。人為的限制（包括誤操作和疲勞）或?qū)CB缺陷的錯(cuò)誤識(shí)別也會(huì)影響良率，甚至?xí)p害PCB本身。將AI集成到AOI的過程中就是為了解決上述效率、良率和成本的問題專門定做而成，提高整體效率和運(yùn)營是AI系統(tǒng)的最大機(jī)會(huì)。實(shí)驗(yàn)證明這其中輔以AI圖像識(shí)別技術(shù)通過模仿人工目檢的判斷操作方式來運(yùn)行，AI解決真假缺陷的方案也是以人工的判斷結(jié)果進(jìn)行訓(xùn)練的，通過對各種真假缺陷的類型進(jìn)行多次深度學(xué)習(xí)，能夠區(qū)分缺陷程度的重或輕，從而過濾掉不會(huì)對板面造成電氣性能影響的假缺陷，并且可以對此類曾經(jīng)釋放過的缺陷的初始特征作記憶保留進(jìn)而達(dá)到理想的表現(xiàn)。

1 AOI的工作流程

1.1 圖像識(shí)別

標(biāo)準(zhǔn)圖像來源golden board金板（無缺陷板）當(dāng)機(jī)獲得，或者從CAM（計(jì)算機(jī)輔助制造）房取得CAD（計(jì)算機(jī)輔助設(shè)計(jì)）格式的資料，經(jīng)過工作站處理成AOI可識(shí)別的料號(hào)文件，AOI系統(tǒng)首先分析并處理PCB中CAM文件的標(biāo)準(zhǔn)圖像信息，再控制設(shè)備的光學(xué)成像部件將PCB通過光學(xué)掃描的方式在計(jì)算機(jī)內(nèi)部產(chǎn)生實(shí)物的掃描圖像，并將標(biāo)準(zhǔn)圖像與實(shí)物圖像兩者之間進(jìn)行各種邏輯算法對比，從而實(shí)現(xiàn)缺陷的初步判別和分類，如圖1所示。

圖1 AOI軟件結(jié)構(gòu)

1.2 工作流程

人工通過計(jì)算機(jī)將PCB的各種缺陷資料下傳到離線判別載體VRS（驗(yàn)證與修理工作站），借助AI技術(shù)的邏輯算法再次識(shí)別真假缺陷資料，就可以把假點(diǎn)自動(dòng)過濾掉，然后再通過數(shù)控計(jì)算機(jī)把真點(diǎn)傳到人工檢修站VT，進(jìn)行人工的最終判斷。

2 AOI工作原理

2.1 獲取圖像原理

通過光學(xué)部分獲得需要檢測的圖像，通過圖像處理部分來進(jìn)行分析和判斷，其中圖像處理部分需要很強(qiáng)的軟件支持，因?yàn)楦鞣N缺陷的特征不同計(jì)算的方法也會(huì)不同。AOI與人的判斷原理相同，人識(shí)別物體是通過反射回來的光量進(jìn)行判斷的，反射量多為亮，反射量少為暗，AOI通過LED燈光代替自然光，通過CCD代替人眼，把從光源反射回來的光信號(hào)強(qiáng)弱轉(zhuǎn)化為相對應(yīng)的電信號(hào)，把模擬量轉(zhuǎn)變?yōu)閿?shù)字量，AOI就可以區(qū)分PCB板面的圖形情況，再和標(biāo)準(zhǔn)設(shè)定值進(jìn)行比較，分析。掃描PCB圖像形成就是利用光的反射原理及銅和基材對于光有不同反射能力的特性，形成有區(qū)別的掃描對象，如圖2所示。

圖2 硬件結(jié)構(gòu)

2.2 圖像讀取原理

自然界的各種顏色都可以由紅綠藍(lán)（RGB）三種顏色調(diào)配而成，為了圖像在采集的過程區(qū)分銅面和基材避免失真，需要進(jìn)行圖像的灰度化，就是將圖像上的像素點(diǎn)的灰度值（黑的程度，即是介于純黑和純白之間）設(shè)置為256個(gè)不同的灰度級(jí)別，用0到255的數(shù)字表現(xiàn)出來。然后將灰度化的圖像進(jìn)行二值化處理，把大于某個(gè)臨界灰度值的像素灰度設(shè)為灰度極大值，把小于這個(gè)值的像素灰度設(shè)為極小值，從而實(shí)現(xiàn)二值化。二值化可以把灰度圖像轉(zhuǎn)換成二值圖像，這是圖像分割的一種最簡單的方法，目的是將圖像上的像素的灰度值設(shè)置為0或者是255將整個(gè)圖像呈現(xiàn)出明顯的只有黑白的視覺效果。其中二值圖像是指：每個(gè)像素點(diǎn)均為黑色或者白色的圖像，經(jīng)常用黑白、單色圖像表示二值圖像。圖像數(shù)字化是指將連續(xù)色調(diào)的模擬圖像（空間上連續(xù)不分割、信號(hào)值不分等級(jí)的圖像）經(jīng)過采樣量化后轉(zhuǎn)換成數(shù)字影像（空間上被分割成離散像素信號(hào)值分為有限等級(jí)、用數(shù)碼0和1）表示的過程，數(shù)字圖像化運(yùn)用的是計(jì)算機(jī)圖形和圖像技術(shù)。

2.3 生產(chǎn)能效

彩色AOI4.0版本采用彩色CCD（line彩色影像），搭載可調(diào)光源技術(shù)，適用于更多的板材，如M4，M6，白料板等，銅面和基材分層清晰，使二值化解析清楚；有群組復(fù)檢功能，相對黑白版本來說容易獲取更多資訊，有效避免復(fù)檢人員的嚴(yán)重漏失，通常一臺(tái)主機(jī)搭配1-2臺(tái)VRS（復(fù)檢機(jī)）。

3 AOI缺陷的種類

3.1 缺陷區(qū)分與識(shí)別

缺陷的真假評判注重兩個(gè)指標(biāo)，第一個(gè)是缺陷類別的信息，第二個(gè)是缺陷的嚴(yán)重程度的信息，要區(qū)分重度、中度、輕度三大類。一套AI模型建好了之后，就可以根據(jù)判斷標(biāo)準(zhǔn)不同的客戶專門定制化設(shè)置參數(shù)，以滿足客戶的特定要求。

大銅面缺陷：孔內(nèi)凸銅、孔內(nèi)殘銅、基材壓傷折傷、空曠區(qū)暗孔殘銅，銅面去膜不凈、銅面異物、銅面破洞、銅面氧化、孔內(nèi)蝕刻不凈、大銅面黑色點(diǎn)。

線路面缺陷：開路、短路、線路黑點(diǎn)、擦花、線路去摸不凈、線路異物、線路凸銅、線路缺口、線路針孔、線細(xì)和過蝕、線路面氧化、線路蝕刻不凈。

AI識(shí)別真點(diǎn)見圖3所示。

圖3 AI識(shí)別真點(diǎn)情況

AI識(shí)別假點(diǎn)見圖4所示。

圖4 AI識(shí)別假點(diǎn)

3.2 人工離線復(fù)檢

3.2.1 漏檢概念

AOI無法區(qū)分異物、破洞、氧化，VRS只能標(biāo)出凸出和凹陷、短路和開路、大銅面異物和破洞都標(biāo)注針孔，所以就無法準(zhǔn)確區(qū)分缺陷哪些可以通過或不可以通過。但是AI可以由大量的圖片訓(xùn)練，學(xué)習(xí)人工把此類缺陷分辨允許接收和不允許接收。PCB上的缺陷當(dāng)AOI不能夠報(bào)告出來稱為“漏檢”，根據(jù)漏檢產(chǎn)生的過程可分為三種。

（1）缺陷被設(shè)備找到了，但檢測參數(shù)設(shè)定不嚴(yán)格把缺陷當(dāng)成假缺陷不報(bào)告出來，或者本來能檢測到的因設(shè)備狀況變化被漏檢。

（2）缺陷無法被設(shè)備找到，也無法把缺陷報(bào)告出來。

（3）缺陷被設(shè)備找到了，但檢測參數(shù)設(shè)定嚴(yán)格無法把缺陷報(bào)告出來。

3.2.2 料號(hào)選取

（1）如圖5所示，唯一選擇在線AOI3-#機(jī)臺(tái)前面打鉤，選擇信息來源機(jī)臺(tái)；

圖5 料號(hào)選取

（2）下拉倒三角，選擇起始日期和結(jié)束日期，確定時(shí)間范圍；

（3）點(diǎn)擊雙面或者單面讀取，選擇AI過濾類型，有三種上線模式，全秀、不看OK、不看NG，點(diǎn)擊對應(yīng)的上線模式；

（4）點(diǎn)擊搜索料號(hào)，等待VRS頁面更新料號(hào)；

（5）選擇料號(hào)，白色表示沒有過濾，黃色代表沒有完全過濾完整，綠色代表全部過濾完整。

3.2.3 上線模式1

（1）不看AIOK，則頁面全部顯示8個(gè)NG型缺陷，人工只需要從8個(gè)NG缺陷里面再次過濾假點(diǎn)；

（2）當(dāng)點(diǎn)擊綠色AIOK，則全部為PASS。當(dāng)選中ALLNG，則全部為NG；

（3）當(dāng)前界面缺陷篩選完畢，可點(diǎn)擊左上角切換頁數(shù)，也可按住方向鍵切換頁數(shù)。見圖6所示。

圖6 上線模式1

3.2.4 上線模式2

（1）不看AING，則頁面全部顯示8個(gè)OK型缺陷，人工只需要從8個(gè)OK缺陷里面再次過濾假點(diǎn)。

（2）當(dāng)點(diǎn)擊綠色ALLOK，則全部為PASS。當(dāng)選中ALLNG，則全部為NG；

（3）當(dāng)前界面缺陷篩選完畢，可點(diǎn)擊右下角切換頁數(shù)，也可按住方向鍵切換頁數(shù)。見圖7所示。

圖7 上線模式2

4 效率和良率

4.1 統(tǒng)計(jì)規(guī)則

應(yīng)用AI技術(shù)后，大銅面占比約3/4和線路面占比約1/4綜合一起漏失率在0.01%～0.1%之間，過濾率在70%以上。

（1）AI總?cè)秉c(diǎn)數(shù)＝AI（OK）數(shù)＋AI（NG）數(shù)

（2）AIOK總?cè)秉c(diǎn)數(shù)＝AI（OK）數(shù)

（3）正確率＝（AIOK同時(shí)人工OK數(shù)＋AING同時(shí)人工NG數(shù)）／AI 總?cè)秉c(diǎn)數(shù)×100

（4）漏失率＝（AIOK同時(shí)人工NG數(shù)）/總?cè)秉c(diǎn)數(shù)×100

（5）誤判率＝（AING同時(shí)人工OK數(shù)）/總?cè)秉c(diǎn)數(shù)×100

（6）OK過濾率＝（AIOK同時(shí)人工OK）/（AIOK數(shù)同時(shí)人工OK數(shù)＋AIOK數(shù)同時(shí)人工OK數(shù)＋AI不確定數(shù)同時(shí)人工OK數(shù)）

4.2 實(shí)際節(jié)省成本

4.2.1 人工層面

車間實(shí)際配備的機(jī)器能力：VT機(jī)3.6面/min，每日有效生產(chǎn)時(shí)間為19.6 h，每日產(chǎn)能19 051 pnl/d；月產(chǎn)能533 433 pnl/月，設(shè)備能力1.8 pnl/min。超負(fù)荷狀態(tài)，車間人員復(fù)檢11 h，那么可以有單人一個(gè)班次工作總量等于11×60×3.6/2＝1188塊板。

在生產(chǎn)車間的實(shí)際調(diào)查情況：不同料號(hào)的在制芯板代表質(zhì)量的真點(diǎn)和假點(diǎn)的數(shù)量是不同的，線路面和大銅面的缺陷也有很大的差異，從大量數(shù)據(jù)統(tǒng)計(jì)得知一塊芯片可以折合15個(gè)沒有經(jīng)過AI過濾的原始缺陷含真點(diǎn)和假點(diǎn)，熟練的VT復(fù)檢員工每天一個(gè)班次工作11 h，每天的工作個(gè)人總量可以達(dá)到檢查在線AOI原始資料1200塊芯板，這個(gè)數(shù)據(jù)和VT設(shè)備能力的1188塊板吻合。總板數(shù)一定，那么真點(diǎn)和假點(diǎn)總數(shù)也可以吻合。所以可以進(jìn)行下述數(shù)據(jù)演算。

取假點(diǎn)數(shù)13318，假點(diǎn)過濾率63%進(jìn)行理論和實(shí)際結(jié)合來驗(yàn)證AI的能力，沒有應(yīng)用AI前時(shí)VRS采用雙面讀取的方式13318/2＝6659塊，折算成需要6659/1200＝5.5個(gè)人來工作，那么每人每天需要過濾缺陷總數(shù)含真點(diǎn)和假點(diǎn)151447/5.5＝27553個(gè)；總?cè)秉c(diǎn)數(shù)含真點(diǎn)和假點(diǎn)151447，折算成單位塊芯片的平均缺陷點(diǎn)數(shù)151447/6659＝22.7個(gè)（比車間實(shí)際的15個(gè)點(diǎn)多）。

運(yùn)用AI圖像識(shí)別技術(shù)處理后OK過濾率達(dá)到了63%，那么折算每塊芯板的平均點(diǎn)數(shù)只有真點(diǎn)22.7×（1～63%）＝8.3個(gè)，此時(shí)總點(diǎn)數(shù)只有真點(diǎn)8.3×6659＝55269.7個(gè)，這是需要復(fù)檢人數(shù)是55269.7/27535＝2個(gè)人。即是從5.5個(gè)人減少3.5個(gè)人只需要2個(gè)人，減少了人數(shù)量占比3.5/5.5＝0.63，也就是人數(shù)減少量2/3，如果從每臺(tái)VT機(jī)配備1個(gè)復(fù)檢人員的話，也就是可以減少2/3臺(tái)VT機(jī)。

4.2.2 時(shí)間層面

節(jié)省率＝總節(jié)省時(shí)間／總時(shí)間，其中總節(jié)省時(shí)間＝總時(shí)間－AI總時(shí)間

（1）總時(shí)間＝每片平均時(shí)間×（總片數(shù)－零點(diǎn)片數(shù)）＋零點(diǎn)片數(shù)×（5.0 s/片）

（2）AI總時(shí)間＝AI每片平均時(shí)間×（總片數(shù)－零點(diǎn)片數(shù)）＋零點(diǎn)片數(shù)×（5.0 s/片）

（3）每片平均時(shí)間＝［總?cè)秉c(diǎn)數(shù)/（總片數(shù)－零點(diǎn)片數(shù)）］×1 s/每點(diǎn)＋17.2 s/每片（上下料）

（4）AI每片平均時(shí)間＝［（總?cè)秉c(diǎn)－AIOK總數(shù)）/（總片數(shù)－零點(diǎn)片數(shù)）］×1 s/每點(diǎn)＋17.2 s/每片（上下料）

節(jié)省人力＝總節(jié)省時(shí)間/8 h×3600 s

5 AI優(yōu)化方法

AI優(yōu)化方案基于所收到的數(shù)據(jù)，而且是以人類操作員的判斷結(jié)果進(jìn)行訓(xùn)練的，因此有能力以一致的正確性自主執(zhí)行分類判斷。但要達(dá)到理想的表現(xiàn)，必須以正確的數(shù)據(jù)模式（data pattern）進(jìn)行訓(xùn)練，才能讓AI系統(tǒng)逐步學(xué)習(xí)到正確的算法行為。此外由于最細(xì)微的數(shù)據(jù)變化也會(huì)完全翻轉(zhuǎn)AI系統(tǒng)判斷的結(jié)果，可見數(shù)據(jù)是AI應(yīng)用的關(guān)鍵之一，因此AI系統(tǒng)的數(shù)據(jù)非常重要，此外AI作為一種新技術(shù)從測試到上市本身就是一個(gè)不斷完善的過程，在測試前期更是一個(gè)需要投入人力，投入時(shí)間的過程，所以需要在生產(chǎn)實(shí)踐中真正把AI運(yùn)用起來，綜合輸出的真假點(diǎn)缺陷數(shù)據(jù)，找到優(yōu)化的方案。

5.1 AI優(yōu)化方法1

優(yōu)化是對原圖像進(jìn)行二次轉(zhuǎn)換提取特征的過程，相當(dāng)于信號(hào)處理的濾波器，簡單概括流程圖就是卷積層－采樣層－全連接層。

（1）大致理解為通過第一個(gè)卷積層提取由在線AOI掃描出來的最初特征，然后輸出特征圖；

（2）通過第二個(gè)采樣層對最初的特征圖進(jìn)行特征選擇，去除多余特征重構(gòu)新的特征圖；

（3）第二個(gè)卷積層是對上一層的采樣層的輸出特征圖進(jìn)行第二次特征提?。?/p>

（4）第二個(gè)采樣層也是對上一層輸出進(jìn)行二次特征選擇；

（5）循環(huán)往復(fù)卷積－采樣－卷積－采樣……

（6）全連接層便是對全部特征的進(jìn)行分類。

5.2 AI優(yōu)化方法2

圖像相似度計(jì)算主要用于對于兩幅圖像之間內(nèi)容的相似程度進(jìn)行打分，區(qū)別于差值法，是根據(jù)兩張圖片的重合度來判斷圖像內(nèi)容的相近程度。待在線AOI掃描出來的缺陷圖和工程資料中的CAM圖進(jìn)行對比，想要檢測兩個(gè)圖片是否相等，當(dāng)這兩個(gè)圖片完全相同的時(shí)候，可以直接返回一個(gè)True，當(dāng)這兩個(gè)圖片有微小差距的時(shí)候，也希望可以返回True，但是如果嚴(yán)格用差值法對比圖片，第二個(gè)需求就不滿足，所以需要通過研究圖像的相似性也就是圖像相似度來解決PCB中假點(diǎn)和非功能漏失點(diǎn)的總體比例，提高假點(diǎn)過濾率，進(jìn)而提高生產(chǎn)效率。

6 結(jié)束語

本文首先分析了PCB生產(chǎn)過程中AOI檢測機(jī)器的工作原理，并指出在缺陷檢測過程中存在效率低，識(shí)別準(zhǔn)確率不足等問題；然后提出將AI圖像識(shí)別技術(shù)應(yīng)用在缺陷圖像檢測中去，提高識(shí)別效率與識(shí)別準(zhǔn)確率，減輕操作員的工作量；同時(shí)

由于缺陷檢測的復(fù)雜程度大，使得必須通過建立龐大的訓(xùn)練數(shù)據(jù)集來提高AI軟件泛化能力和穩(wěn)定性；最后提出了定期使用數(shù)據(jù)集表對照芯板或者成品板的方式評估AI軟件和AOI設(shè)備的檢測能力，保證AI軟件和AOI設(shè)備的穩(wěn)定性，降低漏檢率。理論上VRS離線復(fù)檢的效率可以達(dá)到VT復(fù)檢的六倍，應(yīng)用AI技術(shù)后VRS復(fù)檢達(dá)到了智能化,VT檢查機(jī)能夠直接調(diào)取AI檔資料，這就可以節(jié)省一名人工離線復(fù)判的人力成本和提升時(shí)間效率。