基于深度學(xué)習(xí)的自動(dòng)光學(xué)檢測(cè)技術(shù)

摘 ?要：人工智能如何在工廠落地？如何用深度學(xué)習(xí)的方法來(lái)推動(dòng)傳統(tǒng)產(chǎn)業(yè)的效率提升？本文介紹了在產(chǎn)品缺陷檢查中引入深度學(xué)習(xí)的原理，實(shí)現(xiàn)路徑及方法，并通過(guò)實(shí)際案例對(duì)其經(jīng)濟(jì)效益做了比較，希望對(duì)相關(guān)從業(yè)者帶來(lái)一些借鑒或啟發(fā)。

關(guān)鍵詞：人工智能;自動(dòng)光學(xué)檢測(cè);Automated Optical Inspection （AOI）;深度學(xué)習(xí);Deep Learning;人工神經(jīng)網(wǎng)絡(luò);Artificial Neural Network （ANN）;卷積神經(jīng)網(wǎng)絡(luò);Convolutional Neural Network（CNN）;誤判（Overkill）;漏判（Underkill）

隨著珠江三角洲和長(zhǎng)江三角洲一帶用工荒的蔓延，越來(lái)越多的工廠開(kāi)始嘗試用自動(dòng)光學(xué)檢測(cè)（AOI）來(lái)代替人工目檢。

如果在自動(dòng)光學(xué)檢測(cè)中使用深度學(xué)習(xí)功能，用一定量的樣本來(lái)進(jìn)行反復(fù)訓(xùn)練，通過(guò)神經(jīng)網(wǎng)絡(luò)的自我進(jìn)化，使機(jī)器達(dá)到一定程度的人工智能，可以大大提高漏判（Underkill）率和誤判（Overkill）率，達(dá)到遠(yuǎn)超人工目檢的效率和可靠性，這就是我們這次力爭(zhēng)要達(dá)到的目的。下面講講我們使用的深度學(xué)習(xí)的原理。

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中應(yīng)用最廣泛的網(wǎng)絡(luò)模型之一。特別是在Krizhevsky等專家提出了一種經(jīng)典的CNN架構(gòu)，論證了深度結(jié)構(gòu)在特征提取上的潛力，并在圖像識(shí)別任務(wù)上取得了重大突破之后，CNN得到了人們?cè)絹?lái)越多的關(guān)注和研究。本次任務(wù)就采用這種網(wǎng)絡(luò)來(lái)進(jìn)行PZT缺陷的識(shí)別。圖中RELU（Rectified Linear Unit），又稱修正線性單元，是一種激勵(lì)函數(shù)，它可以讓大數(shù)值通過(guò)，而讓一些神經(jīng)元處于不會(huì)激發(fā)的陳舊態(tài)，因此可以加快訓(xùn)練速度。池化層位于卷積層之間，通過(guò)最大值或平均值采樣在層間減少圖像大小。壓平層用來(lái)將多維的輸入一維化，常用在從卷積層到全連接層的過(guò)渡。深度神經(jīng)網(wǎng)絡(luò)的最后一層往往是全連接層+Softmax（分類網(wǎng)絡(luò)）。

在實(shí)際操作中，我們購(gòu)買COGNEX（康耐視）的商業(yè)軟件COGNEX ViDi的開(kāi)發(fā)版來(lái)作為我們進(jìn)行深度學(xué)習(xí)的訓(xùn)練平臺(tái)。在該平臺(tái)上通過(guò)如下步驟來(lái)將上述原理落地：1）.收集：收集好品和壞品的圖像;2）.標(biāo)記：在壞品的圖像上標(biāo)記缺陷類別;3）.訓(xùn)練：用COGNEX ViDi平臺(tái)訓(xùn)練軟件模型;4）.驗(yàn)證：用正常流拉的產(chǎn)品來(lái)檢測(cè)，讓有經(jīng)驗(yàn)的工人對(duì)其結(jié)果來(lái)進(jìn)行驗(yàn)證，對(duì)其判斷錯(cuò)誤的產(chǎn)品重新進(jìn)行標(biāo)記，再返回去訓(xùn)練模型，如此循環(huán)，經(jīng)過(guò)一段時(shí)間的運(yùn)行后，其漏判（Underkill）率由最初的2%降到0.01%，誤判（Overkill）率由最初的5%降到0.2%，取得了遠(yuǎn)遠(yuǎn)好于人工檢測(cè)的效果。

為便于讀者對(duì)其流程有個(gè)更直觀的認(rèn)識(shí)，我們舉一個(gè)實(shí)際的例子來(lái)進(jìn)行說(shuō)明。

PZT是安裝在電腦磁頭上的壓電陶瓷，一個(gè)磁頭模組上左右兩側(cè)對(duì)稱各安裝一個(gè)，通過(guò)它能夠?qū)Υ蓬^飛行姿態(tài)進(jìn)行微調(diào)，從而能夠穩(wěn)定地讀寫磁盤上的數(shù)據(jù)。為了達(dá)到這個(gè)目的，就必須對(duì)PZT進(jìn)行嚴(yán)格檢測(cè)，使它不能有如下缺陷：裂紋、離起、彎曲、劃痕、擦傷、歪斜、PZT缺失 、多膠、少膠、極性錯(cuò)、毛刺、白點(diǎn)、黑點(diǎn)、白色纖維等。當(dāng)前人工PZT目檢是工人在40倍顯微鏡下看PZT的各面是否有缺陷，存在速度慢，容易疲勞，易漏檢等，且效率不高，現(xiàn)在人均檢測(cè)每天4000-5000個(gè)，6s/pcs。計(jì)劃開(kāi)發(fā)一款自動(dòng)視覺(jué)檢測(cè)機(jī)器替代人工檢測(cè)，實(shí)現(xiàn)3000UPH（unit per hour，每小時(shí)生產(chǎn)工件數(shù) ）檢查要求。

我們用6臺(tái)相機(jī)來(lái)提取圖像，各組相機(jī)分工如下，

第1組相機(jī)： 檢測(cè)PZT正面多膠、少膠、極性錯(cuò)、歪斜、PZT缺失、白色纖維等。

第2&3組相機(jī)： 檢測(cè)PZT側(cè)面裂紋、離起、彎曲等。

第4組相機(jī)： 檢測(cè)PZT正面裂紋、劃痕、擦傷、歪斜、PZT缺失 、毛刺、白點(diǎn)、黑點(diǎn)等。檢測(cè)PZT側(cè)面裂紋、離起、彎曲等。

準(zhǔn)備數(shù)據(jù)集（Dataset）。為了使用深度學(xué)習(xí)算法，要收集一些帶缺陷或不帶缺陷的PZT樣品，為它們加上標(biāo)記，這些圖像及相應(yīng)的標(biāo)記被用作訓(xùn)練深度學(xué)習(xí)模型的數(shù)據(jù)集。如下圖所示。注意：為了檢測(cè)出每一種缺陷，用作訓(xùn)練的數(shù)據(jù)集必須包括所有種類的缺陷。

訓(xùn)練階段。在訓(xùn)練階段，如果模型輸出和標(biāo)記之間有差異，系統(tǒng)將自動(dòng)更新深度學(xué)習(xí)模型。如此訓(xùn)練模型來(lái)學(xué)習(xí)PZT圖像的特征，盡力在自己的輸出中分割出帶標(biāo)記的缺陷。這個(gè)過(guò)程叫監(jiān)督學(xué)習(xí)，而標(biāo)記可以看作為一個(gè)老師。

驗(yàn)證。在訓(xùn)練完成并保存結(jié)果后，即使新輸入的圖像不在數(shù)據(jù)集內(nèi)，深度學(xué)習(xí)模型也能夠?qū)ζ涫荗K或NG作出預(yù)判。注意：此階段不必為產(chǎn)品提供標(biāo)記。

機(jī)器動(dòng)作簡(jiǎn)介：如下圖四所示，托盤（本次檢測(cè)的產(chǎn)品是由多層復(fù)合材料貼合成厚度為0.04mm的條狀物，用定位銷定位，用3條薄壓條壓在托盤上，托盤內(nèi)有磁鐵將壓條吸在托盤上）被工人放入上料單元的氣爪上，升降氣缸下降，氣爪打開(kāi)，托盤落到輸送盤上，橫向移料機(jī)構(gòu)上的氣缸將其沿X方向拍齊，輸送盤上自帶的夾緊氣缸在Y方向夾緊，此時(shí)輸送盤通真空，真空通過(guò)托盤上的幾排孔將產(chǎn)品緊緊吸在托盤上，輸送盤向里移動(dòng)到相機(jī)1下成像后向外退回。此時(shí)橫向移料機(jī)構(gòu)將托盤轉(zhuǎn)移到與相機(jī)2對(duì)應(yīng)的輸送盤上，輸送盤向里移動(dòng)到相機(jī)2下成像后向外退回，轉(zhuǎn)移到與相機(jī)3對(duì)應(yīng)的輸送盤，最后輸送盤移動(dòng)到激光打標(biāo)機(jī)下，在檢測(cè)不合格產(chǎn)品上打上激光標(biāo)記后向外退回，下料單元的升降氣缸下降，氣爪將托盤托住后升起，

基于深度學(xué)習(xí)的自動(dòng)光學(xué)檢測(cè)設(shè)備（PZT AOI機(jī)）和人工檢測(cè)的收益對(duì)比：

此技術(shù)由于效率高，大大減少人力成本（一臺(tái)機(jī)早晚班可以抵得上10個(gè)人），質(zhì)量可靠，適應(yīng)范圍廣，未來(lái)必將在工業(yè)檢測(cè)上有越來(lái)越廣闊的應(yīng)用前景。

參考文獻(xiàn)：

《AlexNet-Imagenet classification with deep convolutional neural networks》、《Python編程技術(shù)》、《Tensor Flow從入門到精通》、《計(jì)算機(jī)視覺(jué)與深度學(xué)習(xí)實(shí)戰(zhàn)》。

作者簡(jiǎn)介：程丙坤（1969 —），男，漢族，湖北省天門市人，高級(jí)工程師，大學(xué)本科學(xué)歷，目前研究方向?yàn)闄C(jī)器換人或自動(dòng)化設(shè)備開(kāi)發(fā)設(shè)計(jì)與研究。