融合改進(jìn)LBP和SVM的偏光片外觀缺陷檢測(cè)與分類

黃廣俊，鄧元龍

深圳大學(xué) 機(jī)電與控制工程學(xué)院，廣東 深圳518060

1 引言

隨著社會(huì)的快速發(fā)展，人們的生活方式也發(fā)生了顯著變化。人們更多地使用電子產(chǎn)品，如智能電視、手機(jī)、電腦等，它們已經(jīng)成為人們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠?。偏光片是薄膜晶體管液晶顯示器（TFT-LCD）面板的核心部件，它大約占顯示器面板總成本的10%[1]。一般而言，TFT-LCD 型偏光片的厚度大約0.3 mm，由5 層透明聚合物薄膜和1 層壓敏膠水層組成。在生產(chǎn)過(guò)程中，偏光片極其容易出現(xiàn)異物、劃痕、氣泡、凹凸點(diǎn)、缺膠等外觀缺陷。這些缺陷可能存在于薄膜的任何一層，降低液晶面板的質(zhì)量，甚至導(dǎo)致其失效。偏光片缺陷類別的快速、準(zhǔn)確檢出，有利于控制產(chǎn)品質(zhì)量，減少缺陷成品的出現(xiàn)。因此，生產(chǎn)企業(yè)對(duì)偏光片缺陷檢測(cè)和分類非常重視。然而，人工目視離線檢測(cè)存在著勞工強(qiáng)度大、實(shí)時(shí)性差、準(zhǔn)確性不高等問題，而基于機(jī)器視覺的檢測(cè)方法可以很大程度上克服上述弊端。

目前偏光片缺陷檢測(cè)方法主要有傳統(tǒng)圖像處理和人工神經(jīng)網(wǎng)絡(luò)。Sohn等人提出一種新的穩(wěn)定檢出各種TFT-LCD偏光片缺陷的方法，并設(shè)計(jì)算法，根據(jù)自適應(yīng)閥值判斷偏光片缺陷二值圖中是否有缺陷。在種類為6，數(shù)量為131的缺陷數(shù)據(jù)庫(kù)中，其算法檢出率為90.8%，其中暗區(qū)II 型缺陷和移除保護(hù)膜缺陷檢錯(cuò)率較高[2]。Kuo 等人在較早時(shí)使用拉普拉斯算子和閥值統(tǒng)計(jì)決策方法進(jìn)行自動(dòng)檢測(cè)，在200 張缺陷圖像分類中，分類準(zhǔn)確率達(dá)到98.0%，僅有4 張劃痕缺陷被誤分到點(diǎn)缺陷[3]。后來(lái)則提出使用最大灰度、離心率、對(duì)比度和灰度共生矩陣作為缺陷圖像特征，輸入到徑向基神經(jīng)網(wǎng)絡(luò)和后向傳播神經(jīng)網(wǎng)絡(luò)分類器中，在96 張訓(xùn)練樣本和84 張測(cè)試樣本中，分類準(zhǔn)確率達(dá)到98.9%，單張圖像處理時(shí)間為2.57 s[4]。Won等人在數(shù)量為210的偏光片缺陷數(shù)據(jù)庫(kù)中，使用卷積神經(jīng)網(wǎng)絡(luò)，正確分類精度達(dá)到95.0%[5]。Lei等人使用Faster R-CNN深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行偏光片缺陷目標(biāo)檢測(cè)，實(shí)驗(yàn)結(jié)果顯示，在使用VGG 模型時(shí)，其平均精度均值為67.5%，取得了非常好的檢測(cè)精度，且檢測(cè)速度幾乎達(dá)到實(shí)時(shí)[6]。然而，傳統(tǒng)圖像處理方法容易受噪聲等影響而降低處理精度和可靠性，而人工神經(jīng)網(wǎng)絡(luò)則需要大量的訓(xùn)練樣本才可以保證足夠的泛化能力，并且學(xué)習(xí)時(shí)間長(zhǎng)，容易出現(xiàn)“過(guò)學(xué)習(xí)”等現(xiàn)象，這些問題在一定程度上限制了該方法的應(yīng)用。支持向量機(jī)（Support Vector Machine，SVM）在解決小樣本、非線性及高維模式識(shí)別問題中具有獨(dú)特的優(yōu)勢(shì)[7]。本文對(duì)基于支持向量機(jī)的偏光片外觀缺陷檢測(cè)進(jìn)行研究。實(shí)驗(yàn)結(jié)果表明，該方法能有效快速地實(shí)現(xiàn)偏光片外觀缺陷的檢測(cè)和分類。

2 偏光片外觀缺陷檢測(cè)及其特征提取

2.1 缺陷圖像采集

根據(jù)暗場(chǎng)成像原理，使用工業(yè)相機(jī)獲取偏光片缺陷圖像，選擇高斯濾波器作為圖像預(yù)處理，然后進(jìn)行缺陷可疑區(qū)域的快速檢測(cè)和分割處理。常見的4 類偏光片缺陷和無(wú)缺陷背景圖如圖1所示。

圖1 常見的偏光片外觀缺陷類型

2.2 外觀缺陷特征提取

2.2.1 LBP描述符及其常用變形

傳統(tǒng)局部二值模式（Local Binary Pattern，LBP）描述符是將圖像中每一個(gè)像素點(diǎn)的灰度值作為閥值，并與所在的3×3 鄰域內(nèi)像素灰度值相比較。為滿足更大的區(qū)域覆蓋，Ojala等人將3×3鄰域擴(kuò)展到任意鄰域，并用圓形鄰域代替正方形鄰域。圓形LBP 描述符允許在半徑為R 的圓形鄰域內(nèi)有任意多個(gè)像素點(diǎn)。對(duì)于鄰域內(nèi)未直接落在像素方格中央的點(diǎn)的灰度值，通過(guò)線性插值完成。為解決圓形LBP描述符過(guò)于稀疏的直方圖問題，Ojala 等人提出了采用等價(jià)模式LBP 描述符來(lái)進(jìn)行降維，特征向量維度由原來(lái)的256 維降至59 維。然而，等價(jià)模式LBP描述符是假設(shè)圖像中LBP二進(jìn)制編碼僅存在1和0轉(zhuǎn)換不超過(guò)2次的情況。由于圖像紋理的多樣性，每一類圖像都有其各自的特點(diǎn)和關(guān)鍵信息，固定的等價(jià)模式并不適用于任何種類的圖像，等價(jià)模式LBP描述符的特征表達(dá)能力有所降低[8]。為克服等價(jià)模式LBP的缺點(diǎn)，黃飛飛等人提出使用主成分分析方法對(duì)LBP進(jìn)行維數(shù)約簡(jiǎn)，并命名為L(zhǎng)BP 子模式。在ORL 數(shù)據(jù)庫(kù)中的實(shí)驗(yàn)表明，LBP子模式無(wú)論在識(shí)別率還是維數(shù)方面都要優(yōu)于LBP等價(jià)模式。為進(jìn)一步豐富LBP描述符的描述能力，避免復(fù)雜的變換引起的計(jì)算復(fù)雜度的增加，張敦鳳等人融合圖像分區(qū)均值和傳統(tǒng)圓形LBP 描述符的方法，相對(duì)單一LBP描述符，在YALU和ORL人臉數(shù)據(jù)庫(kù)上，識(shí)別率分別提高9.28%和11.50%[9]。LBP 描述符及其變形形式示意圖如圖2所示。

2.2.2 改進(jìn)LBP描述符

圖2 傳統(tǒng)LBP描述符及其變形形式示意圖

ILBP具體步驟如下：

（1）特征提取。將預(yù)處理后的缺陷圖像劃分為不同分區(qū)，計(jì)算每個(gè)分區(qū)LBP 特征和均值特征，將所有分區(qū)提取特征連接成一個(gè)新的特征向量。

（2）數(shù)據(jù)歸一化。為了能夠更好地統(tǒng)一兩種特征，測(cè)試樣本單獨(dú)使用訓(xùn)練樣本上最大-最小值來(lái)歸一化，將新的特征向量映射到[-1,1]之間。

（3）主成分分析。設(shè)歸一化后的特征向量矩陣為X ，其列向量為xk=(x1k,x2k,…,xjk)T，缺陷的某一類型可由xk描述，協(xié)方差矩陣為：

取其所對(duì)應(yīng)的特征向量組成主成分方向，將缺陷圖像變換到新的特征空間Y 中：Y=UTX 。

（4）線性判別方法。經(jīng)PCA（Principal Component Analysis）降維后的缺陷圖像特征向量Y=(y1,y2,…,yn)為n 維向量，共有5類，每類缺陷的個(gè)數(shù)為ni，第i 類的樣本均值為，總體缺陷均值為缺陷類內(nèi)散度矩陣Sw和類間散度矩陣Sb分別為：

融入語(yǔ)境設(shè)想，讓學(xué)生有更多對(duì)話文本的機(jī)會(huì)。如在《天游峰的掃路人》教學(xué)中，針對(duì)天游峰的奇特景象，不妨建議學(xué)生思考：如果你在游覽天游峰的時(shí)候，見到了這些掃路人，你想與他們暢談什么呢？很顯然，這樣的開放性話題，讓學(xué)生能夠有更多自我對(duì)話文本的機(jī)會(huì)，能夠讓他們?cè)谥鲃?dòng)融入文本中形成更多的深刻感知。很多同學(xué)在設(shè)想中認(rèn)為，自己真想與掃路人一起掃路，體驗(yàn)其中的生活，感受他們的艱辛。有的同學(xué)說(shuō)，掃路人每日登山不是為了賞風(fēng)景，而是專門尋找敗筆，我們游客應(yīng)該換位思考，不能再隨手亂丟垃圾。有的同學(xué)說(shuō)，閱讀了此文，讓自己感受到勞動(dòng)最偉大，只有尊重別人的勞動(dòng)果實(shí)，才能收到別人的尊重，等等。

為得到最優(yōu)投影矩陣，Sw、Sb滿足如下準(zhǔn)則：

目標(biāo)函數(shù)形式為廣義瑞利商，是參數(shù)為投影向量ωT的函數(shù)。一般而言，經(jīng)PCA降維后，樣本個(gè)數(shù)大于樣本維數(shù)，散度矩陣Sw非奇異[10-11]。通過(guò)拉格朗日乘數(shù)法可求得：

取最大的m 個(gè)特征值λi所對(duì)應(yīng)的特征向量ωi構(gòu)成最佳投影矩陣，將偏光片缺陷圖像變換到新的特征空間Z 中：

3 支持向量機(jī)分類器設(shè)計(jì)

3.1 非線性問題的支持向量機(jī)

SVM處理非線性分類問題的基本原理就是通過(guò)非線性映射算法將原樣本映射到一個(gè)更高維甚至無(wú)窮維的特征空間中，這樣就可以將原本空間線性不可分的情況變成高維空間的線性可分問題。由于SVM是二元分類器，在解決多分類問題時(shí)，須由二元SVM來(lái)構(gòu)造多元分類器。本文采用一對(duì)一法來(lái)構(gòu)造多分類器。至于核函數(shù)的選擇，本文選用高斯徑向基核函數(shù)。

3.2 遺傳算法參數(shù)尋優(yōu)

SVM 的識(shí)別效果不僅受核函數(shù)影響，還受懲罰因子c 和核參數(shù)g 值的影響，因此需要對(duì)參數(shù)進(jìn)行尋優(yōu)。目前較常用的參數(shù)尋優(yōu)方法有網(wǎng)格搜索法、遺傳算法尋優(yōu)法等。相對(duì)網(wǎng)格搜索法，采用啟發(fā)式算法可以在更大范圍內(nèi)不必遍歷網(wǎng)格內(nèi)的所有參數(shù)點(diǎn)，就能找到全局最優(yōu)解，且能有效減少陷入局部最優(yōu)解的風(fēng)險(xiǎn)，具有魯棒性好、收斂速度快的特點(diǎn)[12]。本文使用謝菲爾德大學(xué)的遺傳算法工具箱來(lái)確定參數(shù)c 和g，具體流程如圖3所示。

圖3 使用遺傳算法優(yōu)化SVM參數(shù)流程圖

4 仿真實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境

仿真實(shí)驗(yàn)環(huán)境為Intel?Xeon?CPU E5-2630 v3@2.40 GHz 2.40 GHz，64 GB內(nèi)存，Win7操作系統(tǒng)，Matlab R2017b 軟件。為驗(yàn)證本文算法的準(zhǔn)確率，在自建偏光片缺陷數(shù)據(jù)庫(kù)和ORL數(shù)據(jù)庫(kù)上進(jìn)行仿真實(shí)驗(yàn)。其中，自建數(shù)據(jù)庫(kù)包含5類缺陷，每類50張，每張大小為256×256，均根據(jù)暗場(chǎng)成像原理，由不同的照射方位拍照獲得。隨機(jī)抽取200 張（每類40 張）缺陷圖像用于模型訓(xùn)練，剩余的50 張用于測(cè)試模型的性能。另外，ORL 人臉庫(kù)有400張圖像，包含40類，每類10張，每張大小為112×92。隨機(jī)抽取240 張人臉圖像用于模型訓(xùn)練，剩下的160 張用于模型測(cè)試。

4.2 實(shí)驗(yàn)結(jié)果和分析

實(shí)驗(yàn)將缺陷圖像劃分為2×2，4×4，6×6分區(qū)，均值特征劃分為16×16，32×32分區(qū)情況下，兩兩特征組合來(lái)設(shè)計(jì)實(shí)驗(yàn)。另外，還驗(yàn)證了不同LBP 描述符下的識(shí)別率。為確保實(shí)驗(yàn)數(shù)據(jù)的可信度，訓(xùn)練樣本采用十折交叉驗(yàn)證方法來(lái)進(jìn)行驗(yàn)證，整體數(shù)據(jù)庫(kù)的平均識(shí)別準(zhǔn)確率如表1 所示。

表1 不同LBP描述符及其變形形式下的識(shí)別率

從上述結(jié)果可以看出：傳統(tǒng)LBP描述符分類準(zhǔn)確率不高，圖像分區(qū)在一定程度上可以提高識(shí)別準(zhǔn)確率，但隨著分區(qū)的增多，特征維數(shù)急劇增加，圖像被分割得過(guò)于稀疏而丟失一些統(tǒng)計(jì)特性，導(dǎo)致識(shí)別率有一定程度下降。另外，當(dāng)貢獻(xiàn)率α 取合適值時(shí)，2×2圖像分區(qū)的整體識(shí)別率為99.2%，達(dá)到最大，優(yōu)于其他分區(qū)的識(shí)別準(zhǔn)確率，而且特征維數(shù)相對(duì)較少。在充分考慮缺陷圖像樣本的類別信息后，改進(jìn)LBP 描述符能高效地表示圖像特征。針對(duì)自建數(shù)據(jù)集，通過(guò)調(diào)用SKLEARN中的集成算法，比較樸素貝葉斯、K 最近鄰、隨機(jī)森林、支持向量機(jī)等5種算法識(shí)別準(zhǔn)確率，算法參數(shù)均調(diào)至最優(yōu)。其在整體自建數(shù)據(jù)庫(kù)上的分類結(jié)果如表2所示。

表2 不同算法下的識(shí)別率

實(shí)驗(yàn)結(jié)果顯示，本文提出的ILBP描述符，在保證特征維數(shù)較低的情況下，識(shí)別率能得到很好的提高。識(shí)別準(zhǔn)確率會(huì)隨α 和圖像分區(qū)大小變化。當(dāng)貢獻(xiàn)率α 較小時(shí)，丟失原有缺陷圖像較多的信息，分類器識(shí)別精確度下降。當(dāng)α 接近1時(shí)，缺陷圖像保持大量原有的冗余信息，分類器分類困難。同時(shí)越精細(xì)的分區(qū)意味著更高維數(shù)的復(fù)合特征和更好的局部能力。因此，對(duì)于偏光片缺陷圖像，當(dāng)分區(qū)越精細(xì)時(shí)，貢獻(xiàn)率α 應(yīng)取越大的值。偏光片缺陷數(shù)據(jù)庫(kù)識(shí)別率隨主成分貢獻(xiàn)率和圖像分區(qū)大小關(guān)系如圖4所示。

圖4 不同主成分和圖像分區(qū)下的識(shí)別率

上述實(shí)驗(yàn)充分地說(shuō)明，當(dāng)取較大α 值時(shí)，ILBP描述符可獲得比較理想的識(shí)別效果，分類識(shí)別精確率和分類效率等綜合性能優(yōu)于傳統(tǒng)LBP 描述符及常用的改進(jìn)LBP 描述符，且分類速度快，每張缺陷圖像由輸入到完成識(shí)別所耗時(shí)間在0.92 s，極大地減少了計(jì)算的時(shí)間復(fù)雜度，完全滿足工業(yè)生產(chǎn)線實(shí)際檢測(cè)需求。

4.3 遺傳算法尋優(yōu)結(jié)果

在分類器訓(xùn)練過(guò)程中，使用遺傳算法對(duì)懲罰因子c和核參數(shù)g 進(jìn)行尋優(yōu)，搜索范圍是(2-12,212)。搜索過(guò)程中用十折交叉驗(yàn)證法對(duì)SVM 分類器進(jìn)行評(píng)價(jià)，得到一組交叉驗(yàn)證中平均準(zhǔn)確率最高的參數(shù)c 和g，利用最優(yōu)參數(shù)進(jìn)行缺陷圖像分類。以2×2圖像分區(qū)的ILBP描述符在自建數(shù)據(jù)庫(kù)上分類為例，參數(shù)尋優(yōu)如圖5所示。

圖5 遺傳算法尋優(yōu)結(jié)果

5 結(jié)束語(yǔ)

（1）驗(yàn)證了LBP及其常用變形形式在自建數(shù)據(jù)庫(kù)上的識(shí)別效果，并對(duì)提出的ILBP 描述符在不同分區(qū)情況和主成分比例下的識(shí)別效果進(jìn)行討論。實(shí)驗(yàn)結(jié)果表明，在自建缺陷數(shù)據(jù)庫(kù)中，分類正確率能夠達(dá)到99%以上，SVM在解決偏光片缺陷識(shí)別問題上有著獨(dú)特的優(yōu)勢(shì)。

（2）文中ILBP 描述符應(yīng)用到ORL 數(shù)據(jù)庫(kù)中，分類正確率能夠到達(dá)99.75%，而且數(shù)據(jù)的維度僅為39維，相對(duì)于徐競(jìng)澤等人提出的算法[13]，本文算法分類精度更高。另外，相對(duì)于張郭鳳等人提出的描述符，雖然分類準(zhǔn)確率同為99.75%，但是特征維數(shù)由原來(lái)1 280維降至39 維，大大降低計(jì)算復(fù)雜度。上述進(jìn)一步論證了ILBP描述符的有效性。

（3）通過(guò)遺傳算法參數(shù)尋優(yōu)，避免網(wǎng)絡(luò)重復(fù)搜索和設(shè)置。結(jié)果表明，利用遺傳算法能夠在較大范圍內(nèi)有效確定SVM分類器的最優(yōu)參數(shù)。

（4）實(shí)驗(yàn)所用的缺陷圖像根據(jù)透射暗場(chǎng)成像原理拍取，圖像數(shù)量不多，全都選取典型的缺陷圖像，分類干擾少，分類識(shí)別準(zhǔn)確率較高。因此，接下來(lái)的工作是采用其他成像原理，如結(jié)構(gòu)光成像[14]、偏振光成像[15]等來(lái)進(jìn)行圖像拍取，而且研究大樣本、強(qiáng)干擾情況下的偏光片缺陷圖像檢測(cè)和分類。