基于BP神經(jīng)網(wǎng)絡(luò)的線Mura缺陷識別與定位研究

李一能，曾慶化*，張月圓，姜 涌，崔雨晨

基于BP神經(jīng)網(wǎng)絡(luò)的線Mura缺陷識別與定位研究

李一能1，曾慶化1*，張月圓1，姜 涌2，崔雨晨1

1南京航空航天大學(xué)導(dǎo)航研究中心，江蘇 南京 211106；2惠州高視科技有限公司，廣東 惠州 516000

各類顯示屏中Mura缺陷的自動識別和定位對提高顯示屏幕的產(chǎn)品品質(zhì)具有重要作用，是當(dāng)前迫切需要發(fā)展的重要技術(shù)之一。針對當(dāng)前手機屏幕Mura缺陷對比度低、缺乏明顯邊緣等特點，文中提出一種基于圖像灰度曲線的Mura缺陷檢測方法及其改進(jìn)方法。改進(jìn)方法基于均值濾波平滑和降采樣原理，通過研究采樣線上灰度曲線的波峰與波谷信息，利用BP神經(jīng)網(wǎng)絡(luò)構(gòu)建線Mura缺陷的自動檢測和定位算法。結(jié)合真實手機屏幕圖像驗證結(jié)果表明，與現(xiàn)有多種Mura缺陷檢測方法相比，本文的改進(jìn)方法能更準(zhǔn)確快速地識別手機屏幕中的線Mura缺陷，識別準(zhǔn)確率達(dá)到98.33%，檢測過程無需調(diào)節(jié)參數(shù)，實現(xiàn)了線Mura缺陷的自動檢測和定位。

BP神經(jīng)網(wǎng)絡(luò)；灰度曲線；Mura；缺陷檢測；圖像處理

1 引 言

手機屏幕結(jié)構(gòu)復(fù)雜、制造工序繁多，生產(chǎn)過程中不可避免會出現(xiàn)點、線Mura等缺陷，類似缺陷是由于薄膜晶體管失效，驅(qū)動芯片與屏幕連接不良等原因引起[1]。Mura缺陷是液晶屏不良顯示缺陷，主要體現(xiàn)為屏幕的部分區(qū)域亮度或顏色不均、缺陷區(qū)域和周圍背景的對比度低、邊緣模糊等[2]。這些特點使得傳統(tǒng)的基于邊緣檢測和閾值分割的方法難以有效檢測Mura缺陷[3]。傳統(tǒng)的顯示屏幕Mura缺陷檢測主要依靠人工檢測辨別，該方法人工成本高、受工人經(jīng)驗影響較大，檢測效率較低，無法滿足屏幕大批量的檢測和篩查要求，為此，迫切需要研究基于計算機識別的顯示屏幕Mura缺陷的自動檢測和定位技術(shù)。近年來，雖然出現(xiàn)了Mura自動檢測方法，但是由于Mura缺陷在不同顯示屏幕上的可視性不同，需要進(jìn)行大量的參數(shù)調(diào)節(jié)，難以適用于大規(guī)模的屏幕缺陷檢測[4]。

由于Mura的種類繁多，因此檢測算法的普適性較低[5]。目前，已有學(xué)者針對不同種類的Mura提出了多種Mura缺陷的檢測方法。Ma等人[6]提出一種基于圖像背景重構(gòu)的LCD屏幕Mura缺陷檢測方法，通過估計屏幕亮度分布的方法重建圖像背景，再利用伽瑪校正得到缺陷區(qū)域的最終結(jié)果。Kong等人[7]提出了一種針對水漬狀Mura缺陷檢測方法，該方法將帶通濾波器與Sobel邊緣檢測算子結(jié)合，有效突出水漬狀Mura缺陷，同時將圖像分解為幾個小塊分別進(jìn)行檢測，減小了光照不均帶來的干擾。Wang等人[8]提出了一種背景重構(gòu)和多通道融合的Mura缺陷檢測方法，該方法利用FastICA從大量無故障圖像中獲取一組基礎(chǔ)圖像用于背景重建，結(jié)合多閾值定位圖像中Mura缺陷位置。廖苗等人[9]提出一種基于自適應(yīng)局部增強的Mura缺陷自動檢測方法，該方法將手機屏幕區(qū)域劃分為多個不重疊的像素塊，接著根據(jù)每個像素塊的灰度分布特征，自適應(yīng)增強圖像并定位圖像中的Mura區(qū)域。錢基德等人[10]提出一種基于單幀圖像背景建模與背景差分的方法，該方法有效解決了液晶屏亮度不均問題，并基于最大穩(wěn)定極值區(qū)域，構(gòu)造全自動缺陷在線檢測系統(tǒng)。郝仕嘉等人[11]提出了一種基于機器視覺的手機屏幕Mura缺陷檢測方法，通過構(gòu)造不同的卷積模塊對圖像進(jìn)行卷積處理，增強缺陷與周圍正常像素的對比，進(jìn)而確定Mura缺陷的范圍。上述Mura缺陷檢測方法針對各自的適用場合均取得了不錯的效果，然而所檢測出的缺陷都是具有較為明顯邊界的缺陷，或者缺陷本身與周圍環(huán)境的對比度較強?？紤]到本文檢測的手機屏幕的Mura缺陷非常不明顯，檢測技術(shù)要求特別高，人工檢測時需要長時間調(diào)整不同的角度觀測和識別，為此，前述的檢測方法很難適用。

考慮到Mura缺陷檢測缺少針對圖像中灰度曲線直接分析的算法，因此本文提出一種基于圖像灰度與BP神經(jīng)網(wǎng)絡(luò)的線Mura缺陷檢測新方法。首先對圖像進(jìn)行預(yù)處理，降低圖像噪聲干擾，然后對圖像中采樣線上的灰度曲線進(jìn)行分析，尋找灰度突變的位置，進(jìn)而判斷是否存在線Mura。在此基礎(chǔ)上，結(jié)合BP神經(jīng)網(wǎng)絡(luò)非線性強、魯棒性好的特點，從圖像灰度曲線上提取能夠反映是否存在Mura的特征信息進(jìn)行訓(xùn)練，自動檢測屏幕中是否存在Mura缺陷。這種針對手機屏幕的線Mura缺陷的自動檢測和定位方法，對于提高手機屏幕的檢測效率和質(zhì)量具有重要價值。

2 Mura缺陷檢測方案簡介

圖1所示為試驗中采集的手機屏幕的部分圖像樣本，從圖中可以看出手機屏幕中存在隱約模糊的整體亮度不均勻現(xiàn)象以及矩形框標(biāo)記的橫向縱向兩種形式的線Mura缺陷。這些缺陷所在的位置不固定，且與周圍背景沒有較為明顯的邊界?？紤]到人眼對于Mura的最敏感的位置為圖像中的暗條紋與亮條紋，對應(yīng)為圖像灰度曲線的波峰或者波谷。為此，擬通過檢測灰度曲線中波峰波谷的方法檢測圖像的Mura缺陷。

3 基于圖像灰度的Mura缺陷檢測算法研究

基于圖像灰度曲線的線Mura檢測方法是在對圖像進(jìn)行預(yù)處理的基礎(chǔ)上，采樣線上的灰度曲線判斷圖像中是否存在Mura缺陷，主要步驟包括：圖像平滑、圖像降采樣、采樣線波峰波谷檢測、Mura缺陷判定。

圖1 手機屏幕樣本與缺陷所在位置。(a) 橫向Mura；(b) 縱向Mura

3.1 基于均值濾波的缺陷增強與圖像降噪分析

由于圖像在采集過程中采用單側(cè)光源照射，因此整個屏幕的光線強度不均勻，除此之外，還存在相機鏡頭誤差與振動等各種干擾因素，不可避免地導(dǎo)致圖像引入噪聲，使圖像的灰度曲線出現(xiàn)劇烈的震蕩。針對圖像灰度曲線中震蕩劇烈、毛刺過多，難以進(jìn)行分析與處理的問題，本文選擇均值濾波器[12]進(jìn)行圖像濾波，從而降低圖像中尖銳噪聲影響。經(jīng)過多次對比測試分析，針對本文中這類分辨率為4800′2600的手機屏幕圖像，選擇127′127的濾波矩陣效果較好。

3.2 基于灰度曲線的線Mura檢測算法

由于原圖的尺寸非常大(4800′2600)，導(dǎo)致在檢測程序運行處理過程中，需要大量時間。此外，本文中所示Mura缺陷的邊界非常不明顯，需要從較為宏觀的角度整體進(jìn)行檢測。文中結(jié)合圖像降采樣方法[13]，將圖像進(jìn)行10:1的降采樣，由于圖像中Mura缺陷對應(yīng)的灰度曲線是尺寸較大的宏觀變化的過程，因此，降采樣中丟失的部分細(xì)節(jié)信息對Mura 缺陷的檢測影響較小。如圖2所示，降采樣前后的采樣線上灰度曲線的變化是一致的，而且降采樣減小了圖像的尺寸，沒有改變對應(yīng)的灰度，因此使得灰度變化更加明顯，有效突出屏幕中的Mura特征。

為了提高處理速度，需要對圖像進(jìn)行采樣處理，為此在預(yù)處理的圖像上根據(jù)需要加入了等間隔的采樣線，采樣線間隔可以按照式(1)計算獲得。本文選取采樣線的數(shù)量為12條，選擇的寬度為20個像素，采樣線情況如圖3(a)中豎線所示。

式中：為采樣線間隔像素點數(shù)，row為圖像長度方向的像素點數(shù)，為采樣線數(shù)目。

由于線Mura在圖像灰度曲線上對應(yīng)為波峰或者波谷，因此可以通過檢測采樣線是否存在滿足特定條件的波峰/波谷判斷Mura的具體情況。圖3(b)矩形框中灰度曲線的波谷從左到右對應(yīng)于圖3(a)矩形框中從上至下像素點灰度值的變化情況。

根據(jù)大量的圖像實驗分析經(jīng)驗，結(jié)合波峰/波谷判別方式給出線Mura的定義為：在某一區(qū)域中，多條采樣線灰度同時存在灰度變化率絕對值較大的波峰或波谷，若在波峰或波谷兩側(cè)的灰度曲線能保持單調(diào)性達(dá)到一定的寬度，則說明該區(qū)域某種程度上存在線Mura缺陷。

然而在求解采樣線灰度曲線上波峰/波谷點的過程中，由于采樣線灰度曲線在波峰/波谷點相鄰5個像素內(nèi)常常出現(xiàn)小幅度的震蕩，會導(dǎo)致求解出重復(fù)的極值點。如圖4圓圈中所示，下三角形對應(yīng)為采樣線灰度曲線的波谷點，上三角形對應(yīng)為采樣線灰度曲線的波峰點，在圓圈中的極近距離中求解出對應(yīng)于同一個尖峰的重復(fù)波谷點。對于該種波峰/波谷點，一般考慮將多個點的位置求平均值，得到唯一極值點位置。

圖2 圖像降采樣前后采樣線灰度曲線示意圖。(a) 降采樣后采樣線灰度曲線；(b) 未降采樣采樣線灰度曲線

圖3 手機屏幕暗條紋線Mura對應(yīng)關(guān)系示意圖。(a) 手機屏幕采樣線示意圖；(b) 手機屏幕采樣線灰度變化示意圖

圖4 檢測孤點、極值點示意圖

除此之外，由于圖像中光線分布不均，將出現(xiàn)如圖4矩形框中孤立的極值點。在以波峰/波谷點為中心、寬度為10 pixels、長度與圖像長度一致的矩形框中，如果出現(xiàn)的波峰/波谷點的數(shù)量小于5，可以認(rèn)為該點為孤立的極值點，孤點由拍攝過程中的噪聲產(chǎn)生，可將孤點直接刪去。線Mura檢測流程圖如圖5所示。

4 基于BP神經(jīng)網(wǎng)絡(luò)的線Mura檢測改進(jìn)算法

利用前面章節(jié)的方法可以得到手機屏幕圖像中的線Mura位置，由于每一張圖像的亮度不同，灰度變化率絕對值不是一個定值，而是一個隨著圖像的總體灰度變化而變化的值，在每一次的檢測中，都需要人工選取。因此，3.2節(jié)中的算法無法自適應(yīng)調(diào)節(jié)灰度變化率絕對值，手機屏幕Mura缺陷不能自動檢測，難以滿足工程實際的需要[14]。

考慮到BP神經(jīng)網(wǎng)絡(luò)能夠精確地擬合映射關(guān)系[15]，本文采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行輸入輸出關(guān)系的黑盒映射，從而使算法能夠自適應(yīng)調(diào)節(jié)灰度變化率絕對值，實現(xiàn)手機屏幕Mura缺陷的自動檢測。

4.1 神經(jīng)網(wǎng)絡(luò)建立研究

BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一般分為三層：輸入層、隱含層和輸出層[16]。外部的信號由輸入層接入，各輸入單元將輸入信號傳送給隱含層的各單元。隱含層作為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)部的處理單元，節(jié)點數(shù)需要多次試驗。

由3.2節(jié)可以發(fā)現(xiàn)，圖像中是否存在Mura缺陷是與3.2節(jié)中的“灰度變化率絕對值”與“寬度”相關(guān)的。因而可以通過訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)自適應(yīng)得到圖像有無線Mura瑕疵的網(wǎng)絡(luò)函數(shù)。求解的公式如下所示：

其中：w為圖6中a所示寬度，h為圖6中b1與b2所示高度和。w的求解過程：求解灰度曲線波峰波谷的極點，解算極點兩側(cè)灰度變化率絕對值最大的位置與，并且求解對應(yīng)位置的灰度變化率與。求解極點兩側(cè)灰度變化率分別為與的位置與，得到BP神經(jīng)網(wǎng)絡(luò)輸入集第一個特征w。計算公式如下：

圖6 BP神經(jīng)網(wǎng)輸入值示意圖

由于與、存在一定的關(guān)聯(lián)，將與或者與輸入BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，都可以自適應(yīng)得到圖像Mura瑕疵關(guān)于與的判別函數(shù)。將與帶入訓(xùn)練減少了求解的過程。因此，使用與進(jìn)行運算可以減少運算量，提高運算效率。

在BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，由于圖像邊緣往往受光照不均的影響而包含較多噪聲，且人眼往往比較容易注意到圖像中部的灰度變化，因此選取圖像中部10條采樣線上的“最尖銳波峰點在可視條件下的最大寬度”之和的平均值作為神經(jīng)網(wǎng)絡(luò)的第一個輸入值。同理，選取圖像中部10條采樣線上的“最尖銳波峰點與鄰近背景的相對灰度差”之和的平均值作為神經(jīng)網(wǎng)絡(luò)的第二個輸入。與計算公式：

其中：w與h分別為第條采樣線上的“最大寬度”與“相對灰度差”，從而得到BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練集的輸入集。

人工檢測屏幕圖像中是否含有Mura缺陷，根據(jù)有無Mura缺陷將圖像分為兩類，當(dāng)圖像中有Mura缺陷時，輸出值設(shè)定為[1 0]，當(dāng)圖像中無Mura缺陷，輸出值設(shè)定為[0 1]，從而得到BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練集的輸出集。

該神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)為2維，故輸入層節(jié)點數(shù)為2。由于其輸出值為2維，所以輸出層的節(jié)點為 2。隱藏層節(jié)點數(shù)選取時可以依據(jù)式(7)縮小范圍：

4.2 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果

神經(jīng)網(wǎng)絡(luò)模型建立后，將訓(xùn)練集的輸出集與輸入集導(dǎo)入模型進(jìn)行訓(xùn)練。圖7為本文BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)均方誤差曲線圖，從圖中可以看出本文的BP神經(jīng)網(wǎng)絡(luò)經(jīng)過25次訓(xùn)練，訓(xùn)練后的均方誤差為 0.00011515，該模型識別準(zhǔn)確度較高，能夠滿足工程實際需要。

圖7 BP網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)均方誤差曲線圖

5 手機屏幕圖像照片的實驗結(jié)果與分析

本次實驗數(shù)據(jù)是由惠州高視科技有限公司提供的圖像，原圖像在暗室環(huán)境采集，原始圖像尺寸大小為4800′2600，Mura瑕疵的形態(tài)為橫向線Mura與縱向的線Mura。

BP網(wǎng)絡(luò)模型訓(xùn)練完成后，將計算得到的測試集數(shù)據(jù)輸入BP神經(jīng)網(wǎng)絡(luò)中，得到BP神經(jīng)網(wǎng)絡(luò)給出的圖片辨識結(jié)果，BP神經(jīng)網(wǎng)絡(luò)的辨識結(jié)果如表1所示。

表1 線Mura檢測率

根據(jù)測試集檢測結(jié)果顯示，在120張含有缺陷的手機屏幕圖像中119張屏幕被成功檢驗出Mura缺陷，在60張無缺陷的手機屏幕圖像中發(fā)現(xiàn)有7張圖像被檢驗出了Mura缺陷。為了驗證算法的準(zhǔn)確性，筆者對1張未能成功檢測的屏幕圖像與7張誤檢測的屏幕圖像再次人工檢查，其中未能檢測的線Mura瑕疵圖像如圖8(a)所示，復(fù)檢中觀察到的Mura瑕疵十分不明顯，Mura瑕疵未能與周圍邊界形成有效的對比，人工檢測中難以一次性發(fā)現(xiàn)圖像中的線Mura瑕疵的位置，需要反復(fù)觀察。誤檢測的8張圖像經(jīng)人眼觀察，其中5張屏幕圖像均發(fā)現(xiàn)有不明顯的Mura，如圖8(b)所示，在矩形框中發(fā)現(xiàn)了不明顯的暗紋，說明此前的人工檢查中存在漏檢。其余2張圖像如圖8(c)、8(d)所示，復(fù)檢未觀察到明顯Mura條紋，可以認(rèn)為是BP神經(jīng)網(wǎng)絡(luò)過擬合造成的誤檢。

為了對比分析本文研究的算法，采用了不同的算法對隨機挑選的含有線Mura缺陷的手機屏幕圖像進(jìn)行對比檢測，相關(guān)結(jié)果見圖9所示。圖9(a)是增強對比度的原始圖像，圖9(b)是本文算法的檢測結(jié)果，圖9(c)、圖9(d)是文獻(xiàn)[9]、文獻(xiàn)[10]方法得到的檢測結(jié)果。文獻(xiàn)[9]算法通過背景擬合減少光照影響，并通過自適應(yīng)閾值分割進(jìn)行確定Mura位置，雖然大致檢測出線Mura缺陷，但是正如文獻(xiàn)[9]中所說，該算法容易將圖像中接近邊緣部分的噪聲誤檢測為缺陷。文獻(xiàn)[10]中算法通過構(gòu)造不同的卷積模塊對圖像進(jìn)行卷積處理，增強缺陷與周圍正常像素的對比，但是該算法中用Mura缺陷的閾值難以準(zhǔn)確自適應(yīng)確定，導(dǎo)致圖像左側(cè)的黑色部分被誤檢測為Mura缺陷，不能準(zhǔn)確定為線Mura缺陷。

表2為多種方法對同一數(shù)據(jù)集中180幅圖像進(jìn)行檢測的統(tǒng)計結(jié)果比較，實驗平臺為Intel四核I7-2.59 GHz CPU，8.0 Gb RAM的筆記本電腦，Windows XP環(huán)境下Matlab2014平臺。

由表2可知，本文基于圖像灰度與BP神經(jīng)網(wǎng)絡(luò)方法在檢測正確率和平均檢測時間均優(yōu)于其他算法?？紤]到基于灰度曲線算法與文獻(xiàn)[10]中算法需要對檢測算法的參數(shù)進(jìn)行手動調(diào)參，時間消耗較多，且人工調(diào)參受人為主觀性影響存在漏檢的情況。而本文提出的基于圖像灰度與BP神經(jīng)網(wǎng)絡(luò)的線Mura缺陷檢測方法，無需調(diào)參，可以在提高M(jìn)ura缺陷檢測正確率的基礎(chǔ)上有效提高檢測效率，實現(xiàn)手機屏幕線Mura缺陷自動檢測。

圖8 部分手機屏幕原圖像。(a) 本文算法未成功檢測的屏幕圖像；(b) 人工漏檢屏幕圖像；(c) 本文算法誤檢圖像1；(d) 本文算法誤檢圖像2

圖9 不同算法實驗結(jié)果對比圖。(a) 原始圖像(已增強對比度)；(b) 本文方法檢測結(jié)果；(c) 文獻(xiàn)[9]方法檢測效果；(d) 文獻(xiàn)[10]方法檢測結(jié)果

表2 不同算法對測試數(shù)據(jù)集中180幅圖像進(jìn)行檢測的統(tǒng)計結(jié)果比較

6 小 結(jié)

本文提出和實現(xiàn)了基于圖像灰度與BP神經(jīng)網(wǎng)絡(luò)的方法，實現(xiàn)了對線Mura缺陷檢測與分析。首先使用均值濾波平滑圖像，接著對圖像降采樣，減小圖像大小的同時可以凸顯灰度曲線特征，然后求解采樣線灰度曲線中“最尖銳波峰點與鄰近背景的相對灰度差”與“最尖銳波峰點在可視條件下的最大寬度”的數(shù)據(jù)并輸入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到BP網(wǎng)絡(luò)函數(shù)模型，從而實現(xiàn)手機屏幕線Mura缺陷自動檢測。

實驗結(jié)果表明，基于本文提出的方法在識別與定位線Mura缺陷優(yōu)于其他多種檢測方法，且對于同一類屏幕缺陷的檢測，無需進(jìn)行參數(shù)的調(diào)整，可實現(xiàn)Mura缺陷自動檢測。雖然本文算法的對象主要是包含線Mura缺陷的手機屏幕，但文中算法經(jīng)過適當(dāng)改進(jìn)，同樣可以適用于其他類型的Mura缺陷檢測，后續(xù)將在這方面進(jìn)行更多種類Mura樣本研究，提高算法綜合性能。

[1] Zhang P, Ma T T, Yang Y H,. Mura defect and measurement method of liquid crystal display[J]., 2017(6): 50–52.

張鵬, 馬婷婷, 楊葉花, 等. 液晶顯示器Mura缺陷及測量方法淺析[J]. 電子測試, 2017(6): 50–52.

[2] Yang Y B, Li N, Zhang Y. Automatic TFT-LCD Mura detection based on image reconstruction and processing[C]//, Berlin, 2014: 240–244.

[3] Fan S K S, Chuang Y C. Automatic detection of Mura defect in TFT-LCD based on regression diagnostics[J].2010, 31(15): 2397–2404.

[4] Shi G M. Luminance gradient based LCD black Mura defect detection[J].2018, 42(11): 40–43.

石光明. 基于亮度梯度的LCD屏的Black Mura缺陷檢測[J]. 電視技術(shù), 2018, 42(11): 40–43.

[5] Mu C. Research on TFT-LCD Mura defect detection algorithm based in image processing[D]. Changchun: Jilin University, 2018.

牟晨. 基于圖像處理的TFT-LCD Mura缺陷檢測算法研究[D]. 長春: 吉林大學(xué), 2018.

[6] Ma Z Q, Gong J. An automatic detection method of Mura defects for liquid crystal display[C]//, Guangzhou, China, 2019: 7722–7727.

[7] Kong L F, Shen J, Hu Z L,. Detection of water-stains defects in TFT-LCD based on machine vision[C]//, Beijing, China, 2018: 1–5.

[8] Wang X, Dong R, Li B. TFT-LCD Mura defect detection based on ICA and multi-channels fusion[C]//, Beijing, China, 2016: 687–691.

[9] Liao M, Liu Y Z, Ouyang J L,. Automatic detection of Mura defect in TFT-LCD mobile screen based on adaptive local enhancement[J]., 2018, 33(6): 475–482.

廖苗, 劉毅志, 歐陽軍林, 等. 基于自適應(yīng)局部增強的手機TFT-LCD屏Mura缺陷自動檢測[J]. 液晶與顯示, 2018, 33(6): 475–482.

[10] Qian J D, Chen B, Qian J Y,. Machine vision based inspection method of Mura defect for LCD[J]., 2018, 45(6): 296–300, 313.

錢基德, 陳斌, 錢基業(yè), 等. 基于機器視覺的液晶屏Mura缺陷檢測方法[J]. 計算機科學(xué), 2018, 45(6): 296–300, 313.

[11] Hao S J, Zhou J Q. Research on detecting method of mobile phone screen defect based on machine vision[J]., 2018(9): 50–53.

郝仕嘉, 周嘉琪. 基于機器視覺的手機屏幕缺陷檢測方法研究[J]. 信息與電腦, 2018(9): 50–53.

[12] Zhao X L. Image denoising based on wavelet transform and average filtering[J].2017(2): 69–71, 75.

趙曉雷. 基于小波變換和均值濾波的圖像去噪研究[J]. 信息技術(shù), 2017(2): 69–71, 75.

[13] Gu Y B, Yu K W, Yao H T. A digital video 3D denoising algorithm based on down sampled block matching[J]., 2016, 39(2): 98–102.

谷元保, 余康為, 姚洪濤. 基于降采樣塊匹配的數(shù)字視頻3D降噪算法[J]. 長春理工大學(xué)學(xué)報(自然科學(xué)版), 2016, 39(2): 98–102.

[14] Cen Y G, Zhao R Z, Cen L H,. Defect inspection for TFT-LCD images based on the low-rank matrix reconstruction[J]., 2015, 149: 1206–1215.

[15] Han X H, Xiong X Y, Duan F. A new method for image segmentation based on BP neural network and gravitational search algorithm enhanced by cat chaotic mapping[J]., 2015, 43(4): 855–873.

[16] Yang S J, Chen K. Effect of multi-hidden-layer on performance of BP neural network[J]., 2013, 26(1): 48–52.

楊守建, 陳懇. BP神經(jīng)網(wǎng)絡(luò)性能與隱藏層結(jié)構(gòu)的相關(guān)性探究[J]. 寧波大學(xué)學(xué)報(理工版), 2013, 26(1): 48–52.

Mura detection and positioning in picture based on BP neural network

Li Yineng1, Zeng Qinghua1*, Zhang Yueyuan1, Jiang Yong2, Cui Yuchen1

1Navigation Research Center, Nanjing University of Aeronautics and Astronautics, Nanjing, Jiangsu 211106, China;2Huizhou Govion Technology Co.,Ltd, Huizhou, Guangdong 516000, China

Detection results of the proposed method

Overview:Since the screen of the mobile phone has complex structures, and the manufacturing process is complicated, point Mura, and line Mura tend to arise when a screen is produced. Mura defect is a kind of display defect on the liquid crystal display (LCD) screen. It has various forms, such as uneven brightness or color in some areas of the screen, low contrast between the defect area and the surrounding background, blurred edges, and so on. These characteristics make the traditional methods based on edge detection and threshold segmentation difficult to detect Mura defect effectively.

The traditional detection of Mura mainly depends on manual detection. So, this method has high labor cost, and the result of Mura detection is greatly influenced by the experience of workers. It clearly cannot meet the requirements of large batch orders of screen detection. Therefore, it is urgent to study the technology of automatic detection and location of Mura defect on the phone screen based on the computer. In recent years, many kinds of automatic detection methods are applied to detecting Mura defect. Due to the visibility of Mura defect on different display screens is different and various, a lot of parameters need to be adjusted from time to time during the whole detection process, leading relevant method wasting too much time if the number of screens is large.

This paper proposes a new method of detecting line Mura based on gray curve of the image and BP neural network. Firstly, the image is preprocessed to reduce the influence of noise. Then the gray curves on the sampling lines in the image are analyzed to find out the location of the gray discontinuous parts. Since Mura defect often appears in the discontinuous parts of the gray sampling line of the image, it can help judge whether Mura is present on the screen.

On this foundation, considering BP neural network is strongly nonlinear and with good robustness, the feature information reflecting whether Mura exists is extracted from the gray curves of the image for training. After training, the BP neural network can detect Mura defect automatically.

The experimental results show that, compared with the existing Mura detection methods, the improved method in this paper can distinguish line Mura defect on the mobile phone screen more accurately and quickly. The accuracy rate is up to 98.33%, and no parameter needs to be adjusted during the detection process, realizing automatic detection and positioning of line Mura.

Citation: Li Y N, Zeng Q H, Zhang Y Y,. Mura detection and positioning in picture based on BP neural network[J]., 2020,47(11): 190725

Mura detection and positioning in picture based on BP neural network

Li Yineng1, Zeng Qinghua1*, Zhang Yueyuan1, Jiang Yong2, Cui Yuchen1

1Navigation Research Center, Nanjing University of Aeronautics and Astronautics, Nanjing, Jiangsu 211106, China;2Huizhou Govion Technology Co., Ltd, Huizhou, Guangdong 516000, China

Automatic identification and location of Mura defect in various screens plays an important role in improving the quality of screens. It is one of the most important technologies that need to be developed urgently. Aiming at the features of low contrast and lack of obvious edge of Mura defect, this paper proposes a method of Mura detection based on image gray curve and its improved method. This improved method is based on the principle of mean filter to smooth the picture and down-sampling. By studying the information about peak and trough of the gray curve on sampling lines, the BP neural network is used to construct an automatic detection and location algorithm for line Mura. The experimental results show that, compared with the existing Mura detection methods, the improved method in this paper can distinguish line Mura defect on the mobile phone screen more accurately and quickly. The accuracy rate is 98.33%, and no parameter needs to be adjusted during the detection process, realizing automatic detection, and positioning of line Mura.

BP neural network; gray scale curve; Mura; defect detection; image processing

TP391

A

李一能，曾慶化，張月圓，等. 基于BP神經(jīng)網(wǎng)絡(luò)的線Mura缺陷識別與定位研究[J]. 光電工程，2020，47(11): 190725

10.12086/oee.2020.190725

: Li Y N, Zeng Q H, Zhang Y Y,Mura detection and positioning in picture based on BP neural network[J]., 2020, 47(11): 190725

2019-12-11；

2020-06-28

國家自然科學(xué)基金資助項目(61533008，61374115，61603181)；中央高?；究蒲袠I(yè)務(wù)費專項資金(NJ20170005， NJ20170010)；江蘇高校優(yōu)勢學(xué)科建設(shè)工程

李一能(1996-)，男，碩士研究生，主要從事圖像處理與視覺導(dǎo)航的研究。E-mail：liyineng@nuaa.edu.cn。

曾慶化(1979-)，男，教授，主要從事視覺導(dǎo)航、衛(wèi)星導(dǎo)航及多源信息數(shù)據(jù)融合導(dǎo)航的研究。E-mail：zengqh@nuaa.edu.cn。

Supported by the National Natural Science Foundation of China (61533008, 61374115, 61603181), the Fundamental Research Funds for the Central Universities (NJ20170005, NJ20170010), and the Priority Academic Program Development of Jiangsu Higher Education Institutions

* E-mail: zengqh@nuaa.edu.cn