基于機(jī)器視覺(jué)的液晶屏字符檢測(cè)方法研究★

張永超， 陳隆杰， 郭 斌

（1.浙江機(jī)電職業(yè)技術(shù)學(xué)院， 浙江 杭州 310053； 2.浙江省計(jì)量科學(xué)研究院， 浙江 杭州 310018）

引言

液晶屏作為電子設(shè)備中重要的組成部分，其應(yīng)用范圍越來(lái)越廣。液晶屏生產(chǎn)過(guò)程中的質(zhì)量缺陷，主要有表面缺陷和顯示缺陷[1-2]。表面缺陷容易檢測(cè)，顯示缺陷由于字符種類多，同時(shí)在裝配過(guò)程中由于碰撞、擠壓以及焊接過(guò)程中出現(xiàn)問(wèn)題，難以發(fā)現(xiàn)。目前液晶屏產(chǎn)品顯示主要依靠人工方法觀察，對(duì)于表面缺陷比較容易快速檢測(cè)，對(duì)于顯示缺陷，主觀性強(qiáng)，檢測(cè)效率低，無(wú)法保證統(tǒng)一性，難以滿足智能化生產(chǎn)線的需求。

針對(duì)液晶屏檢測(cè)，溫招洋[3]等人采用DCT 和Otsu檢測(cè)算法進(jìn)行LCD 的缺陷分割，實(shí)現(xiàn)背景不均勻檢測(cè)。何俊杰[4]等人采用區(qū)域神經(jīng)網(wǎng)絡(luò)對(duì)TFT-LCD 電路缺陷進(jìn)行檢測(cè)，能夠達(dá)到實(shí)時(shí)檢測(cè)的需求，但是沒(méi)有對(duì)顯示缺陷進(jìn)行檢測(cè)。何蓓[5]等人針對(duì)目前電能表實(shí)際使用中的需求，采用圖像分割與定位技術(shù)進(jìn)行電能表的檢測(cè)，但是檢測(cè)速度和精度無(wú)法滿足實(shí)時(shí)性要求。蔣莉[6]等人采用形態(tài)學(xué)方法，對(duì)點(diǎn)陣液晶屏進(jìn)行顯示質(zhì)量檢測(cè)，主要針對(duì)單個(gè)顯示單元進(jìn)行檢測(cè)，無(wú)法滿足字符檢測(cè)需求。劉昶[7]等人提出了一種基于CNN 和SVM組合分類器的字符識(shí)別方法，準(zhǔn)確率高，但是適用于比較復(fù)雜的背景，并且需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，耗費(fèi)時(shí)間長(zhǎng)。

本文針對(duì)產(chǎn)品質(zhì)量檢測(cè)中對(duì)于液晶屏顯示檢測(cè)的需求，提出了一種快速的基于機(jī)器視覺(jué)的液晶屏字符顯示識(shí)別方法。選用家用膜式燃?xì)獗碜鳛闄z測(cè)產(chǎn)品，通過(guò)定位液晶屏顯示區(qū)域作為ROI 區(qū)域，通過(guò)投影變換對(duì)圖像進(jìn)行校正，消除由于拍攝角度引起的形變，采用動(dòng)態(tài)閾值變換提取液晶屏顯示區(qū)域進(jìn)行圖像處理，提取目標(biāo)結(jié)果進(jìn)行模板匹配，最終識(shí)別數(shù)字字符，數(shù)字字符與液晶屏顯示數(shù)值進(jìn)行比較，從而實(shí)現(xiàn)液晶屏產(chǎn)品顯示字符的檢測(cè)，并且通過(guò)實(shí)驗(yàn)驗(yàn)證本方法的準(zhǔn)確性和有效性。

1 圖像處理

本文采集到的產(chǎn)品液晶屏顯示圖像如圖1 所示，通過(guò)圖像看出，由于相機(jī)拍攝角度問(wèn)題，加之產(chǎn)品背面不能保證水平，難以保證相機(jī)與拍攝液晶平面保持垂直，從而導(dǎo)致液晶屏具有一定的角度差異，為了快速提高字符識(shí)別的準(zhǔn)確性，需要對(duì)液晶屏進(jìn)行校正處理。本次實(shí)驗(yàn)中首先將液晶屏顯示區(qū)域作為一個(gè)整體，通過(guò)一系列的圖像預(yù)處理進(jìn)行液晶區(qū)域定位，順利分割，得到ROI 區(qū)域，并且根據(jù)提取到的ROI 區(qū)域的四個(gè)角點(diǎn)進(jìn)行透射變換，得到完整的校正圖像，保證圖像顯示的字符與模板字符盡量保持一致。在提取到的ROI 區(qū)域中進(jìn)行圖像處理，采用動(dòng)態(tài)閾值和形態(tài)學(xué)處理方法，將液晶屏顯示字符進(jìn)行快速提取，并且根據(jù)小數(shù)點(diǎn)確定顯示位數(shù)，將顯示字符采用歸一化（NCC）的模板匹配方法進(jìn)行匹配，得到需要的結(jié)果。將結(jié)果與顯示結(jié)果進(jìn)行對(duì)比，從而得到本次實(shí)驗(yàn)的檢測(cè)結(jié)果。

1.1 液晶區(qū)域定位

由于產(chǎn)品中的很多區(qū)域不需要進(jìn)行檢測(cè)和識(shí)別，因此需要將液晶屏提取出來(lái)進(jìn)行檢測(cè)，通過(guò)圖像看出，液晶屏顯示區(qū)域與本次工業(yè)相機(jī)拍攝原始圖像中的產(chǎn)品面板中的液晶屏，主要采用背光顯示，灰度值較低，能夠方便與其他部分分割。目前，常用的分割方法主要有全局閾值、自適應(yīng)全局閾值及動(dòng)態(tài)閾值等方法。由于本次實(shí)驗(yàn)中的液晶屏打光問(wèn)題，液晶屏顯示區(qū)域內(nèi)部明暗不一致，直接用全局閾值分割容易產(chǎn)生較大的誤差。采用自適應(yīng)全局閾值由于設(shè)備拍攝角度和打光問(wèn)題，也容易將液晶屏作為多個(gè)部分，從而造成液晶屏顯示區(qū)域提取效果不理想。因此，根據(jù)圖像的灰度均值和方差，采用動(dòng)態(tài)閾值法能夠得到較好的分割效果。

設(shè)μ（x，y）、σ（x，y）分別為像素點(diǎn)（x，y）在鄰域M的均值及標(biāo)準(zhǔn)差函數(shù)，f（x，y）表示像素點(diǎn)（x，y）的灰度值，N 是鄰域M 內(nèi)的像素點(diǎn)總數(shù)，則：

根據(jù)實(shí)際的使用需求，將圖像的低灰度值區(qū)域fdark設(shè)定為灰度值特定值的像素點(diǎn)集。則動(dòng)態(tài)閾值法分割過(guò)程可以表示為：

式中：fdark為動(dòng)態(tài)閾值法分割出的二值化區(qū)域：k 為系數(shù)，取值大于零。根據(jù)現(xiàn)場(chǎng)的實(shí)際需求進(jìn)行相關(guān)參數(shù)的設(shè)計(jì)，表征灰度值偏離標(biāo)準(zhǔn)差的程度，如圖2 所示。

液晶區(qū)域已經(jīng)分割出，但是有很多無(wú)關(guān)區(qū)域，需要進(jìn)行進(jìn)一步的處理。通過(guò)實(shí)驗(yàn)看出，本次液晶屏提取的區(qū)域的邊界與其余區(qū)域邊界不清晰，需要進(jìn)行進(jìn)一步的分割。本次采用Blob 分析，將提取到的區(qū)域圖像進(jìn)行腐蝕，斷開相連區(qū)域，公式為：

斷開相連區(qū)域之后，得到多個(gè)區(qū)域目標(biāo)，由于本次實(shí)驗(yàn)中的液晶屏具有明顯的相關(guān)特征，根據(jù)檢測(cè)需求，選擇相關(guān)的面積特征和形狀特征，提取相關(guān)的液晶屏顯示區(qū)域，并且進(jìn)行相關(guān)的膨脹操作，從而能夠順利的進(jìn)行區(qū)域分割，結(jié)果如圖3 所示。

1.2 透視變換

由于提取到的液晶屏顯示區(qū)域具有明顯的角度變化，需要進(jìn)行進(jìn)一步分析，將顯示字符進(jìn)行校正。透視變換是將圖片投影到一個(gè)新的視平面，也稱作投影映射，它是二維（x，y）到三維（X，Y，Z），再到另一個(gè)二維（x′，y′）空間的映射。投影變換過(guò)程中，轉(zhuǎn)換如式5和式6 所示。

由于本次投影得到圖像液晶屏的ROI 區(qū)域?yàn)榫匦?，能夠得到四個(gè)角點(diǎn)的坐標(biāo)。因此，可以得到透視轉(zhuǎn)換的轉(zhuǎn)換參數(shù)，通過(guò)轉(zhuǎn)換得到的轉(zhuǎn)換圖像如圖4 所示。

1.3 圖像增強(qiáng)

得到液晶屏顯示區(qū)域中，由于顯示區(qū)域明顯偏暗，直接進(jìn)行識(shí)別容易出現(xiàn)誤判。因此，需要采用圖像處理技術(shù)進(jìn)行圖像增強(qiáng)。目前常用的圖像增強(qiáng)技術(shù)主要有空間域方法和頻域方法。頻域方法主要采用傅里葉變換到頻率域進(jìn)行圖像處理?？臻g域方法主要采用灰度拉伸方法直接進(jìn)行圖像處理。相比較頻域方法，空間域方法更加直接快速。本次實(shí)驗(yàn)采用空間域方法進(jìn)行圖像增強(qiáng)，公式如式7 所示。

式中：fmax、fmin為本次需要待識(shí)別的液晶屏區(qū)域內(nèi)最大、最小灰度值；gmax、gmin為灰度拉伸區(qū)間的最大灰度值和最小灰度值；g（x，y）為灰度拉伸后像素點(diǎn)（x，y）的灰度值，通過(guò)灰度拉伸，得到圖像增強(qiáng)后的效果圖如圖5 所示。

通過(guò)圖像增強(qiáng)，能夠明顯提升液晶屏顯示區(qū)域的灰度范圍，為后期順利提取字符進(jìn)行圖像匹配提供了基礎(chǔ)，保證了結(jié)果的準(zhǔn)確性和快速性。

1.4 字符分割

在圖像處理過(guò)程中，為了精確快速識(shí)別圖像字符，需要進(jìn)行字符分割，得到準(zhǔn)確的二值化圖像。由于本次識(shí)別的過(guò)程中需要通過(guò)小數(shù)點(diǎn)確定識(shí)別位數(shù)，因此，需要進(jìn)行小數(shù)點(diǎn)的順利提取，在提取的液晶屏區(qū)域內(nèi)通過(guò)閾值分割，所得圖像如下頁(yè)圖6 所示。從圖中可以看到，存在很多噪聲，并且面積和大小相對(duì)于小數(shù)點(diǎn)來(lái)說(shuō)難以區(qū)分，需要進(jìn)一步采用形態(tài)學(xué)特征進(jìn)行分割。數(shù)字字符具有面積特征，小數(shù)點(diǎn)具有圓形特征參數(shù)，其余干擾特征形狀不規(guī)則。因此，通過(guò)識(shí)別得到合適的字符圖像，經(jīng)過(guò)一系列的操作，本次字符已經(jīng)與背景進(jìn)行成功的區(qū)分，如圖7 所示。

1.5 字符識(shí)別

關(guān)于字符的識(shí)別目前有多種方法，用得最多的是模板匹配法、穿線識(shí)別法以及多層神經(jīng)網(wǎng)絡(luò)等。作為經(jīng)典的匹配方法，模板匹配具有運(yùn)算速度快、環(huán)境穩(wěn)定下匹配效果好等優(yōu)點(diǎn)。由于通過(guò)前期的圖像處理，已經(jīng)能夠?qū)崿F(xiàn)液晶屏字符的順利分割，無(wú)需進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和學(xué)習(xí)，并且液晶屏顯示屬于標(biāo)準(zhǔn)化顯示，字符形狀及特征固定，考慮到識(shí)別速度的快速性，本次實(shí)驗(yàn)因采用圖像匹配的方法進(jìn)行。目前常用的圖像匹配方法主要有基于灰度值匹配、基于相關(guān)性（NCC）模板匹配及基于形狀匹配等方法?；叶戎灯ヅ涞男Ч睿芨蓴_大，基于相關(guān)性匹配的方法可以實(shí)現(xiàn)本次檢測(cè)。其中的基本原理公式如式8 所示。

式中：aij和bij分別是模板圖像和待匹配圖像在第i 行和第j 列的像素值，aˉ和bˉ分別為模板圖像和待匹配的圖像的像素平均值。通過(guò)公式可以看出，本次測(cè)試的NCC 的值在-1～1 之間，值越大，說(shuō)明兩幅圖像灰度間的相關(guān)性越高。通常情況下，當(dāng)NCC 達(dá)到最大時(shí)，兩幅圖像處于正確的匹配位置。采用NCC 相關(guān)性進(jìn)行匹配，可以在一定程度上抑制光線問(wèn)題帶來(lái)的干擾。

2 實(shí)驗(yàn)

為驗(yàn)證本方法的可行性，本次采用多次測(cè)量的方法進(jìn)行數(shù)據(jù)實(shí)驗(yàn)，采用模板匹配中，首先，獲得數(shù)字0到9 以及小數(shù)點(diǎn)字符的模板樣本圖像，并歸一化所有模板為9×11 像素大小，如圖8 所示。

其中每個(gè)字符出現(xiàn)的概率基本相同，采集的圖像經(jīng)過(guò)圖像處理、字符識(shí)別后，得到相關(guān)的數(shù)據(jù)，并且把采集得到的數(shù)據(jù)存入電腦進(jìn)行后續(xù)檢測(cè)。本次實(shí)驗(yàn)的程序流程圖如圖9 所示。

識(shí)別結(jié)果如表1 所示。

表1 實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出，該方法對(duì)液晶屏顯示數(shù)字字符識(shí)別準(zhǔn)確可靠，字符的總體識(shí)別率在96%以上，從而驗(yàn)證了本方法的可行性。

3 結(jié)語(yǔ)

本文提出了一種基于機(jī)器視覺(jué)的液晶屏產(chǎn)品顯示字符的檢測(cè)方法，能夠根據(jù)實(shí)際的檢測(cè)需求，進(jìn)行動(dòng)態(tài)調(diào)整，并且通過(guò)透射變換解決產(chǎn)品不水平以及相機(jī)拍攝不能保證完全垂直平面，從而導(dǎo)致匹配失誤的問(wèn)題。采用歸一化模板匹配的方法進(jìn)行液晶顯示的字符匹配，實(shí)驗(yàn)表明：本方法準(zhǔn)確性高，可以推廣其他相關(guān)的檢測(cè)方向，并且能夠跟相關(guān)的機(jī)械控制設(shè)備進(jìn)行配合，實(shí)現(xiàn)全自動(dòng)化檢測(cè)。不足之處在于沒(méi)有建立顯示漢字字符模板，沒(méi)有實(shí)現(xiàn)漢字字符的檢測(cè)。后期可以根據(jù)需要進(jìn)行相關(guān)的顯示漢字模板匹配，實(shí)現(xiàn)液晶顯示全字符檢測(cè)。