基于多特征匹配的液晶屏字符缺陷檢測(cè)

陳昕，黃德軍，方成剛，李帥康

基于多特征匹配的液晶屏字符缺陷檢測(cè)

陳昕1，黃德軍2，方成剛1，李帥康1

（1.南京工業(yè)大學(xué) 機(jī)械與動(dòng)力工程學(xué)院，南京 211800；2.南京紫城工程設(shè)計(jì)有限公司，南京 211800）

為了實(shí)現(xiàn)電動(dòng)滑板車包裝前液晶屏字符檢測(cè)高效、高精度的目標(biāo)，以及為了解決液晶屏字符中Led段碼字體難以精確分割、匹配算法復(fù)雜等問題。通過Hough直線檢測(cè)實(shí)現(xiàn)字符區(qū)域的位置校正，投影法實(shí)現(xiàn)分割字符區(qū)域，形態(tài)學(xué)處理、連通域分析實(shí)現(xiàn)各字符的提取，采用BP神經(jīng)網(wǎng)絡(luò)模型對(duì)字符進(jìn)行識(shí)別，最后通過改進(jìn)的幾何特征檢測(cè)字符缺線、漏線，灰度特征檢測(cè)字符亮度不均勻。液晶屏字符實(shí)驗(yàn)結(jié)果表明，每個(gè)字符平均識(shí)別時(shí)間為0.16 s，每個(gè)屏幕平均識(shí)別時(shí)間為0.6 s，液晶屏字符缺陷加權(quán)識(shí)別率為96%。該算法具有較高的可靠性、效率、識(shí)別率，解決了液晶屏字符在幾何、亮度缺陷下高效、高精度檢測(cè)實(shí)際工程的問題，為同類產(chǎn)品的檢測(cè)提供了算法經(jīng)驗(yàn)。

字符缺陷；BP神經(jīng)網(wǎng)絡(luò)；幾何特征；灰度特征

文中電動(dòng)滑板車中的碼表為液晶顯示屏，在實(shí)際生產(chǎn)檢測(cè)中，液晶屏?xí)a(chǎn)生一定顯示缺陷，傳統(tǒng)的缺陷依靠人工質(zhì)檢，不僅工作強(qiáng)度大，而且會(huì)存在誤判、漏判等問題。

近年來基于視覺圖像處理的缺陷檢測(cè)技術(shù)引起了國內(nèi)外學(xué)者的廣泛研究。Ju等[1]針對(duì)各種儀表液晶屏字符的缺陷，通過卷積神經(jīng)網(wǎng)絡(luò)來定位和識(shí)別字符，采用模板匹配來檢測(cè)字符缺陷。Jin等[2]針對(duì)PCB元件的復(fù)雜字符信息基于卷積神經(jīng)網(wǎng)絡(luò)建立了一個(gè)輕量級(jí)LD–PCB檢測(cè)模型來進(jìn)行檢測(cè)，建立了一個(gè)CR–PCB模型來識(shí)別不規(guī)則字符。Shen等[3]針對(duì)液晶面板圖像匹配中最常用的技術(shù)歸一化互相關(guān)（NCC）計(jì)算量大、對(duì)環(huán)境變化極敏感等問題，將圖像的二維灰度信息轉(zhuǎn)化為一維分位數(shù)信息，通過卡方檢驗(yàn)比較模板圖像與檢測(cè)圖像的分位數(shù)，解決了計(jì)算量大的問題，并且能夠容忍微小的位移、光照帶來的變化。Du等[4]針對(duì)復(fù)雜背景下的字符提出了一種基于深度學(xué)習(xí)的缺陷檢測(cè)方法，利用圖像處理算法和數(shù)據(jù)增強(qiáng)技術(shù)生成大量缺陷樣本構(gòu)建了一個(gè)大型數(shù)據(jù)集，提高了檢測(cè)準(zhǔn)確性和速度。Pei等[5]針對(duì)傳統(tǒng)mura算法提出了一種基于離散余弦變換和雙γ分段指數(shù)變換的液晶顯示器檢測(cè)mura算法，通過離散余弦變換、雙γ分段指數(shù)變換來抑制殘余背景，提高圖像對(duì)比度。Zhang等[6]針對(duì)接觸網(wǎng)絕緣子圖像缺陷樣本少、一致性差的問題，通過采用同一個(gè)絕緣子相鄰瓷片兩兩比較其瓷片間距和灰度相似度的方法進(jìn)行缺陷檢測(cè)，解決了圖像缺陷樣本少和一致性差的問題。

綜上所述，現(xiàn)階段的檢測(cè)方法存在復(fù)雜背景下不能精確定位字符、模板匹配誤判率高、匹配算法復(fù)雜等問題，為了提高字符缺陷檢測(cè)的準(zhǔn)確性，文中提出一種基于多特征匹配的液晶屏字符缺陷檢測(cè)的方法，將液晶屏字符逐個(gè)分割并識(shí)別，針對(duì)字符特點(diǎn)提取其幾何、灰度特征對(duì)字符進(jìn)行檢測(cè)，提高字符缺陷檢測(cè)的準(zhǔn)確性，最后通過實(shí)驗(yàn)驗(yàn)證算法的準(zhǔn)確性。

1 液晶屏圖像獲取與字符分割

1.1 液晶屏圖像獲取

電動(dòng)滑板車在包裝前需要進(jìn)行全方位的檢測(cè)，液晶屏的字符檢測(cè)屬于其中一個(gè)工位，檢測(cè)工位中主要包括圖1所示模塊，本文主要研究對(duì)象為視覺模塊。

在機(jī)器視覺系統(tǒng)中，該屏幕表面為玻璃材質(zhì)，會(huì)產(chǎn)生反光，屏幕保護(hù)膜也會(huì)產(chǎn)生眩光、反光，因此采用偏振鏡頭配合同軸光的方式，偏振鏡能夠起到減弱或者消除雜散光、眩光等干擾的作用[7]，同軸光能夠消除反光，又能避免采集圖像中含有相機(jī)的倒影；由于該液晶屏為平面顯示屏，圖像細(xì)節(jié)部分的精度要求不是特別高，因此采用面陣CCD相機(jī)。

1.2 液晶屏圖像分割

為了提高圖像特征匹配的精確性、字符缺陷檢測(cè)的準(zhǔn)確性，通過將液晶屏圖像字符進(jìn)行分割，采用逐個(gè)檢測(cè)的方式，該算法具體流程見圖2。

1.2.1 圖像預(yù)處理

通過CCD相機(jī)采集到的液晶屏圖像，見圖3a。為了去除噪聲提高圖像質(zhì)量，達(dá)到Canny算子的標(biāo)準(zhǔn)要求，采用高斯濾波對(duì)圖像進(jìn)行去噪處理。

為了增強(qiáng)圖像中目標(biāo)字符對(duì)比度，采用Otsu自適應(yīng)閾值對(duì)圖像進(jìn)行二值化操作[8]。為了圖像校正中Hough變化檢測(cè)直線更加準(zhǔn)確，對(duì)字符圖像進(jìn)行邊緣輪廓提取，邊緣提取有眾多檢測(cè)算子，如Sobel、Roberts、Canny、Log等，由于Canny算子可以檢測(cè)到較弱的邊緣且不易受噪聲的影響，因此采用Canny算子進(jìn)行邊緣提取。上述圖像預(yù)處理結(jié)果見圖3b。

1.2.2 圖像校正及去除多余區(qū)域

由于圖像采集時(shí)液晶屏、相機(jī)擺放位置不正會(huì)導(dǎo)致圖像的傾斜，不利于字符的識(shí)別，并且該液晶屏字符為LED段碼字體，直線較多，因此采用基于點(diǎn)–線對(duì)偶性原理的Hough變換檢測(cè)直線來對(duì)圖像進(jìn)行傾斜校正。

圖1 電動(dòng)滑板車液晶屏檢測(cè)工位示意圖

圖2 算法流程

圖3 圖像預(yù)處理

式中：為任意直線的極坐標(biāo)方程；為圖像的寬度，因此(,)可以表示任意一條直線，參數(shù)空間中的最大值為(,)，根據(jù)最大值找到對(duì)應(yīng)直線以及傾斜角完成直線檢測(cè)。

圖像校正之后，為了準(zhǔn)確地分割各字符區(qū)域，將字符外的區(qū)域去除，由于圖像此時(shí)只存在2個(gè)像素值，為了提高算法效率，采用投影法遍歷圖像像素，找上下左右4個(gè)方向上第1條白色像素，對(duì)白色像素之外的區(qū)域進(jìn)行去除。上述處理結(jié)果見圖4。

圖4 傾斜校正、去除多余區(qū)域

1.2.3 圖像分割

針對(duì)液晶屏上LED段碼字體的特點(diǎn)，由于各字體內(nèi)部區(qū)域不是連通的，無法將整個(gè)字體作為一個(gè)連通域進(jìn)行分析，因此需要對(duì)圖像進(jìn)行形態(tài)學(xué)處理[9]，首先對(duì)二值化之后的圖像進(jìn)行膨脹，將字體內(nèi)部間隙去除，使字體整個(gè)連通；由于膨脹后字體變大，出現(xiàn)字體與字體之間連通的問題，需要對(duì)圖像進(jìn)行腐蝕，結(jié)果見圖5a。

式中：為膨脹處理；為腐蝕處理；(,)為卷積核里最亮最暗的像素點(diǎn)，文中字體可看成由若干個(gè)矩形構(gòu)成，因此構(gòu)造大小為3×3矩形卷積核進(jìn)行形態(tài)學(xué)處理。通過八連通區(qū)域的方式提取各連通域最小外接矩形的坐標(biāo)，進(jìn)行字符分割，見圖5b。

式中：為像素點(diǎn)；4為四連通域，對(duì)應(yīng)像素位置的上、下、左、右是緊鄰的，四連通域與左上、右上、左下、右下相結(jié)合即八連通域。

圖5 圖像分割

2 基于BP神經(jīng)網(wǎng)絡(luò)的液晶屏字符識(shí)別

BP算法在面對(duì)不確定、非線性的問題時(shí)有極強(qiáng)的處理能力，尤其在缺陷檢測(cè)技術(shù)中，字符可能存在各種不確定的缺陷[10]。文中為了在不影響識(shí)別效果的前提下提高訓(xùn)練效率，采用三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：輸入層、隱藏層和輸出層，見圖6。

文中將字符圖像轉(zhuǎn)換為一個(gè)1×256的行向量，作為輸入層[11]。根據(jù)式（5）、（6）得到輸出層、隱藏層。圖像大小歸一化為16×16，輸入層有256個(gè)神經(jīng)元，取隱藏層神經(jīng)元為64個(gè)，由于數(shù)字為0～9，取輸出神經(jīng)元為10個(gè)。理想結(jié)果是當(dāng)輸入數(shù)字1的圖像時(shí)輸出端得到(0,1,0,0,0,0,0,0,0,0)，實(shí)際上輸出值未必是0或1，但依靠輸出最大值所在位置也可以進(jìn)行字符的識(shí)別。文中神經(jīng)元采用的傳遞函數(shù)是具有可導(dǎo)和連續(xù)性的Sigmoid函數(shù)1/(1+?x)。

式中：o為輸出層；y為隱藏層；V為輸入層到隱藏層的權(quán)重；W為隱藏層到輸出層的權(quán)重。根據(jù)隨機(jī)確定的權(quán)重得到的輸出與理想結(jié)果之間的誤差反向修正權(quán)重值，經(jīng)多次迭代從而靠近理想輸出，具體公式為：

式中：d為輸出層的理想輸出。另外，為了進(jìn)一步使得調(diào)整更加靈活，文中加入=0.2放縮倍數(shù)，采用均方差來判斷實(shí)際輸出和理想輸出是否接近，如圖7所示，具體公式為：

本文采集液晶屏顯示字符中的阿拉伯?dāng)?shù)字0—9，每個(gè)數(shù)字各30張，作為樣本進(jìn)行訓(xùn)練迭代1 000次，逐漸收斂至小于0.000 3，并從字符訓(xùn)練集中任意選取50張圖像進(jìn)行不同程度破壞作為測(cè)試集進(jìn)行識(shí)別，見圖8。由圖8所知，文中算法能夠識(shí)別含有缺陷的字符，該字符訓(xùn)練算法可在Matlab上編程實(shí)現(xiàn)。

3 多特征匹配的字符缺陷檢測(cè)

圖像的特征提取實(shí)現(xiàn)了從圖像空間到特征空間的轉(zhuǎn)換[12]。本文通過提取字符的幾何特征檢測(cè)漏線、斷線等缺陷，通過提取字符的灰度特征檢測(cè)亮度不均勻缺陷。在實(shí)際檢測(cè)中會(huì)存在一定污染、噪聲影響檢測(cè)結(jié)果，本文通過改進(jìn)幾何特征來進(jìn)一步優(yōu)化檢測(cè)算法。

3.1 基于改進(jìn)幾何特征的字符缺陷檢測(cè)

2）面積。文中將連通域邊界內(nèi)部（包含邊界上）像素點(diǎn)個(gè)數(shù)作為該連通域面積。由于二值化后，圖像中只存在0、1這2個(gè)像素值，因此面積就是統(tǒng)計(jì)像素值為1的點(diǎn)的個(gè)數(shù)。

式中：R為二值化字符圖像；f(x,y)為圖像像素點(diǎn)；K為像素值。

圖8 文中BP算法識(shí)別效果

圖9 邊界模式

上述為傳統(tǒng)的幾何特征，由于屏幕表面會(huì)有濾波無法去除的污染，污染部分與字符所缺線段部分的幾何特征相近，會(huì)影響缺陷的判定，本文通過設(shè)定閾值來判斷圖像中對(duì)象為目標(biāo)字符或者污染，如公式（12）所示，其中代表圖像中處理對(duì)象，由于液晶屏顯示中斷線缺陷很少出現(xiàn)超過段碼面積一半的情況，因此，本文設(shè)定=字體面積最小矩形段的1/2，為各連通域面積，效果如圖10所示。

圖10 去除污染效果

Fig.10 Decontamination renderings

3.2 基于灰度特征的字符缺陷檢測(cè)

液晶屏中字符亮度不均勻時(shí)，灰度值會(huì)有顯著差異，因此，文中采用卡方、相關(guān)性比較來評(píng)價(jià)圖像灰度直方圖[14]，計(jì)算式見式（13）–（14），從而進(jìn)行亮度缺陷檢測(cè)。為了提高對(duì)比度，將直方圖進(jìn)行均衡化[15]，見圖11。

式（13）中，等于直方圖中直方的個(gè)數(shù)，若1=2，即2個(gè)圖的直方圖一樣，值為1。式（14）中，1=2時(shí)卡方比較值為0，相似度最高?？ǚ街翟酱?，越不符合。文中基于上述直方圖的相關(guān)性比較、卡方比較并結(jié)合Matlab實(shí)現(xiàn)特征值的計(jì)算，根據(jù)2張字符圖像每一級(jí)灰度像素個(gè)數(shù)的數(shù)據(jù)描繪出灰度直方圖的差異圖[16]，見圖12。

圖11 直方圖均衡化效果

圖12 相關(guān)性比較示意圖

4 實(shí)驗(yàn)與結(jié)果分析

文中為了缺陷的判定，將待檢圖像與標(biāo)準(zhǔn)圖像的面積、周長分別記為1、2、1、2，相關(guān)性比較、卡方比較記為1、2，缺陷的判定標(biāo)準(zhǔn)見表1。

表1 缺陷分類

Tab.1 Defect classification

將文中液晶屏字符缺陷檢測(cè)基于上述改進(jìn)幾何特征計(jì)算得到的周長、面積，灰度特征計(jì)算得到的相關(guān)性比較值、卡方比較值來與模板字符對(duì)應(yīng)的值進(jìn)行匹配比較。將文中算法在Matlab軟件中實(shí)現(xiàn)，并開發(fā)上位機(jī)界面驗(yàn)證該算法的正確性，見圖13。

通過設(shè)計(jì)液晶屏字符缺陷檢測(cè)實(shí)驗(yàn)，對(duì)比同類型算法，在同種工況下檢測(cè)200種不同字符顯示的液晶屏，如圖14所示，得到文中算法的實(shí)際效果：?jiǎn)蝹€(gè)字符平均檢測(cè)時(shí)間為0.16 s，單個(gè)屏幕平均檢測(cè)時(shí)間為0.6 s，缺陷識(shí)別率為96%。

圖13 軟件示意圖

圖14 文中檢測(cè)算法與同類算法比較

5 結(jié)語

基于傾斜校正和去除多余區(qū)域，將液晶屏內(nèi)目標(biāo)區(qū)域進(jìn)一步縮小，去除了周圍環(huán)境的影響，提升了該方法的魯棒性能，基于形態(tài)學(xué)處理和連通域分析，將液晶屏Led段碼字體精確地定位分割，為后續(xù)字符的模板匹配、缺陷檢測(cè)提高了精確性，基于BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用實(shí)現(xiàn)了對(duì)各個(gè)字符的識(shí)別。

基于改進(jìn)幾何特征（面積、周長）和灰度特征（相關(guān)性比較值、卡方比較值）的缺陷檢測(cè)方法實(shí)現(xiàn)了對(duì)液晶屏字符常見的2種缺陷的檢測(cè)，針對(duì)性極強(qiáng)，在保證檢測(cè)效果的前提下降低了算法的復(fù)雜性。實(shí)驗(yàn)結(jié)果表明，該方法具有較高的缺陷檢測(cè)率，單個(gè)字符平均檢測(cè)時(shí)間為0.16 s，單個(gè)屏幕平均檢測(cè)時(shí)間為0.6 s，缺陷識(shí)別率為96%。

[1] JU Hu-yan, XU Jun-zhi, LI Wei, et al. Detection of Sealed and Unsealed Cracks with Complex Backgrounds Using Deep Convolutional Neural Network[J]. Automation in Construction, 2019, 107: 102946-102946.

[2] JIN Shi-quan, CHAO Ji, CHENG Chen-yan, et al. TFT-LCD Mura Defect Detection Using DCT and the Dual-Γ Piecewise Exponential Transform[J]. Precision Engineering, 2018(54): 371-378.

[3] SHEN Jia-quan, JI Chao, YAN Cheng-chen, et al. Defect Detection of Printed Circuit Board Based on Lightweight Deep Convolution Network[J]. IET Image Processing, 2020, 14(15): 3932-3940.

[4] DU Ming. A Quantile-Quantile Plot Based Pattern Matching for Defect Detection[J]. Pattern Recognition Letters, 2005, 26(13): 1948-1962.

[5] PEI Bao-ying, LUO Yu, YONG Zheng-zhou, et al. A Method of Detecting Defects of Smart Meter LCD Screen Based on LSD and Deep Learning[J]. Multimedia Tools and Applications, 2021, 80(28/29): 1-18.

[6] ZHANG Cheng-qian, CHENG Shen. Axial Magnetic Levitation: A High-Sensitive and Maneuverable Density-Based Analysis Device-ScienceDirect[J]. Sensors and Actuators, 2020, 304: 127362-127362.

[7] TANG Dao-fan, SHEN Peng, ZHAO Ya-qiang, et al. Detecting Shrinkage Voids in Plastic Gears Using Magnetic Levitation[J]. Polymer Testing, 2020, 91(10): 10-20.

[8] XIA Neng, PENG Zhao, JUN Xie, et al. Density Measurement for Polymers by Magneto-Archimedes Levitation: Simulation and Experiments[J]. Polymer Testing, 2017, 63(10): 455-461.

[9] 馮毅雄, 李康杰, 高一聰, 等. 基于特征與形貌重構(gòu)的軸件表面缺陷檢測(cè)方法[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版), 2020, 54(3): 427-434.

FENG Yi-xiong, LI Kang-jie, GAO Yi-cong, et al. Journal of Zhejiang University (Engineering Science), 2020, 54(3): 427-434.

[10] 粟序明, 方成剛, 洪榮晶, 等. 基于機(jī)器視覺的軸類零件定位與測(cè)量系統(tǒng)[J]. 機(jī)械設(shè)計(jì)與制造, 2020(7): 250-254.

SU Xu-ming, FANG Cheng-gang, HONG Rong-jing, et al. Positioning and Measurement System of Shaft Parts Based on Machine Vision[J]. Machinery Design & Manufacture, 2020(7): 250-254.

[11] 楊必武, 郭曉松. 用于識(shí)別一類缺陷字符的過篩連通-模板匹配法[J]. 計(jì)算機(jī)工程, 2002(9): 88-89.

YANG Bi-wu, GUO Xiao-song. Sifting Connectivity Template Matching Method for Identifying a Class of Defective Characters[J] Computer engineering, 2002(9): 88-89.

[12] 王宣銀, 梁冬泰. 基于多元圖像分析的表面缺陷檢測(cè)算法[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版), 2010, 44(3): 448-452.

WANG Xuan-yin, LIANG Dong-tai. Surface Defect Detection Algorithm Based on Multivariate Image Analysis[J] Journal of Zhejiang University (Engineering Edition), 2010, 44(3): 448-452.

[13] 張秀良, 曲紅. 基于BP神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)圖像智能識(shí)別方法[J]. 信息與電腦(理論版), 2021, 33(15): 158-161.

ZHANG Xiu-liang, QU Hong. Intelligent Recognition Method of Computer Image Based on BP Neural Network[J] Information and Computer (theoretical Edition), 2021, 33(15): 158-161.

[14] 黃麗華, 穆平安, 戴曙光. 汽車音響面板印刷字符缺陷快速檢測(cè)算法[J]. 計(jì)算機(jī)與數(shù)字工程, 2010, 38(7): 30-32.

HUANG Li-hua, MU Ping-an, DAI Shu-guang. Fast Detection Algorithm for Printed Character Defects of Automobile Audio Panel[J] Computer and Digital Engineering, 2010, 38(7): 30-32.

[15] 簡(jiǎn)川霞, 王華明, 徐進(jìn)軍, 等. OLED顯示屏表面缺陷自動(dòng)檢測(cè)方法[J]. 包裝工程, 2021, 42(13): 280-287.

JIAN Chuan-xia, WANG Hua-ming, XU Jin-jun, et al. Automatic Detection Method for Surface Defects of OLED Display[J]. Packaging Engineering, 2021, 42(13): 280-287.

[16] 王海波, 謝玉芳. 改進(jìn)灰度共生矩陣的印刷品表面缺陷檢測(cè)方法[J]. 包裝工程, 2020, 41(23): 272-278.

WANG Hai-bo, XIE Yu-fang. Surface Defect Detection Method of Printed Matter Based on Improved Gray Co-Occurrence Matrix[J]. Packaging Engineering, 2020, 41(23): 272-278.

LCD Character Defect Detection Based on Multi-Feature Matching

CHEN Xin1, HUANG De-jun2, FANG Cheng-gang1,LI Shuai-kang1

(1. School of Mechanical and Power Engineering, Nanjing University of Technology, Nanjing 211800, China; 2. Nanjing Zicheng Engineering Design Co., Ltd., Nanjing 211800, China)

The work aims to achieve the high efficiency and high precision of LCD character detection before the packaging of electric scooters, and to solve the problems such as the difficulty of accurate segmentation and complex matching algorithm of Led segment code fonts in LCD characters. Hough line detection was conducted to correct the character region. Projection method was used to segment the character region. Morphological processing and connected domain analysis were used to extract the characters. BP neural network model was used to recognize the characters. Finally, improved geometric features were used to detect the lacking and missing lines. Gray scale features were used to detect the uneven brightness of the characters. The experimental results of LCD characters showed that the average recognition time of each character was 0.16 s and that of each screen was 0.6 s. The weighted recognition rate of LCD character defects was 96%. The algorithm has high reliability, efficiency and recognition rate, and solves the practical engineering problems of high efficiency and high precision detection of LCD characters under the defects of geometry and brightness, and provides the algorithm experience for the detection of similar products.

character defect; BP neural network; geometric features; grayscale feature

TP391.4

A

1001-3563(2023)03-0157-07

10.19554/j.cnki.1001-3563.2023.03.019

2022?03?31

江蘇省科技成果轉(zhuǎn)化專項(xiàng)資金資助項(xiàng)目（BA2017099）；江蘇省研究生科研與實(shí)踐創(chuàng)新計(jì)劃資助項(xiàng)目（KYCX22_1282）

陳昕（1998—），男，碩士生，主攻機(jī)器視覺。

方成剛（1974—），男，博士，教授，主要研究方向?yàn)橹悄苤圃臁?/p>

責(zé)任編輯：曾鈺嬋