基于機(jī)器視覺的液晶屏字符缺陷檢測(cè)系統(tǒng)設(shè)計(jì)

徐煒東++王毅++張榮閣

摘要：針對(duì)目前液晶屏字符顯示缺陷檢測(cè)主要依靠人工方式，效率低，主觀性強(qiáng)，設(shè)計(jì)了一套基于機(jī)器視覺的自動(dòng)化在線檢測(cè)裝置。文章介紹了整個(gè)裝置的總體框架和檢測(cè)方法，對(duì)采集的圖像進(jìn)行校正、閾值分割等預(yù)處理，然后進(jìn)行圖像匹配，最終作出是否存在缺陷的判定。通過實(shí)驗(yàn)，該裝置能夠準(zhǔn)確實(shí)現(xiàn)對(duì)8片液晶屏不同狀態(tài)的同時(shí)檢測(cè)，并顯示缺陷所在位置。

關(guān)鍵詞：機(jī)器視覺；液晶屏；字符缺陷；圖像匹配

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）17-0182-03

TFT液晶屏具有低功耗、高亮度等優(yōu)點(diǎn)，廣泛應(yīng)用于各類顯示裝置[1]。傳統(tǒng)液晶屏顯示缺陷檢測(cè)主要依靠人工方式完成，檢測(cè)效率低，主觀性強(qiáng)，準(zhǔn)確率低[2-4]。隨著機(jī)器視覺技術(shù)的發(fā)展，其在液晶屏顯示缺陷檢測(cè)中被廣泛采用[3]- [4]。采用機(jī)器視覺技術(shù)，能夠提高檢測(cè)效率和準(zhǔn)確率，降低成本，同時(shí)也避免由于人的主觀因素造成的錯(cuò)判和誤判，適用于工業(yè)自動(dòng)化生產(chǎn)線檢測(cè)。

文中研制了一套基于機(jī)器視覺的液晶屏字符缺陷檢測(cè)裝置。首先對(duì)采集到的圖像進(jìn)行校正，使圖像轉(zhuǎn)化為水平視角，并進(jìn)行閾值分割[5]-[6]，提取出標(biāo)準(zhǔn)模板圖像，之后運(yùn)用圖像匹配技術(shù)[7]- [10]，采用基于液晶屏字符特征的圖像匹配，將標(biāo)準(zhǔn)模板圖像匹配到待檢測(cè)圖像中，最后對(duì)數(shù)字和漢字分別進(jìn)行相應(yīng)的缺陷檢測(cè)判斷，并將檢測(cè)結(jié)果顯示在上位機(jī)界面。

1檢測(cè)裝置總體設(shè)計(jì)

檢測(cè)裝置框架構(gòu)成如圖1所示，主要包括USB相機(jī)、光源、PC機(jī)、待檢液晶屏工裝板。裝置啟動(dòng)時(shí)，計(jì)算機(jī)給工裝板發(fā)送上電命令，然后發(fā)送相應(yīng)顯示狀態(tài)命令，相機(jī)將采集到的圖片上傳給計(jì)算機(jī)，計(jì)算機(jī)進(jìn)行相應(yīng)的圖像處理后做出判斷，將檢測(cè)結(jié)果實(shí)時(shí)顯示在軟件界面上。檢測(cè)系統(tǒng)實(shí)物圖如圖2所示。

2 檢測(cè)算法設(shè)計(jì)

2.1 校正

受液晶屏工裝板本身視角影響，相機(jī)傾斜安裝，導(dǎo)致采集到的圖像是傾斜的（如圖3（a）所示），為了便于后續(xù)圖像處理，有必要對(duì)采集到的圖像進(jìn)行校正，將圖像的傾斜角度轉(zhuǎn)為水平視角。通過相機(jī)標(biāo)定得到的內(nèi)外參數(shù)，然后對(duì)采集到圖像進(jìn)行校正，校正后的圖像效果如圖3（b）所示。

2.2 圖像分割

圖像分割是把圖像中具有特殊涵義的不同區(qū)域區(qū)分開來，這些區(qū)域是互不相交的，每一個(gè)區(qū)域都滿足特定區(qū)域的一致性。通過前期處理后得到的圖像背景和目標(biāo)具有強(qiáng)的對(duì)比度，易于區(qū)分，本文采用全局閾值分割法進(jìn)行圖像分割，設(shè)預(yù)處理后得到的圖像的灰度值P分布為區(qū)間[P1， P2]，設(shè)定的閾值最大值為PMAX，最小值為PMIN，若灰度值P滿足如下條件：

灰度值P將會(huì)被分割出來，分割后得到的二值化圖像如圖4所示。

2.3 圖像匹配

圖像匹配是尋找不同時(shí)間、不同傳感器（成像設(shè)備）或不同條件下（照度、攝像位置和角度等）獲取的兩幅或多幅圖像之間的變換函數(shù)，目的是使得圖像中相應(yīng)目標(biāo)的位置對(duì)準(zhǔn)。圖像匹配的精度決定了后續(xù)檢測(cè)的準(zhǔn)確性。

本文采用基于液晶屏字符形狀的圖像匹配，該匹配算法主要包括以下過程：（a）確定ROI（Region of Interest感興趣區(qū)域）區(qū)域；（b）從圖像中獲取ROI區(qū)域的圖像，并求取該區(qū)域中心的坐標(biāo)（Row，Col）；（c）根據(jù)（b）中得到的圖像創(chuàng)建模板；（d）讀取待匹配圖像，進(jìn)行匹配，獲得模板在待匹配圖像中的位置參數(shù)坐標(biāo)（Row[i]，Col[i]）、角度Ang[i]和縮放比例因子Scale[i]，其中i為模板在待匹配圖像中匹配成功的數(shù)目；（e）首先求取剛性變換矩陣HMATIX，HMATIX矩陣形式如式（1）所示：

其中H（t）為平移變換矩陣，H（R）為旋轉(zhuǎn)變換矩陣，HMATIX與（b）和（d）得到的相關(guān)參數(shù)關(guān)系如式（2）所示：

得到剛性變換矩陣后，由于不同位置匹配得到的縮放比例因子Scale[i]不同，因此需要將比例因子添加到剛性變換矩陣，得到新的矩陣HMATIXSCALE與之前的剛性變換矩陣關(guān)系如式（3）所示：

其中S是一個(gè)2*2比例因子矩陣，其形式如式（4）所示：

得到矩陣HMATIXSCALE后，就可以進(jìn)行仿射變換，顯示匹配結(jié)果。用圖像分割得到的圖像（圖4）與待檢測(cè)圖像匹配，匹配效果如下圖5（a）、（b）所示，模板圖像與待檢測(cè)圖像具有良好的對(duì)應(yīng)關(guān)系。

2.4 缺陷檢測(cè)

經(jīng)圖像匹配后，液晶屏中字符在圖像中的位置就得以確定，就可以根據(jù)各自特點(diǎn)進(jìn)行相應(yīng)的缺陷檢測(cè)，二者檢測(cè)如下所述。

1）數(shù)字缺陷檢測(cè)

數(shù)字缺陷檢測(cè)是通過得到待檢圖像中的數(shù)字部分后，與對(duì)應(yīng)狀態(tài)的標(biāo)準(zhǔn)數(shù)字模板作差，對(duì)作差結(jié)果進(jìn)行開操作，求取開操作后的面積，與設(shè)定面積閾值作比較，從而判斷是否存在缺陷。圖6是某一次試驗(yàn)其中一片液晶屏的檢測(cè)結(jié)果，其中白色部分是缺陷位置所在。

2）漢字缺陷檢測(cè)

漢字缺陷檢測(cè)與數(shù)字缺陷檢測(cè)相比較，對(duì)工裝板的位置非常敏感，考慮到實(shí)際流水線檢測(cè)的條件，工裝板或多或少的在位置上存在左右偏移，因而對(duì)預(yù)先劃分的漢字區(qū)域有必要進(jìn)行擴(kuò)大，這樣才能保證工裝板在存在偏移的情況下能夠提取完整的漢字，故對(duì)標(biāo)準(zhǔn)漢字模板區(qū)域進(jìn)行適當(dāng)?shù)呐蛎?。圖7是某一次試驗(yàn)其中一片液晶屏的檢測(cè)結(jié)果，其中白色部分是缺陷位置所在。

3 實(shí)驗(yàn)

考慮到檢測(cè)液晶屏工裝板尺寸較大（一塊工裝板有8片液晶屏），以及液晶屏本身視角影響，本裝置采用雙相機(jī)，相機(jī)為大恒圖像水星系列工業(yè)相機(jī)，型號(hào)為MER-500-7UM/UC-L，該相機(jī)為USB 2.0接口數(shù)字?jǐn)z像機(jī)，能穩(wěn)定工作在各種惡劣環(huán)境下，可靠性高。

上位機(jī)軟件運(yùn)用vs2005開發(fā)平臺(tái)，采用vc++語言編程，軟件界面實(shí)時(shí)顯示圖像采集窗口和檢測(cè)結(jié)果，當(dāng)字符顯示存在缺陷時(shí)，相應(yīng)漢字會(huì)變紅，相應(yīng)數(shù)字部分會(huì)出現(xiàn)“ERROR”。

為了檢驗(yàn)裝置檢測(cè)的準(zhǔn)確性，廠家提供了200塊具有各種代表性字符缺陷的工裝板，其中有180塊是存在缺陷的工裝板，20塊是合格的工裝板，存在缺陷的工裝板全部檢出，并準(zhǔn)確地顯示出缺陷所在位置。同時(shí)通過對(duì)檢測(cè)一塊工裝板11種顯示狀態(tài)的時(shí)間進(jìn)行計(jì)算，平均每塊工裝板的檢測(cè)時(shí)間為35s，與人工檢測(cè)方式相比明顯縮短了檢測(cè)時(shí)間。圖8（b）是某一時(shí)刻相機(jī)采集到的圖像，其中白色部分是缺陷位置所在，圖8（a）是對(duì)應(yīng)的檢測(cè)結(jié)果。

4 結(jié)束語

針對(duì)液晶屏字符顯示缺陷檢測(cè)的問題，通過圖像匹配技術(shù)確定相應(yīng)字符的顯示位置，根據(jù)數(shù)字和漢字的特點(diǎn)分別設(shè)計(jì)相應(yīng)的檢測(cè)算法，最后以面積為特征值來判定是否存在缺陷。在此基礎(chǔ)上搭建了機(jī)器視覺檢測(cè)平臺(tái)，檢測(cè)效率較人工方式明顯提高，同時(shí)具有較高的準(zhǔn)確率，能夠滿足工業(yè)自動(dòng)化在線檢測(cè)要求。

參考文獻(xiàn)：

[1] 錢慰宗. 顯示器件綜述[J]. 計(jì)算機(jī)應(yīng)用， 2006，26（8）：1964-1971.

[2] ChangDo Jung， Seun Kim， HeeYul Lee. Fourier Spectrum based Periodic Cell Patter Elimination in Thin Film Transistor Liquid Crystal Display Cell Image[C]. IEEE International Conference on Consumer Electronics， 201l： 871-872.

[3] 畢昕， 丁漢. TFT—LCD Mura缺陷機(jī)器視覺檢測(cè)方法[J].機(jī)械工程學(xué)報(bào)， 2010， 46（12）：13-19.

[4] 劉毅， 鄭學(xué)仁. 液晶屏顯示缺陷自動(dòng)檢測(cè)系統(tǒng)的設(shè)計(jì)[J].微計(jì)算機(jī)信息， 2008， 24（7）： 249-251.

[5] 岡薩雷斯.數(shù)字圖像處理[M].北京： 電子工業(yè)出版社， 2007.

[6] 韓思奇， 王蕾.圖像分割的閾值法綜述[J].系統(tǒng)工程與電子技術(shù)， 2002，24（6）： 91-94，102.

[7] Rueckert D， Aljabar P. Nonrigid registration of medical images： theory.methods.and applications[J]. IEEE Signal Processing Magazine， 2010， 27（4）： 113—119.

[8] Thomton J，Savvidos M.A Bayesian approach to deformed pattern matching of iris image[J].IEEE Pattern Analysis Machine Intelligence，2007，29（4）：596-606.

[9] Kolmogorov V.Graph based algorithms for scene reconstruction from two or more views[D].The Graduate School of Cornell University，2004.

[10] Jain A K， Yi Chert. Pores and ridges： high-resolution fingerprint match using level3 features[J]. IEEE Pattern Analysis Machine Intelligence， 2007， 29（4）： 596-606.