多特征矩融合的液晶屏字符缺陷檢測算法

陳昕，方成剛

（南京工業(yè)大學 機械與動力工程學院，江蘇 南京211800）

1 引 言

字符型液晶屏是一種用于顯示電動車碼數(shù)、鐘表時間等功能的產(chǎn)品，其字符能否正常顯示決定了該產(chǎn)品的合格與否。傳統(tǒng)的字符檢測依靠人工質(zhì)檢，存在誤判、漏判等問題。

近年來，由于機器視覺、圖像處理的快速發(fā)展，基于圖像的缺陷檢測技術引起了學術界和工業(yè)界的廣泛關注。劉偉［1］等針對SMD字符，提出了一種基于連通域法的輪廓特征分析提取算法，將字符輪廓特征與標準字符的輪廓特征進行匹配。李定珍［2］等針對VFD字符，提出了一種基于質(zhì)心直線擬合的檢測算法，通過最小二乘法進行直線擬合，進行基于平行直線的小角度傾斜校正，然后對不同點亮模式的圖像特征進行判別。徐珩［3］等通過借助多張字符圖像來配準字符，以消除字符位姿變化帶來的影響，并通過像素面積、灰度值特征來進行缺陷判別。徐煒東［4］等提出了一種基于形狀模板的ASMIM匹配算法，并利用加權(quán)歸一化向量點積相似度來判別缺陷。鄭菁菁［5］等通過提取字符的像素密度特征以及運用字符映射算法進行缺陷檢測。鄭魁敬［6］等通過字符灰度密度分布和灰度差的自適應閾值亮度法對字符區(qū)域進行遍歷，進行字符的灰度缺陷檢測。李海山［7］等通過提取字符樣本圖像顏色直方圖特征對卷積神經(jīng)網(wǎng)絡進行訓練，達到色彩缺陷檢測的效果。

以上算法中存在以下不足：單一的輪廓、幾何特征檢測缺陷的準確度較低。字符顏色、灰度缺陷檢測目前還處于起步階段，將以上兩種缺陷檢測相結(jié)合的算法還比較少。本文使用Hu不變矩來描述字符結(jié)構(gòu)特征，采用Zernike矩來彌補Hu矩所不能描述的高階矩信息［8］；使用顏色矩來描述字符在HSV通道下的顏色亮度特征，采用灰度矩來彌補顏色矩所不能描述的灰度信息。運用2DPCA技術對上述矩進行融合，通過歐氏距離來衡量相似度達到缺陷檢測的效果，最終通過實驗驗證該算法的可靠性。

2 多特征矩檢測框架

2.1 ROI區(qū)域提取

ROI（Region of interest）提 取是從被 處理的原始圖像中以方框、圓、橢圓、不規(guī)則多邊形等方式勾勒出需要處理的區(qū)域［9］。本文研究對象為液晶屏圖像中單個字符，針對字符字體的特點，結(jié)合圖像處理手段可提取各字符所在區(qū)域。

提取出完整的字符是實現(xiàn)特征矩陣提取和特征描述以及缺陷檢測的關鍵［10］。對圖像進行去噪、二值化、Canny邊緣檢測預處理之后，通過Hough直線檢測進行傾斜校正，形態(tài)學處理連接字符內(nèi)部線段，連通域分析提取各字符區(qū)域來實現(xiàn)ROI區(qū)域提取，如圖1所示。

圖1 ROI區(qū)域提取實現(xiàn)Fig.1 Implementation of ROI region extraction

2.2 檢測總體框架

液晶屏字符常見缺陷有：斷線、漏線；亮度過高、過低等。上述缺陷采用字符的結(jié)構(gòu)（輪廓）、顏色（灰度）特征進行描述。字符特征矩陣包括輪廓矩陣、灰度矩陣。輪廓矩陣中包括Hu矩、Zernike矩［11］，灰度矩陣中包括顏色矩、灰度矩［12］。通過構(gòu)造字符特征矩陣并采用2DPCA方式對矩陣進行融合，最終運用歐式距離進行模板圖像特征矩與待檢測圖像特征矩的相似度衡量達到缺陷檢測的目的，檢測框架如圖2所示。

圖2 多特征矩檢測框架Fig.2 Multi-feature moment detection framework

3 特征矩提取

3.1 Hu矩的提取

圖像的Hu矩是一種具有旋轉(zhuǎn)、平移和尺度不變性的圖像特征。文生平等［11］利用Hu矩算法對字符進行識別，結(jié)果表明Hu矩能夠很好地提取字符輪廓特征參數(shù)。一張大小為C×R的圖像f(x，y)，其（p+q）階原點矩、中心矩以及歸一化中心矩為：

式中p、q分別為圖像像素坐標中水平距離和垂直距離的階數(shù)。x0、y0為目標區(qū)域的質(zhì)心坐標，x0=m01/m00，y0=m01/m00。圖像的Hu不變矩為：

式中η02、η11和η20為二階歸一化中心矩，η03、η12、η21和η30為三階歸一化矩陣。針對無缺陷、有缺陷兩種字符的不同姿態(tài)，如圖3所示，其對應的Hu不變矩的特征量（由于7個數(shù)變化范圍較大，為了便于比較，將特征量取對數(shù)顯示）如表1所示。

圖3 不同姿態(tài)字符Fig.3 Different attitude characters

表1 不同姿態(tài)下的Hu矩Tab.1 Hu moment under different poses

3.2 Zernike矩的提取

Zernike矩能有效識別屬于同一類別卻有著較大形狀輪廓差異的字符。王峰等利用Zernike矩識別車牌字符，結(jié)果表明Zernike矩能夠很好地提取字符輪廓特征參數(shù)［13］。Zernike的正交多項式{Vnm(x，y)}=Rnm()

ρejmθ，其中：

式中：n、m為Zernike多項式的階數(shù)；n為非負的正數(shù)；(n-|m|)是偶數(shù)，|m|≤n；Rnm(ρ)為點（x，y）的徑向多項式。對上文中C×R大小的數(shù)字化離散的圖像用求和來代替積分，其Zernike矩Znm為：

針對圖4中無缺陷、有缺陷兩種字符的不同姿態(tài)，由于Hu矩的7個不變矩僅由二階、三階（低階矩）構(gòu)成，為了將字符的輪廓、結(jié)構(gòu)特征描述得更加準確，采用Zernike矩的6、7、8、9、10、11階矩（高階矩）進行計算，矩的計算結(jié)果如表2所示。

表2 不同姿態(tài)下的Zernike矩Tab.2 Zerniek moment under different poses

圖4 亮度缺陷HSV通道對比Fig.4 Comparison of HSV channels with luminance defects

3.3 顏色矩的提取

顏色矩是一種圖像顏色特征的表示方法［14］。由于顏色信息主要分布于低階矩中，所以采用一階、二階、三階可以表達字符的顏色分布［15］。顏色矩表示為：

式中，Pi，j表示字符圖像中第i個顏色通道分量中灰度為j的像素出現(xiàn)的概率，N表示圖像中像素的個數(shù)。

由于HSV空間飽和度、明度與人眼的主觀認識比較符合［15］，因此，針對字符亮度缺陷，本文采用H、S、V三個分量以及三階顏色矩組成一個9維的直方圖向量，字符的顏色特征Fcolor表示如式（12）所示，正常亮度、過高亮度兩張字符圖像的H、S、V三分量比較如圖4所示。

根據(jù)顏色特征式（12）可提取出正常亮度、過高亮度兩張字符的顏色矩陣F，如表3所示。

表3 亮度缺陷下的顏色矩Tab.3 Color moments under brightness defects

3.4 灰度矩的提取

本文灰度矩是字符圖像的灰度特征。鄭魁敬等［6］通過灰度矩算法來檢測手機背面缺陷，結(jié)果表明灰度矩能夠很好地描述目標區(qū)域的灰度分布特征情況?；叶染谿包括灰度特征中的以下部分：灰度均值m：表示圖像的亮暗不同；灰度方差σ2：反應了字符亮度缺陷圖像的灰度值的離散程度；灰度熵e：灰度熵的大小具有不同的意義，值越大表示字符圖像包含的信息越多；偏斜度ξ：表示目標區(qū)域灰度直方圖的偏斜性，值越小表示直方圖越對稱。

式中，K表示灰度級數(shù)，Ki表示第i個灰度級，P(Ki)表示Ki出現(xiàn)的概率。針對圖5并結(jié)合式（13）提取灰度矩，如表4所示。

表4 亮度缺陷下的灰度矩Tab.4 Gray moments under brightness defects

圖5 100張缺陷字符歐氏距離分布Fig.5 Euclidean distance distribution of 100 defective characters

4 特征矩融合與缺陷判別

4.1 2DPCA的矩陣融合

將4組 特 征矩Hu、Zernike、F、G組成m×n的矩陣T，其中m=4，n=max(n1，n2，n3…nm，)，若矩陣維數(shù)小于n，則向量維數(shù)向后補0使其維數(shù)擴展為n，得到字符特征矩T為：

2DPCA通過降維的方式，將T投影到低維的平面上，獲得低維融合特征［16］。假設X為一個n維歸一化列向量，將T按公式（15）投影到X上獲得一個m維的投影列向量Y：

字符圖像所有的特征向量投影到X上就得到所有樣本的投影向量，投影向量之間的分散程度代表了X區(qū)分樣本的能力，本文采用投影向量的協(xié)方差J（X）表示分散程度。當J（X）的值取最大時，X對特征向量的區(qū)分能力最強，如式（16）所示：

定義Gt為特征矩陣的相關矩陣，假設有M個特征矩陣數(shù)據(jù)，m×n的矩陣Ti(i=1，2，…，M)，則平均特征矩陣為：

則：

綜上，

因此，使得J（X）最大化的投影方向集{X1，X1，…，Xd}是Gt的前d個最大特征值對應的彼此正交的特征向量，d需要滿足：

式中，λi是Gt的n個特征值，σi為特征值的貢獻度因子，σcum為前d個特征值的累計貢獻度。將矩陣T投影到這些向量集上即可得到融合后的特征向量：

由YK主成分向量形成m×d的矩陣Z=[Y1，Y2，…Yd]稱為字符特征矩陣T的融合特征矩陣。

4.2 缺陷判別

為了衡量標準圖像與待檢測圖像之間特征矩的相似程度［17］，本文采用歐式距離來衡量［18］。假設Zi、Zj分別是標準字符、待檢測字符的融合特征矩，則歐氏距離為：

為了達到字符缺陷檢測的目的以及避免誤判、漏判，結(jié)合融合特征矩陣之間的歐氏距離，通過實驗法確定缺陷閾值，從而判定是否存在缺陷。

5 實驗驗證分析

由于液晶屏在實際生產(chǎn)過程中字符存在缺陷的幾率較小，該缺陷檢測屬于偏斜類問題［19］。為了選取合適的缺陷閾值以防止錯判、漏判等情況發(fā)生，選擇100張缺陷（包含亮度、輪廓缺陷）不顯著的字符圖像計算其與標準字符的歐氏距離［20］，如圖5所示。

由圖5數(shù)據(jù)可知，100張缺陷不顯著的字符圖像的特征矩與標準字符圖像的特征矩之間的歐氏距離最大值為0.498 35，最小值為0.302 26，因此滿足式（23）的歐氏距離即認為該字符存在缺陷。

本文多特征矩融合的字符缺陷檢測算法通過Matlab2018a軟件編程實現(xiàn)。為了檢驗算法的有效性以及缺陷閾值的穩(wěn)定性，仿照秦鐘偉等的方法［21］，采用主觀評價和客觀評價2種方式進行評價。主觀評價是指將算法檢測的結(jié)果與人工檢測的結(jié)果做主觀對比，該方法較為直觀?？陀^評價主要是將該算法的檢測結(jié)果與同類問題下的算法結(jié)果相比較，評價其效率以及準確性。

主觀評價：從上述100張缺陷字符之外選取2張典型缺陷的字符圖像，將人工目測結(jié)果與算法檢測結(jié)果進行對比，如圖6所示。

圖6 主觀評價結(jié)果Fig.6 Results of subjective evaluation

客觀評價：采用本文融合算法與單獨算法在相同工況下各自處理兩種典型缺陷各100張隨機字符圖像，比較識別效率（單張液晶屏圖像檢測時間）、誤判率（將正常字符判定為缺陷字符）、漏判率（將缺陷字符判定為正常字符）、準確率（能夠準確判別缺陷），如表5和圖7所示。

表5 本文融合特征與單一特征比較Tab.5 Comparison of fusion features and single features

圖7 本文算法與同類算法比較Fig.7 Algorithm presented in this paper compared with similar algorithms

通過上述主觀評價和客觀評價，證明了本文所提算法的穩(wěn)定性。該算法在與同類算法相同效率的情況下降低了字符的誤判率以及漏判率，效果優(yōu)于同類算法，提高了字符缺陷檢測的準確性。

6 結(jié) 論

本文為了滿足液晶屏字符自動化檢測高效、準確的需求，保證檢測的低誤判率、低漏判率，提出了一種基于多特征矩融合的字符缺陷檢測算法。

將字符結(jié)構(gòu)輪廓特征的Hu矩、Zernike矩和字符顏色灰度特征的顏色矩、灰度矩，采用2DPCA的方式生成融合特征矩，并通過歐氏距離衡量標準融合特征矩與待測融合特征矩的相似度，實驗設定缺陷相似度閾值，達到缺陷檢測的效果。

在主觀評價方面，人眼檢測結(jié)果與算法結(jié)果相比較，證明了該算法的實用性以及缺陷閾值的穩(wěn)定性；在客觀評價方面，本文算法與同類算法的比較結(jié)果表明，證明該算法具有優(yōu)于同類算法的準確性，誤判率為1%，漏判率為0%，效率為0.6 s。