電子路牌顯示質量缺陷的快速準確識別方法

曹夢龍,靳利文

(青島科技大學 自動化與電子工程學院，山東 青島266061)

隨著電子技術和計算機技術的快速發(fā)展，電子路牌作為一種多功能顯示終端在公共交通領域得到廣泛的應用。電子路牌通常是由遮陽板和幾千至幾萬個發(fā)光二極管(light emitting diode，LED)組成，在復雜的工業(yè)生產過程中難免會出現(xiàn)各種顯示質量缺陷，如虛亮、壞點和花屏等。目前國內相關企業(yè)主要采取人工目視檢測法對產品進行檢測，該方法容易受到質檢人員主觀因素的影響，出現(xiàn)漏檢和誤檢，嚴重影響產品的良品率。而傳統(tǒng)的檢測方法，如射線檢測法(RT)、渦流探傷法(ET)、紅外檢測法(TIR)等，主要針對產品的各種表面缺陷，如凹坑、擦痕、劃痕等[1-3]，無法對電子路牌顯示質量進行測試。近年來，隨著新能源客車的大量使用，電子路牌產量急劇增長，相關企業(yè)急需一種穩(wěn)定可靠的檢測方法。機器視覺技術以其出色的檢測精度和效率成為電子路牌產品缺陷檢測的關鍵技術。

針對電子路牌顯示質量缺陷，需要從采集圖像中完整分割出目標區(qū)域(即每顆LED像素的灰度信息)。目前常用的圖像目標提取方法包括:閾值分割法[4]、邊緣檢測技術[5]、形態(tài)學操作[6]等。閾值分割法是最常見的圖像分割方法，處理速度快，但是難以處理圖像中反光干擾與目標區(qū)域低對比度的問題;而邊緣檢測技術和形態(tài)學操作很容易被噪聲干擾，出現(xiàn)邊緣斷裂的情況，影響目標輪廓的提取。為了增強圖像閾值分割效果，本研究提出一種引入面積約束條件的直方圖閾值分割新方法。針對圖像中存在遮陽板反光干擾與目標區(qū)域對比度較低的問題，通過引入面積約束條件限制閾值取值范圍，結合直方圖閾值分割方法完成對目標區(qū)域的準確提取。

1 本研究算法概述

本研究針對遮陽板反光干擾與目標區(qū)域低對比度造成的閾值分割效果差的問題，提出了一種基于面積約束的閾值分割新方法。首先，對圖像進行圖像預處理，然后對圖像像素的灰度信息進行直方圖分析，通過面積約束條件限制閾值取值范圍，結合閾值分割方法增強圖像閾值分割效果，最后使用圖像矩完成缺陷目標的識別。本研究缺陷識別算法流程圖如圖1所示。

圖1 改進閾值分割方法的缺陷識別算法流程Fig．1 Defect recognition algorithm flow based on improved threshold segmentation method

2 圖像預處理

為了降低遮陽板表面反光干擾對圖像中目標區(qū)域幾何形狀特征的影響，本研究采用了由TOMASI C和MANDUCHI R提出的雙邊濾波方法[7-8]。該方法是一種同時考慮了圖像頻域處理和時域處理的非線性濾波方法。主要在Gauss濾波基礎之上，將Gauss權系數改進成Gauss函數和圖像亮度信息的乘積，再與圖像信息作卷積運算，使圖像經過Gauss濾波后能夠保持清晰的邊緣信息[7，9]，從而達到“去噪保邊”的目的。

定義圖像像素函數f(x，y)的簡式為f(ξ)，經過濾波處理后輸出的圖像表示為h(x)，綜合考量圖像像素空間鄰近度和灰度值相似度的雙邊濾波算法，其公式化描述如下:

其中:

公式(2)中，k(x)為歸一化參數。φ(x，y)是基于像素間空間鄰近度的空域核，在灰度變化平緩的區(qū)域內對圖像進行平滑作用。φ(x，y)是基于像素灰度值相似度的值域核，在圖像邊緣部分具有保持邊緣的作用。濾波核的公式化描述如下:

其中，σd為空域核φ(x，y)的空域濾波系數，由像素間的空間鄰近度決定，距離越小，σd越大;σr為值域核φ(x，y)的值域濾波系數，由像素灰度值相似度決定，相似度越高，σr越大[7，9]。

在實際應用中，由于超過一定距離的像素對當前目標像素的影響權重較小，可以忽略其影響。所以在鄰域窗口Ω內，可以對公式(1)離散化，其公式可以簡化成如下公式:

由公式(5)可見，該式綜合了兩種高斯權重，其中的單位化分部ω是雙邊濾波的濾波核，由空域核φ(x，y)和值域核φ(x，y)的乘積得到，使其能夠在平滑圖像灰度“尖銳”變化的同時保持邊緣特征。

由于原始圖像尺寸較大，為顯示缺陷的圖像信息，本研究將包含缺陷的部分區(qū)域放大顯示，并將圖中反光干擾、缺陷位置用紅色圓圈標識。經過雙邊濾波和灰度化處理的缺陷圖像如圖2所示。

圖2 灰度化缺陷圖像Fig．2 Grayscale defect image

3 圖像閾值分割算法

由于電子路牌圖像目標區(qū)域內像素灰度值相關性較高，其邊緣部分圖像灰度值與背景有較大差異，滿足閾值分割法的基本模型，所以本研究采用閾值分割法作為圖像缺陷提取方法。

3．1 閾值分割算法原理

閾值分割法是最常見的圖像分割方法，具有處理速度快，穩(wěn)定性高的優(yōu)點。閾值分割法的基本原理是選取一個合適的灰度圖像分割閾值T，將f(x，y)≥T的像素點標為1，剩余f(x，y)＜T的像素點標為0，輸出的二值化圖像g(x，y)算法模型如式(6)所示。

閾值分割法的目標是在盡可能保留目標區(qū)域的同時舍棄干擾信息[4]，因此，選取一個合適的灰度圖像分割閾值成為確定圖像分割效果的關鍵。由于圖像熵具有較強的適應能力和魯棒性，因此選擇圖像熵作為選取圖像分割閾值的主要依據。其原理是:圖像熵在給定閾值T的基礎上，計算該閾值所分割圖像的目標區(qū)域概率密度、背景區(qū)域概率密度，從而計算出目標區(qū)域熵值和背景區(qū)域熵值，通過被選擇的閾值T使分割的圖像目標區(qū)域熵值、背景區(qū)域熵值兩部分灰度統(tǒng)計的信息量為最大，從而得到合適的分割閾值。該方法的具體步驟如下:

1)求出給定的灰度圖像分割閾值T所分割圖像的目標區(qū)域概率密度、背景區(qū)域概率密度

2)求取灰度圖像分割閾值T所分割圖像的目標區(qū)域熵值和背景區(qū)域熵值

3)根據閾值T分割的圖像目標區(qū)域熵值、背景區(qū)域熵值，根據兩部分灰度值計算總熵值H(t)＝H0(t)＋H1(t)。

4)如果分割閾值T使得分割后的圖像目標、背景區(qū)域兩部分灰度值計算的總熵值H(t)最大，即滿足T＝argmax(H0(t)＋H1(t))，所得閾值T即為最佳閾值;否則轉入步驟(1)繼續(xù)選取閾值。

為了更好的提高處理速度，優(yōu)化計算效率，在實際應用中針對目標區(qū)域熵值H0(t)和背景區(qū)域熵值H1(t)進行統(tǒng)一變量處理，推導過程如式(7)、式(8)所示。

3．2 改進閾值分割算法

由圖2可知，在經過圖像預處理之后，仍然存在少部分遮陽板工件表面反光干擾，這些干擾與目標區(qū)域對比度較低，嚴重干擾了閾值分割效果。為了去除干擾，在閾值分割處理的同時引入面積約束，通過增加對閾值取值范圍的限制，結合閾值分割方法計算出最佳的灰度圖像分割閾值，從而達到理想的分割效果。

面積約束的核心思想是根據電子路牌的光特性模型，得到預判的目標和圖像像素的比例，根據此先驗信息在直方圖上增加對閾值取值范圍的限制。面積約束綜合考量了LED目標區(qū)域像素和圖像總像素之間的關系并考慮了反光噪點的分割比例。電子路牌可以用圖3所示的模型表示。

圖3 電子路牌模型Fig．3 Electronic street sign model

電子路牌由大量的LED組成，其光特性使得成像效果近似于圓形，而且LED分布均勻，具有陣列分布的特點，具備引入面積約束的條件。面積約束條件是LED目標區(qū)域像素和像素總數的比例。由圖3可知，圖像f(x，y)像素總數是M×N，LED數量為n，電子路牌模型中LED半徑為r，求取目標和圖像總像素的比例K的公式如下:

由式(9)可以看出，通過設置r的大小就可以控制面積約束參數K。面積約束可以直接在灰度直方圖上設置，也可以通過公式(10)形式表現(xiàn)，其中T i為當前選取閾值，Pi為灰度值為i的像素點的數量。

該公式含義是指從灰度0開始，根據選取閾值T i依次計算目標區(qū)域像素數占采集圖像像素總數的比例，如果該比值與面積約束參數K的差的絕對值達到最小，則T i為圖像分割的最佳閾值。

3．3 實驗驗證

為了驗證本研究算法引入面積約束條件的有效性，本研究對3種典型的顯示質量缺陷:虛亮、壞點和花屏，建立圖像灰度直方圖分析。為了顯示引入面積約束條件的分割閾值與其他算法分割閾值的差異性，本研究使用傳統(tǒng)的OTSU方法與本研究算法進行對比，其圖像分割閾值取值如圖4所示。

圖4 閾值分割算法對比實驗Fig．4 Threshold segmentation comparison experiment

由對比實驗可以看出，本研究方法選取的圖像分割閾值相對傳統(tǒng)的OTSU方法的圖像分割閾值差異較為明顯，證明本研究引用的面積約束條件能夠很好的限制閾值取值范圍。相對比傳統(tǒng)的OTSU算法，本研究算法選取的圖像分割閾值灰度值更高，能夠更好的處理遮陽板工件表面反光干擾與目標區(qū)域對比度低的問題，其圖像分割閾值的取值明顯優(yōu)于傳統(tǒng)的OTSU方法。

4 缺陷識別算法

經過圖像預處理以及圖像閾值分割之后，需要對電子路牌顯示質量缺陷數量進行統(tǒng)計。通過對電子路牌模型分析可知，其分割之后的LED目標區(qū)域輪廓近似于圓形。因此，本研究主要使用圖像矩對LED目標區(qū)域質心進行標記，并按照電子路牌具有陣列分布的特點，根據求取的質心坐標，進行行列掃描，找出缺陷坐標位置。其具體流程圖如圖5所示。

圖5 缺陷識別算法流程圖Fig．5 Defect recognition algorithm flow chart

該缺陷識別算法質心坐標求取公式如下。

1)計算二值化圖像的像素灰度值之和M＝

2)計算圖像中每個像素與其對應的X坐標的乘積之和;每個像素與其對應的Y坐標的乘積之和

本研究根據電子路牌的特點，通過對求取的質心坐標進行行列掃描，找出質心坐標缺失位置即為缺陷位置。其質心標記的部分坐標如表1所示。

表1 圖像矩缺陷標記結果Table 1 Image moment defect marking results

5 實驗部分

5．1 實驗條件

實驗采用Intel Core i5 CPU，8 G內存，VS2017編譯軟件;使用C＋＋與OPENCV視覺庫進行編程開發(fā)。在圖像采集過程中，為降低遮陽板反光干擾，保證圖像采集過程中亮度的一致性，本研究采用指向性較弱的漫反射光源進行照明。為了更好地顯示圖像處理效果，實驗中選取的30幅待檢圖像中包含虛亮、壞點和花屏等顯示質量缺陷，均存在遮陽板反光干擾。

5．2 實驗過程分析

本實驗過程以圖6所示虛亮缺陷為例進行詳述。通過圖6(a)可以明顯看出該圖像含有數目較多反光干擾，本研究通過在圖6(b)引入的雙邊濾波有效地平滑了圖像，可以明顯地觀察到圖像內部的大部分反光干擾得到了很好的抑制，而且對于目標區(qū)域的特征并沒有太大改變。經過圖像預處理之后，圖像中仍然存在少部分反光干擾，使用傳統(tǒng)的閾值分割法很難處理該圖像。因此，本研究引入面積約束條件限制閾值取值范圍。對比傳統(tǒng)的閾值分割，更能兼顧缺陷提取的準確度和效率，從而達到理想的分割效果。面積約束引入的分割比例K的數值是在均衡計算熵值準確率和算法效率前提下，經過綜合考慮電子路牌LED發(fā)光模型并結合大量的實驗確定的。根據電子路牌產品型號不同，K值也不同，但是經過實驗驗證，決定分割比例K值的關鍵參數r值約為電子路牌LED發(fā)光模型中標準r值的0.87倍，改進的閾值分割效果如圖6(c)所示。最后通過圖像矩對目標區(qū)域進行標記，完成對缺陷的識別，其缺陷識別效果如圖6(d)所示。

圖6 電子路牌顯示質量缺陷檢測過程Fig．6 Relationship of crude BIS dilution factor and selectivity

考慮到待檢對象的缺陷的多樣性，本研究在對比實驗選擇上，選取了3組具有代表性的缺陷圖像作為實驗對象，并選取了2種常見的具有代表性的缺陷識別方法與本研究算法進行了對比:一種是文獻[10]所述基于Otsu算子的最優(yōu)閾值處理方法，該方法使用最小二乘法原理進行圖像分割，具備良好的分割效果;另一種是文獻[11]所述具備自適應分割閾值的Sobel微分檢測算法，該方法對于一般圖像分割效果好，通用性較強。為了避免其他因素的影響，本研究均對原始圖像采用了雙邊濾波。缺陷識別的對比實驗如圖7所示。

圖7 本研究對比實驗分割效果Fig．7 Experimental segmentation effect comparison

圖7(a)、(b)、(c)中可以看出不同缺陷圖像中均存在數目較多的低對比度缺陷噪點。在對比實驗中，經過人工調整閾值參數，文獻[10]算法能對圖像進行識別分割，但是分割效果不理想，仍有部分反光干擾存在，需要對圖像進行二次處理才能完整分割出目標區(qū)域;文獻[11]算法在此實驗條件下對3種圖像缺陷均無法完成準確識別;而經過本研究方法可以完全識別這3種缺陷，經過閾值分割處理之后直接保留圖像目標區(qū)域的完整灰度信息。

為了平衡檢測效率和算法準確度，驗證本研究算法的魯棒性及有效性，本實驗采集4種不同缺陷數目的混合缺陷素材各50幅，共計200幅圖做為驗證樣本。使用本研究缺陷檢測算法對缺陷圖像進行檢測驗證，將測試結果與樣本實際缺陷數量對比來統(tǒng)計檢測算法的正確率。表2給出了改進閾值分割方式的本研究算法實驗結果，表明了本研究算法對檢測精度、速度的提高都有明顯的效果。

6 結 語

本研究主要針對電子路牌遮陽板反光干擾與目標區(qū)域低對比度造成圖像難以分割的問題，提出了一種基于直方圖閾值分割和面積特征約束獲取最佳分割閾值的目標區(qū)域提取方法。通過使用改進的閾值分割新方法，極大的提高了缺陷檢測效率，解決了電子路牌質量缺陷檢測識別難點，提升了該產業(yè)自動化水平。經過綜合實驗生產測試，該方法對產品缺陷檢測準確率達到95%，其效率遠大于人工檢測，成功實現(xiàn)了對電子路牌顯示質量缺陷的實時、快速、準確檢測。