基于自相關(guān)性和模版匹配的TFT缺陷電路重構(gòu)算法

王永城，林珊玲， 林志賢， 郭太良

(平板顯示技術(shù)國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室,福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350116)

1 引 言

薄膜晶體管(Thin Film Transistor,TFT)，其主要用途是控制顯示面板的信號(hào)傳輸及控制顯示面板的電壓信號(hào)。目前TFT技術(shù)主要被用于液晶顯示屏與電子紙等顯示設(shè)備中。液晶顯示屏具有低功耗、壽命長(zhǎng)、體積小等諸多優(yōu)點(diǎn)，因此取代了CRT(Cathode Ray Tube)顯示器，成為目前主流的顯示設(shè)備[1-2]。電子紙是一種超薄、超輕的顯示屏，多采用電泳顯示(Electrophoretic，E-Paper)技術(shù)作為顯示面板，電泳顯示技術(shù)由于結(jié)合了普通紙張和電子顯示器的優(yōu)點(diǎn)，其顯示效果接近自然紙張效果，免于閱讀疲勞，因而從眾多顯示技術(shù)中脫穎而出，成為極具發(fā)展?jié)摿Φ娜嵝噪娮语@示技術(shù)之一。

TFT大體的制作方式是在基板上沉積各種不同的薄膜，如半導(dǎo)體主動(dòng)層、介電層和金屬電極層。在這些過程之中不可避免會(huì)出現(xiàn)各種缺陷，但是這些缺陷并不都對(duì)面板造成影響，需要逐個(gè)判斷是否對(duì)顯示電路造成影響來(lái)確定這塊面板是否需要進(jìn)行維修處理。在工業(yè)生產(chǎn)中往往采用全自動(dòng)光學(xué)檢測(cè)(Automatic Optical Inspection,AOI)相機(jī)對(duì)缺陷進(jìn)行拍攝，再由人工肉眼判斷。這種模式使得判斷站點(diǎn)一直面臨人力需求大，人力成本高，并且培訓(xùn)上崗周期長(zhǎng)，離職率高等問題[3]。隨著智能制造的推進(jìn)以及計(jì)算機(jī)視覺的發(fā)展，由系統(tǒng)自動(dòng)判斷代替人員判定來(lái)解決以上問題成為可能。因此，研究自動(dòng)化識(shí)別算法對(duì)提高產(chǎn)能，減小生產(chǎn)成本有著重要意義。

在自動(dòng)化識(shí)別算法中，將TFT電路位置進(jìn)行定位是一個(gè)關(guān)鍵性的部分。但由于AOI相機(jī)所采集的缺陷圖片中存在缺陷過大、遮擋電路、圖片模糊、電路缺失、缺陷顏色形狀不固定、電路變形等諸多問題，因此，現(xiàn)有的圖像分割處理算法，如基于閾值的Otsu算法[4-6]、基于區(qū)域的區(qū)域生長(zhǎng)合并算法、基于邊緣的Canny[7]和Sobel[8-9]算子等都無(wú)法處理以上情況的TFT電路：基于閾值的分割算法無(wú)法處理缺陷顏色與電路顏色相近的圖片，基于區(qū)域的分割算法無(wú)法處理電路變形、缺陷遮擋電路的圖片，基于邊緣的分割算法無(wú)法處理圖像模糊、缺陷與電路相接的圖片[10-15]。

因此，研究一套能夠適用于所有缺陷情況的TFT電路重構(gòu)算法對(duì)TFT生產(chǎn)中的缺陷自動(dòng)化識(shí)別有著極其重要的意義。實(shí)驗(yàn)證明，本文所提出的算法能夠較全面地在各種缺陷影響的情況下重構(gòu)出TFT電路位置。

2 本文算法

由于TFT電路具有較強(qiáng)的周期特性，因此本文依據(jù)圖像的周期特征設(shè)計(jì)算法。首先對(duì)缺陷圖片進(jìn)行預(yù)處理操作，提取出目標(biāo)區(qū)域并校正圖像角度；再使用卷積提取灰度邊緣圖像在垂直方向的響應(yīng)序列，并使用自相關(guān)估計(jì)函數(shù)抑制缺陷在響應(yīng)序列中的影響，從而估算出電路周期；再由周期灰度均值確定一組精確的縱貫線，配合估算的周期重構(gòu)出其余縱貫線位置；最后使用六邊形角模版匹配算來(lái)確定分布在縱貫線上的電路硅島位置。

2.1 預(yù)處理

2.1.1 文字區(qū)域剔除

AOI相機(jī)采集的缺陷圖片會(huì)在圖片的下方打上產(chǎn)品批次、拍攝時(shí)間等信息，需要將這些高度不一的文字區(qū)域剔除，避免這些冗余信息對(duì)后續(xù)模版分割造成影響，圖1(a)為AOI相機(jī)采集的原始圖像。

(a)原圖(a) Original image

(b)梯度疊加圖(b)Sum of gradient圖1 提取目標(biāo)區(qū)域Fig.1 Extraction target area

首先將RGB圖像轉(zhuǎn)換成灰度圖像。計(jì)算公式如下：

f(x,y)=0.298 9R+0.587G+0.114B，

(1)

接著求出灰度圖像在豎直方向的梯度值，再將梯度值逐行疊加。即：

(2)

S(x)=∑f′(x,yk)，

(3)

繪制得到梯度疊加圖如圖1(b)所示，在梯度變換最劇烈的行，即為文字區(qū)域最上端，估算出文字區(qū)域的高度，將這部分文字區(qū)域剪裁掉。

2.1.2 圖像校正

AOI相機(jī)采集的原始圖像有一定的角度偏移，會(huì)對(duì)后續(xù)的縱貫線定位以及周期估計(jì)造成較大的誤差，導(dǎo)致分割不準(zhǔn)確，因此需要對(duì)圖像進(jìn)行角度校正處理。

首先將裁剪后的灰度圖像使用Otsu算法進(jìn)行二值化。Otsu是一種閾值自適應(yīng)算法，它使用統(tǒng)計(jì)決策的方法將像素的灰度值分為兩部分，并找到一個(gè)閾值使得這兩部分之間的方差最大。其公式如下：

gmax=w0×w1×(μ0-μ1)2，

(4)

其中圖片大小為W×H，灰度值小于閾值的像素個(gè)數(shù)記為前景像素個(gè)數(shù)N0，反之記為背景像素個(gè)數(shù)N1。μ為圖像的平均灰度。w0與w1分別是N0與N1和W×H的比值。μ0、μ1為前景與背景的平均灰度。閾值遍歷0～255，得到使方差g最大的閾值。

圖2 圖像校正過程Fig.2 Image correction process

再將二值圖像經(jīng)過膨脹卷積算子與原來(lái)的二值圖像做差即可提取到邊緣圖像。將邊緣圖像使用參數(shù)方程ρ=xcos(θ)+ysin(θ)映射到ρ-θ霍夫空間中。即，X-Y平面上的一個(gè)點(diǎn)在ρ-θ平面上代表一條正弦曲線，ρ-θ平面的交點(diǎn)即為X-Y平面上的同一條直線上的點(diǎn)。因此，在ρ-θ平面上最多曲線相交的點(diǎn)，對(duì)應(yīng)X-Y平面上最長(zhǎng)的直線，這個(gè)交點(diǎn)的θ值也就是要需的部件偏角，最后根據(jù)θ值旋轉(zhuǎn)校正。處理過程如圖2所示。

2.2 基于自相關(guān)的周期估計(jì)和電路縱貫線重構(gòu)算法

AOI相機(jī)采集的缺陷圖片中存在圖像模糊、電路被缺陷覆蓋、電路變形等情況，因此，準(zhǔn)確定位到所有縱貫線是較為困難的。根據(jù)TFT電路的周期特征，設(shè)計(jì)魯棒性較強(qiáng)的縱貫線定位算法，電路圖像如圖3(a)中所示。本文通過尋找一組精準(zhǔn)的縱貫線邊界以及精確的周期，再依據(jù)電路的周期特性來(lái)重構(gòu)出其余縱貫線。

首先，將預(yù)處理后的邊緣灰度圖像使用卷積算子：w=(1,1,1,1,.....,1)T進(jìn)行卷積得到邊緣灰度圖像在垂直方向上的響應(yīng)，如圖3(b)所示，在響應(yīng)圖中可以找到一組極大值序號(hào)點(diǎn)：Em=[68，92，452，476，835，859，1 218，1 242]。由此序列可估算出，該圖的縱貫線寬度W大約為24個(gè)像素，周期T數(shù)值在383～384個(gè)像素之間，并非一個(gè)整數(shù)。直接使用該周期來(lái)估計(jì)縱貫線的位置會(huì)出現(xiàn)一到兩個(gè)像素的誤差積累而使定位結(jié)果不準(zhǔn)確。本文提出對(duì)垂直響應(yīng)序列進(jìn)行自相關(guān)估計(jì)，計(jì)算出精確估算周期T，計(jì)算公式如式(6)所示：

(5)

(6)

其中：E(n)為垂直響應(yīng)序列，N為E序列的長(zhǎng)度，Rf為垂直響應(yīng)序列的自相關(guān)序列極大值，nr為Rf的長(zhǎng)度。其計(jì)算結(jié)果如圖3(c)所示，可求得T=383.3為預(yù)估的準(zhǔn)確周期。為進(jìn)一步提高分割精度引入圖像坐標(biāo)浮點(diǎn)數(shù)，定義以下公式：

(7)

其中G為原圖像灰度值的分布。在相鄰像素中插入一個(gè)新像素點(diǎn)，其灰度值為相鄰像素的灰度均值。接著將引入了坐標(biāo)浮點(diǎn)數(shù)的灰度圖像每隔0.5個(gè)像素采樣一次進(jìn)行卷積，計(jì)算得出的序列按周期劃分為若干個(gè)子序列，劃分子序列時(shí)出現(xiàn)的小數(shù)部分四舍五入到最近整數(shù)位置。將這些子序列按周期進(jìn)行疊加并取均值，如圖3(d)所示。

圖3 縱貫線位置估計(jì)Fig.3 Longitudinal position estimation

在周期矢量均值中尋找卷積和最高的連續(xù)W個(gè)像素設(shè)定為參考區(qū)域。在參考區(qū)域的左右邊界分別尋找最接近閾值Otsu_THRESH×H的位置，即為第一個(gè)周期的縱貫線邊界位置，其中Otsu_THRESH為Otsu算法計(jì)算出的灰度閾值的大小，H為預(yù)處理后的圖像高度。根據(jù)圖3(d)可以估算出此圖的第一個(gè)周期內(nèi)的縱貫線左右邊界的位置分別為67.5，92.5，再配合估算的周期T來(lái)計(jì)算所有縱貫線邊界位置。

2.3 基于模版匹配的電路硅島部件重構(gòu)

如圖4所示，電路硅島是圖中分布在縱貫線上的六邊形部分。硅島部件缺失、硅島部件不完整、圖像模糊、缺陷覆蓋在正常的電路硅島結(jié)構(gòu)上引起灰度變化等情況，都易導(dǎo)致算法錯(cuò)誤估計(jì)電路硅島位置。部分缺陷圖片如圖4所示。

圖4 缺陷影響電路的若干情況Fig.4 Situation of defects affecting the circuit

由于缺陷的存在以及圖像尺寸的約束使得圖像中的電路硅島極易受到遮擋，但是絕大部分的圖像中都還存在部分完整的電路硅島角。針對(duì)這一特征，本文設(shè)計(jì)了一種角模版匹配算法，使用部分未被影響的硅島角來(lái)確定電路硅島部件位置，分別使用電路硅島的6個(gè)角來(lái)進(jìn)行匹配，6個(gè)角模版包括2個(gè)直角，4個(gè)135°鈍角，尺寸為40×40，如圖5所示。

圖5 六邊形角模版Fig.5 Hexagonal angle stencil

在縱貫線邊界處計(jì)算角模版與圖像塊的相關(guān)度。相關(guān)度大于0.8則認(rèn)為匹配，計(jì)算匹配角的個(gè)數(shù)。Angle1、Angle3同時(shí)被匹配，Angle2、Angle6同時(shí)被匹配，3個(gè)以上角被匹配且其中存在Angle1或者Angle2，滿足3個(gè)條件中的一個(gè)，則認(rèn)為圖像中存在六邊形結(jié)構(gòu)并以角頂點(diǎn)為六邊形頂點(diǎn)，確定電路硅島位置。D(x,y)表示模版矩陣，I(x,y)為截取圖像，RN(x,y)為計(jì)算的相關(guān)度函數(shù)。相關(guān)度計(jì)算公式如下[16-20]：

(8)

(9)

(10)

如圖4所示，硅島部件的形狀是一致的，大小只與倍率相關(guān)，可根據(jù)圖像倍率來(lái)估算出六邊形大小，同時(shí)只需任意確定一個(gè)頂點(diǎn)坐標(biāo)即可求解出六邊形其他的頂點(diǎn)坐標(biāo)。

2.4 其余部件重構(gòu)

圖像中的其余部件可由縱貫線位置、縱貫線周期、硅島部件位置來(lái)共同確定。如圖6(a)所示，在兩組縱貫線之間較短的部件，其尺寸的比例固定，數(shù)值可由圖像的尺寸大小計(jì)算得出。在垂直方向與上下兩組六邊形共享一個(gè)垂直對(duì)稱軸，定位電路硅島六邊形位置即可以確定此部件垂直坐標(biāo)范圍。其水平方向?yàn)榫嚯x縱貫線左邊界0.315倍的縱貫線周期的位置，其出現(xiàn)的周期為縱貫線周期的3倍。在3個(gè)周期內(nèi)的指定位置，尋找白色像素比例大于0.4小于0.95的區(qū)域即可。同理，如圖6(b)所示，在縱貫線之間較長(zhǎng)的部件也可以用相同方法確定。

圖6 其余部件Fig.6 Remaining parts

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)數(shù)據(jù)為2 000幅由AOI相機(jī)采集的缺陷圖片。部分原圖如圖4所示，圖像尺寸分為1 024×768，1 600×1 200兩種。

為驗(yàn)證本文算法的有效性，分別用本文算法與自動(dòng)閾值分割算法、分水嶺算法進(jìn)行對(duì)比實(shí)驗(yàn)，部分圖片的處理結(jié)果如圖7所示。其中紅色像素點(diǎn)為不同算法的定位效果。從圖中可以看出，基于自動(dòng)閾值分割算法與分水嶺分割算法只能處理少量缺陷顏色與電路顏色相差較大情況下的圖片，對(duì)于電路被缺陷遮擋、電路缺失、缺陷顏色與電路顏色相近等大部分圖片都無(wú)法準(zhǔn)確定位電路位置。

圖7 實(shí)驗(yàn)結(jié)果。第一行為閾值算法處理結(jié)果，第二行為分水嶺算法處理結(jié)果，第三行為本文算法處理結(jié)果。Fig.7 Experimental results. The first row is threshold algorithm processes the results, the second row is watershed algorithm processes the results, and the third row is the algorithm processing results.

相比之下，本文算法能夠較好地處理數(shù)據(jù)集中出現(xiàn)的部件缺失、大尺度缺陷、圖像模糊、部件變形等現(xiàn)有算法無(wú)法處理的情況。定位效果明顯優(yōu)于現(xiàn)有的分割算法，定位效果如圖7所示。

為進(jìn)一步定量分析本文算法的有效性，本文使用圖像分割通用定量分析公式，其公式如下：

(11)

(12)

(13)

其中：NP為算法定位區(qū)域，ND為真實(shí)電路區(qū)域。IOU表示算法定位結(jié)果與真實(shí)電路的重疊度，它的值越大表示此圖的定位效果越好。IOUm表示平均每張圖IOU值的大小，NIOU>0.95表示在測(cè)試集中IOU的值大于0.95的圖片數(shù)量，NA為測(cè)試集的圖片總數(shù)，Acc表示在用閾值IOU>0.95時(shí)的定位準(zhǔn)確率。表1為現(xiàn)有算法與本文算法的對(duì)比試驗(yàn)結(jié)果。

表1 定量分析結(jié)果Tab.1 Quantitative analysis results

從表中可以看出現(xiàn)有的分水嶺算法與Otsu算法的定位準(zhǔn)確率分別為18.5%和24.5%，而文本算法達(dá)到96.1%。從數(shù)據(jù)中可以分析得出，現(xiàn)有算法只能處理數(shù)據(jù)集中某一特征的缺陷圖片，而本文算法能夠適用于絕大多數(shù)的缺陷圖像。同時(shí)，本文算法的IOUm值達(dá)到0.974，說明本文算法分割出的電路位置精準(zhǔn)，存在的像素偏移小。對(duì)比3個(gè)算法的IOU的標(biāo)準(zhǔn)差，本文算法具有較好的穩(wěn)定性。綜上，本文算法在各項(xiàng)指標(biāo)都極大地優(yōu)于現(xiàn)有圖像處理算法。

4 結(jié) 論

提出了一種基于自相關(guān)性和模版匹配的TFT缺陷電路重構(gòu)算法來(lái)定位被缺陷影響的TFT電路位置。首先，提取出目標(biāo)區(qū)域去除無(wú)關(guān)的冗余信息后，通過Hough變換計(jì)算偏角并校正圖像。針對(duì)電路周期特征，提取灰度邊緣圖像的卷積矢量。根據(jù)卷積矢量特征確定縱貫線位置，使用自相關(guān)估計(jì)來(lái)估算周期，并引入坐標(biāo)浮點(diǎn)數(shù)進(jìn)一步提高分割精度。設(shè)計(jì)六邊形角模版匹配算法，提高算法的穩(wěn)定性、覆蓋率、準(zhǔn)確率。

實(shí)驗(yàn)結(jié)果表明，本文算法能夠在多種缺陷影響下通過重構(gòu)TFT電路的方法，準(zhǔn)確地定位到TFT電路位置，并達(dá)到96.1%以上的準(zhǔn)確率。相比現(xiàn)有的圖像處理算法，不僅有更高的定位準(zhǔn)確率，并且保證了定位的精度與穩(wěn)定性，基本滿足TFT生產(chǎn)中缺陷自動(dòng)化檢測(cè)對(duì)TFT電路定位的要求。