基于微分幾何的柔性電路板圖像區(qū)域識(shí)別方法

杜 娟，沈思昀，姚靈芝，胡躍明

(華南理工大學(xué) 自動(dòng)化科學(xué)與工程學(xué)院，廣東 廣州 510641)

0 引言

微分幾何是運(yùn)用數(shù)學(xué)方法來(lái)解析空間曲線或平面曲線的一門數(shù)學(xué)分支，隨著理論體系的不斷完善，微分幾何也逐漸被應(yīng)用到其他領(lǐng)域，用以解決實(shí)際問(wèn)題。在醫(yī)學(xué)領(lǐng)域，可通過(guò)微分幾何參數(shù)設(shè)計(jì)提高對(duì)磁共振圖像(Magnetic Resonance Imaging, MRI)配準(zhǔn)分割的準(zhǔn)確率[1];在機(jī)械設(shè)計(jì)領(lǐng)域，通過(guò)為多學(xué)科設(shè)計(jì)優(yōu)化(Multidisciplinary Design Optimization, MDO)系統(tǒng)建立微分幾何框架，給耦合度量標(biāo)準(zhǔn)提供幾何解釋，使度量標(biāo)準(zhǔn)具有更大的通用性和分析潛力[2];在非線性控制領(lǐng)域，可利用微分幾何理論將非線性模型精確線性化，實(shí)現(xiàn)車輛主動(dòng)懸架系統(tǒng)的魯棒控制[3]及直流微電網(wǎng)控制[4];在信號(hào)處理領(lǐng)域，微分幾何可以為解決某些非線性問(wèn)題提供必要的工具和思路[5];在圖像處理領(lǐng)域，微分幾何理論可以用于描述圖像中物體特征[6]，實(shí)現(xiàn)圖像的目標(biāo)檢測(cè)。

柔性印制電路板(Flexible Printed Circuit, FPC)是剛性印制電路板(Printed Circuit Board, PCB)中相對(duì)高端的產(chǎn)品[7]，現(xiàn)代的FPC檢測(cè)方法主要基于機(jī)器視覺的原理，自動(dòng)光學(xué)檢測(cè)(Automatic Optical Inspection, AOI)技術(shù)可以無(wú)接觸地檢測(cè)FPC表面缺陷，不會(huì)對(duì)FPC造成二次傷害，是當(dāng)前FPC缺陷檢測(cè)的熱點(diǎn)研究方向[8]。基于深度學(xué)習(xí)的檢測(cè)方法[9]已有較多研究，但由于難以收集并標(biāo)記大量缺陷訓(xùn)練樣本，目前用于FPC板的視覺檢測(cè)算法大部分仍是數(shù)字圖像檢測(cè)法，即直接采集特定部分的圖像，然后根據(jù)電路板上特定組成部分的顏色、灰度及紋理等特點(diǎn)在劃定區(qū)域內(nèi)檢測(cè)缺陷，如RAU等[10]將標(biāo)準(zhǔn)參考圖像與待檢圖像做圖像減法來(lái)確定是否存在缺陷，然后提出邊界狀態(tài)轉(zhuǎn)移法對(duì)缺陷進(jìn)行識(shí)別；SILVA等[11]提出了粒子分析方法，可快速檢測(cè)焊接鍍通孔元件焊料的缺陷;WANG等[12]利用模板匹配的思想全面檢測(cè)電路板上鍍通孔部位的缺陷;CHAUDHARY等[13]利用圖像配準(zhǔn)技術(shù)實(shí)現(xiàn)PCB線路、焊盤及鍍通孔等部位的14種缺陷的檢測(cè)識(shí)別。上述處理技術(shù)在實(shí)際實(shí)現(xiàn)時(shí)多跳過(guò)了定位步驟直接采集目標(biāo)部位的圖像，再進(jìn)行后續(xù)檢測(cè)步驟，但在實(shí)際生產(chǎn)過(guò)程中，每次拍照都只能獲FPC板的整體圖像，難以直接定位到特定部位并進(jìn)行圖像采集，因此上述算法無(wú)法直接應(yīng)用于生產(chǎn)過(guò)程中的缺陷檢測(cè)[14]。

針對(duì)這一問(wèn)題，本文創(chuàng)新性地提出使用微分幾何理論和方法來(lái)描述FPC圖像輪廓：對(duì)經(jīng)過(guò)灰度化預(yù)處理后用區(qū)域生長(zhǎng)方法提取出的FPC圖像輪廓，采用雙向差分法計(jì)算其離散曲率，定義曲率距離特征并據(jù)此計(jì)算陸地移動(dòng)距離，最終實(shí)現(xiàn)對(duì)FPC特定區(qū)域的識(shí)別。該方法通過(guò)對(duì)FPC表面各組成部分的形狀進(jìn)行探究，利用曲率特征進(jìn)行相似性度量，能在不依賴大量缺陷樣本的基礎(chǔ)上較為精確地實(shí)現(xiàn)FPC不同缺陷部位的識(shí)別，實(shí)時(shí)性高，可以滿足企業(yè)在FPC缺陷檢測(cè)方面的實(shí)際需求。

1 微分幾何的圖像區(qū)域識(shí)別算法

搭建拍攝環(huán)境采集利于后續(xù)處理的圖像，進(jìn)行圖像的預(yù)處理后，提出一種區(qū)域生長(zhǎng)方法提取圖像整體輪廓，再利用微分幾何理論提出雙向差分法計(jì)算圖像輪廓的離散曲率，通過(guò)陸地移動(dòng)距離(Earth Move Distance, EMD)來(lái)評(píng)價(jià)待分類輪廓與模板輪廓的相似性，實(shí)現(xiàn)缺陷類型的判別。

1.1 灰度化預(yù)處理

為獲取前景背景具有良好區(qū)分度的FPC表面圖像，采用顯微鏡搭配黃色鹵素?zé)艄獠杉煌瑓^(qū)域彩色圖像，并在RGB顏色空間中進(jìn)行圖像處理。

根據(jù)多次實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，彩色FPC表面圖像的RGB顏色直方圖走勢(shì)相似，且大多數(shù)像素點(diǎn)的R、G、B分量均較小，而R分量擁有較大的值的像素點(diǎn)明顯多于G分量和B分量。在其他顏色模型中，各通道分量的分布及占比沒(méi)有顯著規(guī)律，難以在灰度化時(shí)確定各通道系數(shù)。同時(shí)，由于加入了黃色鹵素?zé)艄猓瑢?duì)圖像的飽和度及亮度均有較大干擾，導(dǎo)致HSV等顏色空間無(wú)法提供更多有效信息。為保留原始彩色圖像的顏色特點(diǎn)，同時(shí)減小數(shù)據(jù)計(jì)算量及數(shù)據(jù)存儲(chǔ)負(fù)擔(dān)，提出符合彩色FPC圖像特點(diǎn)的灰度化公式為：

Src(x,y)=0.5×Src_R(x,y)+

0.3×Src_G(x,y)+0.2×Src_B(x,y)。

(1)

式中：Src表示原始彩色圖像;Src_R、Src_G、Src_B分別表示原始彩色圖像在R、G、B三個(gè)通道的值。

1.2 區(qū)域生長(zhǎng)法提取圖像輪廓

實(shí)際生產(chǎn)中的FPC除了其本身容易與空氣發(fā)生氧化反應(yīng)，還會(huì)沾染環(huán)境中的粉塵、纖維以及工作人員的毛發(fā)、汗?jié)n等，且組成FPC的材料易反射光線，上述因素使得顯微攝像機(jī)采集的表面圖像存在斑點(diǎn)較多、噪聲較大、亮度不均勻和顏色不一致的問(wèn)題，這些問(wèn)題表現(xiàn)為同屬于銅箔上的像素點(diǎn)，但是亮度卻會(huì)發(fā)生不連續(xù)變化，因此不適合采用邊緣檢測(cè)的方法提取FPC表面圖像輪廓。針對(duì)圖像特點(diǎn)，本文提出一種可以自適應(yīng)選取初始種子點(diǎn)的區(qū)域生長(zhǎng)法，用以提取圖像輪廓，在實(shí)際應(yīng)用中具有較強(qiáng)適應(yīng)性。

1.2.1 初始種子點(diǎn)選取

采用最大類間方差法[12]來(lái)自適應(yīng)地選取用于圖像分割的灰度閾值，以自動(dòng)確定種子點(diǎn)的灰度值。選取種子點(diǎn)的具體流程如下：

步驟1對(duì)已進(jìn)行灰度化處理后的FPC圖像構(gòu)建圖像灰度直方圖，遍歷整幅圖像像素點(diǎn)，統(tǒng)計(jì)灰度值為g的像素點(diǎn)的數(shù)量ng。

步驟2尋找圖像直方圖上的全局最大值即最高點(diǎn)，設(shè)其為分割閾值Te。

步驟3統(tǒng)計(jì)灰度值大于Te的像素點(diǎn)的個(gè)數(shù)，并計(jì)算其占總像素個(gè)數(shù)Npixel的比例以及平均灰度值。將占比記為PA，平均灰度值記為MA。

步驟4統(tǒng)計(jì)灰度值小于Te的像素點(diǎn)的個(gè)數(shù)，并計(jì)算其占總像素個(gè)數(shù)Npixel的比例以及平均灰度值，并且將比例記為PB，平均灰度值記為MB。

步驟5計(jì)算整幅圖像的平均灰度并記為M，設(shè)類間方差為VBA，根據(jù)式(2)計(jì)算類間方差:

VBA=PA×(MA-M)2+PB×(MB-M)2。

(2)

步驟6逐步減小分割閾值Te的大小，重復(fù)步驟3～步驟5，直到分割閾值Te減小到0，使得VBA取最大值的分割閾值Te就是最佳分割閾值Tb。

此時(shí)，圖像被Tb聚類成了兩部分，為了能選定適當(dāng)?shù)挠糜趨^(qū)域生長(zhǎng)的初始種子點(diǎn)，消除前景和背景相互夾雜的區(qū)域，規(guī)定當(dāng)按照從上到下、從左到右的順序遍歷整幅圖像時(shí)，選定灰度值等于Tb的像素點(diǎn)為用于區(qū)域生長(zhǎng)的初始種子點(diǎn)，并將得到的初始種子點(diǎn)以點(diǎn)集合的形式存儲(chǔ)在臨時(shí)開辟的內(nèi)存空間堆棧中。

1.2.2 填充初始種子點(diǎn)

在利用區(qū)域生長(zhǎng)法提取FPC圖像輪廓時(shí)，較明顯地存在欠生長(zhǎng)問(wèn)題，出現(xiàn)提取的輪廓沒(méi)有緊緊貼合實(shí)際圖像線路輪廓的現(xiàn)象。

出現(xiàn)這種現(xiàn)象的原因包括允許與初始種子點(diǎn)合并的像素點(diǎn)的灰度范圍不夠大，以及允許與初始種子點(diǎn)合并的像素點(diǎn)的鄰域范圍不夠大。對(duì)于前一個(gè)原因，由于獲取FPC表面圖像有關(guān)灰度的先驗(yàn)知識(shí)非常困難，無(wú)法通過(guò)直接擴(kuò)大允許灰度范圍來(lái)提升分割效果?？紤]到區(qū)域生長(zhǎng)的過(guò)程是對(duì)像素點(diǎn)逐個(gè)判斷其是否滿足生長(zhǎng)準(zhǔn)則的，并沒(méi)有綜合考慮到像素點(diǎn)周圍的灰度值，為提高區(qū)域生長(zhǎng)法的魯棒性，提出基于平均灰度值的生長(zhǎng)準(zhǔn)則。

平均灰度值是指考慮像素點(diǎn)鄰域的灰度值，在區(qū)域生長(zhǎng)過(guò)程中，每一個(gè)像素點(diǎn)的灰度值由其8鄰域內(nèi)的像素點(diǎn)共同決定。則灰度圖像G在像素點(diǎn)(xi,yi)的灰度值為：

(3)

式中λj表示像素點(diǎn)(xi,yi)8鄰域內(nèi)的像素點(diǎn)的灰度值G(xj,yj)所占的權(quán)重。

根據(jù)多次實(shí)驗(yàn)效果，規(guī)定像素點(diǎn)(xi,yi)的灰度值權(quán)重占四分之三，8鄰域內(nèi)的各點(diǎn)共占四分之一。

將與初始種子點(diǎn)合并的像素點(diǎn)的鄰域范圍由8鄰域擴(kuò)大到14鄰域，如圖1所示，使得初始種子點(diǎn)可生長(zhǎng)范圍更廣以消除欠生長(zhǎng)的現(xiàn)象。

最終規(guī)定生長(zhǎng)準(zhǔn)則為以下3個(gè)條件：

(1)像素點(diǎn)的平均灰度值Tm小于Tb。

(2)像素點(diǎn)在種子點(diǎn)的14鄰域。

(3)像素點(diǎn)尚未與任意一種子點(diǎn)合并。

若圖像上的像素點(diǎn)滿足上述3個(gè)條件，則置其灰度值為1，否則為0。對(duì)圖像進(jìn)行區(qū)域生長(zhǎng)之后，原灰度圖像變?yōu)槎祱D像。

因?yàn)槌跏挤N子點(diǎn)集合被存儲(chǔ)在堆棧中，所以當(dāng)所有的種子點(diǎn)都被讀出時(shí)堆棧為空時(shí)，可以結(jié)束種子點(diǎn)的生長(zhǎng)。

1.3 特定圖像區(qū)域識(shí)別

本文提出基于微分幾何理論的雙向差分法來(lái)計(jì)算圖像輪廓的離散曲率，然后結(jié)合EMD度量待分類輪廓與標(biāo)準(zhǔn)模板輪廓的相似性，從而達(dá)到FPC各組成部分的分類識(shí)別的目的。具體方案流程如圖2所示。

1.3.1 輪廓的離散曲率計(jì)算

在微分幾何中[13]中，當(dāng)平面曲線r具有以t為一般參數(shù)的參數(shù)方程r(t)=(x(t),y(t))時(shí)，平面曲線的曲率

k=(x′y″-x″y′)/(x′2+y′2)3/2。

(4)

式(4)的應(yīng)用要求是曲線r的參數(shù)方程r(t)連續(xù)可導(dǎo)且2階可導(dǎo)，因此不適合用來(lái)計(jì)算圖像輪廓的離散曲率。

在數(shù)學(xué)中，差分法是微分方程的一種近似數(shù)值解法，當(dāng)求解導(dǎo)數(shù)遇到很大阻礙時(shí)，就可以用有限差商代替導(dǎo)數(shù)，從而尋求微分方程的近似解。根據(jù)差分法的定義，同時(shí)為了為提高估算曲率的精度，本文提出雙向差分法近似求解圖像輪廓上各點(diǎn)的曲率，取圖像輪廓上一點(diǎn)的前向差分結(jié)果和后向差分結(jié)果的平均值作為該點(diǎn)的最終差分結(jié)果，推出差分公式為：

k=(ΔxΔ2y-ΔyΔ2x)/(Δx2+Δy2)3/2。

(5)

假設(shè)以P0(x0,y0),P1(x1,y1),P2(x2,y2),…,Pn(xn,yn)來(lái)存儲(chǔ)圖像輪廓上的像素點(diǎn)，對(duì)于圖像輪廓上的第i個(gè)點(diǎn)，定義其一階向前差分為：

Δxiq=(xi+l-xi)/Diq;

(6)

Δyiq=(yi+l-yi)/Diq;

(7)

(8)

其中：Δxiq、Δyiq分別表示圖像輪廓上第i個(gè)點(diǎn)在圖像坐標(biāo)系的X、Y方向上的一階向前差分;xi+l、yi+l表示圖像輪廓上第i個(gè)點(diǎn)l鄰域內(nèi)像素點(diǎn)的橫坐標(biāo)和縱坐標(biāo);Diq表示圖像輪廓上第i個(gè)點(diǎn)與第i+l個(gè)點(diǎn)之間的幾何距離。

定義其一階向后差分為：

Δxih=(xi-xi-l)/Dih;

(9)

Δyih=(yi-yi-l)/Dih;

(10)

(11)

則圖像輪廓在第i個(gè)點(diǎn)最終的一階差分為一階向前差分和一階向后差分的平均值：

(12)

(13)

定義其二階向前差分為：

(14)

(15)

(16)

定義其二階向后差分：

(17)

(18)

(19)

則圖像輪廓在第i個(gè)點(diǎn)的最終二階差分為二階向前差分和二階向后差分的平均值：

(20)

(21)

將式(12)、式(13)、式(20)、式(21)代入式(5)，得到圖像輪廓在第i個(gè)點(diǎn)的曲率為：

(22)

1.3.2 陸地移動(dòng)距離

陸地移動(dòng)距離(EMD)是由RUBNER等[15]基于運(yùn)輸?shù)男蕟?wèn)題提出的一種度量直方圖的相似性的距離。

EMD源于運(yùn)輸費(fèi)用最優(yōu)化問(wèn)題。假設(shè)一種物資有m個(gè)生產(chǎn)地A1,A2,…,Am，這m個(gè)生產(chǎn)地的供貨量分別是a1,a2,…,am，物資被銷往n個(gè)地點(diǎn)B1,B2,…,Bn，這n個(gè)地點(diǎn)的需求量分別為b1,b2,…,bn?，F(xiàn)設(shè)一個(gè)物資從生產(chǎn)地Ai被運(yùn)輸?shù)戒N售地點(diǎn)Bj需花費(fèi)Mij，從生產(chǎn)地Ai運(yùn)輸?shù)戒N售地點(diǎn)Bj的物資書量為wij,則這批物資的總運(yùn)輸成本為：

(23)

對(duì)于上述運(yùn)輸問(wèn)題，最終目標(biāo)是求出總運(yùn)輸成本S的最小值。EMD即為了求解S的最小值而被提出的。

EMD最初的應(yīng)用領(lǐng)域是運(yùn)輸，被用來(lái)解決運(yùn)輸成本最少的問(wèn)題，該過(guò)程可以被理解為“從一種分布變換為另一種分布的最小代價(jià)”，而EMD即為這最小代價(jià)。在這之后，EMD率先被PELEG等[16]應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域來(lái)度量特征之間的相似性。若在特征的相似性比較中引進(jìn)運(yùn)輸問(wèn)題模型，則可以把一個(gè)特征分布當(dāng)作“生產(chǎn)地”，另一個(gè)當(dāng)作“消費(fèi)地”，移植的對(duì)應(yīng)關(guān)系如圖3所示。

1.3.3 輪廓相似性度量

利用曲率來(lái)描述圖像輪廓的形狀，這是一個(gè)絕對(duì)的概念，為更能體現(xiàn)圖像輪廓特征，本文提出具有相對(duì)概念的曲率距離來(lái)體現(xiàn)曲率特征的差別。計(jì)算待分類輪廓上像素點(diǎn)的曲率與模板輪廓上像素點(diǎn)的曲率距離，用曲率距離來(lái)衡量?jī)蓚€(gè)特征量之間的差別。

(24)

定義待分類輪廓上點(diǎn)的曲率的集合為U，模板輪廓上點(diǎn)的曲率的集合為V，用EMD來(lái)度量U,V之間相似性的公式為：

(25)

式中fij為從Ui變換到Vj的需要改變的特征量的數(shù)量。

同時(shí)上式需要滿足以下4個(gè)約束條件：

(1)變換過(guò)程是從U到V，不能調(diào)轉(zhuǎn)方向，即

fij≥0。

(26)

式中：1≤i≤m,1≤j≤n。

(2)由Ui變換到Vj的特征量的數(shù)量和不能超過(guò)Ui中所有特征量之和wPi×QU，即

(27)

(3)Vj接收到的所有特征量的數(shù)量和不能超過(guò)其總?cè)萘縲Vj×QV：

(28)

(4)特征量變換的總數(shù)量是QV,QU的較小值：

(29)

在上述4個(gè)條件的約束下，求解得到的EMD越小，則特征量集合U和V的相似程度越大;反之，EMD越大，兩者的相似程度越小。因此，待分類輪廓與哪一種模板輪廓求得的EMD距離最小，即將其分類為該類輪廓。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 圖像采集及預(yù)處理結(jié)果

在顯微鏡搭配黃色鹵素?zé)艄猸h(huán)境下，采集到如圖4所示分辨率為2 454×2 056像素的待處理圖像，圖4a～圖4d分別為采集到的不同區(qū)域彩色圖像。

根據(jù)本文提出的灰度化公式對(duì)采集的FPC彩色圖像進(jìn)行灰度化操作后得到的灰度圖如圖5所示。

2.2 圖像整體輪廓提取

按照本文算法計(jì)算圖1c的最佳分割閾值，MATLAB仿真結(jié)果如圖6所示。圖6a為圖5c的類間方差分布圖，其中曲線1表示灰度值統(tǒng)計(jì)結(jié)果，曲線2表示當(dāng)分割閾值為0～255時(shí)，根據(jù)最大類間方差法計(jì)算得到的VBA;圖6b為圖5c的分割結(jié)果。

圖像輪廓提取效果如圖7所示，其中圖7a為采用一般區(qū)域生長(zhǎng)法提取的圖像輪廓，可以看出存在較明顯的欠生長(zhǎng)現(xiàn)象;圖7b為基于平均灰度值并擴(kuò)大與初始種子點(diǎn)合并的像素點(diǎn)的鄰域范圍后最終提取出的圖像輪廓。對(duì)比圖7a和圖7b兩幅圖像，可以發(fā)現(xiàn)欠生長(zhǎng)的現(xiàn)象得到了明顯的改善，提取的輪廓更加貼近真實(shí)圖像輪廓。

2.3 圖像特定區(qū)域識(shí)別

選取如圖8所示的第一組模板輪廓，利用提出的雙向差分法計(jì)算模板輪廓上各像素點(diǎn)的曲率，為提升算法效率，每隔40個(gè)像素點(diǎn)對(duì)輪廓上的像素點(diǎn)進(jìn)行采樣，計(jì)算得到的模板輪廓上各點(diǎn)曲率及其分布，如圖9所示。

取120個(gè)待分類輪廓作為測(cè)試樣本，其中金手指輪廓、鍍通孔輪廓、線路輪廓各占40個(gè)。根據(jù)雙向差分法計(jì)算待分類輪廓的曲率并分別計(jì)算與模板輪廓的曲率距離，利用EMD距離得到待分類輪廓與各模板輪廓的相似距離。實(shí)驗(yàn)結(jié)果如表1所示。

表1 第一組模板分類結(jié)果

采用圖10所示的第二組模板輪廓并用同樣的測(cè)試樣本進(jìn)行分類實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

表2 第二組模板分類結(jié)果

通過(guò)變換模板輪廓，可以確定所提出的基于EMD距離和曲率來(lái)識(shí)別各輪廓類型的方法只對(duì)模板輪廓的大致形狀有一定的要求，但是對(duì)模板精準(zhǔn)度要求不高，在實(shí)際應(yīng)用中能夠有效地識(shí)別各種輪廓類型。

3 結(jié)束語(yǔ)

通過(guò)對(duì)彩色FPC表面圖像的RGB顏色直方圖走勢(shì)進(jìn)行多次實(shí)驗(yàn)分析，推導(dǎo)出符合實(shí)際檢測(cè)需求的灰度化公式。利用微分幾何方法對(duì)圖像整體輪廓提取，通過(guò)結(jié)合最大類間方差法，自適應(yīng)地選取用于區(qū)域生長(zhǎng)的初始種子點(diǎn)，同時(shí)采用灰度平均值來(lái)增強(qiáng)種子點(diǎn)的生長(zhǎng)能力，解決欠生長(zhǎng)現(xiàn)象。針對(duì)輪廓提取后的特定區(qū)域識(shí)別，本文提出了雙向差分法用以計(jì)算圖像輪廓的離散曲率，通過(guò)EMD來(lái)評(píng)價(jià)待分類輪廓與模板輪廓的相似性，從而實(shí)現(xiàn)對(duì)FPC表面金手指、鍍通孔及線路區(qū)域進(jìn)行有效識(shí)別。針對(duì)FPC上形狀較為多變的焊盤部位識(shí)別，則有待進(jìn)一步的研究。