基于Mumford & Shah算法的Mark點圖像修復(fù)研究

王業(yè)率，宋建華，何鵬，張龑

(湖北大學(xué)計算機與信息工程學(xué)院， 湖北 武漢 430062)

0 引言

隨著電子半導(dǎo)體行業(yè)的不斷發(fā)展，電子產(chǎn)品逐漸趨于小型化、精密化、高性能、高質(zhì)量等特點，PCB板的制造工藝面臨著巨大的提升需求.PCB板的制造流程中，曝光顯影工藝環(huán)節(jié)需對PCB板位置進行高精度定位識別，進一步將定位位置發(fā)送至曝光設(shè)備進行曝光處理.而識別過程通常采用PCB板上Mark點完成.Mark點包括通孔、鐳射曝光孔等多種形式，為方便簡化后續(xù)工藝操作以及提高識別精度，PCB板通常較多采用通孔形式的圓形Mark點.

在實際生產(chǎn)過程中，在針對邊緣有缺陷的圓孔時，常見算法在識別成功率以及識別精度存在提升空間，研究學(xué)者也做出大量工作.熊光潔等人針對Mark點的橢圓度提出了識別算法，采用Otsu’s算法對Mark點圖像進行分割，然后實現(xiàn)坐標定位[1].喬鬧生等人基于Hough變換提出圖像邊緣檢測方法,該檢測方法相對于具有一定算法優(yōu)勢[2].

此外，對覆有感光膜的圓孔進行圖像采集時，會時常碰到感光膜反光現(xiàn)象，反光現(xiàn)象形成的反射光斑形狀大小不固定.在機器視覺領(lǐng)域，可利用圖像修復(fù)的方法將Mark點區(qū)域的反射光斑進行去除、修復(fù).常見的圖像修復(fù)算法目前包括三類：一類是基于偏微分方程(PDE)的數(shù)字圖像修補技術(shù)；第二類是基于紋理合成(TS)的圖像修復(fù)技術(shù)；第三類是基于稀疏表示(SR)方法的圖像修復(fù)技術(shù). 此外，F(xiàn)MM算法通過領(lǐng)域圖像加權(quán)處理的方式進行修復(fù)，修復(fù)速度較快，修復(fù)效果較好，但是在邊緣細節(jié)具有缺陷[3,4].

偏微分方程算法最早由Bertalmio等人提出BSCB算法，根據(jù)等照度線方向?qū)⑼旰脜^(qū)域圖像信息延伸至待修復(fù)區(qū)域[5]， BSCB算法計算復(fù)雜度較高. Bertalmio等人對圖像修復(fù)做出了大量研究，將流體力學(xué)中的Navier-Stokes模型(N-S模型)應(yīng)用到圖像修復(fù)算法中，圖像邊緣部分存在缺陷[6,7].

Mumford 以及 Shah提出了基于體積能量的Mumford & Shah算法(M&S算法)模型[8]. 針對該泛函中存在的復(fù)雜度問題，Ambrosio及Tortorelli使用橢圓形對泛函進行了逼近，且使用Euler-Lagrange方程及有限差分法降低計算復(fù)雜度[9,10]. 該算法在去除脈沖噪聲較BSCB算法及Navier-Stokes算法具有一定優(yōu)勢，且降低了計算復(fù)雜度，同時在邊緣細節(jié)處理方面也較FMM算法更優(yōu). 在具有長條狀反光光斑的圖像場景下，Mumford & Shah算法對于大塊區(qū)域修復(fù)效果不佳的特點得以避免.

1 算法原理

1.1 Mumford & Shah泛函模型Mumford & Shah提出的圖像修復(fù)模型是以最小化能量泛函為基礎(chǔ)的，該能量泛函可以表示為[9]：

F[u|u0,I]

(1)

其中，I表示修復(fù)圖像區(qū)域，u0表示圖像的可用部分，可表示為加入高斯白噪聲的圖像.

根據(jù)貝葉斯原理，該泛函可進一步表示為數(shù)據(jù)模型部分與圖像模型部分的和：

(2)

Mumford & Shah的圖像分割理論將E[u]進一步表示為：

(3)

B 表示圖像的邊緣部分，并用一維Hausdoff 測度進行度量.因此，Mumford & Shah模型可表示為：

(4)

1.2 Ambrosio & Tortorelli改進模型Ambrosio & Tortorelli將原Mumford & Shah模型用橢圓泛函進行了簡化，提高了收斂速度. 其做出的改進包括[10]：

(5)

(6)

χ為邊緣部分的過渡區(qū)域.由此，修復(fù)問題可演化為求解最小化問題：

(7)

該最小化問題的求解過程主要包含u和χ的積分計算，使用有限差分法進行求解的過程較為簡潔.

分別定義算子Lχ和算子Mu：

(8)

(9)

Euler-Lagrange方程可表示為：

(10)

Muχ=1

(11)

2 Mark點圖像修復(fù)算法

2.1 Mark點圖像PCB板生產(chǎn)過程中的Mark點定位工序通常需要將感光膜貼附在PCB板上.當(dāng)PCB板上已附有銅箔圖案時，銅箔圖案在圖案邊緣區(qū)域部分具有落差，落差深度與腐蝕程度一致.感光膜通常厚度在0.3 mm以內(nèi)，經(jīng)壓膜工藝處理時表面易產(chǎn)生形變，從而導(dǎo)致環(huán)形光源光線從感光膜反射至工業(yè)相機鏡頭處形成反射光斑，如圖1所示.

圖1 PCB板機器視覺系統(tǒng)光源反射示意圖

此應(yīng)用視覺系統(tǒng)成像距離較短，且對清晰度要求較高，同軸光源在設(shè)計需求上存在缺陷，因此多采用環(huán)形光源作為光源方案.環(huán)形光源傾斜角的存在導(dǎo)致光源光線經(jīng)過漫反射后易進入工業(yè)相機取景范圍，從而在Mark點采樣圖像中形成光斑.

常見的最小二乘法、霍夫變換等圓擬合算法在干擾圖形區(qū)域面積過大、干擾圖形邊緣距離圓弧距離過大等狀況下，存在誤差較大問題.待圖像轉(zhuǎn)移PCB板緊密吸附在曝光設(shè)備黑色臺面上，Mark點通孔處圖像灰度與臺面保持一致，反射光斑區(qū)域圖像灰度與光源保持一致.因此，在依賴灰度閾值作為輪廓化處理前提下，反射光斑、非通孔區(qū)域與通孔區(qū)域的邊緣易形成較大灰度差，從而誤識別為輪廓，如圖2所示.

圖2 含反射光斑區(qū)域Mark點圖像輪廓化示意圖

2.2 算法步驟本算法的具體步驟如下：

Step1：使用Otsu’s算法對圖像生成蒙版圖像.

Step2：初始化參數(shù)讀入待修復(fù)圖像和蒙版圖像.

Step3： 在Euler-Lagrange方程邊界條件確定情況下，定義微分算子Lχ及Mu.

Step4：采用算子Mu求解Euler-Lagrange方程中χ，更新迭代項χ.

Step5：采用算子Lχ求解Euler-Lagrange方程中u，更新迭代項u.

Step6：計算迭代項u與前值的差值.如果經(jīng)迭代的圖像u與前次迭代圖像u之差小于預(yù)定閾值threshold_value，迭代結(jié)束；否則回到Step4繼續(xù)進行迭代.

Step7：輸出經(jīng)修復(fù)的圖像.

3 實驗分析

基于前述理論算法，對進行了修復(fù)實驗.實驗所使用計算機配置包括： CPU為Intel酷睿i7-9700 3.0 GHz，內(nèi)存為16 GB，算法用MATLAB R2018a進行實現(xiàn).在本算法的實現(xiàn)過程中，令圖像區(qū)域為Ω∈(0,1)×(0,1),迭代次數(shù)iter取20次，迭代誤差閾值tol=1e-14.Ambrosio-Tortorelli模型逼近精度epsilon=0.05.

以PCB板上mark點通孔為實驗對象，嘗試對Mark點圖像進行修復(fù)實驗.Mark點圖像大小為696×520像素，如圖3(a)所示，圖中Mark點通孔在方形銅箔圖案中，感光膜由于壓制不工整而產(chǎn)生褶皺，導(dǎo)致反光光斑產(chǎn)生.此類反光光斑圖案為條狀，條狀區(qū)域?qū)挾炔灰?，以便針對不同情形下圖像特征進行修復(fù).使用Otsu’s算法對圖像進行閾值分割，閾值參數(shù)為0.7，分割后光斑區(qū)域即圖3(a)中噪點區(qū)域.由Otsu’s算法分割出的mask蒙版如圖3(b)所示.經(jīng)本算法修復(fù)后，圖像中通孔內(nèi)部光斑區(qū)域得到較好的修復(fù)，通孔邊緣毛刺較少；銅箔圖案處光斑區(qū)域出現(xiàn)了涂抹痕跡，顯示該算法在具有大量紋路區(qū)域處缺乏修正，修復(fù)圖像如圖3(c)所示.

圖3 Mark點修復(fù)結(jié)果

為檢測噪聲環(huán)境對圖像修復(fù)的影響，特對待修復(fù)圖片加入噪聲進行修復(fù)實驗，圖片大小縮放為279×208像素.由于椒鹽噪聲能夠體現(xiàn)出脈沖干擾性質(zhì)的圖像畸變，因此在待修復(fù)圖像中加入噪聲密度參數(shù)為0、0.01、0.05、0.1、0.5的椒鹽噪聲，以未加噪聲情況下修復(fù)圖片作為基準，采用MSE、PSNR、修復(fù)時間作為客觀評價指標對基準圖片進行修復(fù)效果評估，修復(fù)結(jié)果見表1. 添加的噪聲對該修復(fù)算法影響較小，在噪聲密度達到0.5時，PSNR仍然可達33.411，且修復(fù)時間隨噪聲密度增加的變化不大.

分別采用Mumford & Shah算法、BSCB算法、Navier-Stokes算法、FMM算法對圖3所示圖形進行對比修復(fù)實驗，圖片大小為279×208像素，取通孔左上角附近區(qū)域以及無銅箔區(qū)域作為實驗一與實驗二的實驗對象進行修復(fù)實驗，修復(fù)結(jié)果如圖4及圖5所示.

表1 不同椒鹽噪聲密度下的修復(fù)數(shù)據(jù)

圖4 實驗一修復(fù)結(jié)果

圖5 實驗二修復(fù)結(jié)果

本研究采用的Mumford & Shah算法能夠?qū)γ娣e較小的反光區(qū)域進行有效修復(fù)，面積較大的修復(fù)區(qū)域圖像細節(jié)較少；BSCB算法同樣對細節(jié)有較好修復(fù)效果，但是在面積較大的修復(fù)區(qū)域修復(fù)效果不滿意，圖像中出現(xiàn)了修復(fù)過程產(chǎn)生的噪點；Navier-Stokes算法由邊界向內(nèi)進行修復(fù)，在修復(fù)區(qū)域邊緣較平滑，但是在內(nèi)部區(qū)域存在分塊痕跡；FMM算法修復(fù)細節(jié)較豐富，在通孔邊緣處仍存在毛刺狀修復(fù)痕跡，實驗二中細節(jié)部分出現(xiàn)了輕微噪點.

對實驗一及實驗二提取客觀評估指標MSE、PSNR進行評估，MSE值越小，PSNR的值越大，說明修復(fù)效果越好，修復(fù)結(jié)果見表2. 通過實驗結(jié)果可見，Mumford & Shah算法修復(fù)的效果最佳，體現(xiàn)了該算法對于此類條狀修復(fù)對象的較佳適應(yīng)性.

表2 使用不同修復(fù)算法的實驗數(shù)據(jù)對比

4 結(jié)語

PCB板的曝光工藝是其生產(chǎn)線產(chǎn)能的瓶頸，而Mark點識別失敗是曝光工藝環(huán)節(jié)停產(chǎn)的重要因素之一.現(xiàn)有的機器視覺算法在常見的異形孔識別成功率上尚存在提升空間，對異形孔之上反射光斑的修復(fù)處理將提高PCB板產(chǎn)能.

本研究采用Mumford & Shah算法對Mark點圖像進行了修復(fù)處理.由于反射光斑顯長條形的形狀特征，且灰度上與通孔區(qū)域形成反差對比，因此，在邊緣區(qū)域的修復(fù)效果較好.然而，該算法對于部分較大面積反射光斑的修復(fù)效果尚存在優(yōu)化空間.后續(xù)可以對算法進行改進優(yōu)化，或者使用深度學(xué)習(xí)方式對光斑區(qū)域進行識別、修復(fù)，以提高識別成功率以及精度.