集成電路X射線圖像的多正則化圖像復(fù)原

馬鴿，林森，李致富，趙志甲，鄒濤

（廣州大學(xué) 機(jī)械與電氣工程學(xué)院，廣東 廣州 510006）

1 引言

X射線成像是通過(guò)發(fā)射X射線穿透被檢測(cè)元器件，依據(jù)待檢測(cè)元器件內(nèi)部產(chǎn)生的射線能量衰減情況及其衰減強(qiáng)度的不同，由平板探測(cè)器將衰減數(shù)據(jù)轉(zhuǎn)換成數(shù)字圖像傳遞給計(jì)算機(jī)的過(guò)程。X射線成像檢測(cè)是通過(guò)不同材料對(duì)X射線的吸收差異，對(duì)物體內(nèi)部結(jié)構(gòu)成像然后進(jìn)行內(nèi)部缺陷檢測(cè)的技術(shù)。因其成像具有分辨率高、無(wú)損、非接觸等優(yōu)點(diǎn)，在集成電路精密制造業(yè)、航空航天、特種裝備檢測(cè)等領(lǐng)域取得了廣泛關(guān)注［1-3］。然而，集成電路的X射線圖像成像過(guò)程中存在多個(gè)噪聲來(lái)源，如電子隨機(jī)熱運(yùn)動(dòng)產(chǎn)生的熱噪聲、X射線源光子累積產(chǎn)生的噪聲等，因此表現(xiàn)出噪聲強(qiáng)烈的特點(diǎn)。同時(shí)，集成電路多層封裝間隔微小，X射線出射距離短，因此呈現(xiàn)出對(duì)比度低的特點(diǎn)，給后續(xù)識(shí)別檢測(cè)工作帶來(lái)很大困難。因此，研究X射線圖像復(fù)原技術(shù)具有理論意義和實(shí)際應(yīng)用價(jià)值。

文獻(xiàn)［4］將熱噪聲和光子累積噪聲分別建模為加性噪聲和乘性噪聲，得到集成電路X射線成像的混合噪聲退化模型。但是由于工業(yè)生產(chǎn)的快速性要求，實(shí)際過(guò)程中常采用加大電壓的方式實(shí)現(xiàn)快速累積成像，大大減少了泊松特性，因此文獻(xiàn)［5］將其建模為高斯加性噪聲退化模型。

圖像復(fù)原是從采集的退化圖像獲得原始干凈圖像的逆過(guò)程。復(fù)原方法包括濾波方法和正則化方法，濾波方法通常具有確定性的濾波函數(shù)，如高斯濾波、中值濾波、逆濾波等，但往往受限于噪聲去除和細(xì)節(jié)保持的平衡問(wèn)題，而正則化方法因其靈活多變的圖像先驗(yàn)知識(shí)模型和求解算法，被廣泛地應(yīng)用于工業(yè)檢測(cè)、機(jī)器視覺(jué)、醫(yī)學(xué)診斷等領(lǐng)域［6-9］。

正則化方法將圖像復(fù)原問(wèn)題歸結(jié)為由數(shù)據(jù)保真項(xiàng)和正則化項(xiàng)組成的目標(biāo)函數(shù)模型求解問(wèn)題。常用的正則化模型可分為基于l1范數(shù)的模型和基于全變分的模型兩大類。l1范數(shù)刻畫(huà)圖像的邊緣細(xì)節(jié)信息，具有較好的細(xì)節(jié)保持能力。尤其地，通過(guò)小波變換、字典分解等［10-12］可充分利用圖像的稀疏特性來(lái)降低數(shù)據(jù)冗余帶來(lái)的采樣數(shù)據(jù)存儲(chǔ)和硬件設(shè)備困難的方法，被廣泛地應(yīng)用于核磁共振成像、醫(yī)學(xué)CT圖像重建、圖像稀疏重建等領(lǐng)域［13-14］。

全變分（Total Variation，TV）正則化模型［15］最初于1992年由Rudin，Osher和Fatemi提出，但該模型易產(chǎn)生“階躍”現(xiàn)象，呈現(xiàn)“分片常數(shù)”效應(yīng)。文獻(xiàn)［16］則將保真項(xiàng)等效變換到微分空間，并采用ADMM（Alternating Direction Method of Multipliers）分裂算法進(jìn)行求解獲得了快速準(zhǔn)確的復(fù)原效果。

但是，以上方法均對(duì)整幅圖像進(jìn)行統(tǒng)一處理，采用單一的正則化約束條件或者組合的多正則化約束進(jìn)行求解，容易造成去噪不徹底或過(guò)度平滑。文獻(xiàn)［4］對(duì)集成電路X射線圖像的加性噪聲和乘性噪聲分別采用TV正則化項(xiàng)和l1正則項(xiàng)進(jìn)行約束，并采用顯式差分算法和梯度投影（Gradient Projection，GP）算法進(jìn)行求解獲得了很好的去噪效果。

本文基于圖像邊緣細(xì)節(jié)、平滑特征和不同正則化項(xiàng)的復(fù)原特點(diǎn)，提出集成電路X射線圖像的多正則化圖像復(fù)原算法。該方法采用高斯高通濾波和高斯低通濾波分別獲取圖像的邊緣細(xì)節(jié)結(jié)果和平滑濾波結(jié)果，充分利用l1正則項(xiàng)在細(xì)節(jié)保持以及TV正則項(xiàng)在噪聲去除上的優(yōu)越性，對(duì)邊緣細(xì)節(jié)結(jié)果和平滑濾波結(jié)果分別采用l1正則化項(xiàng)和TV正則化項(xiàng)約束進(jìn)行求解，進(jìn)而獲得完整的集成電路X射線圖像復(fù)原結(jié)果，解決整幅圖像采用單一正則化項(xiàng)可能造成的細(xì)節(jié)過(guò)度平滑缺失和去噪效果差等問(wèn)題。

2 基于快速傅里葉變換的圖像濾波方法

集成電路的X射線圖像退化模型可表示為：

其中：f∈RM×N是觀測(cè)到的退化圖像，H為觀測(cè)陣，x為待求解的干凈圖像，n是符合均值為μ、方差為ξ的高斯分布n～N（μ，ξ）的加性噪聲。

圖像的傅里葉變換是將圖像由空間域變換至頻率域，其中低頻對(duì)應(yīng)集成電路X射線圖像內(nèi)變化較為緩慢的灰度分量，簡(jiǎn)記為平滑特征；高頻對(duì)應(yīng)圖像內(nèi)變化較快的灰度分量，多表現(xiàn)為邊緣細(xì)節(jié)部分，因此，本節(jié)基于快速傅里葉變換（Fast Fourier Transform，F(xiàn)FT）計(jì)算速度快、效率高的特點(diǎn)，分別采用高斯低通濾波和高斯高通濾波獲得低頻對(duì)應(yīng)的平滑濾波結(jié)果和高頻對(duì)應(yīng)的邊緣細(xì)節(jié)結(jié)果。

具體步驟如下：

第一步，對(duì)觀測(cè)圖像f進(jìn)行快速傅里葉變換得 到 其 頻 譜F(u，v)，其 中u=0，1，…，M-1，v=0，1，…，N-1，F(xiàn)(·)是傅里葉變換；

第二步，對(duì)頻譜F(u，v)作能量估計(jì)，設(shè)定濾波器截止頻率D0。

選定初始截止頻率，獲取高斯低通濾波后的F'(u，v)。逐步增大截止頻率并不斷計(jì)算當(dāng)前截止頻率條件下的F'(u，v)，當(dāng)滿足條件（2）時(shí)，當(dāng)前截止頻率記為濾波器的截止頻率D0。

其中：|F(u，v)|表 示 整 個(gè) 圖 像 頻 譜 的 能 量，|F'(u，v)|表示高斯低通濾波后頻譜的能量，β∈(0，1)為經(jīng)驗(yàn)常數(shù)，用于選取濾波器的截止頻率；

第三步，基于高斯低通濾波和高斯高通濾波原理對(duì)圖像進(jìn)行頻域?yàn)V波，獲取低頻部分Fsmooth(u，v)和高頻部分Fdetail(u，v)。

其中：

第四步，對(duì)低頻和高頻部分進(jìn)行反傅里葉變換，獲得低頻對(duì)應(yīng)的圖像平滑濾波結(jié)果fsmooth和高頻對(duì)應(yīng)的圖像邊緣細(xì)節(jié)結(jié)果fdetail。

3 基于分區(qū)的多正則化圖像復(fù)原算法

正則化圖像復(fù)原的目標(biāo)函數(shù)模型求解問(wèn)題可描述為：

針對(duì)集成電路X射線圖像噪聲強(qiáng)烈、對(duì)比度低的特點(diǎn)，本文提出一種多正則化圖像復(fù)原方法。該方法充分考慮圖像邊緣細(xì)節(jié)和圖像平滑區(qū)域在細(xì)節(jié)保持和噪聲去除上的不同需求，設(shè)計(jì)了一種TV-l1范數(shù)的混合正則化模型，如式（10）所示：

其 中：δ1和δ2為 正 則 化 參 數(shù)，D為 梯 度 算 子，‖Dx‖1為T(mén)V正則化項(xiàng)，如式（11）～（12）所示。λ為觀測(cè)圖像選擇因子，當(dāng)f是高頻對(duì)應(yīng)的圖像邊緣細(xì)節(jié)結(jié)果時(shí)，λ=1；當(dāng)f是低頻對(duì)應(yīng)的圖像平滑濾波結(jié)果時(shí)，λ=0。

若‖Dx‖1為各向同性TV，則：

若‖Dx‖1為各向異性TV，則：

其 中：(Dhx)i，j=xi，j-xi，j-1，(Dvx)i，j=xi，jxi-1，j，Dh表示水平梯度（Horizontal gradient），Dv表示垂直梯度（Vertical gradient），xi，-1=xi，N-1，x-1，j=xM-1，j，（i=0，1，2，…，M-1，j=0，1，2，…，N-1）。

當(dāng)f是高頻對(duì)應(yīng)的圖像邊緣細(xì)節(jié)結(jié)果時(shí)，f=fdetail，λ=1，問(wèn)題（10）轉(zhuǎn)化為求解l2-l1問(wèn)題：

本文采 用GPSR-Basic方法［17］進(jìn) 行求解，步驟如下：

第 一 步，令x=a-b，a≥0，b≥0，將 問(wèn) 題（13）轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題。

第二步，梯度投影迭代更新。

其中(*)+=max(*，0)，θk＞0。

第三步，回溯線搜索θ1∈(0，1)。

若 滿 足F(wk)≤F(sk)-θ1?F(sk)T(skwk)，則令sk+1=wk。

最后，判斷截止條件，若：

則sk+1=s*，xdetail=a*-b*，否則返回第二步。

若f是低頻對(duì)應(yīng)的圖像平滑濾波結(jié)果時(shí)，f=fsmooth，λ=0，則問(wèn)題（10）轉(zhuǎn)化為求解l2-TV問(wèn)題（15），

結(jié)合微分空間在梯度細(xì)節(jié)保持上的優(yōu)越性，本文采用文獻(xiàn)［16］的D-ADMM（Derivative Alternating Direction Method of Multipliers）進(jìn)行求解，力求平滑區(qū)域在平滑去噪的同時(shí)保留更多的微小細(xì)節(jié)信息，避免過(guò)渡平滑帶來(lái)的集成電路X射線圖像的細(xì)節(jié)損失。

通過(guò)微分空間和圖像空間的等效條件，問(wèn)題（15）轉(zhuǎn)化為：

令z=d，由增廣拉格朗日方法，問(wèn)題（16）轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題，

其 中：d=[dTh，dTv]T，dh=Dh x，dv=Dv x，z=

在ADMM框架下（17）可以轉(zhuǎn)化為多個(gè)簡(jiǎn)單的子問(wèn)題進(jìn)行求解，具體如下：

第一步，求dk+1h，dk+1v：

v+φ2I，Ch=表示按像素相除（entry-wise division）。其中：Bv=HTH+φ1Dh DTh+φ2I，Cv=

第二步，更新zk+1：

對(duì)于各向同性TV，有：

對(duì)于各向異性TV，有：

第三步，更新pk+1，qk+1：

最后，判斷截止條件。

若滿足如下條件：

則得到復(fù)原圖像xsmooth=U(dk+1)=U(d*)。

若條件不滿足則跳轉(zhuǎn)至第一步，k=k+1。

綜合高頻對(duì)應(yīng)的圖像邊緣細(xì)節(jié)復(fù)原結(jié)果和低頻對(duì)應(yīng)的圖像平滑部分復(fù)原結(jié)果得到期望的集成電路X射線圖像復(fù)原結(jié)果，獲得噪聲去除和細(xì)節(jié)保持的有效平衡。

4 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文算法的有效性，采用標(biāo)準(zhǔn)自然光圖像和集成電路的X射線圖像進(jìn)行兩個(gè)系列的實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)的軟硬件實(shí)驗(yàn)環(huán)境為：Matlab（R2016b），Inter（R）Core（TM）i5-8250U CPU@1.60 GHz，8 GB內(nèi) 存。X射 線 成 像 示 意 圖 及本文采用的X射線設(shè)備如圖1所示。

圖1 X射線成像示意圖及本文采用的X射線設(shè)備Fig.1 X-ray imaging schematic diagram and X-ray equipment used in this paper

4.1 標(biāo)準(zhǔn)灰度圖像實(shí)驗(yàn)驗(yàn)證

該 實(shí) 驗(yàn) 采 用Boat，Cameraman，Lena，Peppers 4幅經(jīng)典的自然光圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證，原圖如圖2所示。實(shí)驗(yàn)參數(shù)如下：噪聲方差為μ=5×10-3，經(jīng)驗(yàn)系數(shù)β=0.72，正則化參數(shù)δ1=9×10-4，δ2=9×10-5，截止條件ε=10-5。

圖2 標(biāo)準(zhǔn)灰度圖像Fig.2 Standard grayscale images

本文采用均方誤差（MSE），峰值信噪比（PSNR），結(jié)構(gòu)相似性（SSIM）對(duì)4幅圖像的復(fù)原結(jié)果進(jìn)行分析，如表1所示。顯然，本文方法的去噪指標(biāo)MSE、PSNR和細(xì)節(jié)保持指標(biāo)SSIM均優(yōu)于對(duì)比算法，表明本文方法的復(fù)原結(jié)果得到了噪聲去除和細(xì)節(jié)保持的有效平衡，因此可將其用于集成電路的X射線圖像復(fù)原。

表1 標(biāo)準(zhǔn)灰度圖像實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of standard gray images

4.2 集成電路X射線圖像實(shí)驗(yàn)驗(yàn)證

集成電路的X射線圖像選擇電容元件、焊點(diǎn)等3幅圖像進(jìn)行驗(yàn)證。實(shí)驗(yàn)參數(shù)選擇為β=0.72，正 則 化 參 數(shù)δ1=2×10-5，δ2=8×10-4，截止條件ε=10-5。

圖3～圖5所示為三幅圖像的復(fù)原結(jié)果，對(duì)比方法為文獻(xiàn)［4］所述的混合去噪方法、各向同性D-ADMM和各向異性D-ADMM。顯然，各方法均可獲得集成電路X射線圖像的有效復(fù)原，但是，本文方法的復(fù)原結(jié)果對(duì)比度高，邊緣更加清晰。圖中放大顯示的細(xì)節(jié)部分表明本文方法能夠更清晰地展示電容條狀結(jié)構(gòu)、焊點(diǎn)氣泡邊緣等細(xì)節(jié)信息，進(jìn)一步表明了本文方法在噪聲去除的同時(shí)具有更好的細(xì)節(jié)保持效果，為后續(xù)缺陷檢測(cè)、提高產(chǎn)品可靠性奠定基礎(chǔ)。

圖3 電容元件圖像復(fù)原結(jié)果Fig.3 Restored results of capacitance element image

圖5 焊點(diǎn)2圖像復(fù)原結(jié)果Fig.5 Restored results of welding spot 2

圖4 焊點(diǎn)1圖像復(fù)原結(jié)果Fig.4 Restored results of welding spot 1

為更進(jìn)一步驗(yàn)證本文算法的優(yōu)越性，本節(jié)計(jì)算出以上復(fù)原結(jié)果的拉普拉斯梯度（Laplacian Sum，LS），灰度平均梯度（Gray Mean Grads，GMG），邊緣強(qiáng)度（Edge Intensity，EI）對(duì)X射線圖像的復(fù)原結(jié)果進(jìn)行客觀評(píng)價(jià)，如表2所示。實(shí)驗(yàn)結(jié)果表明本文算法在去除噪聲的同時(shí)能夠保留更多的細(xì)節(jié)信息。

表2 3幅集成電路X射線圖像實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of three integrated circuit X-ray images

隨后，本文對(duì)另10幅集成電路的X射線圖像進(jìn)行了實(shí)驗(yàn)驗(yàn)證，客觀評(píng)價(jià)如表3所示，再次驗(yàn)證 了本文方法的有效性。

表3 另10幅集成電路X射線圖像實(shí)驗(yàn)結(jié)果Tab.3 Another ten integrated circuit X-ray images experimental results

續(xù)表3另10幅集成電路X射線圖像實(shí)驗(yàn)結(jié)果Tab.3 Another ten integrated circuit X-ray images experimental results

5 結(jié)論

本文在分析集成電路X射線成像特點(diǎn)的基礎(chǔ)上，提出了一種多正則化集成電路X射線圖像復(fù)原算法。首先，通過(guò)高斯高通濾波和高斯低通濾波獲取圖像的高頻邊緣細(xì)節(jié)結(jié)果和低頻平滑濾波結(jié)果并以此作為圖像復(fù)原的觀測(cè)圖；然后提出了一種l1-TV混合正則化圖像復(fù)原模型。該模型充分考慮了邊緣細(xì)節(jié)和平滑部分的復(fù)原需求，解決了整幅圖像采用單一正則化項(xiàng)造成的細(xì)節(jié)過(guò)度平滑缺失或去噪效果差的問(wèn)題。實(shí)驗(yàn)表明本文方法的復(fù)原結(jié)果對(duì)比度高，邊緣清晰，在集成電路X射線圖像復(fù)原中獲得了去噪和細(xì)節(jié)保持的有效平衡，可為后續(xù)缺陷檢測(cè)、提高產(chǎn)品可靠性奠定基礎(chǔ)。