基于Retinex模型和GTV的鐵路貨車鑄件DR圖像增強(qiáng)

任雨霞 ，曾理

(1. 重慶大學(xué) 數(shù)學(xué)與統(tǒng)計學(xué)院，重慶 401331；2. 重慶大學(xué) 工業(yè)CT無損檢測教育部工程研究中心，重慶 400044)

由于生產(chǎn)工藝的限制，鐵路貨車鑄件可能會出現(xiàn)缺陷，缺陷位置可大體劃分為外部及內(nèi)部缺陷[1]，鐵路鑄件的外部缺陷可通過觀察直接分辨，而內(nèi)部缺陷需經(jīng)過數(shù)字化X 線攝影(Digital Radiography, DR)等無損檢測技術(shù)勘測。目前，已經(jīng)存在一些鋼軌表面缺陷檢測技術(shù)，如顧桂梅等[2-3]提出的缺陷檢測方法。但這些方法對于檢測鐵路貨車鑄件的內(nèi)部缺陷效果不佳。由于鐵路貨車鑄件厚薄不均，反映在原始DR 圖像上呈現(xiàn)灰度不均的特點(diǎn)，不利于檢測員對對比度較低的DR 圖像缺陷做出判斷，因此，增強(qiáng)待檢測區(qū)域的缺陷尤為重要。傳統(tǒng)的圖像增強(qiáng)方法主要有：1) 統(tǒng)計方法。如直方圖均衡化(Histogram Equalization，HE)算法。此外，出現(xiàn)了一些改進(jìn)的HE 算法，如SHANKAR等[4]提出的BBHE 算法，CHEN 等[5]提出的MMBEBHE 算法，WANG 等[6]提出的局部直方圖均衡化方法?；谥狈綀D的方法旨在優(yōu)化圖像直方圖的形狀[7]，該方法原理簡單，但往往只計算像素的強(qiáng)度，而忽略了像素的空間信息，因此，該方法往往增強(qiáng)效果不佳。2) Retinex方法。Retinex 理論假設(shè)觀測圖像可以分解為光照圖和反射圖[8]。早期該方法使用高斯濾波器來估計平滑光照圖，并直接將反射圖作為最終的結(jié)果圖。然而，這些方法往往導(dǎo)致圖像過度增強(qiáng)和增強(qiáng)結(jié)果不自然等不同方面的負(fù)面效應(yīng)。GUO等[9]提出一個結(jié)構(gòu)感知的平滑模型來優(yōu)化光照圖，REN 等[10]提出低秩正則化Retinex 模型(LR3M)，XU 等[11]提出一種新的結(jié)構(gòu)和紋理感知的Retinex (STAR)模型，HAO 等[12]提出一種基于Retinex 的半解耦模型。這些方法對于自然圖像的增強(qiáng)取得了比較好的效果，而對于鐵路鑄件DR 圖像增強(qiáng)缺陷效果不明顯。隨著深度學(xué)習(xí)的發(fā)展，圖像增強(qiáng)技術(shù)取得了很大進(jìn)展。鐘嘉俊等[13]基于改進(jìn)的Faster R-CNN 識別焊縫缺陷，LORE 等[14]提出一種基于深度自動編碼器的學(xué)習(xí)方法(LLNET)，CHEN 等[15]提出一種全卷積網(wǎng)絡(luò)結(jié)構(gòu)，在真實(shí)的微光圖像上可以取得較好的增強(qiáng)效果，Retinex-Net[16]對于自然圖像的增強(qiáng)也產(chǎn)生較好效果。雖然深度學(xué)習(xí)方法已獲得廣泛應(yīng)用，但傳統(tǒng)方法是人類長時間知識積累的結(jié)果，不需大量配對圖像或標(biāo)記圖像進(jìn)行訓(xùn)練，其模型和方法具有可解釋性，容易使使用者信服其結(jié)果，而且可根據(jù)相關(guān)知識進(jìn)行改進(jìn)，所以仍然有研究價值?；跀?shù)據(jù)的深度學(xué)習(xí)方法與基于知識的傳統(tǒng)方法各有所長，但二者的適用場景和條件不同，很難公正地比較。隨著小樣本甚至單樣本深度學(xué)習(xí)網(wǎng)絡(luò)的發(fā)展，結(jié)合傳統(tǒng)方法的深度學(xué)習(xí)方法也在發(fā)展中。針對鐵路貨車鑄件DR 圖像對比度低、缺陷等細(xì)節(jié)顯示不足的問題，為了在保持圖像整體結(jié)構(gòu)和細(xì)節(jié)信息的同時有效增強(qiáng)圖像，本文設(shè)計一種基于Retinex 理論和高斯全變分(Gaussian Total Variation, GTV)的增強(qiáng)模型。根據(jù)理想光照圖的充分光滑性和反射圖應(yīng)包含盡可能多紋理細(xì)節(jié)的特性，將圖像分解為光照圖和反射圖進(jìn)行估計。其中，利用基于GTV 的理論估計圖像光照圖，利用指數(shù)局部導(dǎo)數(shù)作為權(quán)重項(xiàng)來更好地提取有意義的紋理細(xì)節(jié)反射圖。最后，將體現(xiàn)圖像紋理細(xì)節(jié)的反射圖作為增強(qiáng)圖像，從而實(shí)現(xiàn)增強(qiáng)圖像缺陷細(xì)節(jié)的目的。

1 基于Retinex 模型和GTV 的增強(qiáng)方法

針對增強(qiáng)鐵路鑄件DR 圖像缺陷的問題，提出一種利用GTV 和基于紋理感知的加權(quán)項(xiàng)對Retinex分解過程中的光照圖和反射圖進(jìn)行正則化的模型。其中，基于GTV 的理論可以較好地顯示圖像的整體結(jié)構(gòu)，缺陷等細(xì)節(jié)信息留在反射圖中，基于紋理感知的加權(quán)項(xiàng)促進(jìn)了圖像細(xì)節(jié)信息的提取。最后，采用交替迭代算法對模型進(jìn)行求解。

1.1 模型構(gòu)造

Retinex 模型模擬人類視覺系統(tǒng)的色覺[11]。它的目標(biāo)是將觀測圖像O∈Rn×m分解為光照圖和反射圖：

其中：I∈Rn×m表示場景中代表物體亮度的光照圖；R∈Rn×m表示場景中代表物體物理特征的反射圖；⊙表示對應(yīng)元素相乘。光照圖I和反射圖R可以通過交替估計來得到：

其中：?代表對應(yīng)元素相除，事實(shí)上，為了避免分母為0，使用I=O?(R+ε)，R=O? (I+ε)，其中ε=10-8[11]。Retinex 模型將觀測圖像分解為光照圖和反射圖。這是個高度病態(tài)的問題，應(yīng)該考慮合適的光照圖和反射圖的先驗(yàn)信息，一般來說，光照圖應(yīng)該是分段平滑的，可以捕捉場景中物體的結(jié)構(gòu)，而反射圖應(yīng)該反映場景的物理特征，捕捉其紋理信息。本文使用一種基于高斯全變分(GTV)的邊緣保持濾波器，用于估計圖像光照圖。文獻(xiàn)[12]中將傳統(tǒng)的全變分|?x，yT|擴(kuò)展至高斯全變分(GTV)：

其中：T是濾波圖像；?x，yT是T在x方向或y方向的微分；此處加入了一個高斯核項(xiàng)為分母，高斯核寬為σ1；Gσ2(T)表示作用在T上的空間寬度為σ2的高斯濾波器?；赗etinex 的方法，提出一個目標(biāo)函數(shù)的同時估計光照圖和反射圖，建立如式(4)目標(biāo)函數(shù)模型：

其中：?1(I)和?2(R)分別是關(guān)于光照圖I和反射圖R的2 種正則化函數(shù)。文獻(xiàn)[11]中指出?1(I)和?2(R)為全變分形式時，無法較好地區(qū)分圖像的邊緣及紋理細(xì)節(jié)，在平滑噪聲的同時往往會模糊圖像的邊緣細(xì)節(jié)。文獻(xiàn)[17]中首先利用GTV 估計圖像的光照圖，然后在基于Retinex 理論的限制下估計反射圖。本文不僅利用GTV 作為正則化項(xiàng)估計光照圖，為了更好地提取紋理細(xì)節(jié)，還加入紋理感知加權(quán)項(xiàng)估計反射圖，本文建立如式(5)目標(biāo)函數(shù)模型：

其中：O為原始觀察到的圖像；I和R分別為要估計的光照圖和反射圖；?I和?R分別為要估計的光照圖和反射圖的梯度；α和β為平衡光照圖和反射圖的參數(shù)；T0為權(quán)重矩陣，影響提取的反射圖的紋理細(xì)節(jié)。

T0的設(shè)計對提取圖像的紋理細(xì)節(jié)信息是有意義的，受文獻(xiàn)[11]的啟發(fā)，選取權(quán)重矩陣T0如式(6)所示：

其中：Ω 為像素點(diǎn)周圍的局部區(qū)域；|Ω|為局部區(qū)域Ω 內(nèi)像素點(diǎn)的個數(shù)；ε設(shè)置為0.000 1。為了求解 GTV正則項(xiàng)中的L1范數(shù)，做出了如式(7)L1范數(shù)的逼近形式：

其中：ε是一個避免分母為0 的較小的正常數(shù)，本文設(shè)置為0.000 1(2.1 節(jié)闡述了ε的取值)，式(7)將基于GTV 的正則項(xiàng)近似分解為二次項(xiàng)和非線性權(quán)重ωx，y，其中，ωx，y如式(8)所示：

因此，目標(biāo)函數(shù)可轉(zhuǎn)化成如式(9)形式：

圖1 不同ε的結(jié)構(gòu)圖Fig. 1 Structure images of different ε

1.2 模型求解

目標(biāo)函數(shù)(9)中2 個變量I和R是可分離的，因此可以通過交替優(yōu)化算法求解模型。本文初始化矩陣變量I0=O，R0=O?I0。分別用Ik和Rk表示第k次(k=0，1，2，…，K)迭代的光照圖和反射圖，K為最大的迭代次數(shù)。在優(yōu)化一個變量的同時固定另一個變量，可以交替更新這2個變量。

1) 更新I，固定R。

進(jìn)一步有：

為了解決問題(10)，將式(11)化為：

其中：Dx和Dy是帶有向前差分的離散梯度算子的Toeplitz 矩陣；Wx和Wy是帶有權(quán)重wx和wy的對角矩陣；式(12)關(guān)于I求導(dǎo)，令導(dǎo)數(shù)為0，可得到：

2) 更新R，固定I。

式(12)中求解可得出Ik+1，而：

重復(fù)上述算法直到滿足收斂條件或迭代次數(shù)超過預(yù)設(shè)閾值K。本文給出了交替優(yōu)化算法的收斂條件為≤ε，由此，模型(5)可以有效地解決。根據(jù)上述求解過程，分離后的每個子問題都有封閉形式的解。

表1 求解模型(5)的算法流程Table 1 Algorithmic process for solving the model (5)

2 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)所用筆記本配置為Intel(R) Core(TM) i5-1035G1 CPU @ 1.00 GHz，基于Matlab R2021a編程實(shí)現(xiàn)。實(shí)驗(yàn)所用圖像為實(shí)際掃描得到的帶有缺陷的鐵路貨車鑄件DR 圖像，如圖1(a)所示。由于實(shí)際掃描得到的DR圖像一般為12～16位，而顯示器往往只有8位，不易區(qū)分缺陷部位和非缺陷部位，因此實(shí)驗(yàn)中輸入圖像是16 位的DR 灰度圖像，輸出是增強(qiáng)后的24位DR圖像。此外，實(shí)際掃描得到的DR 圖像往往尺寸很大，而缺陷等細(xì)節(jié)信息往往存在于局部區(qū)域中，為了突出缺陷信息，截取DR圖像的部分區(qū)域進(jìn)行實(shí)驗(yàn)。

2.1 結(jié)構(gòu)圖結(jié)果

本文模型使用圖像的反射圖作為最終增強(qiáng)結(jié)果，為了得到較優(yōu)的反映細(xì)節(jié)缺陷的反射圖，估計的光照圖需要反映圖像的主體結(jié)構(gòu)。觀察模型(9)可知，權(quán)重項(xiàng)ωx，y對于提取圖像的光照結(jié)構(gòu)圖是重要的。本文選取圖1(a)中方框區(qū)域圖1(b)作為輸入圖像，設(shè)置一組ε的值：0.000 01，0.000 1 和0.1，得到反映圖像的結(jié)構(gòu)圖，如圖1(c)，1(d)和1(e)所示。觀察可知，ωx，y中ε的取值對于圖像的結(jié)構(gòu)圖影響較小，本文設(shè)置為0.000 1。由圖1(c)，1(d)和1(e)可以看出，設(shè)置的權(quán)重項(xiàng)ωx，y較好地提取了圖像的結(jié)構(gòu)，促進(jìn)了缺陷等細(xì)節(jié)信息暴露在反射圖中。

2.2 模型結(jié)果

選取圖1(a)中方框區(qū)域圖1(b)作為輸入圖像，經(jīng)過多次實(shí)驗(yàn)，選擇合適的算法參數(shù)α=0.001，β=0.000 01，γt=0.8，γI=2，γR=1.5，迭代次數(shù)K=7，停止迭代準(zhǔn)則中ε設(shè)置為0.01，得到增強(qiáng)圖像如圖2(b)所示，圖2(c)為進(jìn)一步得到的部分缺陷放大圖。

從圖2(c)中可以觀察到，本文模型得到的增強(qiáng)圖像增強(qiáng)了紋理特征，氣孔等缺陷信息清晰地顯現(xiàn)出來，且保持了邊緣信息，有助于檢測人員標(biāo)注缺陷信息。

圖2 增強(qiáng)結(jié)果圖Fig. 2 Enhanced images

2.3 定性定量地評估模型

經(jīng)典的圖像增強(qiáng)方法有HE 和SSR，現(xiàn)有流行算法有LR3M 方法[10]，STAR 方法[11]，Shi’s 方法[12]和Retinex-Net[16]，本節(jié)用這些方法來評估本文模型。如圖3 所示，實(shí)驗(yàn)選取了2 組不同的鐵路貨車鑄件DR 圖像，圖3(a)是原圖像，圖3(a)上部分是第1 組DR 圖像，3(a)下部分是第2 組DR 圖像，右圖是左圖中方框區(qū)域的局部放大圖。

圖3 不同方法的增強(qiáng)圖Fig. 3 Enhancement images of different methods

從圖3(b)和圖3(c)中可以觀察到，HE 和SSR方法可以顯著提高圖像的整體對比度，但局部區(qū)域亮度過強(qiáng)或過暗，丟失了圖像的部分真實(shí)信息，不利于缺陷的檢測。STAR 方法，Shi’s 方法和LR3M 方法得到的增強(qiáng)圖像不易捕捉圖像缺陷細(xì)節(jié)。由于沒有標(biāo)準(zhǔn)地配對DR 圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練，因此，Retinex-Net 方法得到的增強(qiáng)圖像對比度低，圖像信息損失嚴(yán)重。而本文方法得到的增強(qiáng)圖像提高了圖像的對比度，明顯突出了缺陷等細(xì)節(jié)信息，給人以良好的視覺體驗(yàn)效果，有利于檢測人員識別缺陷細(xì)節(jié)。

為了進(jìn)一步評估本文方法，需要計算圖像的信息熵和平均梯度。其中，圖像的信息熵反映了圖像中平均信息量的多少，通常情況下，圖像信息熵越大，其信息量就越豐富，質(zhì)量就越好。信息熵的計算公式如式(18)所示，p(ri)表示第i個像素灰度值出現(xiàn)的概率。平均梯度顯示了圖像中紋理細(xì)節(jié)的反差變化速率，一般而言，圖像的平均梯度越大，對應(yīng)圖像層次越豐富，平均梯度計算公式如式(19)所示。下面分析比較不同方法下得到的圖像的信息熵和平均梯度信息。

觀察表2 和表3 可知，與原圖相比，HE 方法提高了圖像的平均梯度，使得增強(qiáng)后的圖像層次更加清晰，但該方法降低了圖像的信息熵，導(dǎo)致增強(qiáng)圖中信息的損失。SSR方法無法顯著提高圖像的信息熵和平均梯度，對于增強(qiáng)圖像細(xì)節(jié)效果不佳。STAR 方法和Shi’s 方法改善了圖像的信息熵，但平均梯度有所下降，導(dǎo)致圖像層次信息的損失。LR3M 方法提高了圖像的平均梯度，對于不同DR圖像的信息熵改善效果不同，對于不同圖像的增強(qiáng)效果不穩(wěn)定。Retinex-Net 方法得到的圖像的信息熵及平均梯度有一定提高，但實(shí)際增強(qiáng)后的圖像效果卻不理想。而本文方法顯著提高了圖像的信息熵和平均梯度，即得到的圖像含有豐富的信息量，層次結(jié)構(gòu)也更加分明。

表2 信息熵對比結(jié)果Table 2 Information entropy comparison results

表3 平均梯度對比結(jié)果Table 3 Average gradient comparison results

3 結(jié)論

1) 提出一個基于Retinex 理論和高斯全變分的增強(qiáng)模型，利用基于高斯全變分的濾波器估計圖像光照圖，利用指數(shù)局部導(dǎo)數(shù)作為權(quán)重項(xiàng)來更好地提取有意義的紋理細(xì)節(jié)反射圖，最后用交替優(yōu)化算法進(jìn)行求解，將反射圖像作為最后增強(qiáng)圖像。

2) 相比于已有的一些增強(qiáng)方法，本文方法保留了圖像的結(jié)構(gòu)信息，增強(qiáng)了圖像缺陷細(xì)節(jié)，改善了圖像的視覺質(zhì)量。與原圖相比，增強(qiáng)后的圖像的信息熵提高了8%以上，平均梯度至少提高為原來的6倍。

3) 本文方法提高了DR 圖像檢測缺陷的能力，促進(jìn)了鐵路貨車鑄件的無損檢測。