基于視覺顯著度的污損圖像缺陷識別方法研究

王洋迪，郭文明

(北京郵電大學計算機學院，北京 100876)

1 引言

機器視覺對圖像進行無損檢測是目前國內(nèi)外研究的重點，而在視覺檢測、識別以及評價技術(shù)當中，對圖像中的目標缺陷信息進行分割與識別是目前研究的關(guān)鍵之處[1]。對于圖像缺陷目標的分割與識別技術(shù)，提出了不同的方法，例如不同的閾值方法、形態(tài)學方法以及分水嶺方法等。但對于復雜圖像背景下，獲取微小缺陷目標，現(xiàn)有傳統(tǒng)方法恐怕難以分割與識別，因此，引入視覺顯著度。視覺顯著度使人腦皮層可以在有限的神經(jīng)資源下很好地將外部世界信息進行攝入與分析，即使處于復雜的背景下，也可迅速地將注意重點聚集在相對顯著的目標上，從而視覺皮層能夠?qū)︼@著目標優(yōu)先進行細致分析。那么，如何高效準確地對復雜背景下的圖像缺陷進行識別，對該問題進行研究具有重要意義[2]。

尹立航[3]等人提出基于改進多尺度采樣分析的污損圖像缺陷識別方法，該方法對原有多尺度算法的符號模式進行改進，使原來的劃分區(qū)間得到增加；采用控制變量法對污損圖像的最優(yōu)尺度進行識別，獲取最佳鄰域像素值；將污損圖像的多尺度特征進行提取，將各個尺度間的特征向量進行連接，用于表示污損圖像；最后利用近鄰分類器完成對污損圖像缺陷部分的識別。該方法在對污損圖像缺陷進行識別時，沒有對污損圖像進行去噪處理，無法保留細節(jié)信息，導致識別時間較長。唐長明[4]等人提出基于改進自適應(yīng)遺傳算法和二維最大熵的污損圖像缺陷識別方法，該方法首先利用小波變換對污損圖像進行預(yù)處理，獲取去噪后的污損圖像，其次采用二維最大熵算法選取合適閾值，對污損圖像進行劃分，得到目標區(qū)域和背景區(qū)域，最終結(jié)合改進的自適應(yīng)遺傳算法提高分割速度，完成對污損圖像缺陷部分的識別。該方法在對污損圖像缺陷進行識別時，無法獲取有用信息，導致識別敏感度較低。戴鵬[5]等人提出基于半監(jiān)督深度學習的污損圖像缺陷識別方法，該方法首先利用稀疏自編碼(SAE)網(wǎng)絡(luò)對無標簽的數(shù)據(jù)集進行迭代學習，獲取污損圖像稀疏表面特征；其次將訓練好的SAE網(wǎng)絡(luò)與softmax層進行連接，形成分類網(wǎng)絡(luò)；最后將具有類別標注的子數(shù)據(jù)集進行二次訓練，且對參數(shù)進行相應(yīng)調(diào)整，獲取最終的缺陷識別模型，利用該模型實現(xiàn)對污損圖像缺陷部分的識別。該方法在對污損圖像缺陷進行識別時，易遺失有效信息，增加了識別難度，導致識別效果較差。

為了解決上述方法存在的問題，提出基于視覺顯著度的污損圖像缺陷識別方法，該方法首先對污損圖像進行去噪，其次提取圖像中的視覺顯著度，通過顯著特征矩陣獲取視覺顯著圖，最終將視覺顯著圖與圖像分割相結(jié)合，完成對污損圖像缺陷的識別。

2 圖像預(yù)處理-傅里葉變換

對圖像信號進行定義，表示為S(m，n)，此時圖像信號是功率信號，則自相關(guān)函數(shù)R(τ)表示為

(1)

功率譜密度求解的主要目的是證明對應(yīng)的信號是能量信號，并將其進行表示[6，7]，對圖像進行假設(shè)，假設(shè)此時圖像在局部窗口內(nèi)是屬于平穩(wěn)過程的，該窗口可表示為T，平穩(wěn)過程定義為S(u，v)，此時，處于局部窗口內(nèi)的圖像信號均視為能量信號，表示為ST(t)，且對應(yīng)的功率譜密度PS(f)與其自相關(guān)函數(shù)R(τ)是屬于傅里葉變換關(guān)系的，進而得到下式

(2)

將式(1)代入至式(2)中，取得平穩(wěn)過程的功率譜密度，即

(3)

利用濾波器對局部窗口內(nèi)的平穩(wěn)過程進行處理，將圖像高頻部分進行濾除，且對原始圖像進行平滑處理[8，9]，得到下式

S(m，n)=H(u，v)*S(u，v)

(4)

式中，H(u，v)為濾波器，S(m，n)則是對圖像進行平滑處理后得到的結(jié)果。

對S(u，v)進行傅里葉反變換，使圖像進行復原，得到相應(yīng)的經(jīng)過平滑處理的圖像，表示為G(m，n)，其表達式如下

G(m，n)=ifft(S(u，v))

(5)

通過平滑處理達到圖像去噪的效果。

3 基于視覺顯著度的污損圖像缺陷識別方法

根據(jù)圖像預(yù)處理結(jié)果，提取污損圖像的視覺顯著度，根據(jù)顯著特征矩陣形成對應(yīng)的視覺顯著圖，圖中含有的各像素值即為污損圖像對應(yīng)位置像素的視覺顯著性大小，缺陷部分明顯具有較強的視覺顯著性，以此為依據(jù)，對污損圖像區(qū)域進行識別與定位[10]。

3.1 特征提取

假設(shè)原始圖像為I(x，y)，經(jīng)過預(yù)處理的圖像表示為Ip(x，y)，將圖像進行劃分，取得大小相同的N個圖像塊，相鄰空間的圖像塊會出現(xiàn)重疊部分，重疊部分存在50%左右，即X=[x1，x2，…，xN]∈Rm×N，將每個圖像塊按照左上角到右下角的順序依次進行排列，第k個圖像塊進行矢量化后的結(jié)果表示為xk，其中xk∈Rm，且k∈[1，N]。

將分割后的圖像塊作為訓練樣本集，表示為X，求取最小化問題目標函數(shù)，獲取特征提取模板，表達式如下

(6)

經(jīng)過上述計算，將第k個圖像塊表示為xk，該圖像塊所對應(yīng)的特征向量可通過下式進行計算

fk=pinv(W)xk

(7)

式中，xk的特征向量表示為fk，且fk∈Rn，矩陣偽逆運算表示為pinv(·)。按照上式依次對每個圖像塊進行計算，獲取全部圖像塊的特征向量，形成特征矩陣進行輸入，標記為F=[f1，f2，…，fN]∈Rn×N。

3.2 矩陣低秩復原

特征矩陣F可表示為

(8)

式中，L表示圖像中特征比較相似的背景區(qū)域所對應(yīng)的低秩矩陣，S表示圖像中可引起視覺注意的顯著區(qū)域所對應(yīng)的稀疏矩陣?？赏ㄟ^下式對L與S進行求解

(9)

3.3 獲取視覺顯著圖

對于任意圖像塊，k∈[1，N]，對其顯著值進行求解，表達式如下

(10)

由上述可知，相鄰圖像間會出現(xiàn)重疊情況，重疊部分在50%左右，也就是說，多個圖像中會含有同一像素點，因此，需對圖像中的任意像素點進行計算，表達式如下

s.t.(x，y)∈xg

(11)

式中，任意像素點表示為(x，y)，SC(x，y)表示為該像素點所對應(yīng)的顯著值，其含有同一像素點的圖像塊個數(shù)表示為h，含有像素點的第g個圖像塊所對應(yīng)的顯著值表示為SC(xg)，且g∈[1，h]，此時，完成對污損圖像的視覺顯著圖的獲取。

3.4 污損圖像缺陷識別

經(jīng)過上述分析與計算，獲取污損圖像的初始視覺顯著圖，為了更加精準地實現(xiàn)污損圖像缺陷區(qū)域的識別，將視覺顯著圖與圖像分割進行結(jié)合，完成對污損圖像缺陷的識別[11]。

為了獲取較為精準的缺陷區(qū)域邊界信息，采用線性迭代聚類像素算法[12]，對污損圖像進行分割。將污損圖像定義為Ip(x，y)，將分割后的圖像表示為R={R1，R2，…，RM}，分割后的區(qū)域數(shù)量為M，把分割后的區(qū)域按照左上角到右下角的順序依次進行排列，第c個區(qū)域中包含的全部像素點表示為Rc，且c∈[1，M]。

將視覺顯著圖作為依據(jù)，對區(qū)域級的視覺顯著度進行計算，計算公式如下

(12)

式中，區(qū)域Rc的顯著值表示為SC(Rc)，區(qū)域Rc中所包含的像素點個數(shù)表示為|Rc|。

利用閾值對最終的缺陷區(qū)域進行判斷，即

(13)

式中，缺陷識別結(jié)果表示為IT(Rc)，且c∈[1，M]。

4 實驗與結(jié)果

為了驗證基于視覺顯著度的污損圖像缺陷識別方法的可行性與有效性，需進行相關(guān)實驗。實驗環(huán)境：硬件部分為Intel Core i7-4790@4.80GHz Quad Core Processor、4GB RAM、NVIDIA GeForce GTX 970 和 2GB GDDR5；軟件部分為Windows 10操作系統(tǒng)、MATLAB(2016a)和Visual Studio 2015。

分別采用基于視覺顯著度的污損圖像缺陷識別方法(方法1)、基于改進多尺度采樣分析的污損圖像缺陷識別方法(方法2)、基于改進自適應(yīng)遺傳算法和二維最大熵的污損圖像缺陷識別方法(方法3)進行相關(guān)實驗。如圖1中的污損圖像所示，是含有微小缺陷目標的復雜背景污損圖像，圖像整體亮度極其不均、灰度起伏較大以及污損程度較重，微小缺陷目標占整體圖像的千分之一比例，難以對圖像進行準確識別，對比不同方法的識別效果，對比結(jié)果如圖2所示。

由圖2可知，只有方法1對該污損圖像完成了識別，獲取到缺陷區(qū)域，方法2和方法3并沒有識別到該污損圖像中的缺陷，證明方法1的識別準確性更高，因為方法1在對污損圖像缺陷部分進行識別時，對污損圖進行了去噪處理，避免污損圖像細節(jié)信息被損壞，在污損程度降低的基礎(chǔ)上結(jié)合視覺顯著圖與圖像分割使圖像缺陷識別更加準確。

對含有不同程度缺陷的污損圖像進行測試，對比不同方法對污損圖像的平均識別時間，對比結(jié)果如圖3所示。

據(jù)圖3可知，方法2與方法3的平均識別時間均高于方法1，證明方法1的識別效率更高，因為方法1在對污損圖像缺陷部分進行識別時，對污損圖像進行了去噪處理，保留了污損圖像中的顯著特征與細節(jié)信息，結(jié)合視覺顯著圖可優(yōu)先對顯著區(qū)域進行細致分析與決策，從而縮短了對污損圖像缺陷識別時間，為后期對污損圖像缺陷識別工作奠定了基礎(chǔ)。

對比不同方法的識別敏感度，對比結(jié)果如圖4所示。

分析圖4可知，方法1的識別敏感度要高于方法2和方法3，證明方法1的識別能力較強，因為方法1在對污損圖像缺陷部分進行識別時，在去噪處理的基礎(chǔ)上，對污損圖像特征進行提取，根據(jù)提取結(jié)果可以避免污損圖像中有效信息丟失的情況，結(jié)合視覺顯著圖與圖像分割處理結(jié)果，取得了較好的識別效果。

5 結(jié)束語

在圖像復雜背景下，對于微小圖像目標，目前的圖像缺陷識別方法在對污損圖像缺陷進行識別時，沒有對污損圖像進行去噪處理，導致缺陷識別時間較長，識別敏感度較低以及識別缺陷區(qū)域效果較差。對此問題，提出基于視覺顯著度的污損圖像缺陷識別方法，通過圖像去噪、特征提取、視覺顯著圖形成與圖像分割相結(jié)合，完成了對污損圖像缺陷部分的識別。實驗結(jié)果表明，該方法的圖像識別效果較好，可以獲取污損圖像中的細節(jié)信息，并且識別時間較短，敏感度較高，說明該方法有效解決了目前方法中存在的問題，可以為圖像缺陷識別方法的設(shè)計與使用提供新的思路。

雖然所提方法實現(xiàn)了對傳統(tǒng)方法的改進，但是該方法沒有考慮色彩與亮度對圖像缺陷識別的影響，當圖像亮度不均時，如何對缺損圖像進行有效識別是接下來重點研究的內(nèi)容。