基于視覺顯著模型的織物起球等級評價

管聲啟，胡璐萍，常 江，倪奕棋，王琪璇，管宇燦，張理博

(1.西安工程大學 機電工程學院，陜西 西安 710048；2.紹興市柯橋區(qū)西紡紡織產(chǎn)業(yè)創(chuàng)新研究院，浙江 紹興 312030;3.山西大同大學 計算機與網(wǎng)絡工程學院，山西 大同 037009)

0 引 言

隨著人們生活水準的提高，消費者對織物的要求也越來越高，尤其是織物的抗起球性能，因此，織物的起毛起球檢測也成為該領域的焦點。當前織物起毛起球性能的評價主要依靠傳統(tǒng)的標準樣照對比法，該方法根據(jù)給定的樣品結合各級別起毛起球的特點(如毛球數(shù)、毛球大小和分布密度等)信息進行客觀地評價，具有一定的主觀性。由于個體差異，不可能對織物的起球性能進行客觀的等級評估。隨著機器視覺在工業(yè)自動化中的廣泛應用，基于機器視覺的織物起球評定技術應運而生[1-2]。

在用于織物的圖像分析技術方面，已經(jīng)進行了許多研究。文獻[3]通過傅里葉變換進行起球等級評估，但傅里葉變換是一種無法獲得圖像局部信息的全局方法。文獻[4]使用二維離散小波變換來處理織物圖像。盡管小波變換可以抑制常規(guī)和明顯的突變信號，但它不能抑制織物紋理的單個信號，單個信號會影響客觀評價的準確性。文獻[5]通過小波變換的局部二值模式[6]提取了起球特征，但是，起球的局部細節(jié)很容易丟失。文獻[7]等結合小波變換和Gabor濾波方法進行圖像分割。盡管該方法可以有效地實現(xiàn)織物絨毛和起球圖像的去噪處理，并獲得織物毛球的分割圖像，但是由于織物毛球的尺寸不均勻和織物紋理粗糙度不同，可能會造成小波分解中毛球層的定位不準確，導致毛球信息丟失。文獻[8]通過傅里葉變換和小波分析相結合的方法獲得了全局信息和局部細節(jié)，但是在特定條件下，起球可能會周期性出現(xiàn)，因此很難辨別。

由上述分析可知，目前織物起球圖像客觀評價法仍面臨無法避免背景紋理和光照不均等低頻信號的干擾問題，從而影響最終的起球分級。假如機器能模仿人類主觀評級法只提取感興趣的起球信息，這樣就能彌補傳統(tǒng)圖像處理技術的缺陷，具有重要意義[9]。因此，本文提出了一種基于視覺注意機制的起球分級新方法，以解決上述問題。首先，通過高斯金字塔分解及中央-周邊操作得出局部特征顯著圖；其次，融合譜殘差分析法獲得的全局特征顯著圖得出織物起球顯著圖；最后，對顯著圖進行分割得出起球興趣圖，通過提取興趣圖起球特征參數(shù)從而對織物毛球進行分析和等級評定。

1 視覺注意機制顯著模型

視覺注意機制是人類視覺系統(tǒng)中一種特殊機制。人類視覺通過快速掃描全景圖像信息并傳入大腦，通過大腦對全景信息的分析與理解，獲取需要集中注意的目標區(qū)域(通常稱為關注焦點)，然后在該區(qū)域投入更多的關注，從而獲取關注目標的詳細信息，同時抑制其他無用的信息。視覺注意機制實際上是在保持低頻信息的同時抑制視野中的高頻信息[10]。文獻[11]提出了視覺注意機制模型和顯著性目標的概念，它采用高斯金字塔模型，并使用中央-周邊差分算子來處理圖像以獲得感興趣區(qū)域。小波變換具有在多尺度空間和頻域上同時分析的特點，因此具有良好的局部信息表示能力。通過局部分析圖像的整體特征(顏色、紋理、方向、亮度等)，可以有效地消除特征圖像中的冗余信息，并保留圖像中的顯著部分，從而獲得局部分析的特征顯著圖。文獻[12]提出了譜殘差分析法，該方法對圖像進行全局分析，并使用譜殘差模型進行顯著性檢測。該方法認為圖像的信息全部包含在圖像的幅度譜信息中，因此減去先驗知識的幅度譜，剩下的就是顯著部分的幅度譜，從而得到顯著部分。

高斯金字塔分解具有空域和時域上同時執(zhí)行多尺度分析的能力，對各尺度圖像低通濾波處理建立金字塔模型并采用中央-周邊差分算子獲取局部分析的特征顯著信息，但是高斯金字塔分解具備很好的局部信息表征能力，容易引起部分冗余信息被檢測。因此，本文在抑制背景多余信息的同時，進一步融合圖像的全局特征顯著信息來增強顯著目標。譜殘差算法從圖像全局考慮，直接對原始圖像的灰度圖像做傅里葉變換處理，通過與均值濾波的圖像做差分處理即可獲得全局分析的顯著目標檢測圖像。

2 改進的顯著模型算法

為了檢測顯著目標，通常將圖像分為顯著部分和非顯著部分。構造織物起球的顯著性圖，旨在增強織物起球信息和背景信息之間的對比度(顯著性)，為織物的分割提供條件。本文算法主要通過基于高斯金字塔分解局部特征顯著和基于譜殘差分析的全局特征顯著構造視覺注意機制顯著模型，進而改善起球的顯著性圖，增強顯著目標，在背景中抑制冗余信息，從而提取織物毛球特征參數(shù)進行起球等級評定。高斯金字塔可以模仿人類視覺的中央-周邊操作，通過對各尺度圖像低通濾波處理來建立金字塔模型，同時采用中央-周邊差分算子獲取局部分析的特征顯著信息。為了避免高斯金字塔分解過程中出現(xiàn)部分冗余信息被檢測，通過譜殘差算法直接對原始圖像的灰度圖像做傅里葉變換處理，利用對譜殘差及相位譜進行傅里葉逆變換并進行重構獲得全局分析的顯著目標檢測圖像。改進算法流程如圖1所示。

圖 1 織物起球疵點檢測顯著模型Fig.1 Saliency model of fabric pillingdefects detection

2.1 局部特征顯著圖

2.1.1 高斯金字塔分解 高斯金字塔能夠對一幅圖像進行多尺度表示，從而可以模仿人眼看到近處的圖像較為細致(對應金字塔底層)，看到遠處圖像較為模糊(對應金字塔頂層)，所以在一定程度上可以模仿視覺感受野。

由于高斯濾波器[13]可用于消除高斯噪聲，也可用于多尺度計算，因此，可先用高斯低通濾波平滑起球圖像，然后以方差為1.6，采樣率為2，向下采樣處理底層子圖像，每次分解獲得的圖像分辨率是前一層圖像的1/2。接著繼續(xù)降采樣處理第2層子圖像，以此類推，最終消除織物紋理、光照不均等噪聲[14]。處理結果如圖2所示。

(a) 織物起球圖像

(b) 基于高斯金字塔的4層分解

(c) 分解后的放大子圖圖 2 織物起球圖像高斯分解Fig.2 Gaussian decomposition of fabricpilling image

圖2(a)為織物起球原始圖像，圖2(b)為起球圖像的高斯金字塔分解圖。將金字塔分解圖層通過上采樣放大后如圖2(c)，通過觀察可以看出，第1層圖像主要包含周期性紋理、起球等信息；第2層圖像中周期性紋理明顯減少，非周期性紋理明顯增多，光照不均(左上角光照較亮，右下角光照較暗)更明顯，該圖層主要包括起球、較少的周期性紋理、非周期性紋理、光照不均等低頻信息；第3層圖像中周期性紋理已經(jīng)去除，主要包含起球、非周期性紋理、光照不均等低頻信息；第4層子圖像主要包含非周期紋理信息和光照不均信息等低頻信息。如果選擇第3層圖與第4層圖進行計算消除光照不均和非周期性紋理，則可以提取織物起球信息。

2.1.2 中央-周邊操作 為模擬感受野，在高斯金字塔分解后，通過中央-操作織物起球子圖像[15]，該方法主要利用圖層與圖層作差的方式提取織物的起球信息，從而使織物起球信息顯著度提高，根據(jù)織物起球顯著圖可表示為

s(δ)=|g(s)Θg(c)|

(1)

式中：δ為周邊層與中央層之間層差；Θ為中央-周邊操作；c為中央尺度；s=c+1為周邊尺度[16]。

選取合適的中央層與周邊層是提高檢測顯著度關鍵，僅對包含起球、光照不均以及不平整信息中央層與主要含光照不均以及不平整信息周邊層進行差分操作，才能提高織物起球信息的顯著度。因此，選取子圖第3層與第4層進行中央-周邊操作獲得織物起球信息，中央-周邊操作結果如圖3所示。

圖 3 織物起球局部特征顯著圖Fig.3 Local feature silencing saliencyimage of fabric pilling

對比圖2(a),從圖3可以看出，織物周期性紋理已被去除，光照不均明顯得到改善，織物起球更加突出，織物起球圖像的顯著度得到了提高。

2.2 全局特征顯著圖

高斯金字塔分解具備很好的局部信息表征能力，但是容易引起一些冗余信息被檢測。根據(jù)織物起球圖像特征，可將織物起球圖像信息分為新穎部分和冗余部分。

在織物起球圖像中，反復出現(xiàn)的均勻特征是織物紋理，是冗余信息；起球則為新穎部分,可通過抑制織物起球圖像的冗余部分得到圖像的新穎部分[17]。

根據(jù)上述理論，采用譜殘差分析抑制起球圖像中冗余信息來增強顯著目標。譜殘差分析法[18-19]是獨立于對象特征的視覺顯著性檢測模型。該模型通過對原始圖像的灰度圖像做傅里葉變換處理，利用對譜殘差及相位譜進行傅里葉逆變換并進行重構獲得織物起球全局特征顯著圖，顯著效果如圖4所示。

圖 4 織物起球全局特征顯著圖Fig.4 Global feature saliency image of fabric pilling

2.3 織物起球顯著圖

為了獲取織物起球顯著圖，將局部特征顯著圖和全局特征顯著圖進行線性融合，可表示為

k(t)=af(t)+(1-a)h(t)

(2)

式中：k(t)為融合后的起球特征顯著圖；f(t)為局部特征顯著圖；h(t)為全局特征顯著圖；a為2幅圖像的融合度，a∈{0,1}；t為像素坐標。融合后織物起球顯著圖如圖5所示，實驗結果顯示，融合度a取0.7時取得了較好的融合效果。

圖 5 織物起球顯著圖Fig.5 Saliency image of fabric pilling

2.4 織物起球興趣區(qū)形成

為了客觀地評定織物起球等級，在起球顯著圖的基礎上，通過高斯擬合閾值分割法[20]對起球部分進行分割，效果如圖6(a)所示，剔除噪聲后起球興趣圖如圖6(b)所示。

(a) 織物起球興趣區(qū) (b) 剔除噪聲后起球興趣圖圖 6 織物起球興趣圖Fig.6 Interest images of fabric pilling

圖6(a)盡管采用高斯擬合閾值分割法獲得了較好毛球圖像，但它也與少量的非毛球信息噪聲點混合在一起，因此有必要濾除這些噪聲點。首先，通過統(tǒng)計織物起球興趣圖的數(shù)目個數(shù)和面積大小，然后在直方圖[0，255]之間每隔10進行閾值分割，找出面積與數(shù)目突變的點，對小于該閾值的像素點進行剔除，從而有效濾除非毛球信息噪聲，噪聲點濾除后的效果如圖6(b)所示，可以看出效果有明顯改善。

3 圖像質量評估

為評估織物起球顯著特征圖所獲得的信息是否充分、準確，采用結構相似度評價算法[21]將織物起球圖像和起球顯著圖像的信息量進行對比來評估顯著圖像的質量。該算法利用圖像像素間的相關性進行圖像質量客觀評估。該算法引入了基于結構信息化質量評估的替代補充框架進行圖像的結構相似度分析。結構相似度算法[22]可表示為

S(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ

(3)

利用結構相似度進行圖像質量評估時，將織物起球顯著圖像分解為大小為11×11的子圖像，利用式(3)計算出子圖像的評分，當計算出圖像所有的子圖像評分后，整幅圖像的評分可以由式(4)計算子圖像的平均結構相似度，得[23]：

(4)

式中：j為參考圖像和待測圖像中第j個圖像；M是圖像的子圖像總數(shù)。Sm的取值范圍為[0，1]。當Sm取值為1時，表明參考圖像和要測試的圖像相同或非常相似，要測試的圖像的質量極高；當Sm取值為0時，表明參考圖像和要測試的圖像非常不同，要測試的圖像的質量極低。

4 實驗結果及分析

4.1 實驗條件

為了驗證本文算法的有效性，從標準圖像庫中選擇100幅起球樣本圖像,其中，1～20為1級起球圖像，21～40為2級起球圖像，41～60為3級起球圖像，61～80為4級起球圖像，81～100為5級起球圖像，每幅圖像的像素為600×600；在Inteli7-7500處理器，8 GiB內存，Windows10操作系統(tǒng)的計算機上進行驗證，采用Matlab R2018b進行編程。

為評估織物起球顯著特征圖所獲得的信息是否充分、準確，對織物顯著圖進行圖像質量評估，其平均結構相似度值結果如表1所示。

表1 織物起球1～5級顯著圖平均結構相似度值

通過表1可知，織物起球顯著圖1～5級的平均結構相似度值均大于0.69，表示所得織物起球顯著圖像和輸入的織物起球圖像相似度較高，圖像失真較少，即待測圖像的質量較高，保留了更多的原圖像的結構化信息。通過實驗得出織物起球顯著圖分割效果如圖7所示，圖7(a)為織物起球1～5級原始圖像，圖7(b)為織物起球顯著圖分割效果圖。

(a) 原始圖像

(b) 分割效果圖圖 7 織物起球1～5級原始圖像與分割效果對比圖Fig.7 Comparison of fabric pilling grade 1～5 original image and segmentation effect

4.2 實驗及其效果分析

為了驗證客觀評估可替代主觀評估方法的可能性，本文采用與人工評級的對比實驗。為了驗證本文算法的準確性，采取計算織物起球總面積、起球粒數(shù)這2個特征作為判斷起球等級指標，其中：起球總面積采用統(tǒng)計起球興趣圖中疵點的白色連通區(qū)域中的像素；起球粒數(shù)的計算，采用八連通鄰域法搜索像素值不為零的連通區(qū)域。通過人工標定得出織物起毛起球評級標準，如表2所示。

表2 織物起球1～5級評級標準

本文算法與織物起球1～5級評級標準對比實驗結果如圖8所示，圖8(a)為織物起球1～5級評級標準，圖8(b)為該文算法評級結果。

圖8中，通過對比織物起球1～5級評級標準結果與該文算法評級結果，可以看出用織物起球總面積特征進行等級評定有95個樣本的起球圖像等級評價是正確的，準確率為95%，其中，1個1級起球樣本被錯誤識別為3級，1個2級起球樣本被錯誤識別為1級，1個3級起球樣本被錯誤識別為1級，1個2級起球樣本被錯誤識別為2級，1個3級起球樣本被錯誤識別為4級；用織物起球個數(shù)特征進行等級評定有96個樣本的起球圖像評價是正確的，準確率為96%，其中，1個1級起球樣本被錯誤識別為2級，1個2級起球樣本被錯誤識別為3級，2個3級起球樣本被錯誤識別為2級，1個4級起球樣本被錯誤識別為3級。分析誤判原因：主要是因為織物起球數(shù)目與起球總面積等級劃分不明確引起的誤判。綜合上述可得，該算法能有效濾除各種噪聲，得到有效的起毛起球特征參數(shù)，實現(xiàn)1～5級織物起毛起球等級的準確評定。

(a) 人工標定織物起球1～5級評級標準

(b) 本文算法評級圖 8 織物起球圖像評價結果Fig.8 Evaluation results of fabric pilling image

5 結 語

針對現(xiàn)有的起球客觀等級評價效果不理想，通過高斯金字塔分解實現(xiàn)毛球與織物紋理分離并去除光照不均等信息，在此基礎上采用中央-周邊操作獲得織物起球疵點局部特征顯著圖，然后通過融合譜殘差分析獲得全局特征顯著圖使織物起球顯著度得到顯著提高，最后采用高斯擬合閾值分割得出織物起球興趣圖提取起球特征。仿真結果證明：本文織物起球等級客觀評價方法能夠提高起球圖像的顯著度，從而使織物起球客觀評價具有較高的準確率，證實了本文算法的可行性和有效性，但該算法的泛化性還有待進一步研究。