一種改進的基于上下文的破損顯著性檢測

丁曹凱，周武能

(東華大學信息科學與技術學院，上海 201620)

0 引言

隨著科學技術的發(fā)展，大數(shù)據(jù)時代的到來，大量信息數(shù)據(jù)和圖像不斷涌現(xiàn)，如何準確識別圖像，利用信息數(shù)據(jù)中的有用部分檢測相關缺陷變得越來越重要。在工業(yè)上，運行成熟的圖像處理方法，結合先進的識別程序，通過物件透明包裝薄膜上的孔洞和裂紋，精準識別并判斷包裝是否破損具有重要的實際運用價值。準確的識別方法能夠有效提高效率，為塑料包裝產(chǎn)業(yè)的檢測提供便利。

Hough 變換能夠檢測到圓，但是速度較慢，點Hough(PHT)［1］變換將傳統(tǒng)的Hough 變換的三維參數(shù)簡化成一維參數(shù)，能夠提高辨識圓的速度。Graphbased 超像素分割［2］利用最小生成樹的思想來分割圖片，分割速度快，能夠很好地保持邊緣，但是形狀和大小不一致?；谝曈X的顯著性檢測能從海量信息中提取出重要的數(shù)據(jù)進行深入分析，并且忽略了一些相對不重要的部分，從而提高圖像處理速度，并為后期的圖像處理奠定基礎。

近幾年來，顯著性檢測方法得到了迅速發(fā)展，該方法分為自底向上和自頂向下2 種類型。其中Itti［3］等人在灰度、顏色和方向通道上建立多尺度的高斯金字塔，然后通過高斯差分計算中心周邊的差值，并對相關的結果進行歸一化和融合以得到顯著性圖;Achanta［4］等人通過圖像均值減去高斯核函數(shù)來等效多尺度的高斯差分，以模擬局部中心周邊差得到顯著性圖;侯曉迪［5］利用傅里葉變換和離散余弦變換的相位信息提取圖像的顯著性圖，抑制了冗余信息，但是它在抑制了非顯著性區(qū)域的同時也抑制了顯著性區(qū)域。

隨著顯著性的發(fā)展，顯著性檢測方法向多種方法融合的方向發(fā)展。程明明［6］等人提出了一種基于區(qū)域的顯著性提取算法，既用到了區(qū)域的顯著性檢測方法，也融合了全局信息，使得到的顯著性圖的目標和背景更加具有區(qū)分度;謝玉琳、盧湖川［7］等人在貝葉斯框架下研究圖像的低層和中層信息，提出了一種新的自底向上的圖像顯著度檢測模型，能夠更好地強調突出圖像中的顯著性區(qū)域。

本文提出一種改進的基于上下文的顯著性檢測方法是多種算法的融合。先利用PHT 變換提取圓，然后利用基于圖論的超像素分割方法對圖像進行分割，再利用基于上下文的顯著性檢測對分割的圖像進行檢測。采用這種融合的顯著性檢測方法對塑料薄膜進行檢測，具有速度快，準確度高的特點。

1 本算法的相關工作

本文針對工業(yè)透明薄膜的檢測設計了一套方案，具體流程如圖1 所示。

圖1 流程圖

1.1 圖片的拍攝

在本文中，包裝材料是透明塑料薄膜，包裝過程采用熱處理，因此拍攝圖片時需要在黑暗的環(huán)境下進行。運用廣角鏡頭、同軸光源和碗狀光源進行拍攝，其中同軸光源可以有效減少薄膜反射率，碗狀光源主要是自動設置光源模式，將需要包裝的繩團和光線進行對比，拍攝效果更好。

1.2 PHT

PHT 變換根據(jù)圓周上任意2 條不平行弦的中垂線相交于圓心的幾何性質，讀取圓周曲線上的3 點進行計算，將傳統(tǒng)的Hough 變換圓檢測的三維參數(shù)轉化成一維參數(shù)，極大地降低了計算的復雜性，減少了對資源的需求。

PHT 變換中，每選取的3 個點稱為一個點組，假設圖像中待分析的點有N 個，那么則有(N(N-1)(N-2))/6 個點組，點組的選取原則是保證點組覆蓋所有的有效邊緣。在選取點組時采用固定距離的方法，即點組中第1 個點與第2 個點、第2 個點與第3 個點之間的順序間隔相等。

1.3 改進的基于上下文的顯著性檢測

顯著性檢測通常取決于該像素點或者圖像塊和其它的像素點或者圖像塊之間的差異。

1.3.1 Graph-based 超像素分割

很多顯著性檢測算法都是基于像素點之間的差異性。本文采用的是基于圖像塊的顯著性檢驗。為了提高計算速度，圖像處理單位通常都是圖像塊，所以采用基于圖論的方法分割出相應的圖塊，并對分割的圖塊進行顯著性的檢測。

超像素生成算法大致可分為基于圖論和基于梯度下降的2 類算法。其中基于圖論的超像素分割方法有Felzenwalb［8］等人提出的Graph-based 方法，Shi［9］等人提出的Ncuts(Normalized Cuts)方法，Liu［10］等人基于熵率的方法等。本文采用的是Graph-based 超像素分割方法。

Graph-based 方法是基于節(jié)點聚類的，該方法將生成樹中最短路徑上的節(jié)點歸為一類。設一個無向圖為G=〈V，E〉，V 為圖中節(jié)點的集合，E 為連接節(jié)點的邊集。每條邊(vi，vj)在和相鄰的節(jié)點進行通信時都有一個權值w(vi，vj)，該權值是通過計算相鄰像素之間的特征差異得到。相同區(qū)域內部像素點之間的邊的權重小，不同區(qū)域之間像素點的邊之間的權重大。

在本文中，定義準則D，判斷邊界是否成立:首先定義類內差異C?V 為類內最小生成樹(MST)的最大權值，如公式(1)所示;定義類間差異為連接2 部分邊的最小值，如公式(2)所示。

其中C1，C2為2 個不同區(qū)域。如果C1，C2之間不存在相互連接的邊，那么Dif(C1，C2)=∞，為了滿足類間差異大于類內差異，得出準則D 的公式形式如(3)所示。

式(4)中的閾值函數(shù)τ 是為了確定類間邊界依據(jù)定義的類內差異和類間差異相差的大小。為了避免區(qū)域大小造成Int(C)不能準確估計特征情況的發(fā)生，使用一種區(qū)域面積大小的閾值函數(shù)，如公式(5)所示。

其中，|C|是區(qū)域C 的面積，是一個取決于觀測規(guī)模大小的常數(shù)，其值越大說明各個區(qū)域的面積越大，反之越小。

1.3.2 基于上下文的顯著性檢測方法

本文進行的基于上下文的顯著性檢測是基于以下4 個原則［11-14］:

1)圖像局部的低層次特征，如亮度、顏色;

2)基于全局特征，排除出現(xiàn)頻次高的，保留出現(xiàn)頻次低的;

3)視覺組織的原則，顯著性區(qū)域是部分區(qū)域而不可能是全圖;

4)高層次的因素，譬如說人臉。

采用的主要思想是某像素周圍的圖像塊或者相關的信息反應了該像素所在位置的圖像上下文的信息，所以以該像素為中心的圖像塊或者相關的信息來表示像素的顯著性。只需考慮與它最近的K 個圖像塊，與這K 個圖像塊的差異越大則該圖像塊越顯著。一般來說，背景圖像塊與它相似的圖像塊之間的距離可近可遠;相對來說，顯著性區(qū)域的圖像塊應該離和它相似的圖像塊更近，離顯著性圖像塊距離越近的圖像塊越顯著。最后得到度量2 個區(qū)域不一致性的公式為:

其中，pi和pj分別表示2 個不同圖像塊，dcolor(pi，pj)為2 個圖像塊之間的顏色距離，dposition(pi，pj)為2 個圖像塊之間的空間距離。在實際中，考慮到?jīng)]有必要與所有的圖像塊進行比較，因此只考慮和候選塊最相似的K 個塊，最后得到候選塊的單一尺度下的顯著性計算公式為:

再在多尺度上對顯著性進行增強?？紤]到背景塊和顯著性塊間的差異，對于背景塊來說，在不同尺度下，其大部分具有相同的相似性，而對于顯著性塊來說，卻不一定。因此將多尺度融入到公式(7)中，則可以得到:

然后，用多尺度的集合表示該像素。假設R={r1，r2，...，rm}表示尺度，則像素i 處的顯著性可用不同尺度值的平均值表示，其公式為:

假設感興趣的目標像素一般分布比較集中，不會是全圖。所以，對主尺度生成的邏輯顯著性圖中的一個像素點，計算其周圍最近的一個非0 像素點到它的距離，生成一個距離圖，然后對其進行歸一化，得到dfoci(i)。最后對原來的進行一次加權得到:

2 實驗結果與分析

2.1 實驗結果

為了說明基于上下文的破損狀況顯著性檢測，運用Visual Studio 2010 進行實驗，實驗結果如圖2 所示。

圖2 實驗結果

如圖2 所示，圖(a)是利用碗狀光源拍攝的原圖;圖(b)是利用PHT 變換后得到的圖片;圖(c)是基于像素點的顯著性檢測;圖(d)是利用Graph_based 的超像素分割后得到的圖片;圖(e)是基于圖像塊的顯著性檢驗。

2.2 結果分析

通過多組實驗發(fā)現(xiàn)，利用PHT 變換提取圓的速度快，準確性高;由于本文先利用Graph_based 的超像素的分割方法進行超像素的分割，所以基于上下文的顯著性檢測速度快，并且效果也很理想，滿足了工業(yè)上對準確性和實時性的要求。直接利用圖像分割或者利用神經(jīng)網(wǎng)絡很難滿足工業(yè)上最基本最重要的實時性要求，而本文利用超像素分割解決了這一問題。

為了驗證算法的有效性，本文將AC［15］，GB［16］，SR［5］與本文的改進的基于上下文的顯著性檢測算法(CA)進行對比。效果如圖3 所示。

圖3 4 種算法的有效性比較

顯著性采用查準率和召回率進行評估，查準率是像素被正確指為顯著像素的百分比，召回率則是被檢測出的顯著像素和真正的顯著像素的比值。高的召回率是以減小查準率為代價的，因此有必要同時計算這2 個參數(shù)。這2 種方法都是基于閾值產(chǎn)生二進制的顯著性圖。在［0，255］范圍內逐步調整閾值的大小，得到查準率和召回率曲線如圖4 所示。由圖4 可知，在相同的召回率下，本算法的查準率高于其他算法的查準率，可見基于上下文的顯著性檢測方法優(yōu)于其它方法。

圖4 召回率-查準率曲線

3 結束語

本文采用改進的基于上下文的顯著性檢測方法，對工業(yè)透明塑料薄膜的破損情況進行檢測。該算法首先對拍攝的圖像進行PHT 變換，然后對PHT 變換的圖像進行基于Graph-based 的超像素的分割，最后對超像素分割后的圖像進行基于上下文的顯著性檢測。該算法準確性高，運行時間短，因此在工業(yè)上的應用具有可行性。

今后，筆者將針對針眼大小的孔洞、沒有包裝的透明薄膜繩團、繩團的側面進行檢驗研究。

［1］林金龍，石青云.用點Hough 變換實現(xiàn)圓檢測的方法［J］.計算機工程，2003，29(11):17-19.

［2］王春瑤，陳俊周，李煒.超像素分割算法研究綜述［J］.計算機應用研究，2014，31(1):6-12.

［3］Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysisi［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(11):1254-1259.

［4］Achanta R，Hemam S S，Estrada F J，et al.Frequencytuned salient region detection［C］// IEEE Conference on Computer Vision and Pattern Recognition.2009:1597-1604.

［5］Hou Xiaodi，Zhang Liqing.Saliency detection:A spectral residual approach［C］// 2007 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR 2007).2007:1-8.

［6］Cheng Mingming，Zhang Guoxin，Mitra N J，et al.Global contrast based salient region detection［C］// IEEE Conference on Computer Vision and Pattern Recognition.2011:409-416.

［7］Xie Yulin，Lu Huchuan.Visual saliency detection based on Bayesian model［C］// The 18th IEEE International Conference on Image Processing.2011:653-656.

［8］Felzenswalb P F，Huttenlocher D P.Efficient graph-based image segmentation［J］.International Journal of Computer Vision，2004，59(2):167-181.

［9］Shi Jianbo，Malik J.Normalized cuts and image segmentation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8):888-905.

［10］Liu Mingyu，Tuzel O，Ramalingam S，et al.Entropy rate superpixel segmentation［C］// IEEE Conference on Computer Vision and Pattern Recognition.2011:2097-2104.

［11］Wolfe J.Guided Search 2.0:A revised model of visual search［J］.Psychonomic Bulletin ＆ Review，1994，1(2):202-238.

［12］Treisman A，Gelade G.A feature-integration theory of attention［J］.Cognitive Psychology，1980，12(1):97-136.

［13］Koch C，Poggio T.Predicting the visual world:Silence is golden［J］.Nature Neuroscience，1999，2:9-10.

［14］Koffka K.Principle of Gestalt Psychology［M］.Routledge＆ Kegan Paul，1995.

［15］Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation［C］// Computer Vision Systems.2008，5008:66-75.

［16］Harel J，Koch C，Perona P.Graph-based visual saliency［C］// Advances in Neural Information Process Systems.2006:545-552.

［17］岡薩勒斯.數(shù)字圖像處理［M］.北京:電子工業(yè)出版社，2011.

［18］于仕琪，劉瑞禎.學習OpenCV(中文版)［M］.北京:清華大學出版社，2009.