一種高精度的體育商標分割算法

岳英杰 劉 盼 徐榮青

(南京郵電大學電子與光學工程學院 江蘇 南京 210046)

0 引 言

隨著信息服務的蓬勃發(fā)展，商標識別的應用越來越廣泛，例如在電子商務平臺監(jiān)測用戶參與度[1-2]，在日常生活中特定領域的標志物識別(例如車輛標志[3]和交通標志識別[4])。在體育領域，贊助商每年在體育營銷上花費數(shù)百萬歐元，俱樂部贊助球隊，每年要在球隊上投入一大筆金額。因此贊助商和俱樂部希望以更有效的途徑讓更多的觀眾直接、方便地獲取贊助商和俱樂部的宣傳信息，通過運動員商標識別來連接到主頁URL是一種新的推介方式，所以從運動員穿著的衣物上進行商標識別是非常有必要的。早些年間，Chattopadhyay等[5]在體育比賽中，實時將場地旁邊的廣告牌識別，以完成宣傳贊助商的目標。Kim等[6]提出了一種基于文字的實時監(jiān)測與識別運動場地廣告牌的算法。

進行商標識別的前提是對商標進行分割。將商標分割的目的是為了分割出無關背景[7]，只將商標作為分類器的訓練內(nèi)容，有效地減少了背景等無關項的干擾，有利于訓練準確性的提升。但是由于運動員在球場上劇烈運動，這就導致衣服上的商標具有旋轉、平移、縮放的特性，并且受環(huán)境的影響，例如光照不均勻、圖像背景復雜、圖片模糊情況的影響，所以傳統(tǒng)圖像分割算法易造成欠分割或者過分割的情況。本文針對上述復雜情況下的圖片，提出一種Graph Cut與Grab Cut相結合的改進算法，為后續(xù)商標識別提供了技術支持。

1 相關算法

1.1 Graph Cut

Graph Cut現(xiàn)在已經(jīng)成為解決一類能量最小化問題(例如計算機視覺中的圖像分割)的主要選擇方法之一。Graph Cut最初是由Boykov等[8]在解決馬爾可夫隨機場的能量最小化問題時提出來的，并且他們還得出了如何使用Graph Cut得到近似最優(yōu)解的方法。

Graph Cut是基于圖論的分割，如圖1所示，黑色的點代表像素點，整幅圖像被重構為圖1所示的結構，第一類邊為相鄰像素之間的邊，稱為“n-links”，第二類邊為每個像素與s和t連成的邊，稱為“t-links”。圖像分割的結果就是將s與t分開，其中與s相連的為前景像素，與t相連的為背景像素。Graph Cut使能量函數(shù)E(A)最小完成分割。

E(A)=λR(A)+R(B)

(1)

式中：A={A1,A2,…,AP}為每個像素的標簽label，Ai為0(背景)或1(前景)；λ是區(qū)域項和邊界項之間的重要因子，決定它們對能量的影響大小；R(A)為區(qū)域項；R(B)為邊界項。

(2)

(3)

(4)

r,g,b∈[0,255]

圖1 Graph Cut連接圖

圖片重構的結果如圖2所示，可以看出，圖片依照輪廓被分為了很多不同的區(qū)域，其中分割區(qū)域的多少受設為相似區(qū)域的像素距離閾值影響。

圖2 Graph Cut圖片區(qū)域重構

1.2 Grab Cut

Rother等[9]在SIGGRAP 2004中通過將Graph Cut算法迭代，提出了一個基于Graph Cut迭代的Grab Cut算法。通過構造前景中和背景中的兩個標記的能量函數(shù)，將分割問題轉化為兩個標記問題。該算法最終可以確定每個像素是屬于背景還是前景，以便它可以使能量最小化。

Grab Cut算法的步驟如圖3所示。首先，用戶選擇一個感興趣矩形(ROI)。然后與原始圖像具有相同像素的掩膜圖像被初始化，用來記錄圖像分割的結果。掩膜圖像的每個像素點只有四種取值，分別為0(表示明確屬于背景的像素)、1(表示明確屬于前景的像素)、2(表示可能屬于背景的像素)、3(表示可能屬于前景的像素)。然后，利用式(5)-式(7)計算被稱為邊界能量項像素的n-links，并根據(jù)用戶選擇的感興趣區(qū)域矩形，建立前景和背景的GMM模型。

圖3 Grab Cut算法流程

(5)

(6)

(7)

式中：μ為三通道的高斯分量的均值向量；Σ為3×3的協(xié)方差矩陣。

在算法繼續(xù)往下進行之前，緊接著利用K-means聚類算法[10]將組成GMM模型的所有像素點分為k類?；诖司垲惖慕Y果，GMM模型的參數(shù)θ和t-links也可以被計算出來。值得注意的是，在使區(qū)域能量也就是t-links最小化過程中，應該多次迭代k和θ以滿足最小化。因此，s-t網(wǎng)絡被建立，并且通過最小割/最大流算法將圖像分割。

在圖4中，(a)是原始圖像，(b)是Grab Cut分割的結果(GMM模型中的參數(shù)K=500)。可以看出，Grab Cut的一個缺點是當商標與背景顏色相似時，分割后會出現(xiàn)一些圖像碎片噪聲，也就是我們所說的欠分割情況。這種情況會導致前景提取的不精確，為接下來的商標識別增加很多干擾和影響。因此，改進此分割算法顯得尤為重要。

(a) 原始圖像(b) Grab Cut分割結果圖4 Grab Cut分割結果

2 改進的商標分割算法

根據(jù)前文的分析，Graph Cut算法在分割圖像時，算法利用了物體位置和邊緣的信息，當一幅圖像中存在很多噪聲時這種方法是十分有效的。從圖4(b)中我們可以看出，Grab Cut算法存在很多不足，當圖片的背景與前景顏色相近時，這幅圖片很可能被欠分割。并且受到環(huán)境因素、光照等情況的影響，盡管某些部分與目標前景明顯不同，但是Grab Cut算法不能很好地分開與前景無關的背景干擾像素。

所以在進行圖像分割之前，有效地進行預處理是接下來工作的根本。因為Graph Cut利用了圖片的邊緣信息，所以本文考慮使用銳化處理。銳化處理的目的是為了增強圖片的邊緣，使得目標物體的邊緣鮮明，以便于提取目標的邊緣，對圖像進行分割。本文采用拉普拉斯算子進行圖像銳化，它是根據(jù)相鄰像素之間的變化程度來計算的。一階函數(shù)微分描述的是函數(shù)變化的方向，二階函數(shù)微分描述的是函數(shù)變化的速度，用圖像來解釋就是一階函數(shù)微分能確定圖片的邊緣是否存在，而二階函數(shù)微分能確定圖片邊緣的位置。

考慮到銳化是在Graph Cut算法之前進行的，而前文描述的Graph Cut算法在計算相鄰像素的連通值時采用的是8連通法。如圖5所示，所謂的八連通法就是在計算周圍像素到中心像素的影響時，考慮上、下、左、右、左上、右上、左下、右下一共8個像素。

圖5 圖片中像素的8連通示意圖

來計算，得到的銳化圖像g(x)為：

(8)

本文考慮了銳化步驟在增強圖像邊緣的同時，也會將噪音增強，所以在進行銳化處理之前將圖片先進行高斯濾波。

另外針對分割不精確，Grab Cut還提供人工修改掩膜的權利，又多了一次交互過程，本文將修改掩膜的步驟提前進行，因為圖像分割的實質(zhì)是迭代使得圖像每個部分的能量函數(shù)最小化，此時輸出的最優(yōu)結果為最佳分割。而在Graph Cut算法中，僅涉及兩類能量，第一類是像素點與圖像區(qū)域不同的能量，稱為點與類的能量；第二類是像素點與像素點之間不同的能量，稱為點與點的能量。兩個能量之間所占的比例關系使用Potts模型參數(shù)K來控制比例，當點與點的能量所占比例高時，像素局部平滑約束就越高，圖像就越平滑，圖像分割保留的細節(jié)就越少。所以利用雙閾值首先將圖片進行初步過濾，直接將圖片的某些部分視為前景或背景的部分，再送入Grab Cut進行迭代。

根據(jù)上述情況，本文提出的改進算法步驟如下：

(2) 對高斯濾波之后的圖像進行拉普拉斯算子銳化處理，增強圖像邊緣。

(3) 對整幅圖像使用Graph Cut算法，統(tǒng)計出每個像素的標簽值。

(4) 用戶進行交互，將目標前景用矩形框圈出，并統(tǒng)計矩形框中有多少種標簽和屬于該標簽有多少數(shù)量的像素。

(5) 計算矩形框中每種標簽的像素占整幅圖像屬于該種標簽的像素比例。

(6) 設置閾值H1和H2，兩個閾值的設定根據(jù)特定的圖片應用場景，根據(jù)圖片分割的平滑約束度，利用K值來設定閾值H1和H2：

(9)

(10)

式中：K代表Graph Cut算法設定的Potts模型參數(shù)；P代表用戶交互后得出的矩形框中像素點的總數(shù)；Connectsize代表像素點與其相鄰8鄰域像素點的連通平均值。

即H1為低閾值，H2為高閾值，比例小于H1，則將矩形框中的屬于該標簽的像素視為背景的一部分，若比例大于H1小于H2視為可能的背景，若比例大于H2視為可能的前景。

(7) 根據(jù)判決比例和矩形框中的標簽值，生成掩膜圖像。

本研究嚴格按照Delphi專家咨詢法,構建了一套科學、合理的康復專科護士核心能力評價指標體系，包括8個一級指標、21個二級指標和66個三級指標。專家對各個指標的意見具有高度的一致性，可信度高，同時具有一定的科學性和權威性，并且各指標的權重設置合理，為康復專科護士培養(yǎng)、資質(zhì)認證和能力評價提供參考依據(jù)。本研究并未對指標內(nèi)在品質(zhì)進行研究，因此，對康復?？谱o士核心能力評價指標的信效度檢驗，將是下一步研究的重點內(nèi)容。

(8) 利用生成的掩膜圖像去初始化Grab Cut算法，完成圖像分割。

假設矩形圖像中N個標簽，每個標簽k=1,2,…,N,每個標簽中像素的數(shù)量是Sk。用戶交互完成后，在矩形框中有i個標簽，屬于這i個標簽的像素為Ri(i=1,2,…,N,i∈K)。通常，用戶交互后的矩形中像素所占所有像素標簽的比例定義為：

(11)

Lk的含義是矩形框中的一個像素屬于背景的可能性。若Lk=1的含義就是屬于該標簽的所有像素都處于矩形框中。Lk的值越接近于0，越能說明該像素屬于背景。所以，當計算出的Lk低于設定的閾值H1和H2，在掩膜中該點的取值由可能的前景變?yōu)榭赡艿谋尘盎虮尘?，從而減少背景像素的干擾。

3 實驗結果分析

通過實驗我們發(fā)現(xiàn)，閾值的大小會嚴重影響分割的結果，不同應用場景下閾值不同。針對此應用場景，通過式(9)和式(10)計算得出H1=0.3、H2=0.8。圖6是使用改進后的算法分割的結果?？梢钥闯觯倪M之后的算法相比較于傳統(tǒng)Grab Cut算法在精度上具有明顯的提升，有效地滿足了欠分割的問題。另外我們從實驗得出，當閾值設置過低時，改進的算法不是很有效。若將閾值H1和H2設為0，那么改進后算法的結果將與傳統(tǒng)Grab Cut一致，算法改進將變得沒有意義。

圖6 改進算法分割結果

另外，Graph Cut初始化設置分割區(qū)域數(shù)量的多少也會對分割結果產(chǎn)生重要的影響。而分割區(qū)域的數(shù)量與K值的大小有關。K值越大，則兩個像素相隔的距離越近，一幅圖像被分成的區(qū)域越多；反之K值越小，兩個像素相隔的距離就遠，一幅圖像被分成的區(qū)域越少。圖7(b)展示了設置過多的分割區(qū)域數(shù)量，算法的精度將會下降。圖8展示了不同的K值對分割精度的影響，可以看出，K值在一定范圍內(nèi)不會對分割精度產(chǎn)生很大的影響，但是將圖片分割成更細小的區(qū)域意味著需要更多的時間，所以在保證大概分割區(qū)域數(shù)量對精度影響很小的情況下，盡量減小K值，使分割區(qū)域盡可能少，這樣分割的速度會有一定程度上的提升。

(a) 原始圖像

(b) K=800

(c) K=600圖7 不同K值對圖像的影響

圖8 K值對算法精度的影響

4 算法評價

本文從BelgaLogos公開數(shù)據(jù)集中選擇了100幅圖片，并用Photoshop圖像抓取工具分割它們的背景作為完美分割的參考圖像。評價分割算法最重要的指標是精確度，本文使用標準的Jaccard相似度指數(shù)對改進算法的精確度進行驗證。Jaccard相似性指數(shù)是衡量兩個集合的相似性的指標，利用式(12)計算出每幅圖片的Jaccard相似指數(shù)，再取平均，得到算法的精確度結果。

(12)

式中：S1和S2指的是兩個集合，在本文中，S1為改進算法的分割結果圖像，S2為參考圖像。

(13)

式中：i=0,1，…，99代表每幅圖片；Ji(S1,S2)代表每幅圖片的Jaccard指數(shù)。

改進算法的分割結果展示在表1中?？梢钥闯龈倪M后的算法對分割精度有了很高的提升，但是精度的提升受到了特定圖片的限制。另外，本文將算法改進結果與Wicaksono等[11]提出的K-means改進算法相比較，在精度方面有相對程度上的提高。

表1 算法結果

同時，從不同的性能指標驗證分割方法是非常必要的，本文使用峰值信噪比(PSNR)指標來評判分割的性能，一定程度上驗證了改進算法的說服力。利用式(14)計算得出的均方誤差MSE，是反映估計量與被估計量之間差異程度的一種度量。

(14)

式中：m代表圖像的寬度像素數(shù)量；n代表圖像的長度像素數(shù)量；I代表算法分割之后的圖像；K代表完美分割的參考圖像。PSNR用來檢測圖像的質(zhì)量，利用式(15)計算得出PSNR值。

(15)

式中：MAXI是表示圖像點顏色的最大數(shù)值。PSNR數(shù)值越大，代表圖像的質(zhì)量越好。如圖9所示，本文分別求得Graph Cut、Grab Cut、k-means分割算法和改進的Grab Cut算法的PSNR值，并以柱狀圖的形式展示。

圖9 不同算法的PSNR比較

由圖9可得，本文的改進Grab Cut算法具有最大的PSNR值，一定程度上驗證了本文算法有一定程度上的性能提升，但是當目標物體比背景更大的時候，分割精度更高，因此，不是所有的圖片都能體現(xiàn)出改進算法的優(yōu)點。

5 結 語

本文提出一種基于體育商標的改進圖像分割算法。實驗結果展示了該算法的精確度，使用改進后的算法能使得商標分割準確率為94%，基本上滿足準確分割體育商標的需要。但是，算法的缺點是增加了運行時間。本文的研究意義在于，發(fā)現(xiàn)了可以利用像素與像素之間的關系來改進Grab Cut的不足之處。

毫無疑義，當商標圖片背景特別復雜時，對分割的精度會造成重大的影響，但是本文通過改進Grab Cut算法，使得在復雜背景下使Grab Cut分割精度有了一定的提升，有效解決欠分割和過分割的問題。