一種基于SLIC的超像素快速色彩傳遞算法*

滕秀花，胡文瑜，陳 敏

(福建工程學院)

1 預備知識

色彩傳遞技術(shù)的是將源圖像色彩意境傳遞給目標圖像．該文提出的基于SLIC的超像素快速色彩傳遞算法，不但可以實現(xiàn)彩色圖像之間的顏色校正;也可以將一幅彩色圖像的彩色信息轉(zhuǎn)移到灰度圖像，即實現(xiàn)灰度圖像彩色化．在實際應用中存在大量的黑白圖像資料，如老照片、經(jīng)典電影、一些醫(yī)學圖像等，給這些黑白的圖像彩色化處理可以大大提高這些資料的視覺吸引力，增加圖像的層次感，并且可以突出圖像的一些細節(jié)特征、增加圖像蘊涵信息．因此色彩傳遞是一項重要而富有意義的工作．

近年色彩傳遞的研究工作一般以Reinhard算法［1］提出基于像素點權(quán)值匹配的為基礎(chǔ)，針對Reinhard算法在像素點的權(quán)值評價等方面存在的局限性，目前已經(jīng)有了一系列的改進工作．滕等人提出利用色彩傳遞過程中獲得的部分彩色紋理信息［2］輔助色彩傳遞，一定程度上提高了匹配精度;在此基礎(chǔ)上，又提出了像素點多維特征向量的概念［3］并結(jié)合 ANN［4］搜索技術(shù)進行色彩傳遞，提高了搜索速度;在后續(xù)的工作中，提出在傳遞結(jié)果的基礎(chǔ)上，加入了誤傳遞檢測機制［5］，同時提出了自身校正的策略，大幅減少了椒鹽噪聲，結(jié)果更為平滑．Levin等人［6-9］基于像素的空間自相關(guān)性，人工獲取少量彩色像素點的基礎(chǔ)上，實現(xiàn)彩色信息的相似區(qū)域生長，但是這類算法較大程度的依賴于邊界的檢測．

目前對于色彩傳遞的研究工作基本上為了特定的應用領(lǐng)域，如何更加有效的發(fā)現(xiàn)和描述圖像的特征信息，如色彩漸變性［8］等，以便更加有效的區(qū)分圖像間的不同紋理信息，使像素點的匹配更加準確．由于目前的色彩傳遞算法本身無法知道像素點描述的準確性、像素點的誤匹配情況以及最后色彩傳遞后的誤差，因此算法運行的效果及效率都有一定的局限性．

提出的基于SLIC的超像素的快速色彩傳遞算法保持了像素點匹配類算法的優(yōu)點，同時克服了該類算法速度較慢的缺點．該文算法的主要思想如下:首先基于SLIC技術(shù)實現(xiàn)源圖像和目標圖像的超像素分割;然后根據(jù)超像素本身亮度及亮度變化情況，在自適應閾值范圍內(nèi)搜索，在源圖像和目標圖像之間尋找最相似的超像素對，由此進行匹配超像素對之間色彩傳遞．該算法有兩個方面的創(chuàng)新:一是將超像素技術(shù)應用到色彩傳遞領(lǐng)域;二是提出了超像素的自適應閾值匹配，特征相似度達到自適應閾值時，就不再繼續(xù)搜索，這樣可以減少搜索匹配超像素的迭代次數(shù)，不僅提高了算法效率，同時進一步改善了傳遞效果，保證了源圖像主色調(diào)的平滑傳遞．其工作是基于超像素匹配傳遞，實驗中加入少量像素級的椒鹽噪聲，對傳遞結(jié)果沒有影響，因此該算法具有一定的椒鹽抗噪能力．整個傳遞過程都是全自動完成，沒有任何的人工干預．

2 l*a*b* ［10］顏色空間

在色彩傳遞過程中，顏色空間的選擇對算法傳遞效果具有很大的影響．色彩傳遞算法常常用到是l*a*b*顏色空間，其中，L*表示亮度信息，a*分別表示紅綠和b*黃藍信息．采用這個顏色空間主要是因為它的三個分量近似正交，能夠最大限度的減小一個分量的變化給另外兩個分量造成的影響．該文算法從SLIC分割的預處理，到超像素的匹配傳遞，都是在l*a*b*空間基礎(chǔ)上實現(xiàn)的．

在進行顏色處理之前必須先將圖像從RGB顏色空間轉(zhuǎn)化到l*a*b*顏色空間，具體步驟如下:

(1)先將RGB空間轉(zhuǎn)化到LMS空間

(2)將LMS空間轉(zhuǎn)換到l*a*b*空間

(3)當圖像處理結(jié)束后，要重新顯示輸出時，還須將l*a*b*空間轉(zhuǎn)化為LMS

(4)最后LMS轉(zhuǎn)化RGB

圖1 不同尺寸的SLIC分割

3 基于SLIC的超像素分割

超像素［11-12］是對圖像進行過度分割，在既定的區(qū)域周圍，將圖像中同質(zhì)的內(nèi)容歸為一類，即為一超像素，如圖1所示．超像素分割通常不會覆蓋圖像目標和背景的邊界區(qū)域，即一幅圖像劃分為一系列超像素后，極少有超像素跨越目標和背景的邊界，大多數(shù)超像素要么分布于目標區(qū)域，要么分布于背景區(qū)域．基于像素點的色彩傳遞算法，為了提高效率，需要樣本采集，通常是在均分網(wǎng)格內(nèi)隨機取樣．該文算法基于SLIC技術(shù)實現(xiàn)超像素分割后，在超像素中心采樣，由于超像素是同質(zhì)的，因此比均分網(wǎng)格采樣更為完整，但是樣本數(shù)更少．超像素模式可以簡化圖像的特征描述，是一種有效的加速工具．該算法所基于的SLIC［9］技術(shù)可以很好地保持了圖像結(jié)構(gòu)之間的邊緣．

SLIC核心算法有描述如下:

圖2 SLIC搜索區(qū)域

(2)每j類迭代處理過程:以該類重心為中心，逐一計算在2s*2s鄰域內(nèi)(如圖2)各像素與該類中心點之間距離D，若D＜dis(i)，則i暫時歸為該類j，D=dis(i);重新調(diào)整該類．其中

公式(1)不僅考慮了像素點之間的空間距離，還考慮了亮度其彩色信息的差異性．

4 自適應閾值

特征向量之間的距離計算有多種方式，如聯(lián)合概率，歐氏距離等．當向量的距離計算用于匹配計算時，通常選取距離最小的兩個向量作為匹配向量，但是本算法沒有采取這種最小距離模式，而是為不同的源圖像的整體亮度變化情況計算了閾值T:

5 基于SLIC的快速色彩傳遞算法

提出的基于SLIC的快速色彩傳遞算法，源圖像和目標圖像都進行了超像素分割，基本完整地提煉了圖像的代表元素，在自適應閾值T的范圍內(nèi)實現(xiàn)了搜索匹配，不但提高了搜索速度，也改進了效果．其具體算法描述如下

(1)將源圖像與目標圖像的顏色空間轉(zhuǎn)換到1*a*b*顏色空間．

(2)利用SLIC方法對源圖像和目標圖像進行超像素分割．

(3)目標圖像進行亮度分布歸一化處理，使得兩幅圖像的亮度分布在統(tǒng)一域段，在實驗中發(fā)現(xiàn)如果目標圖像不經(jīng)過歸一化處理，匹配效果基本失效，圖像內(nèi)容大片霧化．

(4)提取超像素中心像素點構(gòu)成樣本點集合，該文算法選取樣本點亮度以及鄰域方差代表超像素的紋理特征．

(5)計算兩幅圖像樣本點之間的相似性距離，其公式如下．

(6)在自適應閾值T范圍內(nèi)，即Dis(q)T≥T，若相似性距離達到了最小，則結(jié)束搜索，將源圖像匹配樣本點彩色通道αβ信息傳遞到匹配的目標圖像樣本點．

(7)目標圖像以獲取了彩色信息的樣本點為種子，將種子像素的彩色通道αβ信息延伸至同一超像素的其他像素．

(8)恢復目標圖像的亮度信息，并將圖像的顏色空間轉(zhuǎn)換回RGB，完成了色彩傳遞．

6 實驗驗證與結(jié)論

6．1 實驗結(jié)果比較

該算法基于 OpenCV2．4．4進行了實驗，比較了像素點匹配的其他算法及該文算法的自適應閾值以及非自適應閾值的運行結(jié)果，兩組實驗結(jié)果比較如圖3．

圖3 兩組實驗結(jié)果比較

實驗數(shù)據(jù)表明，傳統(tǒng)的像素點匹配方法在傳遞過程中容易出現(xiàn)小顆粒椒鹽噪聲，如果后期利用檢驗機制實現(xiàn)自身校正，一定程度上可以減少椒鹽噪聲，但是占用了一定時間開銷．該文提出的算法在SLIC超像素分割基礎(chǔ)上，兼顧了相似圖像內(nèi)容之間的鄰域相關(guān)性，保證樣本信息完整的情況下，樣本點總數(shù)大幅下降，不但提高了速度，傳遞效果也得到了改善．

同時實驗表明，固定的距離閾值不能滿足不同圖像對之間有效傳遞，因此本算法的閾值根據(jù)公式(2)進行了自適應調(diào)整，速度方面進一步提高了，又保證源圖像主色調(diào)的傳遞．在實驗中人工設(shè)定的閾值如果超過了自適應的閾值，就會出現(xiàn)實驗附圖中的如下情況:(1)整體色調(diào)被削弱;(2)錯誤匹配，出現(xiàn)超像素噪聲;如果設(shè)定的比自適應的閾值小，色調(diào)則過于強烈，超像素噪聲也會相應增加，影響了整體效果．實驗證明了的自適應閾值可以很好的適應不同圖像對的有效傳遞．

6．2 算法的時間性能比較

實驗對不同尺寸的圖像運行時間都進行了計算，圖4顯示了圖3兩組實驗圖像的不同算法運行時間(seconds)，該文算法的運行速度最快．

圖4 1024×768圖像各種算法運行時間(secods)

該文算法的運行不需要任何先驗知識，沒有任何的人工干預，自動完成整個傳遞過程，速度比單純像素點匹配算法快很多．但是該算法仍存在幾個方面的不足:(1)較大程度依賴于超像素分割后邊緣保持的完整性;(2)該算法在紋理方面的考慮占有一定的權(quán)值，因此對卡通圖像傳遞會失效．因此該算法后續(xù)工作可以從兩種方式進行改進:(1)尋找一種更為適合的超像素特征的描述方式，進一步改進復雜場景的傳遞效果;(2)在傳遞結(jié)束后，尋找一種超像素級校正機制，以期得到進一步的改善效果．

［1］ Reinhard Erik，Ashikhmin Michael，Gooch Bruce．Color transfer between images［J］．IEEE Computer Graphics and Applications，2001，21(5):34-41．

［2］ 滕秀花，陳昭炯，葉東毅．一個利用色彩紋理信息的灰度圖像色彩傳遞方法［C］．計算機研究與發(fā)展，2005，42(A):256-259．

［3］ 滕秀花，陳昭炯，葉東毅．一個新的基于多維特征向量和ANN搜索技術(shù)的灰度圖像色彩傳遞算法［J］．計算機應用，2006，26(12):2866-2868．

［4］ Arya S，Mount DM，Silverman R．An optimal algorithm for approximate nearest neighbor searching in fixed dimension［J］．Journal of the ACM，1998，45(6):891-923．

［5］ 滕秀花，陳昭炯．一種利用源圖自身校正的圖像色彩傳遞算法［J］．貴州大學自然:科學版，2009，26(12):2866-2868．

［6］ Wang Meiyu，Chen Zhaojiong．A Color Transfer Algorithm Based on Neighborhood Correlation and Optimization Techniques［C］．In proceeding of Computation Intelligence and Design，2011．31-34．

［7］ Levin A，Lischinski D，Weiss Y．Colorization using optimization［C］．In proceeding of ACM SIGGRAPH，2004．689-694．

［8］ Chen Zhonjiong，YE Dongyi，Zhao Xin．A new Colorization Transfer Algorithm Based on Dynamic Neighbor-relevant Chromatic Channel Information［J］．Journal of Algorithm ＆Computational Technology，2008，2(1):49-59．

［9］ Yoshio Yanagihara，Kumiko Komatsu，Shoji Tatsumi．A study of Color Transfer Methods with Color Gradation and Distribution of Nature Picture［C］．IEEE International Conference on In proceeding of Control System，Computing and Engineering，2012:23-25．

［10］ Welsh T，Ashikhmin M，Mueller K．“Transferring Color to Greyscale Images”．In Proceedings of SIGGRAPH ，2002．277-280．

［11］ Radhakrishna Achanta，Appu Shaji，Kevin Smith．SLIC Superpixel Compared to State-of-the Art Superpixel Methods［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(11):2274-2281．

［12］ Wang Jie，WangXiaoqiang．Simple and Efficient Superpixels Using Edge-Weighted Centroidal Voronoi Tessellations［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(6):1241-1247．