具有重復(fù)場景元素的復(fù)雜自然圖像顏色編輯*

何豪杰，桂 彥+，李 峰

1.長沙理工大學(xué) 綜合交通運(yùn)輸大數(shù)據(jù)智能處理湖南省重點(diǎn)實(shí)驗(yàn)室，長沙 410114

2.長沙理工大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，長沙 410114

具有重復(fù)場景元素的復(fù)雜自然圖像顏色編輯*

何豪杰1,2，桂 彥1,2+，李 峰1,2

1.長沙理工大學(xué) 綜合交通運(yùn)輸大數(shù)據(jù)智能處理湖南省重點(diǎn)實(shí)驗(yàn)室，長沙 410114

2.長沙理工大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，長沙 410114

提出了一種針對具有重復(fù)場景元素的復(fù)雜自然圖像的顏色編輯方法，在提供極少量用戶交互的情況下，該方法能夠快速、準(zhǔn)確地對復(fù)雜自然圖像進(jìn)行顏色編輯。首先在圖像中進(jìn)行簡單的顏色線條標(biāo)記，并且使用SLIC（simple linear iterative clustering）超像素分割快速地生成圖像子塊區(qū)域；然后結(jié)合紋理特征和顏色特征，定義魯棒的外觀相似性距離度量，以能夠捕獲圖像中所有的重復(fù)場景元素；最后在顏色傳遞過程中采用基于局部特征相似的顏色分配和基于全局的顏色傳遞方法進(jìn)行重著色編輯處理。實(shí)驗(yàn)結(jié)果表明，該方法不僅極大地提高了顏色編輯的時(shí)間效率，而且在顏色編輯結(jié)果中保證了顏色傳遞的一致性和連續(xù)性，從而能夠獲得高質(zhì)量的顏色編輯結(jié)果。

自然圖像；重復(fù)場景元素；顏色編輯；相似性度量；顏色傳遞

1 引言

隨著信息技術(shù)的發(fā)展，數(shù)字媒體技術(shù)得到廣泛的應(yīng)用，人們對可視媒體質(zhì)量的要求越來越高，其中對圖像/視頻的編輯處理已成為研究的熱點(diǎn)，而顏色處理技術(shù)是可視媒體編輯處理中的重要部分。同時(shí)，重復(fù)的圖像元素在自然場景中是普遍存在的，且在外觀上具有一定相似性的特點(diǎn)。現(xiàn)有的顏色處理技術(shù)對這類自然場景圖像進(jìn)行局部或全局編輯處理時(shí)，主要包括顏色轉(zhuǎn)移處理和灰度圖像彩色化處理。其中顏色轉(zhuǎn)移處理技術(shù)[1-2]能夠?qū)崿F(xiàn)將一幅圖像的顏色信息映射到另一幅圖像中，從而改變圖像的視覺效果。但針對這類復(fù)雜自然圖像的顏色處理，在顏色轉(zhuǎn)移過程中無法保持重復(fù)場景元素顏色風(fēng)格的一致及空間上的連續(xù)。灰度圖像彩色化技術(shù)雖然能夠?qū)@類圖像進(jìn)行顏色編輯處理，但是其中基于樣圖的彩色化方法[3-9]需要尋找合適的參考圖像才能得到滿意的效果，因此彩色化結(jié)果的好壞依賴于參考圖像的選??；而基于用戶交互的彩色化方法[10-20]只需要在待上色的區(qū)域標(biāo)注部分顏色信息，就能夠獲得整幅圖像的彩色化效果。但是，采用這些方法處理具有大量重復(fù)場景元素的自然圖像時(shí)，往往需要用戶人工地標(biāo)注大量的顏色線條，且需要在區(qū)域邊緣的地方進(jìn)行仔細(xì)的標(biāo)記，從而使得標(biāo)記工作耗時(shí)耗力。

本文提出了一種交互式的具有重復(fù)場景元素的復(fù)雜自然圖像顏色編輯方法。首先采用超像素分割方法將圖像劃分成一定數(shù)量的圖像子塊區(qū)域，并利用圖像的顏色特征和紋理特征構(gòu)建圖像的特征空間；然后根據(jù)定義的外觀相似性度量機(jī)制聚類各圖像子塊區(qū)域，并對各圖像子塊的局部區(qū)域進(jìn)行顏色分配；最后采用全局顏色能量優(yōu)化方法進(jìn)行編輯傳遞，從而完成整幅圖像的顏色編輯處理。在提供少量用戶交互的情況下，本文方法能夠極大地改善顏色編輯處理的速度和質(zhì)量。

2 相關(guān)工作

圖像顏色編輯是圖像處理中一個(gè)熱門的話題，近年來，國內(nèi)外研究學(xué)者提出了許多新的圖像顏色編輯算法，取得了非常顯著的效果。隨著數(shù)碼相機(jī)和數(shù)碼攝像機(jī)的普及，這些算法越來越多地應(yīng)用到實(shí)際中。根據(jù)圖像編輯時(shí)是否有用戶的干預(yù)，可將圖像顏色編輯算法分為兩類：基于用戶交互的圖像顏色編輯以及基于樣圖的圖像顏色編輯。

早期，Reinhard等人[1]提出將顏色信息從一幅彩圖轉(zhuǎn)移到另一幅圖像上，成功地實(shí)現(xiàn)了顏色的轉(zhuǎn)移。2002年，Welsh等人[2]將Reinhard等人的轉(zhuǎn)移思想應(yīng)用到灰度圖像彩色化中。2005年，Irony等人[3]提出了一種新的基于樣圖的灰度圖像彩色化方法，在不需要用戶標(biāo)記大量的顏色線條的情況下，解決了圖像空間不連續(xù)的問題。2008年，Liu等人[4]提出了基于多幅彩色參考圖像的彩色化方法，該方法能夠產(chǎn)生更加可靠、自然的彩色化結(jié)果。2010年，Zhu等人[5]提出了基于色彩傳遞與擴(kuò)展的著色算法，用以解決色彩不均勻的問題。2011，Chia等人[6]提出的基于彩色參考圖像的彩色化方法有效地避免了用戶交互的問題。2014年，Huang等人[7]提出了基于自然色彩學(xué)習(xí)的圖像顏色編輯框架，該方法能夠產(chǎn)生多樣的自然的重著色效果。2015年，F(xiàn)aridul等人[8]提出采用顏色映射的方法實(shí)現(xiàn)圖像的顏色轉(zhuǎn)移、校正及平衡。Xiao等人[9]提出了一種基于梯度網(wǎng)格優(yōu)化的顏色轉(zhuǎn)移方法，該方法能夠在顏色轉(zhuǎn)移結(jié)果中有效地保持圖像的梯度網(wǎng)結(jié)構(gòu)信息。然而，本文待處理的自然圖像中包含大量的重復(fù)場景元素，它們之間顏色差異大且紋理復(fù)雜，顏色編輯方法[1-3,5,8-9]只給出同一種參考圖像，因而當(dāng)圖像中重復(fù)場景元素差異較大時(shí)，顏色編輯結(jié)果中則會產(chǎn)生明顯的錯(cuò)誤，以至于難以保持編輯結(jié)果中顏色的一致性和均勻性。而顏色編輯算法[4,6-7]雖然給出了大量參考圖像，但是針對本文中處理的具有重復(fù)場景元素的復(fù)雜自然圖像，這些方法難以從網(wǎng)絡(luò)中搜索到大量相似的參考圖像。

基于用戶交互的圖像顏色編輯算法需要在待編輯的區(qū)域內(nèi)標(biāo)記顏色信息，解決了基于樣圖的顏色編輯方法中存在的顏色不均勻的問題，能夠更好地滿足用戶的需求。2004年，Levin等人[10]提出了一種交互式的灰度圖像彩色化技術(shù)，該方法解決了空間不連續(xù)的問題，從而產(chǎn)生了較好的圖像彩色化效果。2006年，Qu等人[11]提出了一種新的彩色化技術(shù)，用以解決黑白漫畫中多種模式下的彩色化問題。2007年，Luan等人[12]提出了一種交互式的復(fù)雜自然圖像彩色化方法，在減少用戶輸入的同時(shí)，還提供了實(shí)時(shí)反饋，使得能夠產(chǎn)生不同的彩色化效果。2012年，Yang等人[13]提出了一種基于顏色分類和邊界修復(fù)的交互式的局部顏色編輯算法，該算法提高了局部顏色編輯效果。2012年，Chen等人[14]提出了基于流形保留的顏色編輯方法，實(shí)現(xiàn)了對圖像局部區(qū)域的顏色編輯。2013年，Xu等人[15]提出的圖像顏色編輯方法在提供少量用戶交互的情況下能夠完成大量的顏色編輯處理任務(wù)。Li等人[16]和Cai等人[17]各自提出了交互式的圖像彩色化方法，這些方法有效地解決了色彩滲透的問題。同年，Yoav等人[18]提出了一種快速顏色編輯方法，該方法通過圖像內(nèi)容共享能夠有效地保持圖片集顏色編輯的一致性。2014年，Chen等人[19]提出了稀疏字典學(xué)習(xí)的高分辨率圖像編輯方法，該方法極大地降低了高分辨率圖像編輯時(shí)內(nèi)存的消耗。2015年，Zhu等人[20]提出了基于超像素的流形保留的顏色編輯方法，實(shí)現(xiàn)了在大尺寸圖像下的快速圖像編輯。2016年，Iizuka等人[21]提出了自動的灰度圖像彩色化方法，結(jié)合端到端網(wǎng)絡(luò)聯(lián)合學(xué)習(xí)圖像的全局和局部特征，使得該方法在無需提供任何用戶的交互信息下即可完成圖像彩色化。Endo等人[22]提出了基于深度神經(jīng)網(wǎng)絡(luò)的圖像顏色編輯傳播方法，能夠自動地協(xié)調(diào)編輯傳播時(shí)圖像的特征。然而，顏色編輯方法[10-12,16-17]需要提供較多的用戶交互，且在邊緣部分需要更精細(xì)的用戶輸入，使得交互過程極其耗時(shí)耗力。雖然顏色編輯方法[13-15,18-20]用戶交互較少，但是這些方法在進(jìn)行顏色編輯時(shí)，特征的選取單一，僅考慮顏色特征信息或紋理特征信息，因而在處理具有顏色差異較大且紋理復(fù)雜的自然圖像時(shí)，難以完成正確的顏色信息分配。

因此，針對具有重復(fù)場景元素的自然復(fù)雜圖像，如何在顏色編輯處理中提高顏色編輯的速度，以及在減少用戶交互的情況下提高顏色編輯的質(zhì)量，并且能夠?qū)崿F(xiàn)對不同的目標(biāo)對象進(jìn)行多樣的顏色編輯等，是本文亟待解決的關(guān)鍵科學(xué)問題。

3 算法概述

針對具有大量的重復(fù)場景元素的復(fù)雜自然圖像的顏色編輯，為了提高顏色編輯的速度以及改善顏色編輯的質(zhì)量等，本文提出了一種交互式的顏色編輯方法，算法流程如圖1所示，主要包括圖像預(yù)處理、特征分析和顏色傳遞3個(gè)階段。

第一階段為圖像預(yù)處理階段。首先需要用戶在指定的區(qū)域上進(jìn)行顏色線條標(biāo)記；然后采用超像素圖像分割方法，將圖像劃分為一定數(shù)量的圖像子塊區(qū)域。

第二階段為特征分析階段。由于圖像中重復(fù)場景元素在外觀上具有一定的相似特性，本文通過結(jié)合顏色特征和紋理特征進(jìn)行圖像特征空間的構(gòu)建。

第三階段為顏色傳遞階段。主要包括基于局部特征相似的顏色分配和基于全局優(yōu)化的顏色傳遞兩部分。在基于局部特征相似的顏色分配過程中，通過定義局部特征相似性度量機(jī)制，并在此基礎(chǔ)上進(jìn)行圖像子塊區(qū)域的聚類，能夠?qū)㈩伾€條的顏色信息傳遞到圖像子塊區(qū)域的其余部分像素點(diǎn)中，即實(shí)現(xiàn)了局部顏色信息的分配。而在基于全局優(yōu)化的顏色傳遞過程中，通過采用全局能量優(yōu)化框架進(jìn)行重著色，最終完成了整幅自然圖像的顏色編輯處理。

本文算法的優(yōu)勢在于利用超像素分割方法對圖像進(jìn)行預(yù)處理，顏色編輯過程中使用圖像子塊區(qū)域代替圖像像素點(diǎn)，能夠極大地提高顏色編輯的速度；另一方面，通過定義魯棒的外觀相似性度量機(jī)制，并對圖像子塊區(qū)域進(jìn)行聚類，能夠準(zhǔn)確地完成顏色信息的分配。也就是說，在提供少量用戶交互的情況下，本文方法能夠在重復(fù)場景元素的編輯過程中有效地保持顏色傳遞的一致性，極大地改善了顏色編輯質(zhì)量。

Fig.1 Agorithm of color editing for complex natural images with repeated scene elements圖1 具有重復(fù)場景元素的復(fù)雜自然圖像顏色編輯算法流程圖

4 基于重復(fù)場景元素的顏色編輯方法

4.1 圖像預(yù)處理

采用交互式的圖像顏色編輯處理，即僅需要對特定的圖像區(qū)域進(jìn)行少量的且粗略的顏色線條標(biāo)記，利用這些不同顏色的標(biāo)記線條可以區(qū)分待編輯的不同區(qū)域；另一方面，以區(qū)域內(nèi)標(biāo)記線條的不同顏色作為初始顏色信息，并傳遞到與其相對應(yīng)的區(qū)域中。

對自然圖像進(jìn)行顏色線條標(biāo)記后，這些標(biāo)記的顏色線條集用S={s1,s2,…,sj,…,sM}表示（如圖2（b）所示），其中sj表示某一顏色線條覆蓋的像素點(diǎn)的集合，M為標(biāo)記的顏色線條的總數(shù)目。同時(shí)，需要為不同顏色線條分配對應(yīng)的顏色標(biāo)簽值，可用Ls={Ls1,Ls2,…,LsJ,…,LsM}表示，其中Lsj為顏色線條sj對應(yīng)的顏色標(biāo)簽值。

圖像預(yù)處理階段還需要采用SLIC（simple linear iterative clustering）超像素分割方法[23-24]將像素點(diǎn)聚合成超像素，以劃分圖像為一定數(shù)量的圖像子塊區(qū)域。該方法的優(yōu)勢在于計(jì)算簡單，處理速度較快，并且能夠使得各圖像子塊區(qū)域在局部特征和結(jié)構(gòu)上具有一定相似性的特性；同時(shí)，通過設(shè)置超像素的總數(shù)目，能夠保證圖像中的重復(fù)場景元素在預(yù)分割后具有較好的邊緣貼合度。

給定一幅具有重復(fù)場景元素的自然圖像（圖2（a）），其超像素分割結(jié)果如圖2（c）所示。圖像中的每一個(gè)圖像子塊區(qū)域由一系列位置相鄰、顏色和紋理等特征相似的像素點(diǎn)組成，這有利于圖像局部特征結(jié)構(gòu)信息的表達(dá)。此外，通過采用圖像子塊區(qū)域代替像素點(diǎn)進(jìn)行顏色編輯處理，極大地降低了后續(xù)顏色編輯工作的計(jì)算復(fù)雜度。

4.2 特征空間的構(gòu)建

Fig.2 Image preprocessing圖2 圖像的預(yù)處理

復(fù)雜自然圖像中的重復(fù)場景元素在顏色上具有一定的相似性，同時(shí)由于顏色特征對自然圖像中重復(fù)場景元素本身的尺寸、方向、視角依賴性較小，具有較好的魯棒性，本文將圖像中任一像素點(diǎn)I1的顏色特征用其鄰域內(nèi)顏色的均值和標(biāo)準(zhǔn)差表示，即構(gòu)成的顏色特征向量表示為C=[CMeanCVar]，其中CMean和CVar分別為其鄰域內(nèi)3個(gè)通道R、G和B的均值和方差。

另外，因?yàn)榧y理特征能夠描述自然圖像或者其局部場景區(qū)域表面性質(zhì)，具有非常好的信息緊湊性，對場景元素的相似性度量提供了極好的便利，所以在進(jìn)行圖像特征空間的構(gòu)建時(shí)同時(shí)考慮圖像的紋理特征。本文主要采用Gabor小波變換進(jìn)行紋理特征分析。對圖像中任一像素點(diǎn)P，其紋理特征可表示為該像素點(diǎn)的k×k鄰域內(nèi)多尺度和多方向上的Gabor小波變換系數(shù)的均值和標(biāo)準(zhǔn)差，構(gòu)成特征向量T=[μ0,0σ0,0μ0,1σ0,1…μM-1,N-1σM-1,N-1]，通 常 取M=4 和N=6。

在將顏色特征和紋理特征進(jìn)行歸一化之后，圖像的特征空間可以表示為F=[ω1C(1-ω1)T]，其中ω1和1-ω1分別是顏色特征和紋理特征的權(quán)重系數(shù)。在對顏色特征和紋理特征分配不同權(quán)重時(shí)，顏色編輯結(jié)果會有所差別，具體討論詳見5.1節(jié)中對圖6的分析。根據(jù)已構(gòu)建的特征空間，本文能夠準(zhǔn)確地對圖像子塊區(qū)域進(jìn)行相似性度量，這有利于在圖像子塊區(qū)域中進(jìn)行準(zhǔn)確的顏色信息分配，以改善圖像顏色編輯結(jié)果的質(zhì)量。

4.3 顏色傳遞

4.3.1 基于局部特征相似的顏色分配

這一階段的主要任務(wù)在于定義基于外觀相似性的度量機(jī)制，用以進(jìn)行圖像子塊區(qū)域的相似性度量與聚類，這有利于產(chǎn)生正確的圖像子塊區(qū)域局部顏色信息分配結(jié)果。圖像子塊區(qū)域ri和圖像子塊區(qū)域rj的相似性度量D(ri,rj)定義如下：

其中，F(xiàn)m和Fn分別為圖像子塊區(qū)域ri和圖像子塊區(qū)域rj中像素點(diǎn)m和n的特征向量；M和N分別為圖像子塊區(qū)域ri和圖像子塊區(qū)域rj中像素點(diǎn)的總數(shù)目。

對于已標(biāo)記顏色線條的圖像（圖2（b）），采用加權(quán)的模糊C均值方法[25]進(jìn)行圖像子塊區(qū)域的聚類，其中模糊C均值中最小化誤差函數(shù)定義如下：

Fig.3 Color assignment based on local feature similarity圖3 基于局部特征相似的顏色分配

在對不同的區(qū)域分配不同的顏色標(biāo)簽值之后，需要將已標(biāo)記的顏色信息傳遞到對應(yīng)的圖像子塊區(qū)域中。此外，為了消除孤立的像素點(diǎn)的影響，通過計(jì)算圖像子塊區(qū)域中各像素點(diǎn)的置信度值，以實(shí)現(xiàn)具有較高置信度像素點(diǎn)的局部顏色分配。圖像子塊區(qū)域ri中像素點(diǎn)p的置信度conf(p,ri)定義如下：

其中，Mp為該像素點(diǎn)p所在區(qū)域ri對應(yīng)的顏色線條中的最佳匹配像素點(diǎn)；D(p,Mp)為像素點(diǎn)p與像素點(diǎn)Mp的距離，可由式（1）計(jì)算得到。上述局部顏色分配機(jī)制能夠?qū)哂休^高置信度值的像素點(diǎn)進(jìn)行顏色信息傳遞（圖3（b））。

4.3.2 基于全局優(yōu)化的顏色傳遞

為了對整幅自然圖像進(jìn)行顏色編輯處理，本文采用全局優(yōu)化算法[10]進(jìn)行顏色傳遞。全局優(yōu)化通過最小化YUV顏色空間上的目標(biāo)函數(shù)實(shí)現(xiàn)，其目標(biāo)函數(shù)定義如下：

其中，N(p)為像素點(diǎn)p的鄰域；q為鄰域N(p)中的像素點(diǎn)；C(p)為p點(diǎn)的顏色值，為U通道或V通道的值；wpq為權(quán)值系數(shù)，當(dāng)像素p和q在Y通道的值越相近時(shí)，其值越大，反之，其值越小；up和σp分別為p鄰域內(nèi)亮度的平均值和方差；Y(p)、Y(q)分別為p和q在Y通道的值。

具有重復(fù)場景元素的復(fù)雜自然圖像的局部顏色編輯結(jié)果以及全局編輯結(jié)果，如4（b）和圖4（c）所示。在得到的顏色編輯處理結(jié)果中，圖像中不同區(qū)域?qū)崿F(xiàn)了不同顏色的編輯，同時(shí)保持了圖像中所有重復(fù)場景元素的風(fēng)格一致性。

Fig.4 Image color editing圖4 圖像的顏色編輯處理

5 實(shí)驗(yàn)結(jié)果比較與分析

圖像顏色編輯處理算法是在處理器為i3，2.1 GHz的CPU，內(nèi)存為4 GB的PC機(jī)上進(jìn)行相關(guān)實(shí)驗(yàn)，并采用Matlab編程實(shí)現(xiàn)。選取了大量的具有重復(fù)場景元素的復(fù)雜自然圖像進(jìn)行圖像顏色編輯實(shí)驗(yàn)，從圖像顏色編輯質(zhì)量上和效率上驗(yàn)證算法的可行性和有效性。

5.1 圖像顏色編輯質(zhì)量

圖5給出了本文方法與現(xiàn)有的圖像顏色編輯方法在圖像編輯效果上的比較，其中第1列到第4列分別為Photoshop CS5方法、Chen方法[14]和Xu方法[15]和本文方法；第1、3、5和7行分別為用戶交互后的輸入圖像；第2、4、6和8行對應(yīng)為顏色編輯結(jié)果。采用Photoshop CS5方法產(chǎn)生的顏色編輯中容易產(chǎn)生明顯的顏色混合瑕疵。Chen方法采用局部線性嵌入方法能有效地消除邊界顏色混合處的環(huán)，但是Chen方法在對多個(gè)不同區(qū)域進(jìn)行顏色編輯時(shí)則需要重復(fù)進(jìn)行交互操作。Xu方法則是采用樣本位置、圖像結(jié)構(gòu)、空間距離等特征進(jìn)行顏色編輯傳播，該方法能夠?qū)崿F(xiàn)外觀相似區(qū)域的不同顏色編輯，如圖5中第3列第4行給出的結(jié)果所示。但是在對具有重復(fù)場景元素的復(fù)雜自然圖像進(jìn)行顏色編輯時(shí)，顏色線條信息難以從某一個(gè)重復(fù)場景元素傳遞到其他所有的外觀相似的重復(fù)場景元素中，因而Xu方法需要更多更精準(zhǔn)的顏色線條標(biāo)記。

盡管Chen方法和Xu方法在用戶交互次數(shù)上相較于其他現(xiàn)有方法有較大的改進(jìn)，用戶交互較少且能夠獲得高質(zhì)量的顏色編輯結(jié)果，但是由于本文結(jié)合了圖像的顏色特征和紋理特征進(jìn)行顏色編輯，在對顏色差異較大但紋理相似的重復(fù)場景元素進(jìn)行顏色編輯處理時(shí)，只需要提供極少的用戶交互輸入，本文方法就能有效地保持重復(fù)場景元素的顏色一致性。而Photoshop CS5方法、Chen方法以及Xu方法對顏色差異較大的重復(fù)場景元素進(jìn)行相同顏色編輯時(shí)，用戶交互的次數(shù)明顯有所增加。如圖5中第5行和第7行圖像所示，當(dāng)花朵顏色差距較大且需要對其進(jìn)行相同的顏色編輯時(shí)，本文方法在保證其獲得高質(zhì)量顏色編輯結(jié)果的情況下用戶交互次數(shù)最少，相應(yīng)的關(guān)于交互次數(shù)的統(tǒng)計(jì)詳見5.2節(jié)。

對于圖5中各方法得到的顏色編輯結(jié)果，本文采用圖像結(jié)構(gòu)相似性值SSIM[26-27]定量評價(jià)顏色編輯結(jié)果的質(zhì)量。SSIM圖像質(zhì)量評價(jià)算法能夠體現(xiàn)像素間的相關(guān)性，且具有較好的人眼視覺系統(tǒng)的感知特性，從而能夠準(zhǔn)確地對圖像顏色編輯結(jié)果進(jìn)行定量評價(jià)。對于原目標(biāo)圖像I1與顏色編輯后的圖像I2，結(jié)構(gòu)相似性值SSIM可用如下公式計(jì)算得到：

Fig.5 Color editing methods comparison on experimental results圖5 顏色編輯方法的實(shí)驗(yàn)結(jié)果比較

Table 1 Statistics ofSSIMvalues for color editing methods表1 顏色編輯方法的結(jié)構(gòu)相似性值SSIM統(tǒng)計(jì)

從統(tǒng)計(jì)得到的數(shù)據(jù)中可以看出，Photoshop CS5方法對應(yīng)的SSIM值較?。ū?第3列），可以看出顏色編輯結(jié)果中產(chǎn)生了明顯的混色（圖5第1列）；Chen方法采用局部線性嵌入方法，其獲得的SSIM值相比Photoshop CS5方法大很多，相應(yīng)的顏色編輯效果也較好于Photoshop CS5方法（表1第4列）；由表1第5列的統(tǒng)計(jì)數(shù)據(jù)可以看出，Xu方法能夠獲得較理想的顏色編輯效果。其中，對于圖5第4行的樣本圖像進(jìn)行顏色編輯處理時(shí)，Xu方法能夠得到較理想的顏色編輯效果（其SSIM值為0.868 5），即能夠?qū)臻g距離較遠(yuǎn)的重復(fù)場景進(jìn)行不同顏色的編輯。本文方法相較于其他3種方法獲得的圖像結(jié)構(gòu)相似性值SSIM最好（表1最后一列），盡管對圖5第4行的樣本圖像的顏色效果不如Xu方法的，但在處理重復(fù)場景元素顏色差異較大的復(fù)雜自然圖像時(shí)，本文方法更傾向保持圖像中重復(fù)場景元素的顏色一致性，這從表1最后一行統(tǒng)計(jì)的圖像結(jié)構(gòu)相似性的平均值可以看出。

另外，由于本文在構(gòu)建圖像特征空間時(shí)結(jié)合了顏色特征和紋理特征，當(dāng)兩者之間的權(quán)重取值不同時(shí)，這會對顏色編輯結(jié)果產(chǎn)生一定的影響。圖6給出了圖像顏色特征的權(quán)重ω1取值不同時(shí)的顏色編輯結(jié)果。當(dāng)顏色特征權(quán)重取值明顯較高或明顯偏低時(shí)，會產(chǎn)生錯(cuò)誤的顏色編輯，如圖6的第2列到第4列結(jié)果所示，此時(shí)權(quán)值ω1取值分別取0.1、0.8和1.0。而對于圖像中重復(fù)場景元素的顏色比較單一時(shí)，顏色特征對應(yīng)的權(quán)值稍微偏高時(shí)，編輯結(jié)果最好，如圖6的第1行第5列所示，此時(shí)權(quán)重取ω1=0.6時(shí)效果比較理想。對具有顏色差異較大的重復(fù)場景元素進(jìn)行相同顏色編輯，紋理特征權(quán)值稍微偏高時(shí)，顏色編輯結(jié)果最好，如圖6的第2行第6列所示，此時(shí)權(quán)重取ω1=0.4時(shí)編輯效果最理想。

在圖像顏色全局傳遞過程中，置信度conf的取值范圍同樣也影響最后的編輯結(jié)果，如圖7所示，第2列到第3列為對應(yīng)的全局顏色傳遞的結(jié)果圖。其中，當(dāng)conf取值較高conf=0.9時(shí)，或取值較低conf=0.3時(shí)，均會產(chǎn)生顏色的溢出與混色，如圖7（b）和圖7（c）所示。這主要是因?yàn)閳D像子塊區(qū)域中與線條不大相似的像素點(diǎn)被傳遞信息，這增加了顏色編輯結(jié)果的錯(cuò)誤率。本文設(shè)置置信度取conf=0.6時(shí)（圖7（d）），圖像子塊區(qū)域中只有與顏色線條比較相似的像素點(diǎn)才會被傳遞顏色信息，從而使得自然圖像的顏色編輯效果最好。

Fig.6 Efforts for color editing with different weights圖6 權(quán)重取值對顏色編輯結(jié)果的影響

Fig.7 Efforts for color editing with different confidence圖7 置信度取值對顏色編輯結(jié)果的影響

為了驗(yàn)證算法自身的完整性與可行性，本文對具有大量重復(fù)場景元素的復(fù)雜自然圖像進(jìn)行顏色編輯處理，如圖8所示。從給出的實(shí)驗(yàn)結(jié)果圖中可以看出，該算法在提供少量用戶的交互時(shí)（圖8（b））能夠準(zhǔn)確地進(jìn)行圖像子塊區(qū)域分類標(biāo)記，如圖8（d）所示。此外，該算法在圖像顏色編輯結(jié)果中能夠有效地保持重復(fù)場景元素的一致性及連續(xù)性，同時(shí)也能實(shí)現(xiàn)對多種不同區(qū)域的不同顏色編輯，如圖8（f）所示，從而能夠有效地改善顏色編輯質(zhì)量。

5.2 圖像顏色編輯效率

Fig.8 More experimental results on color editing圖8 更多的圖像顏色編輯過程圖

Table 2 User interaction statistics for color editing表2 顏色編輯方法中用戶交互次數(shù)的對比

Table 3 Running time statistics for color editing表3 顏色編輯時(shí)間的對比

表2和表3分別為本文算法與現(xiàn)有的圖像顏色編輯方法Chen方法[14]、Xu方法[15]和Photoshop CS5方法的對比，包括對圖5中圖像對應(yīng)顏色編輯處理的用戶交互次數(shù)及時(shí)間的統(tǒng)計(jì)。本文結(jié)合顏色特征和紋理特征對圖像進(jìn)行相似性度量，因此在顏色編輯時(shí)，在提供極少用戶交互次數(shù)的情況下能夠有效地保證顏色編輯質(zhì)量。Chen方法是基于RGB顏色特征構(gòu)建的特征空間進(jìn)行顏色編輯傳播，在對顏色比較單一的圖像進(jìn)行顏色編輯時(shí)，用戶交互次數(shù)較少且時(shí)間較短；但對顏色差異較大的圖像進(jìn)行顏色編輯時(shí)，用戶交互次數(shù)有所增加，時(shí)間消耗增長。Xu方法的優(yōu)勢在于顏色編輯傳播時(shí)考慮空間位置特征，從而能夠?qū)崿F(xiàn)相同區(qū)域的不同顏色編輯。但是其缺點(diǎn)也比較明顯，交互次數(shù)稍有增加且時(shí)間消耗較長。本文算法同時(shí)考慮顏色特征和紋理特征進(jìn)行重復(fù)場景元素的相似性度量，在對某一重復(fù)場景元素進(jìn)行顏色編輯時(shí)，能夠同時(shí)完成對其他相似場景元素的顏色編輯，因而用戶交互次數(shù)更少且時(shí)間消耗更短，更適用于保持自然圖像中重復(fù)場景元素的顏色一致性情況。

同時(shí)，本文采用超像素分割方法將自然圖像劃分成一定數(shù)量的圖像子塊區(qū)域，并代替像素點(diǎn)進(jìn)行聚類，這可以有效地減少聚類時(shí)間。針對本文的所有實(shí)驗(yàn)結(jié)果，表4給出了基于像素點(diǎn)的聚類時(shí)間消耗和采用超像素分割后圖像子塊區(qū)域聚類時(shí)間消耗的比較（表4最后兩列）。從給出的統(tǒng)計(jì)數(shù)據(jù)中可以看出，本文采用的超像素分割方法能夠有效地減少圖像聚類時(shí)數(shù)據(jù)集（超像素）的總數(shù)目（表4第5列）。同時(shí)，由于采用超像素分割方法可以將高為M和寬為N的圖像分割成n個(gè)超像素，則采用基于像素點(diǎn)聚類的時(shí)間復(fù)雜度為O(M2N2)，而采用基于超像素的時(shí)間復(fù)雜度為O(n2)，其中n＜＜MN。主要原因在于：通過采用超像素分割對圖像進(jìn)行預(yù)處理，圖像的超像素的總數(shù)目（表4第5列）遠(yuǎn)遠(yuǎn)小于圖像像素的總數(shù)目（表4第4列）。由此，當(dāng)聚類時(shí)數(shù)據(jù)集（超像素）的總數(shù)目急劇降低時(shí)，最小化誤差函數(shù)（式（2）定義得到）所消耗的時(shí)間就越短，即所有超像素子塊區(qū)域與其相似顏色線條之間距離差異的計(jì)算，從而能夠有效地縮短聚類的時(shí)間。此外，在進(jìn)行基于超像素的圖像聚類時(shí)，需要根據(jù)式（4）計(jì)算所有超像素子塊與所有顏色線條的隸屬度函數(shù)，由于超像素總數(shù)目相對于圖像像素的總數(shù)目是較少的，從而能夠使得計(jì)算隸屬度的次數(shù)急劇減少，這相應(yīng)地也減少了聚類時(shí)間。因此，基于超像素的聚類使得顏色編輯過程的時(shí)間消耗大大降低。

Table 4 Running time statistics for color editing with superpixels algorithm表4 自然圖像采用超像素分割前后消耗時(shí)間的對比

6 結(jié)束語

本文提出了一種具有重復(fù)場景元素的復(fù)雜自然圖像顏色編輯方法，在極少量的用戶交互情況下，通過結(jié)合圖像的顏色特征和紋理特征，能夠有效地保持圖像顏色編輯中重復(fù)場景顏色的一致性，并能實(shí)現(xiàn)對多個(gè)不同區(qū)域的不同顏色進(jìn)行編輯；通過將圖像劃分成一定數(shù)量的子塊區(qū)域并聚類，極大地降低了時(shí)間消耗；通過定義魯棒的外觀相似性度量機(jī)制，使得能夠?qū)崿F(xiàn)準(zhǔn)確的圖像顏色信息分配。簡而言之，本文方法實(shí)現(xiàn)了對具有重復(fù)場景元素的自然圖像的快速、準(zhǔn)確和高質(zhì)量的顏色編輯處理。

本文方法也存在一定程度上的缺陷，比如在進(jìn)行外觀相似性度量時(shí)只考慮了圖像的顏色特征和紋理特征，并沒有考慮圖像的其他特征。因此，如何增加圖像的形狀、空間關(guān)系等特征，以實(shí)現(xiàn)自然圖像中重復(fù)場景元素的不同顏色編輯，這樣可以使圖像的顏色編輯處理更加豐富多彩，也將成為本文以后探討的主要方向。

[1]Reinhard E,Ashikhmin M,Gooch B,et al.Color transfer between images[J].IEEE Computer Graphics and Applications,2001,21(5):34-41.

[2]Welsh T,Ashikhmin M,Mueller K.Transferring color to grayscale images[J].ACM Transactions on Graphics,2002,21(3):277-280.

[3]Irony R,Cohen-Or D,Andlischinski D.Colorization by example[C]//Proceedings of the 16th Eurographics Conference on Rendering Techniques,Konstanz,Germany,Jun 29-Jul 1,2005.Aire-la-Ville,Switzerland:Eurographics Association,2005:201-210.

[4]Liu Xiaopei,Wan Liang,Qu Yingge,et al.Intrinsic colorization[J].ACM Transactions on Graphics,2008,27(5):152.

[5]Zhu Libo,Sun Shaoyuan.Image colorization based on color transfer and propagation[J].Journal of Image and Graphics,2010,15(2):200-205.

[6]Chia AY S,Zhuo Shaojie,Gupta R K,et al.Semantic colorization with Internet images[J].ACM Transactions on Graphics,2011,30(6):156.

[7]Huang H Z,Zhang S H,Martin R,et al.Learning natural colors for image recoloring[J].Computer Graphics Forum,2014,33(7):299-308.

[8]Faridul H S,Poulil T,Chamaretl C,et al.Colour mapping:a review of recent methods,extensions and applications[J].Computer Graphics Forum,2015,35(1):59-88.

[9]Xiao Yi,Wan Liang,Chi S L,et al.Optimization-based gradient mesh color transfer[J].Computer Graphics Forum,2015,34(6):123-134.

[10]Levin A,Lischinskil D,Weiss Y.Colorization using optimization[J].ACM Transactions on Graphics,2004,23(3):689-694.

[11]Qu Yingge,Wong T T,Heng P A.Manga colorization[J].ACM Transactions on Graphics,2006,25(3):1214-1220.

[12]Luan Qing,Wen Fang,Cohen-Or D,et al.Natural image colorization[C]//Proceedings of the 2007 Eurographics Symposium on Rendering Techniques,Grenoble,France,Jun 25-27,2007.Aire-la-Ville,Switzerland:Eurographics Association,2007:309-320.

[13]Yang Xue,Su Zhuo,Wang Dong.Local color transfer via color classification[C]//Proceedings of the 2012 International Conference onAudio Language and Image Processing,Shanghai,Jul 16-18,2012.Piscataway,USA:IEEE,2012:722-727.

[14]Chen Xiaowu,Zou Dongqing,Zhao Qinping,et al.Manifold preserving edit propagation[J].ACM Transactions on Graphics,2012,31(6):132.

[15]Xu Li,Yan Qiong,Jia Jiaya.A sparse control model for image and video editing[J].ACM Transactions on Graphics,2013,32(6):197.

[16]Li Xujie,Zhao Hanli,Huang Hui.Local linear model optimization based grayscale image colorization[J].Journal of Image and Graphics,2013,18(4):460-466.

[17]Cai Yuwen,Sheng Bin,Ma Lizhuang.Hand-drawn image colorization based on optimized segmentation[J].Journal of Computer-Aided Design&Computer Graphics,2013,25(6):774-781.

[18]HaCohen Y,Shechtman E,Goldman D B,et al.Optimizing color consistency in photo collections[J].ACM Transactions on Graphics,2013,32(4):38.

[19]Chen Xiaowu,Zou Dongqing,Li Jianwei,et al.Sparse dictionary learning for edit propagation of high-resolution images[C]//Proceedings of the 2014 Conference on Computer Vision and Pattern Recognition,Columbus,USA,Jun 23-28,2014.Washington:IEEE Computer Society,2014:2854-2861.

[20]Zhu Jibing,Wang Qiang.Manifold preserving color editing based on superpixels[C]//Proceedings of the 2015 International Conference on Information and Automation,Lijiang,China,Aug 8-10,2015.Piscataway,USA:IEEE,2015:3089-3093.

[21]Iizuka S,Simo-Serra E,Ishikawa H.Let there be color!:joint end-to-end learning of global and local image priors for automatic image colorization with simultaneous classification[J].ACM Transactions on Graphics,2016,35(4):110.

[22]Endo Y,Iizuka S,Kanamori Y,et al.DeepProp:extracting deep features from a single image for edit propagation[J].Computer Graphics Forum,2016,35(2):189-201.

[23]Achanta R,Shaji A,Smith K,et al.SLIC superpixels[R].Lausame,Vaud,Switzerland:Swiss federal Institute of Technology,2010.

[24]Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-228.

[25]Fan Jianchao,Han Min,Wang Jun.Single point iterative weighted fuzzy C-means clustering algorithm for remote sensing image segmentation[J].Pattern Recognition,2009,42:2527-2540.

[26]Wang Zhou,Bovik A C.A universal image quality index[J].IEEE Signal Processing Letters,2002,9(3):81-84.

[27]Wang Zhou,Bovik A C,Sheikh H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.

附中文參考文獻(xiàn)：

[5]朱黎博,孫韶媛.基于色彩傳遞與擴(kuò)展的圖像著色算法[J].中國圖象圖形學(xué)報(bào),2010,15(2):200-205.

[16]厲旭杰,趙漢理,黃輝.局部線性模型優(yōu)化的灰度圖像彩色化[J].中國圖象圖形學(xué)報(bào),2013,18(4):460-466.

[17]蔡宇文,盛斌,馬利莊.優(yōu)化分割的手繪圖像彩色化技術(shù)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2013,25(6):774-781.

2016-08,Accepted 2016-12.

Color Editing for Complex Natural Images with Repeated Scene Elements*

HE Haojie1,2,GUI Yan1,2+,LI Feng1,2
1.Hunan Provincial Key Laboratory of Intelligent Processing of Big Data on Transportation,Changsha University of Science and Technology,Changsha 410114,China
2.School of Computer and Communication Engineering,Changsha University of Science and Technology,Changsha 410114,China
+Corresponding author:E-mail:guiyan122@163.com

This paper proposes a novel color editing algorithm for complex natural images with repeated scene elements,which can be recolored quickly and accurately with less user interaction.Firstly,some regions of the input image can be marked by color scribbles,and the input image is divided into several superpixels by using SLIC(simple linear iterative clustering)algorithm.Secondly,a robust distance is defined to measure the similarity among repeated scene elements based on the constructed feature space.Finally,color information is assigned based on the local feature similarity,then they can be propagated to the whole image by color editing.The experimental results show that the proposed algorithm not only improves the efficiency of color editing,but also gets high quality results with coherence and consistency.

natural images;repeated scene elements;color editing;similarity measuring;color propagation

10.3778/j.issn.1673-9418.1608084

*The National Natural Science Foundation of China under Grant Nos.61402053，61602059(國家自然科學(xué)基金);the Scientific Research Fund of Hunan Provincial Education Department under Grant Nos.16C0046,16A008(湖南省教育廳科學(xué)研究項(xiàng)目).

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-12-07,http://www.cnki.net/kcms/detail/11.5602.TP.20161207.0922.008.html

HE Haojie,GUI Yan,LI Feng.Color editing for complex natural images with repeated scene elements.Journal of Frontiers of Computer Science and Technology,2017,11(11)：1792-1803.

A

TP391

HE Haojie was born in 1991.She is an M.S.candidate at Changsha University of Science and Technology.Her research interests include digital image processing,visual media editing and processing,etc.

何豪杰（1991—），女，湖北隨州人，長沙理工大學(xué)計(jì)算機(jī)與通信工程學(xué)院碩士研究生，主要研究領(lǐng)域?yàn)閳D像處理，可視媒體編輯與處理等。

GUI Yan was born in 1985.She received the Ph.D.degree from Shanghai Jiaotong University in 2012.Now she is a lecturer and M.S.supervisor at Changsha University of Science and Technology.Her research interests include computer graphics,computer vision,visual media editing and processing,etc.

桂彥（1985—），女，湖南永州人，2012年于上海交通大學(xué)獲得工學(xué)博士學(xué)位，現(xiàn)為長沙理工大學(xué)講師、碩士生導(dǎo)師，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)圖形學(xué)，計(jì)算機(jī)視覺，可視媒體編輯與處理等。

LI Feng was born in 1964.He is a professor and M.S.supervisor at Changsha University of Science and Technology.His research interests include image processing,pattern recognition,computer vision and information security,etc.

李峰（1964—），男，湖南澧縣人，博士，長沙理工大學(xué)教授、碩士生導(dǎo)師，主要研究領(lǐng)域?yàn)閳D像處理，模式識別，計(jì)算機(jī)視覺，信息安全等。