結合圖像簽名和最優(yōu)傳輸?shù)念伾珎鬟f方法

謝 斌， 劉 軻， 張 抗

(江西理工大學 信息工程學院，江西 贛州 341000)

1 引 言

隨著互聯(lián)網(wǎng)技術的飛速發(fā)展以及智能設備的快速普及，人們獲取圖像的途徑愈加多樣化。同時，隨著生活質量的提高，對于圖像的藝術風格和視覺效果也有了更高的要求。然而，常規(guī)途徑獲取的圖像往往不能滿足用戶的要求，很多時候需要對其進行特定的增強處理。顏色傳遞[1-3]作為一種圖像增強手段，能夠將參考圖像的顏色傳遞至內容圖像上，使結果圖像在擁有內容圖像結構的同時又具備參考圖像的顏色，從而可以更好地提高圖像的藝術風格和視覺效果。當前的顏色傳遞技術可以分為全局方法和局部方法兩大類。

全局顏色傳遞實質是將參考圖像的整體顏色風格傳遞至內容圖像。文獻[4]中，Reinhard最初提出了一種基于圖像統(tǒng)計特性的顏色傳遞方法。該方法在lαβ顏色空間利用參考圖像與內容圖像的低階統(tǒng)計量(均值和標準差)匹配實現(xiàn)了圖像間的顏色傳遞。該方法具有簡單、快速的優(yōu)點，但是當圖像結構比較復雜時往往會得到不自然的結果。文獻[5]提出了一種基于N維概率密度匹配的顏色傳遞方法，在一定程度上提升了顏色傳遞的效果，但是該方法得到結果圖像容易產(chǎn)生偽影和噪聲。為此，文獻[6]在傳統(tǒng)方法的基礎上通過進一步的梯度保持來提高結果圖像的質量。文獻[7]在Reinhard方法的基礎上提出了一種改進方法，利用圖像協(xié)方差的相關性實現(xiàn)了顏色傳遞。文獻[8]在文獻[7]的基礎上，利用直方圖匹配技術來進行顏色傳遞，并通過梯度保持模型讓結果圖像保持內容圖像的細節(jié)。但是，該方法受圖像色域的影響較大，往往會出現(xiàn)色彩溢出問題。針對上述問題，文獻[9]進一步利用場景照明和限制圖像色域來解決色彩溢出的問題。當內容圖像結構比較復雜、顏色較為豐富或者僅有部分區(qū)域需要顏色傳遞時，上述全局方法得到的結果圖像容易存在層次感欠缺和視覺效果不佳等問題。為了彌補全局方法的不足，部分研究人員提出了局部顏色傳遞方法。

局部顏色傳遞方法的實質是將參考圖像“選定區(qū)域”的顏色傳遞至內容圖像相應的“選定區(qū)域”，各區(qū)域之間互不影響。此類方法通常能夠讓結果圖像更好地保持內容圖像的層次感，并能夠取得更好的視覺效果。文獻[10]提出了一種基于色彩組合的情感顏色傳遞方法，該方法首先提取了參考圖像的3種主要顏色，并通過Pantone配色方案(Eisemann, 2000)確定參考圖像對應的情感顏色，使結果圖像能夠按照用戶的需求具有不同的情感顏色。文獻[11]提出了一種基于超像素分割和L0范數(shù)的顏色傳遞方法。該方法根據(jù)超像素分割塊中像素間的相似性構建主色(5種)情感的顏色傳遞模型，并通過L0范數(shù)設計梯度保持模型以消除超像素分割所帶來的梯度信息丟失問題。然而，上述兩種方法提取的主要顏色往往并不能代表整幅圖像的顏色風格，如此容易使結果圖像不能很好地保持參考圖像的顏色風格。為此，部分學者提出了基于多點聚類的顏色傳遞方法。文獻[12]借助超像素分割得到參考圖像和目標圖像的超像素塊，并在此基礎上利用ANN(Approximate nearest neighbor)匹配算法進行超像素塊間的匹配，取得了更好的顏色傳遞效果。然而，超像素分割塊數(shù)目的選擇通常由用戶決定，其隨機性較大，往往容易使結果圖像中出現(xiàn)明顯的偽影和虛假的邊界。文獻[13]提出一種基于L2散度的顏色傳遞方法。該方法首先對參考圖像和內容圖像進行顏色聚類(50類)，然后通過最小化L2損失函數(shù)來確定兩幅圖像的類間匹配關系，并在此基礎上利用TPS(Thin Plate Splines)算法實現(xiàn)類間顏色傳遞。由于該方法中的顏色聚類數(shù)目較為固定，難以適應不同類型圖像間的顏色傳遞。并且，利用TPS算法進行顏色傳遞，得到的結果圖像往往容易出現(xiàn)顯眼的瑕疵以及顏色過渡不自然等問題。另外，深度學習技術[14-16]也被部分學者用于圖像間的顏色傳遞?；谏疃葘W習的方法雖然可以獲取較好的效果，但是相應的網(wǎng)絡結構一般比較復雜并且通常需要構建龐大的數(shù)據(jù)集，因而此類方法的復雜度和時間成本較高。

為了得到更好的效果，圖像分割[17-18]在顏色傳遞的預處理中得到廣泛應用。文獻[19]基于語義信息分析提出了一種新穎的顏色傳遞方法。該方法以人工分割的方式提取人臉圖像的高級語義信息，然后在此基礎上利用Reinhard方法在對應的語義區(qū)域進行顏色傳遞。然而，該方法的適用范圍非常有限，僅對人臉圖像的顏色傳遞有較好的效果。另外，文獻[20]提出了一種語義信息自動感知的顏色傳遞方法。該方法利用視覺引導圖將參考圖像和內容圖像分割為前景區(qū)域和背景區(qū)域，然后在對應區(qū)域采用Reinhard方法進行顏色傳遞，在一定程度上提升了結果圖像的層次感。上述基于語義信息的方法雖然總體上能夠取得較傳統(tǒng)方法[8,11,13]更好的效果，但仍然存在兩方面的不足。首先，上述方法采用的分割策略不能準確地分割出圖像的語義區(qū)域，導致所得結果圖像在很多場合下仍然存在層次感不足的問題。其次，上述方法在分割區(qū)域中采用了Reinhard顏色傳遞策略，即在區(qū)域內部進行簡單統(tǒng)計量(區(qū)域內的標準差和均值)的映射，該處理方式容易忽略區(qū)域中的局部信息，從而可能造成結果圖像中存在細節(jié)保持不足的問題。

針對上述問題，本文提出了一種結合圖像簽名和最優(yōu)傳輸?shù)木植款伾珎鬟f新方法。首先，為了更好地提升結果圖像的層次感，引入基于圖像簽名[21]的顯著區(qū)域檢測算法，將參考圖像和內容圖像分割成前景區(qū)域和背景區(qū)域，并在對應區(qū)域進行顏色傳遞。其次，結合最優(yōu)傳輸理論和亮度保持策略設計了一種新的顏色傳遞方法，一方面讓結果圖像能夠更好地保持參考圖像的顏色，另一方面讓結果圖像有效地保持內容圖像的細節(jié)特征。另外，為了更好地評價顏色傳遞效果，文中結合色度差和結構相似度設計了一種新的客觀評價指標。大量的實驗結果證明了文中所提顏色傳遞方法和評價指標的有效性。

2 顏色傳遞經(jīng)典模型

文獻[4]中，Reinhard首次提出了一種顏色傳遞經(jīng)典方法。在顏色傳遞過程中，假定內容圖像為t、參考圖像為s、結果圖像為r，則Reinhard方法可以通過以下模型來實現(xiàn)彩色圖像間的顏色傳遞。

(1)

式(1)中，μ和σ分別表示lαβ空間下圖像的統(tǒng)計均值和標準差，i∈(l,α,β)表示顏色通道。雖然該方法具有簡單、高效的優(yōu)點，但是容易出現(xiàn)層次感不足、細節(jié)損失明顯等問題。圖1所示為Reinhard方法進行顏色傳遞的示例圖。

圖1 經(jīng)典顏色傳遞結果示例Fig.1 Classic color transfer model results

由圖1(c)可以看出，相對于圖1(a)所示的內容圖像而言，結果圖像明顯存在層次感不足的問題。另外，比較圖1(d)和圖1(e)可以發(fā)現(xiàn)，結果圖像存在較為嚴重的細節(jié)丟失問題。造成上述問題的原因主要有兩個方面：首先，Reinhard方法是通過統(tǒng)計量的簡單運算得到的，往往容易造成結果圖像缺乏層次感；其次，Reinhard方法僅僅考慮了圖像的全局信息而沒有很好地考慮圖像的局部信息，利用式(1)進行顏色傳遞容易造成結果圖像存在一定程度的細節(jié)損失。

針對Reinhard方法存在的問題，Xia等[20]進一步在CIE Lab空間提出了一種基于語義信息自動感知的顏色傳遞方法。該方法利用顯著性檢測得到的視覺引導圖[20]將圖像分割為前景區(qū)域和背景區(qū)域，然后在對應的區(qū)域分別采用Reinhard方法進行顏色傳遞以提高結果圖像的視覺效果。Xia方法的模型如下：

ri=wt,irf,i+w′t,irp,i，

(2)

(3)

(4)

圖2 視覺引導顏色傳遞結果示例Fig.2 Examples of visual guided color transfer results

3 顏色傳遞新方法

3.1 新方案的提出

針對傳統(tǒng)方法存在的不足，本文提出了一種結合圖像簽名和最優(yōu)傳輸?shù)念伾珎鬟f新方法。首先，采用了一種基于圖像簽名[22]的彩色圖像顯著區(qū)域檢測方法，可以更好地得到圖像的前景區(qū)域和背景區(qū)域，以此為基礎在對應區(qū)域進行顏色傳遞，能夠較好地提高結果圖像的層次感；其次，結合最優(yōu)傳輸理論[22]設計了一種保持內容圖像亮度的顏色傳遞策略，以進一步提升結果圖像的質量。文中所提顏色傳遞方法的流程如圖3所示。首先，在CIE Lab顏色空間利用圖像簽名對輸入的內容圖像和參考圖像分別作顯著性檢測處理，得到兩幅圖像的前景區(qū)域和背景區(qū)域；然后，結合最優(yōu)傳輸理論設計了一種亮度保持的顏色傳遞方法，并在內容圖像和參考圖像的對應區(qū)域進行顏色傳遞；最后，合并顏色傳遞后的前景區(qū)域和背景區(qū)域并將其轉至RGB顏色空間，得到最后的結果圖像。

圖3 文中所提方法的流程圖Fig.3 Flow chart of the proposed method

3.2 基于圖像簽名的顯著區(qū)域檢測

文中引入基于圖像簽名的顯著區(qū)域檢測[22]方法，以進一步提高結果圖像的層次感。由于該方法有效地結合了圖像的局部和全局信息，因此得到的顯著區(qū)域能夠較好地與人類視覺系統(tǒng)特性保持一致。以此為依據(jù)，將圖像軟分割成前景區(qū)域(顯著區(qū)域)和背景區(qū)域(非顯著區(qū)域)能夠更好地體現(xiàn)圖像的層次關系。

對于彩色圖像u:u=f+p，(u.f.p∈Ω)，其中：Ω是圖像的像素空間，f是u的前景區(qū)域，p是u的背景區(qū)域。通過在變換域中獲取u的符號[21]，然后將其反變換回空間域，可以近似地分離出f和p。為此，在CIE Lab空間中，定義圖像簽名如下：

Is(ui)=sign(DCT(ui))

(5)

式(5)中,i∈(L,a,b)，sign(·)為符號函數(shù)，DCT(·)為離散余弦變換。文獻[22]中，利用圖像簽名進行圖像前景和背景分割的步驟如下：

(2)通過高斯核函數(shù)平滑(用于抑制由符號量化引入的噪聲)Is′(u)得到圖像簽名標識符w，即

w=G*(Is′(u)°Is′(u))

(6)

式(6)中，G為高斯核函數(shù)，w為圖像標識符，其元素反映了圖像對應像素的顯著性。°為Hadamard乘積運算符，*為卷積運算。

(3)利用圖像標識符w得到圖像u的前景區(qū)域f和背景區(qū)域p，即

(7)

式(7)中，j∈(R,G,B),.*為點乘運算。

圖4所示為不同方法得到的顯著檢測區(qū)域、前景區(qū)域和背景區(qū)域的對比結果。其中，(a)為內容圖像，(b)為文獻[21]方法得到的顯著區(qū)域(視覺引導圖)，(c)為文獻[21]方法利用圖4(b)得到的前景區(qū)域，(d)為文獻[21]方法利用圖4(b)得到的背景區(qū)域。4(e)為文獻[22]方法得到的顯著區(qū)域(圖像簽名標識符)，(f)為文獻[22]方法利用圖4(e)得到的前景區(qū)域，(g)為文獻[22]方法利用圖(e)得到的背景區(qū)域。由圖4(a)可以看出，內容圖像的前景區(qū)域為中間部分延伸到右上角區(qū)域清晰的白色花束，圖像的背景區(qū)域為其余部分。以此為依據(jù)，對比兩種不同方法得到的圖像前景區(qū)域和背景區(qū)域。由圖4(b)可知，文獻[21]的方法得到的顯著區(qū)域僅僅局限于橙紅色部分，它并不能較好地體現(xiàn)內容圖像的顯著區(qū)域。圖4(c)和圖4(d)進一步驗證了該方法的局限性，即圖4(c)體現(xiàn)的前景區(qū)域與主觀分析得到的前景區(qū)域存在較大差異。相較而言，由圖4(e)可知，文獻[22]的方法得到的顯著區(qū)域(亮度較大的區(qū)域)更加符合人類視覺系統(tǒng)特性。圖4(f)和圖4(g)進一步驗證了該方法的有效性，即圖4(f)體現(xiàn)的前景區(qū)域較好地與主觀分析得到的前景區(qū)域保持了一致。圖4所示實驗表明，文獻[22]方法得到的前景區(qū)域和背景區(qū)域能夠更好地體現(xiàn)圖像的層次關系。因此，本文采用文獻[22]方法將內容圖像分割成不同的區(qū)域再進行顏色傳遞，能夠讓結果圖像更好地保持內容圖像的層次感。

圖4 不同方法得到的顯著檢測區(qū)域、前景區(qū)域和背景區(qū)域。Fig.4 Salient detection region, foreground region and background region obtained by different methods.

3.3 最優(yōu)傳輸顏色傳遞

顏色傳遞可以認為是兩幅圖像間的某種特殊映射，即將參考圖像的顏色分布映射至內容圖像，使內容圖像在保持自身幾何結構的同時具有參考圖像的顏色分布。在概率意義下，彩色圖像可以近似地視為3維高斯隨機變量[5,23]。假定在色彩傳遞過程中，內容圖像t和參考圖像s其對應的概率密度函數(shù)分別為M(t)和M(s)，映射函數(shù)為π，則顏色傳遞中的映射關系[21]可以定義如下：

(8)

式(8)中，π[t]與s理論上具有相似的顏色分布，并且有

π[t]=t*φ+ζ

(9)

式(9)中，φ是一個3×3的傳遞矩陣，ζ為待定參數(shù)，det(·)是行列式運算符。由式(9)可知?π(t)=φ，且對應的|det?π(t)|為大于0的常數(shù)，由此可得

M(t)∝M(π[t])

(10)

一般而言，圖像的概率密度函數(shù)可以用高斯核函數(shù)近似地估計[23]，即

(11)

(12)

式(11)和式(12)中，μ=(μL,μa,μb)為圖像各顏色分量的均值，σ=(σL,σa,σb)為圖像各顏色分量的協(xié)方差矩陣。為了使式(10)成立，則由式(8)、(9)、(11)、(12)可得：

π[t]=(t-μt)*φ+μs

(13)

然而，由上述關系得到的傳遞矩陣φ的結果并不唯一，且由該方法得到的結果圖像存在映射結果與預期不符以及視覺效果較差等問題。

為了較好地解決上述問題，文中引入Monge-Kantorovich最優(yōu)傳輸理論[24]，設計了新的顏色傳遞能量函數(shù)，以期得到更好的結果。Monge-Kantorovich最優(yōu)傳輸?shù)膬?yōu)點在于可以找到一種映射T以盡可能地減小兩個概率分布之間的距離，即

(14)

式(14)中，傳輸變換為T:X→Y,η(隨機變量X,Y，x∈X,y∈Y)為給定的損失函數(shù)，T(x)為映射后的分布，z(x)為X的分布函數(shù)。式(14)可以讓分布T(x)和分布y之間的距離最小。

為了讓映射后的顏色概率分布與參考顏色概率分布更為接近，本文借助式(14)設計了新的顏色傳遞能量函數(shù)(損失函數(shù)η采用歐式距離來近似)。即

(15)

式(15)中，π[t]為映射后的圖像，Ω是圖像的像素空間，M(t)是內容圖像的概率密度函數(shù)。采用式(15)進行顏色傳遞的優(yōu)點主要有：

(1)最優(yōu)傳輸?shù)慕馐峭购瘮?shù)的梯度[24]，意味著亮暗區(qū)域的關系在映射后保持不變，如此能夠解決映射與預期不符的問題。

(2)解是凸函數(shù)的梯度，則φ必須是正定對稱的，從而φ存在唯一確定解，如此可以避免顏色傳遞結果不確定的問題。

最后，需要說明的是，通過最小化能量函數(shù)得到的傳遞矩陣為φ的解[25]為。

.

(16)

3.4 保持亮度的傳遞策略

一般而言，亮度信息是彩色圖像最重要的內容之一，它不僅能夠體現(xiàn)圖像的明暗對比關系，而且還可以反映圖像的層次感、細節(jié)、梯度和紋理等重要特征。然而，在顏色傳遞過程中，內容圖像和參考圖像的亮度信息往往差異較大，容易造成結果圖像出現(xiàn)層次感不足、對比度失衡以及部分細節(jié)丟失等問題。為此，本文設計了一種保持內容圖像亮度的傳遞策略。設內容圖像前景區(qū)域和背景區(qū)域的亮度分量分別為Lt,f和Lt,p，分區(qū)域顏色傳遞完成后的前景區(qū)域和背景區(qū)域分別為π[t](Lf,af,bf)和π[t](Lp,ap,bp)。為了讓結果圖像能夠更好地保持內容圖像的細節(jié)信息，在前景區(qū)域(或背景區(qū)域)顏色傳遞完成后，將對應結果的亮度分量替換為內容圖像原始前景區(qū)域(或原始背景區(qū)域)的亮度分量，即亮度保持后的前景區(qū)域和背景區(qū)域分別為π[t](Lt,f,af,bf)和π[t](Lt,p,ap,bp)。最后，再將亮度保持后的前景區(qū)域π[t](Lt,f,af,bf)和背景區(qū)域π[t](Lt,p,ap,bp)進行合成，得到顏色傳遞結果圖像r(Lt,f+p,af+p,bf+p)。如此，能夠讓結果圖像在具有參考圖像顏色的基礎上更好地保持內容圖像的細節(jié)特征。

圖5所示為本文方法的顏色傳遞結果。由圖5(c)可以發(fā)現(xiàn)，相較于圖1(c)所示Reinhard方法的實驗結果，本文方法得到的結果圖像其層次感更加接近于內容圖像，并且整體視覺效果有較大的提升；對比圖5(d)和圖1(e)可以發(fā)現(xiàn)，本文方法得到的結果圖像明顯更好地保持了內容圖像的細節(jié)、紋理等信息(如雨痕、墻上的斑點等)。

圖5 新顏色傳遞方法結果示例圖Fig.5 Example of new color transfermethod result

為了進一步說明亮度保持策略的有效性，文中還增加了部分對比試驗。圖6所示是不同方法所得結果圖像和亮度分量的對比圖。由圖6(c)～(e)可以看出，與圖(a)相比較，文獻[4]、文獻[7]和文獻[13]方法所得結果圖像的亮度分量都不同程度地存在對比度失衡、細節(jié)丟失以及層次感保持不足等問題。圖6(f)～(i)中對應的結果圖像進一步反映了上述方法存在的問題。相較而言，由圖6(e)和圖6(i)可知，本文方法所得結果圖像在具備參考圖像顏色的同時又較好地保持了內容圖像的對比度、細節(jié)、梯度以及層次感等關鍵信

圖6 不同方法所得結果圖像及亮度分量對比Fig.6 Contrast of images and luminance components obtained by different methods

息。這主要是由于本文方法在顏色傳遞過程中采用了亮度保持策略，從而能夠讓結果圖像更好地保持內容圖像的重要特征。

4 顏色傳遞評價指標

目前，顏色傳遞方面并沒有公認的客觀評價指標。部分學者采用特征相似度[26](FSIM)、平均絕對差(MAD)和顏色差異等客觀評價指標來衡量結果圖像的質量。理論上，結果圖像應該在保持參考圖像顏色的基礎上很好地保持內容圖像的幾何結構。因此，評價顏色傳遞結果圖像的質量應該綜合以上兩個方面的因素。為此，本文在綜合考慮了顏色保持和結構保持的基礎上，利用改進的色差模型[27]和改進的結構相似度[28](GSSIM)設計了一種新的顏色傳遞客觀評價指標CSP，即

(17)

式(17)中，t為內容圖像，s為參考圖像，r為結果圖像，ε為調節(jié)參數(shù)。Cc為基于色差模型的色彩差異，Cg為基于梯度的結構相似度(GSSIM)。以下是對Cc和Cg的詳細介紹。

一方面，為了更好地評估結果圖像對參考圖像的顏色保持程度，文中利用基于色差模型[27]的色彩差異Cc來計算參考圖像和內容圖像間的顏色差異，并以此評價它們二者間的顏色相似程度。經(jīng)典的色差模型[27]定義如下：

(18)

式(18)中，ΔE是色差，ΔL、ΔC和ΔH分別是CIE Lab空間中兩幅彩色圖像的亮度差、色度差和色相差，sL、sC和sH分別是亮度、色度和色相分量的權值函數(shù)，kL、kC和kH值是調優(yōu)參數(shù)，RT是色差擬合參數(shù)。式(18)中部分變量見式(19)。

.

(19)

由于經(jīng)典的色差ΔE是通過圖像間的點運算得到的，非常容易受到圖像結構的影響，因而模型(18)通常僅適用于結構相同的兩幅圖像。一般而言，顏色傳遞中的參考圖像與結果圖像其結構存在較大差異，因此利用經(jīng)典的色差ΔE來評估結果圖像對參考圖像的顏色保持程度，其效果并不理想。針對此問題，本文對經(jīng)典的色差模型進行了改進，使其可以用于不同結構圖像間的色差評估。

首先，鑒于文中3.4節(jié)已經(jīng)證明了保持內容圖像亮度的重要性，因此在結果圖像和參考圖像間進行色差評估時不再考慮亮度分量。其次，考慮到點運算容易受到圖像結構的影響，因此采用全局統(tǒng)計量(均值)來計算色度差ΔC′和色相差ΔH′。即

(20)

(21)

調優(yōu)參數(shù)的均值，RT是色差擬合參數(shù)的均值。當兩幅圖像間的顏色差異較大時，則Cc較大；反之，則Cc較小。

另一方面，文中引入文獻[28]的基于梯度的結構相似度(GSSIM)來計算Cg以更好地評價結果圖像對內容圖像的結構保持程度。GSSIM指標在傳統(tǒng)的SSIM指標基礎上還引入了梯度信息，能夠更充分地考慮圖像中諸如紋理、細節(jié)和邊緣等重要特征，因而可以更好地評價兩幅圖像在結構上的相似程度。由于GSSIM通常用于灰度圖像間的結構相似度計算，因此定義結果圖像r與內容圖像t的結構相似度為：

(22)

式(22)中，

(23)

式(23)中，k∈(R,G,B)，lk(r,t)為圖像各通道的相似參數(shù)，δ1=0.01，δ2=0.03，δ3=0.015，μk,r、μk,t分別為各通道的均值，σk,r、σk,t分別為各通道的標準差，φk(r,t)、φk,g(r,t)分別為各通道的對比度相似參數(shù)和結構相似參數(shù)，gk,t(i,j)和gk,r(i,j)分別為各通道中原圖像t和結果圖像r在(i,j)處的梯度模值。由式(22)可知，當兩幅圖像間的結構差異較大時，Cg較??；反之，則Cg較大。

需要說明的是，本文所提顏色傳遞評價指標CSP可以直接從數(shù)值上來體現(xiàn)顏色傳遞的綜合效果。實際上，式(17)所述CSP指標中的Cc(顏色評價指標)越小，說明結果圖像對參考圖像的顏色保持程度越高；而式(17)中的Cg(結構評價指標)越大，說明結果圖像對內容圖像的結構保持程度越好。因此，CSP的值越大說明顏色傳遞的綜合效果越好，反之則越差。相對于傳統(tǒng)的FSIM[27]、MAD等客觀評價指標，顏色傳遞評價指標CSP可以同時兼顧結果圖像對參考圖像的顏色保持程度和結果圖像對內容圖像的結構保持程度。因而，CSP指標能夠比傳統(tǒng)評價指標(FSIM和MAD)更加全面地衡量顏色傳遞的綜合效果。

5 實驗分析

5.1 實驗結果比較

為了驗證所提顏色傳遞方法的有效性，文中將其與近年來的部分方法(文獻[4]Reinhard方法，文獻[8]Xiao方法，文獻[21]Xia方法，文獻[11]Li方法，文獻[14]Grogan方法)進行了比較。文中涉及的所有程序均在MATLAB 2019a環(huán)境下運行，實驗平臺為：Intel(R)Corei5-5200U、2.2 GHz主頻、4 G內存、Win10操作系統(tǒng)。圖7所示是不同方法進行顏色傳遞的結果比較，第1列～第5列分別是5組不同的顏色傳遞實驗。

由圖7所示的實驗結果可以看出：(1)Reinhard方法存在層次感保持不足(如圖(c2)、(c4)和(c5)所示，它們與內容圖像的層次感存在較大差異)、細節(jié)丟失(如圖(c1)、(c4)和(c5)所示的綠色矩形區(qū)域沒有較好地保持內容圖像對應區(qū)域的細節(jié)信息)以及顏色不和諧(如圖(c1)的紅色矩形區(qū)域和圖(c3)的綠色矩形區(qū)域)等問題；(2)Xiao方法存在層次感保持不足(如圖(d2)～(d5)都沒有很好地體現(xiàn)內容圖像的層次感)、顏色不和諧(如圖(d1)～(d3)的紅色矩形區(qū)域)和細節(jié)丟失(如圖(d1)、(d4)和(d5)的綠色矩形區(qū)域)等問題；(3)Xia方法存在層次感保持不足(如圖(e2)和(e3))和細節(jié)丟失(如圖(e1)、(e4)和(e5)的紅色和綠色矩形區(qū)域)等問題；(4)Li方法不能很好地保持參考圖像的顏色信息(如圖(f1)～(f5)所示結果圖像的顏色與參考圖像的顏色存在較大差異)；(5)Grogan方法存在層次感保持不足(如圖(g2)中近處草地上的花叢與遠處的山峰幾乎混為一體，沒有很好地體現(xiàn)內容圖像對應區(qū)域原有的層次關系，顏色過渡不自然(如圖(g1)背景區(qū)域的山體和近處山體間的顏色過渡，(g5)的綠色矩形區(qū)域)和細節(jié)增強過度(如圖(g3)背景區(qū)域的細節(jié)信息被過度增強，與內容圖像的對應區(qū)域存在較大差異)等問題；(6)由圖(h1)～(h5)可以發(fā)現(xiàn)，相較而言，本文方法得到的結果圖像在層次感保持、細節(jié)保持和顏色保持等方面均有更好的表現(xiàn)，并且沒有出現(xiàn)諸如顏色不和諧、顏色過渡不自然以及細節(jié)過度增強等問題。上述實驗結果表明，本文所提方法得到的結果圖像其整體質量明顯優(yōu)于其他方法。

圖7 不同風格圖像的實驗結果Fig.7 Experimental results of different style images

5.2 客觀評價

為了進一步證明所提新方法的有效性，文中利用特征相似度(FSIM)、平均絕對差(MAD)指標以及第4節(jié)新設計的CSP指標對圖7所示的5組實驗結果進行了評估。不同指標的評估結果如表1所示。需要說明的是：表1中的Cc是色彩差異，其值越小則表明兩幅圖像的顏色越接近；Cg是結構差異，其值越大表明兩幅圖像在結構上越相似； CSP是文中新設計的顏色傳遞評價指標，其值越大說明顏色傳遞的綜合效果越好。

表1 客觀評分Tab.1 Objective scoring

續(xù) 表

由表1可知：(1)在結果圖像對參考圖像的顏色保持方面(Cc)，本文方法取得了較好的效果；(2)在基于梯度的結構相似度方面(Cg)，本文方法在5組對比實驗中均優(yōu)于其他方法，這主要是由于文中新方法采用了最優(yōu)傳輸理論以及內容圖像的亮度保持策略，如此可以更好地保持內容圖像的結構；(3)在綜合效果方面(CSP)，本文方法在5組對比實驗中均優(yōu)于其他方法，這說明文中所提新方法在保持參考圖像顏色的同時能夠兼顧內容圖像結構的保持。另外，在特征相似度(FSIM)、平均絕對差(MAD)指標方面，本文方法亦取得了更加理想的效果。表1所示實驗結果說明，本文方法所得結果圖像在對參考圖像的顏色保持方面和對內容圖像的結構保持方面表現(xiàn)更優(yōu)。

5.3 主觀評價

為了驗證本文所提評價指標CSP的有效性以及更全面地評價不同方法所得結果圖像的質量，本文進一步采用顏色傳遞方面最常用的主觀評分方式對圖7所示不同方法的結果圖像質量進行評價。為此，隨機選擇了30位志愿者(15位男生和15位女生)對上述實驗結果從顏色保持、結構保持和整體視覺效果3方面進行了10分制綜合評分(每種方法的最終得分為30位志愿者評分的均值，分數(shù)越高表示效果越好)，最后的評分結果如表2所示。由表2可知，本文方法所得主觀評分均高于其他方法，這與表1所示的CSP評價結果保持了較高的一致性。

表2 主觀評分 Table 2 Subjective scoring results

值得注意的是，從表1和表2所示結果來看，特征相似度(FSIM)、平均絕對差(MAD)指標用于評價顏色傳遞的效果并不十分理想。首先，第1組和第4組實驗中，Li方法和本文方法所得結果圖像的FSIM值非常接近，然而結合圖7所示結果((f1)和(h1)，(f4)和(h4))以及表2的主觀評分可以發(fā)現(xiàn)，Li方法((f1)，(f4))在顏色保持方面存在明顯的不足，其所得結果圖像的綜合效果遠不及本文方法((h1)，(h4))。其次，由表1的FSIM列數(shù)據(jù)可以看出，5組實驗中不同方法得到的FSIM值十分接近，其區(qū)分度非常小。然而，比較圖7所示第2組實驗中的(g2)和(h2)、第3組實驗中的(c3)和(h3)、第4組中的(d4)和(h4)以及第5組的(d5)和(h5)可以明顯看出，本文方法所得結果(h2)、(h3)、(h4)和(h5)在保持內容圖像特征方面要分別優(yōu)于(g2)、(c3)、(d4)和(d5)；由表1的MAD列數(shù)據(jù)可以看出，Li方法與本文方法以及Grogan方法得到的MAD值較為接近，但3種方法得到的結果圖像存在較大差異。因此，利用特征相似度(FSIM)、平均絕對差(MAD)指標并不能很好地評價顏色傳遞結果圖像的優(yōu)劣。

另外，文中所提顏色評價指標Cc是對參考圖像和結果圖像的色相和色度兩個方面進行差異評估，其值可以較好地體現(xiàn)兩幅圖像的顏色相似程度。如表1的Cc列數(shù)據(jù)，Li方法所得結果圖像在5組實驗中的Cc值均較大，說明其顏色保持能力較弱；而本文方法所得結果圖像的Cc值均較小，說明其顏色保持能力較強。這一點在圖7所示的實驗結果中得到了充分的驗證，即Cc值能夠較好地體現(xiàn)結果圖像對參考圖像顏色的保持程度。文中所提結構評價指標Cg在SSIM基礎上添加了邊緣保持的能力檢測，其值可以更充分地反映結果圖像和內容圖像結構間的差異。如表1中的Cg列數(shù)據(jù),本文方法和Li方法所得結果的Cg值明顯優(yōu)于其他方法，從圖7中的實驗結果也可以看出這一點。考慮到Cc和Cg僅僅是基于顏色保持和結構保持的單一性指標，因此本文結合顏色評價指標Cc和結構評價指標Cg提出了顏色傳遞綜合評價指標CSP。由表1所示結果可以看出，不同方法所得CSP值有明顯區(qū)別，并且與表2所示的主觀評分和結果圖像的整體視覺效果保持了高度一致，這較好地說明了本文所提顏色傳遞綜合指標CSP的有效性。綜上可知，相對特征相似度(FSIM)、平均絕對差(MAD)指標而言，文中所提綜合評價指標CSP能夠對顏色傳遞結果圖像的質量作出更為合理的評價。

由表1所示的客觀評價結果和表2所示的主觀評價結果可知，相較于傳統(tǒng)顏色傳遞方法，本文所提新方法能夠取得質量更高的顏色傳遞結果，新方法的綜合效果(CSP)較傳統(tǒng)方法平均提升了30%。

6 結 論

為了提高顏色傳遞的效果，本文提出一種結合圖像簽名和最優(yōu)傳輸?shù)念伾珎鬟f新方法。首先，為了提高結果圖像的層次感，引入基于圖像簽名的顯著區(qū)域檢測算法。其次，為了讓結果圖像較好地保持內容圖像的紋理、梯度以及細節(jié)等重要特征，本文利用最優(yōu)傳輸理論設計了一種保持內容圖像亮度的顏色傳遞策略。另外，本文還設計了一種新的顏色傳遞評價指標用于顏色傳遞效果的評估。大量實驗表明，相比于傳統(tǒng)的顏色傳遞方法，本文所提新方法能夠得到質量更高的結果圖像。并且，新的顏色傳遞客觀評價指標較傳統(tǒng)評價指標更為合理和有效。現(xiàn)階段，深度學習技術被廣泛用于圖像處理領域的各個方面。雖然基于深度學習的圖像處理方法通常涉及的訓練時間較長且網(wǎng)絡結構較為復雜，但是此類方法往往可以取得較好的效果。因此，如何結合深度學習技術研究簡單高效的顏色傳遞方法是今后的重點。