基于p-Laplace方程的圖像彩色化方法

王澤文， 張小明

（東華理工大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，江西 撫州 344000）

基于p-Laplace方程的圖像彩色化方法

王澤文， 張小明

（東華理工大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，江西 撫州 344000）

灰度圖像的彩色化是圖像處理研究領(lǐng)域中富有挑戰(zhàn)性的研究課題，且具有十分廣闊的應(yīng)用前景。在分析現(xiàn)有圖像彩色化方法的基礎(chǔ)上，提出了一種基于p-Laplace方程的圖像彩色化新方法。新方法首先由用戶在灰度圖像上給定少量的顏色條帶；然后通過求解p-Laplace方程實(shí)現(xiàn)顏色擴(kuò)散的彩色化。由于p-Laplace算子是一個(gè)各向異性擴(kuò)散的非線性算子，所以與采用偏微分方程方法的泊松方法和拉普拉斯方法相比，圖像彩色化在擴(kuò)展顏色的同時(shí)更能保持邊緣效果。

圖像彩色化；p-Laplace方程；偏微分方程方法；圖像處理

圖像彩色化是指對黑白圖像、電影或電視圖像進(jìn)行計(jì)算機(jī)輔助著色的過程。時(shí)至今日，彩色化仍是計(jì)算機(jī)圖形學(xué)與計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)課題，它們在影視、動(dòng)漫、廣告、娛樂、數(shù)字化影像以及古畫修復(fù)等眾多工程領(lǐng)域具有廣闊的應(yīng)用前景。經(jīng)典的彩色化處理過程，一般先手工地將待著色的圖像進(jìn)行區(qū)域分割，然后為每個(gè)區(qū)域賦予期望的顏色，這種手工制作方式不僅對操作者自身水平要求較高，而且效率低下。近年來在圖像彩色化方面出現(xiàn)了一些半自動(dòng)的處理方法，大致可歸結(jié)為兩類，即基于顏色轉(zhuǎn)移的彩色化和局部彩色化向全局?jǐn)U展。

近年來，一些不需要精細(xì)人工操作的圖像彩色化方法被提出來了[1–4]。Welsh等人將一幅參考彩色圖像的顏色傳輸?shù)揭环叶葓D像，提出了一種半自動(dòng)彩色化方法，其中顏色傳輸?shù)侥繕?biāo)圖像是依據(jù)目標(biāo)像素亮度鄰域與參考圖像相應(yīng)像素鄰域的匹配。這種彩色化方法需要用戶準(zhǔn)備一幅近似的參考彩色圖像。Levin等人提出了一種交互式彩色化方法，即先由人工在圖像中各個(gè)區(qū)域涂上適當(dāng)?shù)牟噬珬l帶，然后讓顏色自動(dòng)擴(kuò)展到整幅圖像上，其中顏色的擴(kuò)展原則是使所有像素與其鄰域顏色加權(quán)差的平方和最小。Horiuchi提出了一種基于概率極值的彩色化方法，即用戶先給一些“種子像素”著色，其它象素上的顏色則根據(jù)條件概率極大原則來決定。Horiuchi方法重要缺點(diǎn)在于計(jì)算代價(jià)非常大，即彩色化一幅圖像需要大約一天時(shí)間[5]。

基于偏微分方程的圖像處理方法是近年來興起的一種圖像處理方法。Sapiro[6]將圖像修補(bǔ)的思想引入到圖像彩色化中，率先應(yīng)用偏微分方程方法實(shí)現(xiàn)灰度圖像的彩色化。Sapiro的彩色化方法是在灰度圖像上涂上一些彩色條帶，在彩色條帶上梯度約束下將泛函極小轉(zhuǎn)化為二維Poisson方程求解，從而將彩色條帶上的顏色擴(kuò)展到整幅圖像上。而滕升華[7]等人則以彩色化后整幅圖像的梯度最小為約束，將泛函極小轉(zhuǎn)化為Laplace方程以實(shí)現(xiàn)顏色的全局?jǐn)U展。彭宏京[8]等人則在Sapiro方法基礎(chǔ)上，利用擴(kuò)散張量對梯度場進(jìn)行加權(quán)，從而導(dǎo)出了基于散度的圖像彩色化方程。

本文將具有各向異性擴(kuò)散作用的p-Laplace非線性方程[9]引入到圖像彩色化中，并利用梯度下降法求解所得p-Laplace方程，從而實(shí)現(xiàn)圖像的彩色化。本文安排如下：第一節(jié)介紹已有的兩種基于偏微分方程的圖像彩色化模型；第二節(jié)給出圖像彩色化的p-Laplace非線性方程新模型及其數(shù)值解法；最后給出了實(shí)驗(yàn)結(jié)果和分析。

1 基于偏微分方程的圖像彩色化模型

（1） Sapiro的基于二維泊松方程的圖像彩色化模型

該模型在圖像的YCbCr顏色空間的處理方法是：求下述泛函極小化問題

顯然，式(2)即為帶 Dirichlet邊界條件的泊松方程。

（2） 基于拉普拉斯方程的圖像彩色化模型

該模型在圖像的YCbCr顏色空間的處理方法是：求下述泛函極小化問題

所以，圖像彩色化問題轉(zhuǎn)化為求解拉普拉斯方程定解問題式(4)。

2 基于 p-Laplace方程的圖像彩色化方法

第一節(jié)給出的兩個(gè)彩色化模型式(1)和式(3)的 Euler-Lagrange方程，可以看出擴(kuò)散項(xiàng)均為ΔC 且擴(kuò)散系數(shù)為 1，即它們是一種各向同性擴(kuò)散的彩色化方法。由于邊界處和平坦區(qū)域擴(kuò)散程度相同，因此它們在彩色化圖像的同時(shí)，可能導(dǎo)致邊界處的顏色產(chǎn)生偏差，彩色化的效果將受影響。根據(jù)文獻(xiàn)[10]的分析，p-Laplace算子

具有各向異性擴(kuò)散作用，其在局部坐標(biāo)下的表達(dá)式為

其中 η為平行于C的梯度的方向，ξ為η的正交方向（切向），如圖 1 所示。 式(6)表明：隨著的增大，都減小，即沿ξ和η方向的擴(kuò)散能力減弱；又由于擴(kuò)散系數(shù)的衰減速度不一致，擴(kuò)散方程實(shí)質(zhì)上是一個(gè)非線性各向異性擴(kuò)散方程，擴(kuò)散系數(shù)控制著該擴(kuò)散方程的擴(kuò)散行為。只要合理選擇p值，就能達(dá)到某種擴(kuò)散目的。

作者認(rèn)為在21＜＜p時(shí)，該模型能取得一個(gè)折中的結(jié)果。只要p值取得合適，該模型既能克服由TV模型引入的塊狀效應(yīng)，又能克服由調(diào)和模型引入的邊緣模糊，達(dá)到一個(gè)比較好的圖像彩色化效果?；谝陨峡紤]，本文將 p-Laplace算子引入到圖像彩色化處理中，建立了圖像彩色化的p-Laplace方程模型。

圖1 坐標(biāo)關(guān)系示意圖

2.1 圖像彩色化的p-Laplace方程模型

本文模型在圖像的YCbCr顏色空間的處理方法是：求下述泛函極小化問題

2.2 數(shù)值解法

用梯度下降法來求解式(8)，得到如下梯度下降方程

其中 t是人為引入的一個(gè)時(shí)間維度，表示圖像的彩色化過程。顯然，當(dāng)=0時(shí)C即為式(8)的解。因此，需要構(gòu)造適當(dāng)?shù)乃惴?，使得?dāng)t→∞時(shí)→0，從而得到式(9)的一個(gè)平衡解C，即

為式(8)的解。本文將利用文獻(xiàn)[11]中的離散化方法對式(9)進(jìn)行離散求解。

首先對圖像進(jìn)行等間距采樣，設(shè)采樣步長h =1。設(shè)O為目標(biāo)像素，其8鄰域節(jié)點(diǎn)和半像素鄰域點(diǎn)如圖2所示。由于出現(xiàn)在分母，為了避免它為零，引入一個(gè)小的正參數(shù)ε，使得那么散度 )(divv的差分格式為

圖2 目標(biāo)像素O與它的鄰域

其中 M為迭代次數(shù)。

由式(10)和式(11)可得式(9)的差分迭代格式為

在實(shí)際計(jì)算中, 對方程式(12)采用 Gauss-Seidel迭代法，即一旦得到右端C的新值就用它替換舊值，使得方程(12)更快收斂，以e點(diǎn)為例

且選取最大時(shí)間步長，從而加快彩色化速度。

3 實(shí)驗(yàn)結(jié)果與分析

本文首先選取了兩幅圖像（見圖3和圖4）進(jìn)行彩色化，并分別與同樣是采用偏微分方程的處理方法的Sapiro的泊松方法[6]和滕升華等人的拉普拉斯方法[7]進(jìn)行比較。圖3中的圖像是文獻(xiàn)[6]中效果最好的彩色化圖片，圖 3(c)為文獻(xiàn)[6]的泊松方法著色結(jié)果，在好幾處地方產(chǎn)生明顯的顏色偏差（見圖 3中的(c)、(d)、(e)中藍(lán)色圓圈內(nèi)）；圖 3(d)為本文方法著色結(jié)果，顏色擴(kuò)展較合理自然，彩色化后的圖片接近原始圖片圖 3(e)。

在 Matlab7.0上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)中取

圖3 圖像彩色化結(jié)果圖

與泊松方法一樣，拉普拉斯方法也是基于各向同性的拉普拉斯算子實(shí)現(xiàn)圖像的彩色化。由于拉普拉斯算子在邊界處和平坦區(qū)域擴(kuò)散程度一樣，所以將導(dǎo)致了彩色化結(jié)果在邊界處出現(xiàn)顏色模糊（見圖4 中藍(lán)色圓圈圈住的小孩的臉蛋、胸口、下巴等處）。因此，文獻(xiàn)[7]又引入加權(quán)差分來改進(jìn)邊界的彩色化，得到了較好的彩色化效果。

圖4 圖像彩色化結(jié)果圖

由圖4和圖5可以看出，本文方法的著色效果極其接近于文獻(xiàn)[4]的著色效果，優(yōu)于基于梯度場的泊松方法和各向同性擴(kuò)散的未加權(quán)的拉普拉斯方法。由于本文使用具有邊緣保持的平滑核，使得彩色化的結(jié)果更平滑和柔和（見圖4和圖5）。但是，圖4(d)中，左手臂和右肩膀等處存在細(xì)微的顏色模糊，這是因?yàn)楸疚姆椒▍^(qū)分2種顏色的分界是由提供的顏色種子來決定的，而沒有考慮目標(biāo)像素與相鄰像素的相似性程度，可能導(dǎo)致邊界定位不精確，以至于本文方法對涂色條帶要求比較嚴(yán)格。如果采取先初步涂上顏色條帶，然后根據(jù)彩色化效果再細(xì)微地修正邊界處的涂色條帶，彩色化效果會(huì)更加理想。

4 結(jié) 束 語

本文首先介紹了現(xiàn)有的基于偏微分方程的圖像彩色化方法，提出了一種基于 p-Laplace方程的非線性各向異性擴(kuò)散彩色化方法。大量實(shí)驗(yàn)表明，該方法彩色化效果優(yōu)于泊松方法和未經(jīng)加權(quán)的拉普拉斯方法，特別是在保持邊界顏色方面。另一方面，雖然本文方法的彩色化效果與文獻(xiàn)[4]接近，但由于p-Laplace的平滑特性，使得本文方法的彩色化圖像從整體上看更柔和（見圖5）。進(jìn)一步的工作是考慮相鄰像素的相似性程度約束，加強(qiáng)邊界定位能力，提升基于 p-Laplace算子的圖像彩色化性能。

圖5 圖像彩色化結(jié)果圖

[1]Burns G. Colorization[EB/OL]. http：//www.museum.tv/archives/etv/C/htmlC/colorization/colorizatio n.htm.

[2]Welsh T, Ashikhmin M, Mueller K. Transferring color to greyscale images [J]. ACM Transactions on Graphics, 2002, 21(3)：277-280.

[3] Takahiko Horiuchi. Colorization algorithm using probabilistic relaxation [J]. Image and Vision Computing, 2004, 22(3)：197-202.

[4]Levin A, Lischinski D, Weiss Y. Colorization using optimization [J]. ACM Transactions on Graphics, 2004,23(3)：689-694.

[5]Noda H, Korekuni J, Niimi M. A colorization algorithm based on local MAP estimation [J]. Pattern Recognition,2006, 39：2212-2217.

[6]Sapiro G. Inpainting the colors[EB/OL]. http：//www.ima.umn.edu/preprints/may2004/1979.pdf, 2004-05.

[7]滕升華, 諶安軍, 鄒謀炎. 一種基于拉普拉斯方程的圖像彩色化方法[J]. 中國圖象圖形學(xué)報(bào), 2006,11(4)：545-548.

[8]彭宏京, 顧佳玲, 段 江. 擴(kuò)散張量加權(quán)梯度域圖像彩色化方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2007, 19(9)：1114-1118.

[9] Bing Song. Topics in variational PDE image segmentation, inpainting and denoising [D]. USA：University of California Los Angeles, 2003.

[10]張紅英, 彭啟琮, 吳亞東. 數(shù)字破損圖像的非線性各向異性擴(kuò)散修補(bǔ)算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2006, 18(10)：1541-1546.

[11]Chan T, Shen J. Mathematical models for local non-texture inpainting [J]. SIAM Journal of Application Mathematics, 2001, 62(3)：1019-1043.

Image Colorization Based on p-Laplace Equation

WANG Ze-wen, ZHANG Xiao-ming
( School of Mathematics and Information Science, East China Institute of Technology, Fuzhou Jiangxi 344000, China )

Colorization of grayscale image is a challenging research field in image processing, and has wide application prospect. After analyzing current colorization algorithms, the paper proposes a new colorization algorithm based on p-Laplace equation. A user needs to provide the grayscale image with a few color scribbles manually. Then, the grayscale image is colorized by solving the p-Laplace equation. Since the p-Laplace operator is a nonlinear anisotropic diffusion operator, the new method can better maintain the color’s effect of the edge, at the same time achieving the color expansion than Saprio’s poisson colorization algorithm and Teng sheng-hua’s Laplace colorization algorithm, which are also partial differential equation based methods.

image colorization; p-Laplace equation; partial differential method; image processing

TP 391

A

1003-0158(2010)06-0062-06

2009-02-24

國家自然科學(xué)基金資助項(xiàng)目（10861001）；江西省自然科學(xué)基金資助項(xiàng)目；東華理工大學(xué)研究生創(chuàng)新基金資助項(xiàng)目（DYCA08009）

王澤文（1974-），男，江西上饒人，碩士，主要研究方向?yàn)槠⒎址匠痰膱D像處理。