一種融合區(qū)域筆劃和梯度筆劃的油畫生成方法

葉 鵬， 王長波， 朱巧明， 張 康， 劉玉華

（1. 蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006；2. 華東師范大學(xué)軟件學(xué)院，上海 200062；3. 天津大學(xué)軟件學(xué)院，天津 300072）

一種融合區(qū)域筆劃和梯度筆劃的油畫生成方法

葉 鵬1， 王長波2， 朱巧明1， 張 康3， 劉玉華2

（1. 蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006；2. 華東師范大學(xué)軟件學(xué)院，上海 200062；3. 天津大學(xué)軟件學(xué)院，天津 300072）

基于筆劃的油畫生成是油畫生成中最為重要的技術(shù)，它模擬真實(shí)畫家使用筆劃的創(chuàng)作過程，以達(dá)到逼真的手繪作品的效果。分析了基于圖像分割的區(qū)域筆劃生成油畫的優(yōu)缺點(diǎn)，提出一種融合區(qū)域筆劃和梯度筆劃的油畫生成方法，首先通過圖像分割生成區(qū)域筆劃，然后根據(jù)圖像分割水平確定梯度閾值篩選出梯度筆劃。通過實(shí)驗(yàn)可以看出，該方法生成速度較快，不僅使筆劃更加靈活多變，而且可以彌補(bǔ)區(qū)域筆劃生成所產(chǎn)生的縫隙。

油畫；圖像分割；區(qū)域筆劃；梯度筆劃

非真實(shí)感生成（non-photorealistic rendering,簡稱NPR）的研究包括兩個(gè)主要方面：一方面是模擬藝術(shù)媒介的物理特性，例如：筆劃、畫布等；另一方面是模擬藝術(shù)創(chuàng)造過程來自動(dòng)生成繪畫[1-2]。而后者往往是眾多研究者的興趣所在。

在自動(dòng)生成藝術(shù)畫中，由于油畫具有更強(qiáng)的色彩和情緒表現(xiàn)而得到了更多的關(guān)注。而基于筆劃的油畫自動(dòng)生成無疑是油畫生成中最為重要的技術(shù)，由于它模擬真實(shí)畫家使用筆劃的創(chuàng)造過程[3-4]，更容易產(chǎn)生各種令人驚訝的逼真手繪效果。

在自動(dòng)生成油畫的過程中，如何一步步地放置筆劃是一個(gè)非常重要的問題。Haeberli[5]在1990年開創(chuàng)了基于筆刷進(jìn)行油畫生成的方法，并且使用圖像梯度方向來確定筆劃的方向。文獻(xiàn)[6-9]都是在圖像梯度筆劃的基礎(chǔ)上改進(jìn)實(shí)現(xiàn)的。基于梯度的筆劃繪制方法容易生成長而彎的筆劃，特別是在顏色變化較大的區(qū)域效果顯著。但是，在平坦的區(qū)域，梯度接近于0，筆劃方向往往難于確定。

還有一些研究者認(rèn)為，將特定的筆劃放在特定的區(qū)域是一個(gè)自然的想法，因此，很多研究者基于圖像分割的技術(shù)生成筆劃。Gooch[1]等人在2002年提出了一種基于筆劃的手繪風(fēng)格作品的生成方法，該方法首先通過圖像分割生成不同區(qū)域，然后提取出各個(gè)區(qū)域的中軸，最后根據(jù)中軸生成筆劃。Kasao等[10]提出一種將圖片生成藝術(shù)效果作品的方法。它是在文獻(xiàn)[11]的基礎(chǔ)上引入與紋理有關(guān)的3個(gè)參數(shù)：紋理方向，方向度量和紋理長度，來對(duì)圖像進(jìn)行分割，并且使得分割后的圖像每一區(qū)域都可以用一筆劃來代替，筆劃的方向與紋理信息有關(guān)。但由此生成的筆劃并不具有靈活多變的筆劃形勢，所以，生成的結(jié)果比較僵化，為此，Kasao等[12]在上面研究的基礎(chǔ)上對(duì)圖像分割進(jìn)行了改進(jìn)，更加注重了分割區(qū)域的方向，加入了分割區(qū)域彎曲度等參數(shù)進(jìn)行分割區(qū)域向量化，并進(jìn)行了分割后區(qū)域的歸類和優(yōu)化。改進(jìn)后的方法使得筆劃更加靈活，生成的結(jié)果更具自然性。文獻(xiàn)[13]也提出一種使用真實(shí)繪畫樣本來進(jìn)行藝術(shù)風(fēng)格化生成，該方法也是基于圖像分割技術(shù)，使用該方法容易產(chǎn)生某一特定風(fēng)格化的藝術(shù)作品。

基于圖像分割的筆劃生成技術(shù)優(yōu)點(diǎn)是明顯的：在各個(gè)分割區(qū)域內(nèi)可以較快的生成筆劃，特別是在一些平坦區(qū)域，可以使用大的筆劃快速填充。但是，基于圖像分割技術(shù)生成的筆劃往往比較僵硬，特別是分割的區(qū)域越來越多的時(shí)候，筆劃趨向于點(diǎn)劃法，缺失了筆劃的靈活性。另外,在分割區(qū)域的交界處會(huì)出現(xiàn)裂縫的情況，而如果通過更細(xì)的分割解決裂縫，又大大增加了時(shí)間開銷。

本文提出了一種融合區(qū)域筆劃和梯度筆劃生成油畫的方法。該方法結(jié)合了上述兩種技術(shù)的優(yōu)點(diǎn)，既能在平坦區(qū)域快速生成筆劃，又可以使得筆劃較為靈活多變，在圖像的顯著區(qū)域可以生成長而彎曲的筆劃，并且通過梯度筆劃生成可以解決分割筆劃產(chǎn)生的裂縫問題。

1 區(qū)域筆劃生成

區(qū)域筆劃的生成過程是首先對(duì)圖像進(jìn)行分割，形成一個(gè)個(gè)的區(qū)域，然后抽取出每個(gè)區(qū)域的中軸，最后根據(jù)區(qū)域的中軸形成筆劃。

1.1 圖像分割

文獻(xiàn)[1]中使用的是區(qū)域增長的分割方法，如圖1所示，是基于圖像亮度值的分割。首先，選出一個(gè)未被訪問的像素點(diǎn)，然后，訪問其相鄰像素點(diǎn)，如果該像素點(diǎn)與其相鄰像素點(diǎn)的亮度值差的絕對(duì)值小于某一閾值T，則兩點(diǎn)被認(rèn)為同屬一個(gè)區(qū)域。閾值T的大小由分割水平?jīng)Q定，分割越多，則T越小，反之越大。

經(jīng)過上面的操作后，圖像中會(huì)出現(xiàn)一些孔洞，還需要填充孔洞的操作。分割的區(qū)域被放在布爾型的數(shù)組中并被標(biāo)記為true，檢查每一個(gè)被標(biāo)記為false的點(diǎn)，它有幾個(gè)標(biāo)記為true的鄰居，如果大于5，則該點(diǎn)被標(biāo)記為true。如果小于5，而且被一個(gè)全部標(biāo)記為true的區(qū)域包圍，則該點(diǎn)也被標(biāo)記為true。

圖1 圖像分割

1.2 區(qū)域中軸提取

每個(gè)分割區(qū)域的中軸被提取出來作為筆劃生成的基礎(chǔ)。由中軸變換生成筆劃的一大優(yōu)勢是具有尺度不變性和旋轉(zhuǎn)不變性。首先通過距離轉(zhuǎn)換算法求出分割區(qū)域中每個(gè)點(diǎn)到邊界的最短距離[14]，然后估算出分割區(qū)域的中軸。

如圖2所示，先初始化分割區(qū)域中每個(gè)點(diǎn)值為 1，不在該區(qū)域中的點(diǎn)為 0。如果該點(diǎn)的所有非0鄰居小于等于該點(diǎn)的值，則該點(diǎn)的值加1，重復(fù)這樣的過程直到?jīng)]有值再變化而止。最后抽取出分割區(qū)域的中軸，這種離散的中軸被稱為脊集。該分割區(qū)域中的點(diǎn)屬于脊集當(dāng)且僅當(dāng)該點(diǎn)的值大于等于它的所有8個(gè)鄰居點(diǎn)的值。

圖2 通過距離轉(zhuǎn)換算法計(jì)算出中軸點(diǎn)

1.3 區(qū)域筆劃生成

上述的中軸被抽取出來后，可以基于這些中軸點(diǎn)來生成分割區(qū)域的筆劃。首先，將中軸點(diǎn)放入一個(gè)點(diǎn)列表中，對(duì)該點(diǎn)列表中的所有點(diǎn)求出他們的法線方向以及他們到區(qū)域邊緣點(diǎn)的寬度，然后，依次將所包圍的區(qū)域填充，如圖3所示。最后，生成一個(gè)筆劃，其完整過程，如圖4所示。

圖3 求出各點(diǎn)法線方向并填充區(qū)域

圖4 根據(jù)中軸點(diǎn)生成區(qū)域筆劃

2 梯度筆劃結(jié)合分割區(qū)域筆劃生成

通過圖像分割建立區(qū)域筆劃的方法速度比較快，生成的筆劃具有尺度和旋轉(zhuǎn)不變性，并且容易在平坦的局域放置筆劃。但是，由該方法生成的筆劃往往比較僵硬，特別是在分割比較多的時(shí)候，筆劃會(huì)趨向于點(diǎn)狀，并且這種區(qū)域筆劃的繪制常常受制于圖像分割的質(zhì)量產(chǎn)生一些縫隙情況。因此，本文引入梯度筆劃結(jié)合區(qū)域筆劃來進(jìn)行油畫繪制，以使得既能在較為快速地繪制，又能增大筆劃的靈活性，在一些顯著的區(qū)域生成長而彎去的筆劃。

2.1 梯度圖生成

其中H1和H2分別為水平和豎直卷積模板，和分別是x方向和y方向差分，為點(diǎn)處的梯度大小，θφ(x,y)為點(diǎn)處的梯度方向。由此，可以建立圖像的梯度圖，如圖5所示。

圖5 梯度圖生成

2.2 梯度筆劃生成

梯度筆劃是基于圖像梯度生成的，梯度筆劃在圖像變化劇烈的區(qū)域可以繪制出長而彎曲的筆劃，但是在平坦的區(qū)域，梯度筆劃是難以確定的，如圖6所示。

在圖像分割生成區(qū)域筆劃后，將根據(jù)分割的水平來選取梯度閾值M，只有大于閾值M的梯度會(huì)被利用繪制梯度筆劃。分割得越細(xì)，則我們選取的M越大，反之則選取的M越小。

梯度筆劃的具體生成如下：

1） 判斷給定點(diǎn)的梯度值是否大于M。

2） 如果小于等于M，則尋找新的點(diǎn)并返回1)；否則繼續(xù)執(zhí)行3）；

3） 在當(dāng)前點(diǎn)梯度的法線方向上以步長L前

進(jìn)一步到達(dá)一個(gè)新的點(diǎn)，如果該點(diǎn)的前面有兩個(gè)走過的點(diǎn)則將三點(diǎn)畫成一個(gè)三角面，三角面的顏色為初始給定點(diǎn)的顏色，并以新的點(diǎn)作為當(dāng)前點(diǎn)，重復(fù)上面的過程直到步數(shù)大于一個(gè)閾值且當(dāng)前點(diǎn)與初始點(diǎn)的亮度值之差大于某一閾值。

4） 選擇新的點(diǎn)轉(zhuǎn)到1)。

梯度方向的法線方向有兩個(gè)，選擇的規(guī)則是當(dāng)前方向與未來的方向夾角小于 90o，即筆劃不會(huì)產(chǎn)生畸彎曲。具體如下圖所示：

圖6 梯度筆劃示意

3 實(shí)驗(yàn)結(jié)果與分析

下面給出了3組圖片的實(shí)驗(yàn)結(jié)果，每組圖片的第一張為原圖像，中間為基于圖像分割的區(qū)域筆劃繪制（如文獻(xiàn)[1]生成的方法），第3張為本文中所提方法的繪制，每組實(shí)驗(yàn)都是在相同圖像分割水平下進(jìn)行。

可以看出第1組圖片，如圖7所示，文獻(xiàn)[1]中的筆劃在一些地方比較僵化，比如女孩的發(fā)梢、脖頸處，而本文的方法筆劃更加靈活，且彌補(bǔ)了生成區(qū)域筆劃時(shí)造成的縫隙。第2組圖片，如圖8所示，可以看出本文的方法在一些色彩變化較劇烈的區(qū)域繪制的筆劃更加細(xì)長彎曲，靈活更好，如瀑布，水的漩渦等處。從第3組圖片，如圖9所示，可以看出本文的方法生成的筆劃連貫性更好，特別在麥穗的麥芒處比較明顯。

其相關(guān)實(shí)驗(yàn)數(shù)據(jù)對(duì)比，如表1所示。

表1 相關(guān)實(shí)驗(yàn)數(shù)據(jù)對(duì)比

圖7 女孩圖片結(jié)果對(duì)比

圖8 瀑布圖片結(jié)果對(duì)比

圖9 麥穗圖片結(jié)果對(duì)比

4 總結(jié)與展望

本文提出了一種結(jié)合區(qū)域筆劃和梯度筆劃繪制油畫的方法，首先通過圖像分割生成區(qū)域筆劃，然后根據(jù)圖像分割水平確定梯度閾值篩選出梯度筆劃，完成最終繪制。該方法可以在平坦區(qū)域快速的生成筆劃，又使得筆劃在一些顯著區(qū)域更加的靈活，并且筆劃的連貫性也更好。實(shí)驗(yàn)證明，本文的方法可以快速有效地實(shí)現(xiàn)油畫繪制。

由于圖像分割可能對(duì)最終的繪制產(chǎn)生較大影響，本文下一步研究使用不同的圖像分割算法評(píng)估效用，來增強(qiáng)繪制效果，另外，將研究基于圖像分類的油畫繪制方向[15]。

[1]Gooch B, Coombe G, Shirley P. Artistic vision：painterly rendering using computer vision techniques [C]//Proceedings of the NPAR 2002 Symposium on Non-Photorealistic Animation and Rendering (Annecy,France), 2002：83-90.

[2]趙 楊, 徐 丹. 運(yùn)用流體模擬的油畫生成方法[J].軟件學(xué)報(bào), 2006, 17(7)：1571-1579.

[3]Pham B. Expressive brush strokes. Computer vision,graphics and image proc essing [J]. Graphical Models and Image Processing53, 1991：1-6.

[4]Saito S, Kani A, Chang Y. Curvature-based stroke rendering [J]. The Visual Computer, 2008, 24：1-11.

[5] Haeberli P. Paint by numbers：abstract image representations [C]//Computer Graphics, SIGGRAPH Annual Conference Proceedings, 1990：207-214.

[6]Hertzmann A. Painterly rendering with curved brush strokes of multiple sizes [C]//Proceedings of SIGGRAPH, 1998：453-460.

[7]Park Y, Hyun Y K. Dynamic brush stroke generation for an impressionist effect [J]. Computational Science and Its Applications-ICCSA, 2006：402-409.

[8]Hays J H, Essa I. Image and video based painterly animation [C]//Proceedings of the NPAR：3rd International Symposium on Non-Photorealistic Animation and Rendering, 2004：113-120.

[9]Xiao Liang, Wei Zhihui, Wu Huizhong. Novel method for computer create van Gogh’s oil style painting [J].Edutainment 2007, LNCS 4469, 2007：740-750.

[10]Kasao A, Nakajima M. A resolution independent nonrealistic imaging system for artistic use [C]//Proc.of the International Conference on IEEE Multimedia Computing and Systems, 1998：358-367.

[11]Kasao A, Nakajima M. K-means algorithm using texture directionality for natural image segmentation [C]//Proceedings of the International Workshop on Advanced Image Technology, 1998：23-28.

[12]Kasao A, Miyata K. Algorithmic painter：a NPR method to generate various styles of painting [J]. The Vis. Computer, 2006, 22(1)：14-27.

[13]Yan Chengren, Chi Mingte , Lee Tongyee, et al.Stylized rendering using samples of a painted image[J]. IEEE Transactions on Visualization and Computer Graphics, 2008, 14(2)：468-480.

[14]Jain R, Kasturi R, Schunck B. Machine vision [M].McGraw-Hill, 1995.

[15]Zeng Kun, Zhao Mingtian, Xiong Caiming , et al.From image parsing to painterly rendering [J]. ACM Trans. on Graphics, 2009, 19(1)：1-11.

A Method of Oil Paintings Rendering Based on Combining Region Brushstrokes with Gradient Brushstrokes

Ye Peng1, Wang Changbo2, Zhu Qiaoming1, Zhang Kang3, Liu Yuhua2
( 1. College of Computer Science and Technology, Soochow University, Suzhou Jiangsu 215006, China;2. Software Engineering Institute, East China Normal University, Shanghai 200062, China;3. School of Software Engineering, Tianjin University, Tianjin 300072, China )

Oil paintings rendering based on brushstrokes is the most import technology in oil paintings rendering which simulates real artists’ painting process that use brushes to paint. This paper analyzes advantages and disadvantages of oil paintings rendering based on region brushstrokes through image segmentation, and presents a new method of oil paintings rendering based on combining region brushstrokes with gradient brushstrokes. Firstly, render region brushstrokes through image segmentation and then set gradient threshold through image segmentation level and render gradient brushstrokes. Experimental results confirm that the method has a rapid rendering speed, and not only makes brushstrokes more flexible but can fill up some gaps rendered due to region brushstrokes.

oil painting; image segmentation; region brushstrokes; gradient brushstrokes

TP 391

A

2095-302X (2013)04-0024-05

2012-09-02；定稿日期：2013-03-06

葉 鵬（1984-），男，山東萊州人，博士研究生，主要研究方向?yàn)镹PR，可視化。E-mail：yepeng2007fei@163.com

王長波（1976-），男，湖北隨州人，博士生導(dǎo)師，教授，主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)，虛擬現(xiàn)實(shí)，人機(jī)交互，可視化。E-mail：cbwang@sei.ecnu.edu.cn