基于真實(shí)圖像轉(zhuǎn)換的中國(guó)水墨畫(huà)風(fēng)格渲染算法研究

摘要：中國(guó)水墨畫(huà)是一門(mén)具有悠久歷史的藝術(shù)形式，水墨畫(huà)的仿真早已成為計(jì)算機(jī)圖形學(xué)和數(shù)字圖像處理領(lǐng)域最具挑戰(zhàn)性的課題之一。通過(guò)構(gòu)建混合二維流體物理模型，實(shí)現(xiàn)了一個(gè)新穎的中國(guó)水墨畫(huà)仿真算法。首先，算法根據(jù)輸入圖像提取一組連貫、平滑的線條，該組邊緣輪廓線條作為用戶繪制的水墨筆劃，是水墨擴(kuò)散的初始參數(shù)。其次，提出了水墨粒子遷移和傳輸?shù)娜龑幽Ｐ?，通過(guò)引入流體力學(xué)理論來(lái)仿真水墨顆粒在淺水層、沉積層和毛細(xì)管層中的遷移和傳輸。最后，在該算法基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)交互式數(shù)字水墨書(shū)畫(huà)系統(tǒng)。實(shí)驗(yàn)表明，該系統(tǒng)可以實(shí)時(shí)的自動(dòng)生成具有不同抽象度和擴(kuò)散效果的中國(guó)水墨畫(huà)。

關(guān)鍵詞：非真實(shí)感繪制"" 線條提取" 流體動(dòng)力學(xué)" 中國(guó)水墨畫(huà)

Research on Rendering Algorithm of Chinese Ink Painting Style Based on Real Image Conversion

ZHAO Yang

College of Media， Yunnan Normal University， Kunming， Yunnan Province， 650500 China

Abstract： Chinese ink painting is an art form with a long history， and the simulation of ink painting has become one of the most challenging topics in the fields of computer graphics and digital image processing. A novel simulation algorithm for Chinese ink painting has been developed by constructing a mixed two-dimensional fluid physics model. Firstly， the algorithm extracts a set of coherent and smooth lines from the input image， and the edge contour lines of this set serve as the initial parameters for the diffusion of ink strokes drawn by the user. Secondly， a three-layer model for the migration and transport of ink particles was proposed， which simulates the migration and transport of ink particles in shallow water layers， sedimentary layers， and capillary layers by introducing fluid mechanics theory. Finally， an interactive digital ink painting and calligraphy system was designed and implemented based on the algorithm. The experiment shows that the system can automatically generate Chinese ink paintings with different levels of abstraction and diffusion effects in real time.

Key Words： Non-photorealistic rendering; Line extraction; Fluid dynamic; Chinese ink painting

中國(guó)水墨畫(huà)歷史悠久，強(qiáng)調(diào)神似，是東方藝術(shù)文化的象征和瑰寶^[1]。如何利用計(jì)算機(jī)技術(shù)實(shí)現(xiàn)基于真實(shí)圖像的中國(guó)水墨畫(huà)風(fēng)格轉(zhuǎn)換的數(shù)字交互系統(tǒng)是一個(gè)具有挑戰(zhàn)性的研究課題。

西方水彩畫(huà)在繪畫(huà)工具使用和表現(xiàn)技法上與中國(guó)水墨畫(huà)有著本質(zhì)不同^[5]。西方水彩畫(huà)繪制時(shí)更理性，追求形似。因此，西方水彩畫(huà)現(xiàn)有的模擬方法不能直接應(yīng)用于對(duì)中國(guó)水墨畫(huà)風(fēng)格的模擬。

目前，實(shí)現(xiàn)中國(guó)水墨畫(huà)風(fēng)格渲染的方法主要分為兩類(lèi)：一類(lèi)是基于筆劃的渲染（Stroke-based rendering，SBR）；另一類(lèi)則是基于圖像的渲染（Image Based Rendering，IBR）^[2]。本文設(shè)計(jì)了一個(gè)較為新穎的基于圖像的中國(guó)水墨畫(huà)風(fēng)格渲染算法，并基于Jos Stam的方法^[3]和Curtis的思想^[4]構(gòu)建了一個(gè)混合的二維流體物理模型，實(shí)現(xiàn)了水墨粒子運(yùn)動(dòng)的模擬。

基于Curtis的思想^[4]，本文提出了類(lèi)似的水墨顆粒遷移和傳輸?shù)娜龑幽Ｐ?。引入流體力學(xué)理論來(lái)仿真水墨顆粒在淺水層、沉積層和毛細(xì)管層中的遷移和傳輸^[5]。該混合流體模型可以自動(dòng)生成具有不同擴(kuò)散特征的中國(guó)水墨畫(huà)特效。

1中國(guó)水墨畫(huà)仿真算法研究發(fā)展概況

近10年來(lái)，實(shí)現(xiàn)中國(guó)水墨畫(huà)仿真的主流技術(shù)主要包括粒子系統(tǒng)、紋理合成、動(dòng)態(tài)擴(kuò)散機(jī)理和分形理論^[6]。由于計(jì)算復(fù)雜，這些方法尚未實(shí)現(xiàn)對(duì)水墨畫(huà)的實(shí)時(shí)渲染或風(fēng)格轉(zhuǎn)換。

2004年，CHU N S H等人^[7]提出基于改進(jìn)的LBE方法實(shí)時(shí)模擬水墨在宣紙上自然擴(kuò)散的各種復(fù)雜的特效。

2010年，趙凡等人^[6]提出了簡(jiǎn)化的水墨仿真流體模型，該方法在實(shí)現(xiàn)人機(jī)交互的同時(shí)，能夠快速模擬水墨在宣紙上的擴(kuò)散過(guò)程。

2013年，LIANG L Y等人^[2]構(gòu)建了一個(gè)自適應(yīng)的水墨畫(huà)特色擴(kuò)散模型。該模型可以通過(guò)調(diào)整輸入?yún)?shù)，使目標(biāo)圖像能夠自動(dòng)生成不同擴(kuò)散模式的水墨畫(huà)特效。

2020年，ZHANG F Q等人^[8]提出了基于人工智能的水墨風(fēng)格轉(zhuǎn)換算法，該算法的主要思想是基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)（Cycle GAN）。該算法通過(guò)Ada-In模塊整合了由內(nèi)容圖像和風(fēng)格圖像編碼的特征圖，可將原始輸入圖像轉(zhuǎn)換為具有水墨風(fēng)格特征的輸出圖像。

2022年，趙楊等人^[9]提出將加權(quán)最小二乘濾波應(yīng)用于水墨畫(huà)風(fēng)格渲染方面的思想，利用GPU加速水墨特效渲染過(guò)程，取得了較好的實(shí)驗(yàn)效果。

2023年，李意繁^[10]提出了一個(gè)新穎的面向中國(guó)繪畫(huà)藝術(shù)創(chuàng)作的風(fēng)格遷移算法，取得了較好的仿真效果。丘挺^[11]探討了人工智能技術(shù)在中國(guó)水墨畫(huà)中的應(yīng)用前景 。孫皓晨^[12]提出基于深度學(xué)習(xí)的零樣本水墨風(fēng)格圖像生成算法，取得了較好的實(shí)驗(yàn)效果。胡保鋒^[13]提出基于圖像水墨化風(fēng)格遷移網(wǎng)絡(luò)ChipGAN的改進(jìn)算法，另辟蹊徑，取得了良好的實(shí)驗(yàn)效果。

本文提出了基于圖像的中國(guó)水墨畫(huà)渲染技術(shù)、基于物理模型的水墨仿真技術(shù)和基于分形方法的紙張仿真技術(shù)，以快速模擬中國(guó)水墨畫(huà)。

首先，本文設(shè)計(jì)了一種水墨草圖提取算法來(lái)獲取輸入圖像的邊緣，并將邊緣信息作為用戶繪制的水墨筆劃，這是水墨擴(kuò)散的初始參數(shù)。其次，運(yùn)用Stam J提出的Navier-Stokes方程作為流體力學(xué)物理模型來(lái)模擬水墨顆粒的微觀運(yùn)動(dòng)過(guò)程^[3]。同時(shí)，本文借鑒了Curtis^[4]提出的水彩顆粒傳輸?shù)娜龑幽Ｐ蛠?lái)模擬更真實(shí)、更復(fù)雜的水模擴(kuò)散現(xiàn)象。最后，本文運(yùn)用二維Perlin噪聲模擬宣紙紋理的隨機(jī)特性。

2數(shù)字水墨書(shū)畫(huà)系統(tǒng)設(shè)計(jì)框架

本文設(shè)計(jì)的數(shù)字水墨書(shū)畫(huà)系統(tǒng)主要分為3個(gè)模塊：（1）草圖提取模塊，負(fù)責(zé)提取用戶輸入圖像的邊緣；（2）水墨擴(kuò)散和沉積模塊，可以將輸入的邊緣圖像轉(zhuǎn)換為中國(guó)水墨畫(huà)風(fēng)格；（3）圖像輸出模塊，通過(guò)將輸出的具有水墨特征的風(fēng)格圖像與宣紙紋理融合，從而獲得具有水墨風(fēng)格的輸出圖像。系統(tǒng)框架如圖1所示。

3 基于真實(shí)圖像轉(zhuǎn)換的中國(guó)水墨畫(huà)渲染算法

由于中國(guó)水墨畫(huà)強(qiáng)調(diào)“以形構(gòu)圖”，因此完整清晰地提取輸入圖像的邊緣輪廓顯得尤為重要^[14]。運(yùn)用傳統(tǒng)的二維圖像邊緣檢測(cè)方法生成的邊緣不夠連貫，無(wú)法較好地反映圖像的輪廓特征信息。

3.1 基于相干線繪制算法的毛筆筆劃提取技術(shù)

通過(guò)引入邊緣切向量場(chǎng)， KANG H等人^[15]提出了基于邊緣切向量場(chǎng)的高斯差分濾波算法。該算法進(jìn)行圖像處理時(shí)，主要分為以下兩個(gè)步驟：（1）算法構(gòu)建了一個(gè)邊緣切向量場(chǎng)，以保留圖像的流線特征；（2）算法設(shè)計(jì)了一個(gè)以切向量場(chǎng)為導(dǎo)向的各向異性濾波器來(lái)檢測(cè)高質(zhì)量的邊緣輪廓線條。ETF濾波器形式化定義如下。

有關(guān)相干線繪制算法的詳細(xì)實(shí)現(xiàn)，請(qǐng)參考金煒煒^[14]、Kang H^[15]、陳添丁等人^[16]的文獻(xiàn)。邊緣切線流場(chǎng)如圖2所示。

本文通過(guò)使用KANG H^[15]提出的邊緣提取算法，可以快速、方便地提取一組連貫、平滑的線條。提取的邊緣輪廓作為用戶繪制的水墨筆劃，這是水墨擴(kuò)散的初始參數(shù)（如圖3所示）。

"""""""""""

（a）輸入圖像"""""""""""""""""" （b）水墨筆劃

圖3 水墨筆劃提取示意圖

3.2 基于Navier-Stokes方程的流體動(dòng)力學(xué)模型

本節(jié)給出了基于流體力學(xué)的水墨畫(huà)仿真算法的定義和算法偽碼實(shí)現(xiàn)。

3.2.1水墨粒子傳輸?shù)娜龑幽Ｐ?/b>

基于Curtis的研究，本文提出了一個(gè)類(lèi)似的水墨顆粒運(yùn)移和傳輸?shù)娜龑幽Ｐ?。模型分為淺水層、沉積層和毛細(xì)管層3層，三層模型的交互會(huì)產(chǎn)生不同的渲染效果。淺水層用于模擬水墨粒子在紙張表面的流動(dòng)，在淺水層，水的流動(dòng)區(qū)域僅限于濕區(qū)^[4]。沉積層主要用來(lái)模擬控制油墨顆粒在淺水層和油墨沉積層之間的轉(zhuǎn)移^[5]。毛細(xì)管層模擬了水通過(guò)孔隙的遷移。

3.2.2基于Navier-Stokes方程的水墨粒子運(yùn)動(dòng)模型

本文采用STAM J^[3]提出的Navier-Stokes方程作為流體力學(xué)模型。NS方程主要由兩部分組成：一是動(dòng)量方程；另一個(gè)是連續(xù)性方程^[3]。形式化定義為

其中。公式（4）的第一個(gè)右項(xiàng)稱為平流項(xiàng)；第二項(xiàng)稱為壓力項(xiàng)，表示壓力的微觀不均勻性；第三項(xiàng)表示由非均勻流體稠度引起的動(dòng)量擴(kuò)散；第四是外力對(duì)流體施加的加速度增項(xiàng)^[3]。具體實(shí)現(xiàn)可以參考STAM J^[3]的文獻(xiàn)。

3.2.3水墨粒子沉積和遷移算法

通過(guò)實(shí)驗(yàn)，本文發(fā)現(xiàn)使用STAM J^[3]提出的二維流體物理模型無(wú)法很好地模擬宣紙上油墨顆粒的不規(guī)則擴(kuò)散。基于CURTIS C等人^[4]的研究，本文通過(guò)合并使用這兩個(gè)物理模型來(lái)模擬油墨顆粒的沉積和不規(guī)則擴(kuò)散等微觀現(xiàn)象。

基于CURTIS C等人^[4]的研究，本文對(duì)原始算法進(jìn)行了一些改進(jìn)。本文提出的水墨仿真算法在指定的時(shí)間步長(zhǎng)內(nèi)進(jìn)行迭代演進(jìn)，可以模擬水的速度變化，模擬水墨顆粒在淺水層中的運(yùn)動(dòng)，在淺水層和水墨沉積層之間轉(zhuǎn)移墨顆粒，模擬毛細(xì)管流動(dòng)等微觀現(xiàn)象。水墨顆粒沉積和遷移算法代碼如圖4所示?；旌鲜蕉S流體物理模型渲染效果圖如圖5所示。

本文使用Perlin噪聲來(lái)生成自然隨機(jī)分形效果，具體方法可以參考^[16]。通過(guò)將輸出具有的水墨特征的渲染圖像與宣紙紋理融合，可以獲得具有水墨風(fēng)格的最終輸出圖像。紋理圖像融合方法類(lèi)似于Photoshop軟件提供的圖像疊加操作。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)輸入分辨率為512×512像素的真實(shí)圖像，然后通過(guò)圖像邊緣提取、基于混合流體模型的水墨擴(kuò)散、宣紙紋理融合等一系列操作，得到具有中國(guó)水墨風(fēng)格的輸出圖像。實(shí)驗(yàn)結(jié)果表明，用戶運(yùn)用本文提出的算法，可以快速獲得具有明顯水墨風(fēng)格特征的藝術(shù)圖像，同時(shí)保留原始輸入真實(shí)圖像的邊緣結(jié)構(gòu)特征。部分實(shí)驗(yàn)結(jié)果如圖7所示。

本文同時(shí)設(shè)計(jì)了一個(gè)交互式的中國(guó)水墨畫(huà)軟件（如圖8所示）。用戶可以實(shí)時(shí)調(diào)整不同的輸入?yún)?shù)，從而產(chǎn)生不同的水墨風(fēng)格繪圖效果。此外，當(dāng)處理分辨率為512×512像素的真實(shí)圖像時(shí)，可以在不到20 s的時(shí)間內(nèi)獲得中國(guó)水墨風(fēng)格的草圖（不包括邊緣提取、圖像生成和融合的時(shí)間）。

5 結(jié)語(yǔ)

本文采用Visual C++和OpenGL語(yǔ)言實(shí)現(xiàn)了提出的渲染算法，創(chuàng)新之處在于構(gòu)建了一個(gè)相對(duì)復(fù)雜的水墨擴(kuò)散模型，取得了良好的渲染效果。然而，該模型仍有許多工作需要改進(jìn)和優(yōu)化，未來(lái)，將主要研究如何通過(guò)GPU加速實(shí)現(xiàn)交互式的水墨特征實(shí)時(shí)擴(kuò)散渲染算法。

參考文獻(xiàn)

[1]李莉. 水墨畫(huà)仿真系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D].濟(jì)南：山東大學(xué)，2009.

[2]LIANG L，JIN L.Image-based rendering for ink painting[C]//2013 IEEE International Conference on Systems， Man， and Cybernetics.IEEE，2013：3950-3954..

[3]STAM J. Stable fluids[M]//Seminal Graphics Papers：Pushing the Boundaries，2023：779-786..

[4]CURTIS C J，ANDERSON S E，SEIMS J E，et al.Computer-generated watercolor[C]//Proceedings of the 24th annual conference on Computer graphics and interactive techniques.1997：421-430.

[5]趙楊，楊劍蘭.基于流體力學(xué)的數(shù)字水墨書(shū)畫(huà)系統(tǒng)的研究與設(shè)計(jì)[J].電腦知識(shí)與技術(shù)，2013，9（7）：1699-1703.

[6]趙凡，張文俊，王少波，等.一種基于流體動(dòng)力學(xué)模擬的水墨渲染方法[J].微型電腦應(yīng)用，2010，26（3）：42-43，53，70-71.

[7]CHU N S H， TAI C L. Moxi： real-time ink dispersion in absorbent paper[J]. ACM Transactions on Graphics （TOG）， 2005， 24（3）： 504-511.

1. ZHANG F，GAO H， LAI Y.Detail-preserving cyclegan-adain framework for image-to-ink painting translation[J]. IEEE Access，2020，8：132002-132011.

[9]趙楊.基于加權(quán)最小二乘濾波的水墨特色風(fēng)格渲染算法[J].電子測(cè)試，2022（15）：43-46.

[10]李意繁. 面向中國(guó)繪畫(huà)藝術(shù)創(chuàng)作的風(fēng)格遷移算法研究[D].廣州：華南理工大學(xué)，2023.

[11]丘挺.人工智能在中國(guó)水墨畫(huà)中的應(yīng)用與挑戰(zhàn)[J].美術(shù)觀察，2023（8）：19-21.

[12]孫皓晨.基于深度學(xué)習(xí)的零樣本水墨風(fēng)格圖像生成算法研究[D].濟(jì)南：山東大學(xué)，2023.

[13]胡保鋒. 圖像水墨化風(fēng)格遷移網(wǎng)絡(luò)ChipGAN的改進(jìn)研究[D].西安：西安石油大學(xué)， 2023.

[14]金煒煒. 非真實(shí)成像的水墨畫(huà)繪制模型若干技術(shù)研究[D].杭州：浙江工商大學(xué)，2014.

[15]KANG H，LEE S，CHUI C K.Coherent line drawing[C]//Proceedings of the 5th international symposium on Non-photorealistic animation and rendering.2007：43-50.

[16]陳添丁，金煒煒，陳英旦，等.真實(shí)圖像轉(zhuǎn)換的水墨圖像繪制模擬[J].中國(guó)圖象圖形學(xué)報(bào)，2014，19（6）：946-954.