基于風(fēng)格遷移與骨架化的書(shū)法字庫(kù)自動(dòng)化生成方法

關(guān)鍵詞： 中文字庫(kù)；風(fēng)格遷移；骨架化處理；自動(dòng)化生成；書(shū)法

中圖分類(lèi)號(hào)：TP181 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）28-0030-04

0 引言

中國(guó)書(shū)法歷史悠久，是中國(guó)傳統(tǒng)文化的瑰寶，也是世界藝術(shù)和創(chuàng)意的重要組成部分。中國(guó)書(shū)法擁有豐富的載體和表現(xiàn)形式，從由金屬、石頭、甲骨和其他堅(jiān)固物質(zhì)制成的文物雕刻或鑄造的銘文，到竹簡(jiǎn)、草紙、宣紙記錄的墨跡文字，再到20世紀(jì)計(jì)算機(jī)的發(fā)明導(dǎo)致了數(shù)字字體的出現(xiàn)，中國(guó)書(shū)法一直承載著其原始屬性，即實(shí)用性、創(chuàng)造性、獨(dú)特性、個(gè)性化和藝術(shù)性[1]。

數(shù)字書(shū)法字庫(kù)最早的形式是位圖字體，其次是輪廓字體，最后是可變字體[2]。然而，通過(guò)傳統(tǒng)方法創(chuàng)建數(shù)字字庫(kù)需要花費(fèi)大量的人力物力，字體設(shè)計(jì)團(tuán)隊(duì)至少需要幾個(gè)月甚至幾年的時(shí)間來(lái)創(chuàng)建一個(gè)包含筆畫(huà)、襯線(xiàn)和粗細(xì)的新字體庫(kù)。英文字體的設(shè)計(jì)相對(duì)簡(jiǎn)單，因?yàn)橛⑽淖址麛?shù)量有限，僅包含約200個(gè)字符，包括大小寫(xiě)字母、數(shù)字和符號(hào)。因此，設(shè)計(jì)團(tuán)隊(duì)能夠在短時(shí)間內(nèi)完成設(shè)計(jì)。然而，中文書(shū)法字庫(kù)規(guī)模龐大，據(jù)統(tǒng)計(jì)現(xiàn)有漢字?jǐn)?shù)量已超過(guò)8萬(wàn)個(gè)。漢字的字形結(jié)構(gòu)復(fù)雜，風(fēng)格多樣，采用傳統(tǒng)的人工設(shè)計(jì)方式創(chuàng)建完整的書(shū)法字庫(kù)需要耗費(fèi)巨大的人力物力。

隨著人工智能和深度學(xué)習(xí)方法的興起，專(zhuān)家學(xué)者們開(kāi)始探索使用新興技術(shù)解決以上問(wèn)題。近年，基于條件生成對(duì)抗性網(wǎng)絡(luò)（cGAN） 的方法提出了“圖像到圖像”的風(fēng)格遷移框架“Pix2Pix”[3-4]，其中的目標(biāo)是在給定輸入輸出圖像對(duì)作為訓(xùn)練數(shù)據(jù)的情況下，將一個(gè)域中的參考輸入圖像翻譯成另一域中的目標(biāo)輸出圖像。到目前為止，基于深度學(xué)習(xí)的研究?jī)H將字體合成任務(wù)視為圖像遷移問(wèn)題，其目標(biāo)是學(xué)習(xí)從訓(xùn)練數(shù)據(jù)集中的參考字體樣式到海量字庫(kù)的任何目標(biāo)字體樣式的映射。這種字體風(fēng)格遷移方法存在一些問(wèn)題，例如生成的字體圖像模糊、偽影和不真實(shí)等，尤其是當(dāng)目標(biāo)字體樣式與參考字體形狀不同時(shí)問(wèn)題尤其嚴(yán)重[5-8]。

本文提出一種將風(fēng)格遷移和骨架化技術(shù)相結(jié)合的書(shū)法字庫(kù)自動(dòng)化生成方法，該方法可以將小樣本漢字書(shū)法的風(fēng)格轉(zhuǎn)換為骨架結(jié)構(gòu)，以確保字體生成時(shí)最少地受到非必要形狀的影響。本文沒(méi)有使用傳統(tǒng)的圖形到圖形的風(fēng)格映射，而是將書(shū)法字庫(kù)生成任務(wù)分解為三個(gè)階段：1） 書(shū)法單字圖形預(yù)處理及字體-骨架提??；2） 字體-骨架風(fēng)格訓(xùn)練；3） 骨架-字體風(fēng)格遷移。

1 理論基礎(chǔ)

1.1 骨架化技術(shù)

一種較為簡(jiǎn)單的圖形骨架獲取方式為圖形內(nèi)切圓圓心的計(jì)算，如圖 1所示，漢字書(shū)法單字圖像的局部形狀可以等效為三角形或矩形，對(duì)于局部形狀的棱角區(qū)域，通過(guò)距離計(jì)算不斷迭代獲取每一迭代步長(zhǎng)下的內(nèi)切圓并保存圓心和半徑，循環(huán)往復(fù)，依次找到所有內(nèi)切圓后，所有內(nèi)切圓的圓心所連成的線(xiàn)條即為漢字的骨架，如圖 2所示。

2 模型構(gòu)建

2.1 模型整體結(jié)構(gòu)

基于風(fēng)格遷移和骨架化技術(shù)的書(shū)法字庫(kù)自動(dòng)化生成模型如圖 3所示，為了使形狀復(fù)雜、數(shù)量龐大的漢字書(shū)法在生成結(jié)果上具有結(jié)構(gòu)和風(fēng)格的一致性，筆者將模型分為幾個(gè)子模塊，包括書(shū)法單字圖形預(yù)處理及字體-骨架提取、骨架-字體風(fēng)格訓(xùn)練學(xué)習(xí)、骨架-字體風(fēng)格遷移等模塊。

2.2 子模塊

1） 字體-骨架提取生成器

筆者利用字體-骨架提取生成器將待處理的書(shū)法單字圖片數(shù)據(jù)集從原始圖形轉(zhuǎn)換為其對(duì)應(yīng)的骨架圖形，其輸入為原始狀態(tài)下的彩色書(shū)法圖片，輸出為僅包含黑白色的骨架化字形。提取目標(biāo)骨架是使用基于Python 的模型生成的，該模型使用了文獻(xiàn)[9]中提出的方法。之所以選擇基于GAN 的骨架提取算法而不是僅僅使用1.1小節(jié)提到的內(nèi)切圓算法，是因?yàn)榧儍?nèi)切圓算法生成的骨架存在一些問(wèn)題（因書(shū)法筆畫(huà)的交叉和銜接處較多，這些位置的內(nèi)切圓圓心存在重疊交叉導(dǎo)致），例如骨架脫節(jié)、復(fù)雜圖形骨架交叉等。

2） 骨架-字體風(fēng)格訓(xùn)練器

骨架-字體風(fēng)格訓(xùn)練器遵循從固定的小規(guī)模參考書(shū)法字體骨架圖形中學(xué)習(xí)目標(biāo)書(shū)法字體風(fēng)格樣式。參考字體即訓(xùn)練數(shù)據(jù)集。骨架-字體風(fēng)格訓(xùn)練器的輸入是參考字體骨架圖形和參考字體原始圖形，它通過(guò)編碼器進(jìn)行下采樣以提取高級(jí)特征，形成參考字體骨架圖形到參考字體原始圖形的有效映射。在這里，筆者將風(fēng)格向量與編碼特征相結(jié)合（風(fēng)格向量是一個(gè)高維向量，用于控制生成書(shū)法圖像的風(fēng)格，編碼特征是將原始書(shū)法數(shù)據(jù)轉(zhuǎn)換為機(jī)器可處理的格式的過(guò)程）。然后，通過(guò)一系列采樣層以得到可以生成目標(biāo)字體圖像的遷移模型，具體原理如圖 4所示。

3） 骨架-字體風(fēng)格遷移生成器

骨架-字體風(fēng)格遷移生成器相對(duì)簡(jiǎn)單，它的作用是將“骨架-字體風(fēng)格訓(xùn)練器”得到的模型進(jìn)行實(shí)際使用，他的輸入為漢字骨架化圖形或者手繪漢字圖形等，輸出為模型對(duì)應(yīng)風(fēng)格的書(shū)法圖像（如圖 5） ，最終完成對(duì)目標(biāo)字體的風(fēng)格遷移。在所有模塊中，筆者使用相同的架構(gòu)，但訓(xùn)練了不同的映射函數(shù)模型。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)數(shù)據(jù)集描述

中國(guó)漢字構(gòu)造和字體形式多種多樣，本文使用 3 位古代書(shū)法家的經(jīng)典字體來(lái)驗(yàn)證模型（分別為顏真卿《多寶塔碑》、柳公權(quán)《神策軍碑》、《黃庭堅(jiān)手札十種》） ，數(shù)據(jù)集的具體情況如表 1所示。

筆者使用其中85%的字體數(shù)據(jù)來(lái)訓(xùn)練模型。為了測(cè)試模型的泛化能力，使用了剩余的15%未參與訓(xùn)練的字體圖形作為測(cè)試集。

3.2 實(shí)驗(yàn)環(huán)境和配置

本文實(shí)驗(yàn)硬件和軟件環(huán)境如表 2所示，配置輸入和輸出圖像通道為3通道，判別器使用PatchGAN，殘差塊使用Dropout，參數(shù)設(shè)置為0.5，模型使用Adam訓(xùn)練模型，初始學(xué)習(xí)率為0.000 2，批量大小設(shè)置為1，損失參數(shù)均設(shè)為10。

3.3 實(shí)驗(yàn)結(jié)果

對(duì)于各個(gè)子模塊，其中參考書(shū)法字體是給定字體字符的骨架和原始圖形，本文使用了一個(gè)基于 Python 的模塊來(lái)生成字體字符的骨架，根據(jù)最先進(jìn)的骨架化數(shù)學(xué)算法生成骨架。然后通過(guò)視覺(jué)分析，筆者選擇了文獻(xiàn)[9]的骨架化方法來(lái)預(yù)訓(xùn)練模型，因?yàn)榕c內(nèi)切圓算法等其他算法相比，該算法可以生成更加合理的字體骨架。得到的漢字書(shū)法骨架圖形示例如圖 6所示。

實(shí)驗(yàn)時(shí)，筆者根據(jù)參考域和目標(biāo)域中漢字圖形的整體風(fēng)格和結(jié)構(gòu)測(cè)試各種字體，以評(píng)估模型在生成不同樣式的各種書(shū)法字體方面的多樣性。通過(guò)利用測(cè)試集中這些未被用于模型訓(xùn)練的書(shū)法骨架圖形，模型可以生成相同風(fēng)格的更多漢字圖形，也就是說(shuō)，有了部分特定書(shū)法風(fēng)格的圖形樣本，筆者的模型就可以通過(guò)這些樣本來(lái)訓(xùn)練學(xué)習(xí)該風(fēng)格的字體從而獲得更大規(guī)模的漢字書(shū)法字庫(kù)，即使是那些結(jié)構(gòu)復(fù)雜且風(fēng)格多變的字形。測(cè)試生成如圖 7所示，其中左側(cè)標(biāo)記列為測(cè)試生成結(jié)果，右側(cè)標(biāo)記列為原始書(shū)法單字圖像。

本文根據(jù)模型在3種數(shù)據(jù)集上的8次實(shí)驗(yàn)計(jì)算出相應(yīng)的平均SSIM 和PSNR 值，SSIM和PSNR是對(duì)生成圖片的相似度以及畫(huà)質(zhì)的客觀(guān)評(píng)價(jià)指標(biāo)，值越大說(shuō)明生成圖片和真實(shí)圖片的相似度越高。額外，本文使用CycleGAN、Pix2Pix兩種基線(xiàn)模型進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果如表 3所示，可以看到本文模型3種數(shù)據(jù)集上的8次實(shí)驗(yàn)平均SSIM 和PSNR 值等于或優(yōu)于CycleGAN、Pix2Pix模型。

由于書(shū)法藝術(shù)的特殊性，本文研究并未使用過(guò)多的定量指標(biāo)去嚴(yán)格評(píng)判生成結(jié)果的質(zhì)量，但是由圖 7中的結(jié)果可以看到，通過(guò)本文方法在對(duì)應(yīng)書(shū)法骨架圖形上所生成的結(jié)果圖像質(zhì)量非常接近于原始圖像。另外，為了驗(yàn)證本文方法的泛化能力，筆者通過(guò)隨機(jī)書(shū)寫(xiě)漢字骨架線(xiàn)條，驗(yàn)證在對(duì)應(yīng)字體上的風(fēng)格遷移能力，結(jié)果如圖 8可見(jiàn)，生成結(jié)果雖不如對(duì)應(yīng)書(shū)法家原始字形精美，但依然可明顯分辨出風(fēng)格特征，并且生成的結(jié)果字形能讓人感受到較強(qiáng)的書(shū)法藝術(shù)風(fēng)格特征，這恰好說(shuō)明本文方法是切實(shí)可行的。

4總結(jié)

中文書(shū)法字庫(kù)建設(shè)對(duì)于藝術(shù)設(shè)計(jì)、傳統(tǒng)文化傳承和創(chuàng)新具有重要意義。本文提出了一種基于風(fēng)格遷移和骨架化技術(shù)的書(shū)法字庫(kù)自動(dòng)化生成方法，它可以擴(kuò)展和創(chuàng)建特定風(fēng)格的漢字書(shū)法字庫(kù)。在顏真卿《多寶塔碑》、柳公權(quán)《神策軍碑》、《黃庭堅(jiān)手札十種》等風(fēng)格的書(shū)法字體數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文方法能夠較好地生成特定風(fēng)格的書(shū)法單字圖形，并且可以擴(kuò)展現(xiàn)有字體或字庫(kù)中缺失的字符。未來(lái)，筆者將使用本文方法來(lái)學(xué)習(xí)多種風(fēng)格的書(shū)法，這不僅可以提高模型的可擴(kuò)展性和魯棒性，還可以大大提高生成結(jié)果的多樣性，同時(shí)，筆者還準(zhǔn)備嘗試建模能生成具有草書(shū)或更強(qiáng)藝術(shù)特征的高質(zhì)量字體。