基于生成對抗網(wǎng)絡(luò)的字體生成數(shù)據(jù)集差異性研究

李 昕,王江江 ,戰(zhàn)國棟

(大連民族大學(xué) a.計算機(jī)科學(xué)與工程學(xué)院；b.設(shè)計學(xué)院;c.大連市漢字計算機(jī)字庫設(shè)計技術(shù)創(chuàng)新中心，遼寧 大連 116605)

文字是人們表達(dá)信息最直接的元素，也是交流溝通的重要工具。文字的出現(xiàn)對文明的發(fā)展提供了極大的幫助。與其它西方文字相比，漢字是地球上使用人數(shù)最多的一種文字，更是中華文化的載體。漢字是平面型方塊體文字，符號繁多、結(jié)構(gòu)復(fù)雜。每個字的造型、圖形符號既是傳達(dá)文字含義，也是一種特定的情感表達(dá)。

1 研究背景

然而，字體設(shè)計是一項消耗大量人力的工作。設(shè)計者可借助相關(guān)軟件進(jìn)行字體風(fēng)格設(shè)計，但因其使用的處理方法都是將每個字符視為許多部首和筆畫的組合，先通過幾何建模再輔之以人工干預(yù)來完成，所以設(shè)計過程仍面臨著艱巨的工作，需耗費大量的時間和精力[1]。隨著人工智能的發(fā)展，人們開始探討更有效的中文字體風(fēng)格設(shè)計方法，以人工設(shè)計的少部分目標(biāo)字體為基準(zhǔn)，通過相關(guān)算法將其余字符直接轉(zhuǎn)換成與目標(biāo)字體相同風(fēng)格的字體。這將極大地減少設(shè)計師的設(shè)計周期，使得創(chuàng)建個性化字體成為可能。

隨著深度學(xué)習(xí)技術(shù)在圖像風(fēng)格遷移領(lǐng)域的成功應(yīng)用，基于深度神經(jīng)網(wǎng)絡(luò)的字體風(fēng)格遷移方法逐漸引起人們的關(guān)注，相關(guān)的研究也取得了一定的進(jìn)展。Lyu等人[2]以生成中國書法風(fēng)格字體為背景，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)(deep neural networks, DNN)的模型，該模型將字體風(fēng)格遷移問題作為一個圖像到圖像的翻譯問題，可以端到端的將標(biāo)準(zhǔn)漢字圖像遷移成特定風(fēng)格的書法圖像。Chang等人[3]以中文字體在排版中的風(fēng)格轉(zhuǎn)換為背景，提出了一個基于深度學(xué)習(xí)(deep learning，DL)的模型。該模型由一個全卷積網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)和一個對抗性網(wǎng)絡(luò)(generative adversarial networks, GAN)構(gòu)成，目的是在保留結(jié)構(gòu)信息和細(xì)節(jié)真實的情況下，將標(biāo)準(zhǔn)的印刷體漢字轉(zhuǎn)換成其他各種風(fēng)格的漢字。Zhang等人[4]以自動繪制可讀的草書字體為背景，提出了一個基于條件遞歸神經(jīng)網(wǎng)絡(luò)(convolutional recurrent neural network，CRNN)模型。該模型用字符嵌入與生成模型聯(lián)合訓(xùn)練，能夠正確地寫入數(shù)千個不同的字符，并且保證了在生成不同筆記樣式時具有多樣性。Danyang Sun[5]等人采用基于可變自動編碼器的字體生成模型，采用一種新的交叉對優(yōu)化方法，來分離漢字特征中內(nèi)容相關(guān)和風(fēng)格相關(guān)成分，較大地改善了中文字體的生成效果，有效的實現(xiàn)了中文字體風(fēng)格的遷移。雖然這些方法都能夠生成與目標(biāo)字體樣式相同的字體圖像，但所有方法都處于有監(jiān)督學(xué)習(xí)中，需要大量的成對字符數(shù)據(jù)(字體成對數(shù)據(jù)集：參考字體+目標(biāo)字體)如圖1。

圖1 字體成對數(shù)據(jù)集示例

然而傳統(tǒng)的網(wǎng)絡(luò)模型輸入的參考字體與目標(biāo)字體直接聯(lián)系，二者的差異越大，訓(xùn)練所需時間越長，生成的效果越差。本文將從生成對抗網(wǎng)絡(luò)模型字體生成過程中參考字體差異性對于生成字體的不同進(jìn)行實驗分析。為了能夠得出參考字體的選取范圍，本文對于不同的參考字體在zi2zi與DC-Font等模型中進(jìn)行了對比實驗，通過實驗結(jié)果將給出選取參考字體的范圍。除此之外，本文通過結(jié)構(gòu)相似性度量指標(biāo)為字體研究學(xué)者提供適用的參考字體SSIM值。

2 中文字體風(fēng)格遷移方法

2.1 基于計算機(jī)圖形學(xué)的字體生成方法

在漢字字庫的計算機(jī)輔助設(shè)計方法研究中, 孫星明等人[6]利用設(shè)計的筆畫替換原有筆畫的方式構(gòu)建新漢字字庫. 楊建等[7]提出一種動態(tài)調(diào)節(jié)貝塞爾曲線的漢字風(fēng)格字體方法. 徐頌華等[8]通過輪廓匹配算法找出兩個字體中相同筆劃輪廓特征點的對應(yīng)關(guān)系實現(xiàn)字體風(fēng)格遷移 Daniel G等[9]從字形與結(jié)構(gòu)出發(fā), 以組合字的形式自動生成新字體. 熊晶等人提出了基于特征點抽象的漢字描述方法和基于字形骨架的漢字生成方法. 由于不同字體在筆畫和結(jié)構(gòu)都存在一定差異, 因此骨架擴(kuò)展和組合漢字筆畫的方法都很難滿足規(guī)范嚴(yán)格的字庫行業(yè)的標(biāo)準(zhǔn)。

2.2 基于深度學(xué)習(xí)的字體生成方法

最近的研究已經(jīng)將圖像翻譯方法用于字體生成?！皕i2zi”[10]和“Rewrite”[11]在GAN的基礎(chǔ)上實現(xiàn)了字體生成，具有數(shù)千個字符對，用于強(qiáng)監(jiān)督學(xué)習(xí)。之后，基于zi2zi提出了一系列模型來提高生成質(zhì)量。 PEGAN建立了一個多尺度圖像金字塔，通過細(xì)化連接傳遞信息。HAN通過設(shè)計分層損失和跳過連接來改進(jìn) zi2zi。 AEGG添加了一個額外的網(wǎng)絡(luò)來改進(jìn)訓(xùn)練過程。DC-Font引入了風(fēng)格分類器以獲得更好的風(fēng)格表示。

然而，上述所有方法都處于監(jiān)督學(xué)習(xí)中，需要大量的成對數(shù)據(jù)。在字體數(shù)據(jù)集較大的情況下，這種一對一的字體設(shè)計需要大量的時間成本，特別是一些結(jié)構(gòu)復(fù)雜、筆畫繁多的字體，設(shè)計起來更是耗時耗力。

2.3 本文實驗網(wǎng)絡(luò)模型

基于深度神經(jīng)網(wǎng)絡(luò)的字體風(fēng)格遷移方法將字體生成任務(wù)看作是圖像到圖像的風(fēng)格轉(zhuǎn)換問題，通過字體風(fēng)格轉(zhuǎn)換器生成新款字體。風(fēng)格轉(zhuǎn)換器通過設(shè)計師提供的少量字形樣本訓(xùn)練，就能自動學(xué)習(xí)分析該字體的筆畫風(fēng)格及間架結(jié)構(gòu)間規(guī)則，然后再根據(jù)學(xué)習(xí)到的風(fēng)格轉(zhuǎn)換規(guī)則轉(zhuǎn)換生成樣本集中未出現(xiàn)過的文字字型。

字體風(fēng)格轉(zhuǎn)換器由兩部分構(gòu)成，第一部分為Encoder Network，將輸入字符的風(fēng)格信息壓縮成潛在空間向量；第二部分為Decoder Network，將潛在空間向量還原為圖像。字體風(fēng)格轉(zhuǎn)換器整體框架是基于生成式對抗網(wǎng)絡(luò)的結(jié)構(gòu)，由字體圖像生成器和字體圖像判別器組成。編碼器與解碼器構(gòu)成了字體圖像生成器，網(wǎng)絡(luò)結(jié)構(gòu)如圖2。

圖2 本文實驗選取網(wǎng)絡(luò)模型

由于網(wǎng)絡(luò)模型在訓(xùn)練過程中需要大量的訓(xùn)練樣本，而目前還沒有用于字體風(fēng)格遷移實驗的公開數(shù)據(jù)集，所以本文實驗隨機(jī)挑選了不同的手寫風(fēng)格和設(shè)計風(fēng)格的20個中文字庫。每一個中文字庫通過Fontforge提取了9169張字體圖像，實驗所用數(shù)據(jù)集見表1。

表1 實驗數(shù)據(jù)集

本文以端到端地方式訓(xùn)練生成器G和鑒別器D。輸入一對訓(xùn)練樣本，該樣本由同一字符的不同風(fēng)格構(gòu)成，標(biāo)準(zhǔn)字體圖像為，目標(biāo)字體圖像為。最終目標(biāo)如公式(1)：

(1)

3 數(shù)據(jù)集及評價指標(biāo)

3.1 數(shù)據(jù)集

由于網(wǎng)絡(luò)模型在訓(xùn)練過程中需要大量的訓(xùn)練樣本，而目前還沒有用于字體風(fēng)格遷移實驗的公開數(shù)據(jù)集，所以本文實驗隨機(jī)挑選了不同的手寫風(fēng)格和設(shè)計風(fēng)格的16個中文字庫。每一個中文字庫通過Fontforge提取了9 169張字體圖像。

3.2 評價指標(biāo)

為了量化評價字體風(fēng)格遷移網(wǎng)絡(luò)的生成字體質(zhì)量，本文采用結(jié)構(gòu)相似度量(structural similarity， SSIM)作為量化評判指標(biāo)。其值越大表示圖像相似度越高，SSIM會通過亮度(luminance)、對比度(contrast) 和結(jié)構(gòu)(structure) 三個比較量進(jìn)行衡量[11]。假設(shè)生成字體圖像為x，真實目標(biāo)字體圖像為y，這兩張圖像的SSIM按公式(2)計算得出。

(2)

通過結(jié)構(gòu)相似性作為一個衡量標(biāo)準(zhǔn)，本文的算法在不同字體生成上進(jìn)行量化比較。

4 實 驗

4.1 訓(xùn)練細(xì)節(jié)

在本文的實驗中，均采用大小為256×256×3的字體圖像作為輸入，均采用Adam優(yōu)化算法，批處理大小為16，初始學(xué)習(xí)率初始值設(shè)置為0.02。為16種不同風(fēng)格的字體從GB2312字符集中選取了9 169個常用的中文字符，用于預(yù)訓(xùn)練整個網(wǎng)絡(luò)。當(dāng)需要生成特定的字體時，只需通過改變少量的字符來調(diào)整網(wǎng)絡(luò)模型。

4.2 實驗結(jié)果分析

由于傳統(tǒng)的字體生成模型對于參考字體圖像依賴性過大，生成字體圖像的效果以及訓(xùn)練周期與參考字體之間存在直接關(guān)系。本文在相同目標(biāo)字體、相同訓(xùn)練周期的情況下，參考字體的不同直接影響生成字體圖像的效果如圖3。

圖3 參考字體對于生成字體圖像的影響

由圖3可以看出，不同參考字體所生成出的字體圖像差異性較大，目標(biāo)字體與參考字體的差異越大，生成的效果越差，所需周期越長。

本文采用10種字體作為原始字體，另外一種字體作為目標(biāo)字體輸入模型。每種風(fēng)格字體選擇700個輸入字符集作為實驗字符集。通過網(wǎng)絡(luò)模型迭代200個周期后，最終在生成的目標(biāo)字體中選取200個字體圖像計算SSIM值，選取SSIM平均值作為該字體最終的SSIM值，在不同參考字體的相同周期的情況下，生成的字體圖像SSIM值不同見表2。

表2 不同參考字體下生成字體的SSIM值

由表2可以看出，在參考字體不同的情況下，所生成的字體圖像的SSIM值波動較為明顯，由此也加大了研究學(xué)者對參考字體的選取難度。進(jìn)而本文對于上述實驗作了進(jìn)一步補(bǔ)充，實驗結(jié)果見表3。

表3 參考字體與目標(biāo)字體的SSIM值以及生成字體的SSIM值

通過進(jìn)一步實驗，可以看出在參考字體與目標(biāo)字體更接近的情況下，生成字體與目標(biāo)字體的SSIM值更高。在實驗數(shù)據(jù)集選取過程中，對于參考字體選取前與目標(biāo)字體進(jìn)行SSIM值分析，在SSIM值達(dá)到50%的情況下，生成的字體圖像效果更好。

5 結(jié) 語

研究一種字體風(fēng)格遷移算法，用于快速生成字體，或者用少量的字體風(fēng)格生成同一風(fēng)格的其他字符有著重要的研究意義。本文針對傳統(tǒng)生成對抗網(wǎng)絡(luò)的字體生成模型的數(shù)據(jù)集差異性進(jìn)行研究。有監(jiān)督學(xué)習(xí)采用匹配對數(shù)據(jù)進(jìn)行訓(xùn)練，匹配對數(shù)據(jù)的差異性決定了生成字體的質(zhì)量與周期長短，在相同目標(biāo)字體、相同訓(xùn)練周期的情況下，參考字體的不同直接影響生成字體圖像的效果。通過實驗，本文將得出參考字體的選取范圍。