基于引導圖像濾波的素描人臉圖像合成技術(shù)

孫會強 呂佳 吳秀敏

摘? 要： 針對傳統(tǒng)人臉圖像合成算法存在過度平滑的問題，文中提出一種使用引導圖像濾波的改進合成算法。通過引入K近鄰基準算法和機器學習等理論，測試人臉圖像可以得到訓練圖像塊的線性組合表示，從而獲取初始的合成結(jié)果。并在此基礎(chǔ)上，利用引導圖像濾波的方法，增強人臉素描圖像的細節(jié)特征，進一步優(yōu)化人臉細節(jié)紋理的展示。相關(guān)的仿真結(jié)果表明，文中所提出的合成算法有效回避了傳統(tǒng)合成算法過度平滑的弊端，能夠合成效果更加優(yōu)秀的人臉素描圖像。

關(guān)鍵詞： 人臉圖像合成; 引導圖像濾波; 人臉圖像測試; 特征檢測; 細節(jié)增強; 仿真實驗

Abstract： In allusion to the excess smoothness in the traditional facial image synthesis algorithm， an improved synthesis algorithm using guided image filtering is proposed. By introducing the k?nearest?neighbor benchmark algorithm and machine learning theory， the face image is tested to get the linear combination representation of the training image block， so as to obtain the initial synthesis results. On this basis， the detail features of the face sketch image is enhanced by means of the method of guided image filtering， and the display of the face detail texture is further optimized. The simulation results show that the proposed synthesis algorithm can effectively improve the excess smoothness of the traditional synthesis algorithm， and can synthesize excellent face sketch images.

Keywords： facial image synthesis; guided image filtering; facial image test; feature detection; detail enhancement; simulation experiment

0? 引? 言

在互聯(lián)網(wǎng)不斷發(fā)展的背景下，圖像與視頻處理技術(shù)獲得了廣泛的普及和應(yīng)用，為人類的娛樂及生活帶來了更加優(yōu)秀的體驗。與指紋、掌紋等生理特征相比，人臉圖像具有容易獲取和處理的優(yōu)點，因此被推廣到公共安全、動漫制作等領(lǐng)域中。在這些領(lǐng)域的應(yīng)用中，跨越多種類別的圖像轉(zhuǎn)換，即跨模態(tài)人臉圖像轉(zhuǎn)換屬于人臉圖像的重點研究內(nèi)容。在這些研究中，如何利用照片生成素描風格的人臉圖像，逐漸成為一個熱點研究方向。

為了解決這一問題，國內(nèi)外的眾多學者做出了大量值得借鑒的工作[1?3]。然而這些算法并未徹底解決這一問題[4?6]，均存在過度平滑的情況。換言之，人臉照片與素描圖像之間的轉(zhuǎn)換效果依舊存在較大的優(yōu)化空間，本文則是致力于研究此問題[7?8]。

為了避免經(jīng)典合成算法產(chǎn)生的過度平滑效果，本文選取基準算法K近鄰（K?Nearest Neighbor，KNN），使用線性組合表示的方法實現(xiàn)圖像塊的估計與測試。在這些技術(shù)的基礎(chǔ)上，基于引導圖像濾波的細節(jié)增強效應(yīng)，本文優(yōu)化了算法的初始轉(zhuǎn)化結(jié)果，顯著地豐富了素描圖像的細節(jié)與紋理。

1? 基準算法

為了生成較好的初始合成結(jié)果，本文引入基于K近鄰的基準算法。該算法包含兩個關(guān)鍵步驟，即K近鄰查詢和線性組合表示計算，具體說明如下：

1） 算法需要將人臉照片的訓練圖像和測試圖像劃分為若干個圖像塊，并查詢與測試圖像最接近的[K]個圖像塊。其詳細過程為：對于某張測試照片，算法平均地將其分割為若干個圖像塊，設(shè)某一個圖像塊的中心坐標點為[i，j]，這一點的像素值為[pij]。同時，搜索半徑為[r]范圍內(nèi)的[N]個圖像塊，計算這些圖像塊與訓練圖像的中心像素值之間的歐氏距離，獲取搜索范圍內(nèi)與訓練圖像最接近的[K]個圖像塊，并利用共軛梯度法計算線性映射的系數(shù)。

2） 利用獲取的[K]個圖像塊的線性組合，得到初始素描圖像。其詳細過程為，設(shè)[Is，p]是測試圖像中像素值為[p]的某一圖像塊估算結(jié)果，其計算公式為：

式中：[Bks，p]表示第[k]個與測試圖像最接近的圖像塊;[lkp]表示其線性組合的系數(shù)。而對于任意的[p]，所有系數(shù)均滿足[k=1Klkp=1]。由式（1）分析可知，線性組合系數(shù)[lkp]必然與訓練和測試圖像塊之間的歐氏距離呈現(xiàn)反比的關(guān)系。因此，本文利用式（2）計算未知的線性組合系數(shù)。

式中：[v]表示已定義的常量;[L]表示具有歸一化作用的因子，是眾多項之和。其計算公式如下：

經(jīng)過反復的迭代與優(yōu)化，算法可以獲取測試圖像的初始合成結(jié)果，其表達式為：

式中：[It，p]表示測試圖像的初始合成結(jié)果;[Bkt，p]（[1≤k≤K]）表示訓練圖像中與測試圖像接近的[K]個圖像塊;[lkp]（[1≤k≤K]）表示初始的線性組合系數(shù)，基準算法的完整描述如下：

Input：訓練圖像[X]，測試圖像[Y]，估算結(jié)果[Is，p]，圖像塊大小[s]，半徑[r]和鄰近圖像塊數(shù)量[K]。

Output：初始合成結(jié)果[It，p]。

1） 將訓練圖像[X]、測試圖像[Y]劃分為若干個圖像塊，利用式（1）計算其估算結(jié)果[Is，p];

2） 在測試圖像[Y]中，尋找[K]個最接近的中心像素值為[p]圖像塊;

3） 利用式（2）計算測試圖像的線性組合系數(shù);

4） 利用式（4）計算測試圖像的初始合成結(jié)果。

2? 細節(jié)增強算法

使用KNN的基準算法，本文可以得到測試圖像的初始合成結(jié)果。通常該合成結(jié)果存在過平滑的效果，缺少細致的人臉展示，例如眼睫毛、頭發(fā)和嘴唇等人臉細節(jié)[9?10]。為了更加細致地展示人臉的諸多特征，本文引入了引導圖像濾波的算法。在KNN基準算法的基礎(chǔ)上，進一步優(yōu)化算法的合成效果，增強人臉素描圖像的細節(jié)。

2.1? 引導圖像濾波

引導圖像濾波是一種新型有效的圖像濾波算法，其靈感最初來自于圖像的局部線性變換模型[11]。該算法的優(yōu)勢在于可以同時保留圖像的整體結(jié)構(gòu)與細節(jié)紋理，其詳細說明如下：

通常在濾波過程中，不妨使用[u]表示引導圖像，[I]表示輸入圖像，[O]表示輸出圖像。在這3個指標中，引導圖像[u]與輸入圖像[I]是已知的，則令[i]和[j]表示像素的索引。[nij]表示引導圖像[u]的濾波核函數(shù)，且該函數(shù)與輸入圖像[I]存在線性關(guān)系，則第[i]個像素位置的輸出圖像的計算公式為：

由于輸出圖像[O]與引導圖像[u]之間滿足局部線性關(guān)系，在以像素值[k]為中心的窗口[wk]，第[i]個像素位置（[i∈wk]）的濾波輸出公式可以簡化為：

式中，對于半徑為[r]的窗口[wk]，[ak]和[bk]是不變的線性系數(shù)。其計算方式為，已知輸出圖像[Oi]與輸入圖像[Ii]，設(shè)[vi]為噪聲，則存在以下公式：

令[ε]為正則化的參數(shù)，則最小化函數(shù)的數(shù)學定義為：

令[μk]表示窗口[wk]中[u]的均值，[σ2k]表示其方差，[w]表示窗口[wk]中像素個數(shù)，[Ik]表示窗口[wk]中輸入圖像的平均值，則其線性系數(shù)[ak]和[bk]的計算公式為：

經(jīng)過推導、簡化和變換，本文得到了線性函數(shù)的計算方法，如下：

此時，線性系數(shù)[ai]和[bi]的計算公式分別為：

2.2? 算法步驟

基于引導圖像濾波的算法原理，本文以基準算法的初始合成結(jié)果為輸入。使用引導圖像濾波方法進行精細地調(diào)整和優(yōu)化，逐漸合成細致的素描人臉圖像。根據(jù)上述研究目的，本文設(shè)計了處理算法的具體步驟：

Input：基準算法結(jié)果[It，p]，測試圖像[Y]，搜索半徑[r]，中間參數(shù)[ε]。

Output：最終合成圖像結(jié)果[u″]。

1） 計算測試圖像[Y]和初始結(jié)果[It，p]的均值[meanY=fmY]，[meanIt，p=fmIt，p]，同時計算兩者之間的相關(guān)函數(shù)值[corI=fmY·Y]，[corIt，p=fmY·It，p];

2） 計算中間參數(shù)[var=corY-mean2Y]，協(xié)方差[covY=corY-meanY·meanIt，p];

3） 計算線性系數(shù)[a=covYvar+ε]，[b=meanIt，p-a·meanY];

4） 計算線性系數(shù)的均值[meana=fma]，[meanb=fmb];

5） 計算最終合成結(jié)果[u″=meana·Y+meanb]。

3? 仿真與分析

為了驗證算法的有效性，本文分別使用K近鄰基準算法與引導濾波算法進行了仿真和比較。為了比較這兩種算法的合成效果，本文引入香港中文大學的CUHK數(shù)據(jù)集作為算法的輸入圖像[12?13]。在該數(shù)據(jù)集中，訓練圖像的數(shù)量為88對，其他圖像均為測試圖像。

基于Matlab軟件平臺，本文實現(xiàn)了這兩種算法，分別對圖1給出的人臉照片進行相應(yīng)的處理，得到K近鄰基準算法與引導圖像濾波算法的運行結(jié)果，如圖2、圖3所示。

為了對比這兩種算法的運行效果，本文截取這3張人臉圖像的特定位置進行更加細致的對比，如圖4～圖6所示。

由圖5和圖6對比可知，引導圖像濾波算法的運行結(jié)果更加細膩，展示了更多人臉的細節(jié)。而基于K近鄰的基準算法運行結(jié)果相對較為粗糙，其細膩度明顯弱于引導圖像濾波算法的運行結(jié)果。

4? 結(jié)? 語

基于引導圖像濾波的原理，本文提出一種人臉素描圖像的合成算法。該算法在K近鄰基準算法的基礎(chǔ)上，進一步豐富人臉素描圖像的細節(jié)，更多地保留人類面部的細節(jié)特征。然而由于計算資源的限制，本文未使用大量的人臉照片測試文中所提出算法的穩(wěn)定性，也未對該算法進行必要的推廣。因此，下一步將致力于解決這一問題。

參考文獻

[1] 劉光蓉，王文靖，李詩高，等.一種圖像素描特效處理算法及實現(xiàn)[J].武漢輕工大學學報，2015，34（4）：51?55.

[2] 周汐，曹林.分塊LBP的素描人臉識別[J].中國圖象圖形學報，2015，20（1）：50?58.

[3] 李偉紅，付偉鋒，張鎮(zhèn)，等.素描梯度方向直方圖用于人臉畫像識別[J].儀器儀表學報，2015，36（2）：368?376.

[4] 吳仕超，劉滿祿，朱波，等.基于圖像層級的機器素描研究[J].計算機系統(tǒng)應(yīng)用，2017，26（9）：264?268.

[5] 吉娜燁，柴秀娟，山世光，等.局部回歸模型驅(qū)動的人臉素描自動生成[J].計算機輔助設(shè)計與圖形學學報，2014，26（12）：2232?2243.

[6] 趙艷丹，趙漢理，許佳奕，等.基于人臉特征和線積分卷積的肖像素描生成[J].計算機輔助設(shè)計與圖形學學報，2014，26（10）：1711?1719.

[7] 姚敏，趙振剛，高立慧，等.基于離散小波變換的圖像素描生成算法[J].計算機與數(shù)字工程，2017，45（6）：1207?1210.

[8] 趙京晶，方琪，梁植程，等.超分辨率重建的素描人臉識別[J].中國圖象圖形學報，2016，21（2）：218?224.

[9] 曹林，李猛，張華.結(jié)合改進Surf特征的素描人臉識別[J].計算機工程與應(yīng)用，2018，54（21）：188?193.

[10] 高晨昊.基于深度神經(jīng)網(wǎng)絡(luò)特征表達的人臉素描合成[D].上海：上海交通大學，2018.

[11] 孫會強，呂佳，吳秀敏.基于最小二乘法的人臉素描卡通圖像算法[J].現(xiàn)代電子技術(shù)，2019，42（18）：143?146.

[12] 孫玉紅，張元科，孟靜，等.基于紋理和草圖的圖像鉛筆畫繪制[J].計算機應(yīng)用，2016，36（7）：1976?1980.

[13] 黃雙萍，王衛(wèi)星，吳偉斌，等.基于特征融合的人臉素描自動生成系統(tǒng)研究[J].計算機應(yīng)用與軟件，2015，32（4）：175?180.

[14] 楊旭.人臉素描生成與加強[D].南京：東南大學，2016.

[15] 鄭華昌.基于智能移動終端的人臉識別技術(shù)在高校課堂考勤中的應(yīng)用研究：以江門職業(yè)技術(shù)學院為例[J].計算機產(chǎn)品與流通，2019（10）：222.

[16] 黃紹倫，孫東旭.人工智能在校園智慧圖書館中的應(yīng)用與研究：基于人臉識別與RFID技術(shù)[J].現(xiàn)代信息科技，2019（19）：133?135.

[17] 左國才，韓東初，蘇秀芝，等.基于深度學習人臉識別技術(shù)的課堂行為分析評測系統(tǒng)研究[J].智能計算機與應(yīng)用，2019（5）：135?137.