面向在線實時應用的卡通風格化方法

洪朝群，陳旭輝

(1.廈門理工學院計算機與信息工程學院，福建 廈門 361024；2.福建省高校物聯(lián)網(wǎng)應用技術(shù)重點實驗室，福建 廈門 361024)

面向在線實時應用的卡通風格化方法

洪朝群1，2，陳旭輝1，2

(1.廈門理工學院計算機與信息工程學院，福建 廈門 361024；2.福建省高校物聯(lián)網(wǎng)應用技術(shù)重點實驗室，福建 廈門 361024)

針對視頻的卡通風格化存在著處理速度慢和連續(xù)幀中邊緣視覺效果差的問題，提出具有高實時性的視頻卡通風格化處理方法.該方法主要包括擴展非線性擴散、邊緣檢測、彩色量化和融合4個步驟.邊緣檢測算法基于高斯-拉普拉斯算子進行改進，速度更快而且在連續(xù)幀中視覺效果更好;在擴展非線性擴散和色彩量化的過程中利用查表法獲取濾波系數(shù)和量化值，避免了對每一個像素計算高斯方程和量化方程，進一步提高了速度;同時，在傳輸過程中對邊緣圖像和量化圖像采取分離編碼進行傳輸，降低了碼率.實驗證明，在視頻聊天、在線游戲等實時性要求高的應用場合中，該方法對人臉和景物都取得了良好的卡通風格化效果.

卡通風格化；實時應用；邊緣檢測；擴展非線性擴散；色彩量化

目前，各種圖像與視頻風格化特效被廣泛應用到在線視頻聊天場合，用于增強娛樂效果或者改變自己的形象.微軟的LiveMessenger、羅技的USB攝像頭驅(qū)動已經(jīng)實現(xiàn)了部分特效并進入實際應用領(lǐng)域.而在線游戲同樣有類似需求.把現(xiàn)實抽象為卡通、動漫風格的方法是圖像與視頻風格化的方法之一，通常被稱為卡通風格化，最近倍受國內(nèi)外研究工作者的關(guān)注[1-5].在卡通風格化的相關(guān)方法中，DougDeCarlo和AnthonySantella提出了一種處理照片的算法[6]，用于獲得簡化的、風格化的視覺效果，然而該方法沒有考慮實時性的要求，只應用于靜態(tài)圖像，未能應用于視頻序列當中.Wang提出了把現(xiàn)實視頻轉(zhuǎn)化為卡通化視頻的半自動算法[7]，該算法復雜度很高，不適合實時處理應用.JanFischer等人提出了一種更快的方法[8]，并且應用于虛擬現(xiàn)實系統(tǒng)，但是所獲得的視覺效果存在問題，特別是視頻中連續(xù)幀的邊緣效果，會出現(xiàn)前一幀中被檢測為邊緣的部分在下一幀的相似位置被檢測為非邊緣的現(xiàn)象.這一問題當視頻中存在人臉的時候尤為明顯.Winnnemoller等人提出了實時視頻抽象方法[9]，獲得了比較好的效果，但是該方法的速度仍然較慢，在CPU模式下對于CIF分辨率的視頻僅能達到每秒3到4幀，因此不能滿足在線視頻聊天等應用的高實時性要求.可見,現(xiàn)有方法在風格化速度和連續(xù)幀的邊緣檢測效果上還存在不足.本文基于傳統(tǒng)卡通風格化方法的框架，在上述兩方面提出了相應的改進方法，使其能夠滿足在線視頻聊天等應用的高實時性要求.

1　本文提出的改進方法

基于對當前工作問題的分析，本文提出的改進處主要包括：

1)針對邊緣檢測過程，采用基于高斯-拉普拉斯算子(LaplacianofGaussian,LOG)的方法；

2)針對擴展非線性擴散和彩色量化過程，采用查表的方式獲得濾波系數(shù)和量化值；

3)除了對風格化視頻幀進行編碼過程外，將邊緣檢測和量化的結(jié)果數(shù)據(jù)分離.

1.1整體結(jié)構(gòu)

本文提出的實時卡通風格化方法的整體結(jié)構(gòu)主要分為擴展非線性擴散、邊緣檢測、彩色量化和融合4個步驟.通過擴展非線性擴散的濾波處理，圖像中對比度較高的邊緣區(qū)域被銳化，而對比度較低的區(qū)域被平滑.擴展非線性擴散的這種特性可以提高邊緣部分的對比度，增強邊緣檢測算法的效果.邊緣檢測算法應用到擴散后的圖像上，可以得到視頻幀中梯度變化較為明顯的部分，即邊緣信息，從而獲得素描的效果.而色彩量化應用到擴散后的圖像上，則可獲得油畫的效果.最后，將邊緣檢測和色彩量化的結(jié)果進行融合，便可產(chǎn)生卡通風格化的效果.

1.2擴展非線性擴散

在視頻風格化的過程中，邊緣檢測是計算復雜度最高的部分.先通過濾波操作銳化邊緣區(qū)域，然后通過邊緣檢測算子獲得梯度變化劇烈的像素點，即邊緣點.在濾波操作中，采用擴展非線性擴散.該方法最早由Barash和Comaniciu[10]提出，迭代雙邊濾波是其中的一個方法，并且可以使用Pham和Vliet提出的分離內(nèi)核方法[11]進行近似，加快濾波操作的處理速度.

一維雙邊濾波可以用公式(1)來表示：

(1)

式(1)中x0是中心點p0的縱坐標或者橫坐標，s是p0到濾波窗口邊緣的距離,I(p0)是p0的灰度值.f(x,x0)是p0周圍的雙邊濾波器，定義為：

(2)

式(2)中σs和 σt是雙邊濾波的空間和色調(diào)比例.在本文實現(xiàn)的系統(tǒng)中，分別設(shè)定σs=3 和σt=25.這些設(shè)定值比文獻[9]方法中所使用的值高，因為經(jīng)過實驗證明，較高的值可以在不進行多次循環(huán)處理的情況下獲得對比度較高的結(jié)果，從而提高處理速度.gs和gt分別為空間和色調(diào)權(quán)重系數(shù)，由高斯方程定義為：

(3)

在分離內(nèi)核的濾波方法中，一維雙邊濾波首先被應用到第一維空間上，接著對第一維空間上的濾波結(jié)果在第二維空間上進行二次濾波.通過該處理方式，擴展非線性擴散的計算復雜度從O(Nmd) 降為O(Nmd)，其中N是圖像中的像素數(shù)量，m是濾波窗口的寬度，d是圖像的維數(shù).因此，使用雙邊濾波可以使濾波過程的處理速度得到明顯的提高.

觀察公式(1)和(2)中的參數(shù)，可以發(fā)現(xiàn)輸入?yún)?shù)的定義域為：

(4)

1.3邊緣檢測

現(xiàn)有的邊緣檢測方法非常多，包括了Canny算子[12]、LOG算子[13]等.本文所使用的邊緣檢測方法基于Shen等提出的LOG算子的實時化實現(xiàn)[14].原始的LOG算子值域較大.Shen等利用了LOG算子的循環(huán)對稱特性，使得查詢表的大小控制在可接受的范圍內(nèi).

離散LOG掩碼定義為：

(5)

式(5)中k要使得掩碼系數(shù)D(x,y,σd)的和接近于0，即k滿足：

(6)

設(shè)w(i)代表高斯-拉普拉斯掩碼數(shù)值.由于LOG算子的循環(huán)對稱特性，掩碼數(shù)值構(gòu)成的數(shù)組的大小為：

(7)

因此本文中的LOG算子掩碼的查詢表可以表示為：

(8)

式(8)中i是表1中所示掩碼的位置，j是要進行LOG算子掩碼計算的點的灰度值.其中i和j的定義域表示為：

(9)

1.4色彩量化

標量量化方程定義為：

(10)

式(10)中qclosest是最接近于p0灰度值的量化邊緣，Δq是量化寬度，φq是控制邊緣尖銳程度的參數(shù).本文在實驗中設(shè)置這兩個參數(shù)為：

(11)

根據(jù)觀察，量化方程唯一的參數(shù)是I(p0)，其定義域為：

(12)

類似調(diào)色板的思想，本文的方法初始化一個一維數(shù)組來保存所有灰度值可能的量化結(jié)果.該數(shù)組的大小為256.最終的量化操作便通過簡單獲取數(shù)組中第I(p0)個值來立即獲得點p0的量化值.該方法也可以很容易地拓展到彩色圖像的量化過程當中，以RGB顏色向量來代替I(p0).這一改進方法通過消耗一定的內(nèi)存空間，大幅度提升了處理速度.

1.5分離編碼

對于在線視頻聊天而言，帶寬往往是有限的.特別是面向移動網(wǎng)絡(luò)的應用更是如此.實驗表明，如果直接將風格化的結(jié)果進行編碼，則效率較低，不利于網(wǎng)絡(luò)傳輸.本文實現(xiàn)的系統(tǒng)把色彩量化與邊緣檢測結(jié)果分別進行編碼，然后在解碼端分別解碼再結(jié)合成為完整的風格化結(jié)果.其中，量化結(jié)果直接進行編碼，而邊緣檢測的結(jié)果轉(zhuǎn)化為二值圖像進行編碼.該二值圖像定義為：

(13)

2　實驗結(jié)果

本文的實驗系統(tǒng)運行在賽揚2.8 GHz、內(nèi)存為512 MB的計算機上.系統(tǒng)用Visual C++2005實現(xiàn).視頻序列的分辨率為CIF.原始視頻進行實時卡通風格化，并通過網(wǎng)絡(luò)傳輸進行在線播放.

2.1邊緣檢測結(jié)果

為了展示邊緣檢測方法的效果，本文使用的檢測方法與Canny算子進行了比較.

在Canny算子中使用的兩個參數(shù)被設(shè)置為105和150[12].此處列出了Akiyo序列的第4幀和第5幀.如圖1所示，在Canny算子的檢測結(jié)果中，部分衣服的邊緣在第4幀中被成功檢測，而在第5幀中丟失(如播音員胸口的麥克風)，但本文改進后的方法則未出現(xiàn)此種現(xiàn)象.因此，本文的方法在連續(xù)幀中的視覺效果比Canny算子好.另，本文的方法平均時間消耗為每幀1.8 ms，而Canny算子的平均時間消耗為每幀3.2 ms.

2.2色彩量化結(jié)果

為了展示色彩量化方法的效果，改進的方法應用到CIF分辨率的Akiyo、Carphone和Silence序列中.經(jīng)過實驗證實，該方法只需要一次初始化過程就能在整個視頻的處理過程中獲得良好的速度提升，所消耗的時間僅為未經(jīng)優(yōu)化的色彩量化方法的30%.同時，該方法所實現(xiàn)的油畫效果良好(圖2).2.3時間消耗

本實驗記錄了實驗中對Carphone和Silence序列進行卡通風格化全部處理過程的平均時間，并且與文獻[5]和[9]的方法進行比較，結(jié)果如表1所示.從表1可見，本文的方法速度更快，更適合實時應用.

表1　時間消耗的比較

2.4編碼效率

把原始視頻、風格化后的視頻以及分離的視頻幀分別用Xvid進行編碼，獲取各自的編碼后數(shù)據(jù)大小，結(jié)果如表2所示.實驗表明，與原始的視頻幀1相比，對風格化結(jié)果進行編碼會增加碼率.而對量化結(jié)果和邊緣檢測結(jié)果分離后進行編碼，空間消耗比直接對風格化幀進行編碼更低，而且與原始數(shù)據(jù)的尺寸差別很小，使得本文提出的風格化方法更能適應在線視頻應用.

表2　分離編碼與未分離編碼的空間消耗比較

2.5風格化效果

為了展示本文實現(xiàn)的系統(tǒng)中連續(xù)幀的視覺效果，本實驗在圖3中列出了Carphone序列的第27幀到第30幀，在圖4中列出了Silence序列的第7幀到第10幀.這些序列與在線視頻聊天的場景比較類似.這組實驗說明本文實現(xiàn)的系統(tǒng)在有人臉的場景下獲得了良好的視覺效果.

3　結(jié)論

通過邊緣檢測方法的改進，視頻風格化整體處理速度得到明顯提高，而且在視頻中連續(xù)幀的視覺效果超過了其他使用固定閾值的邊緣檢測方法；避免了對每一個點計算高斯方程和量化方程的大量時間消耗，實現(xiàn)了對視頻的實時處理；通過對風格化后的視頻進行分離壓縮，減小了傳輸和存儲過程中的數(shù)據(jù)量.基于這一方法，本文實現(xiàn)了一套風格化系統(tǒng)，并且應用到高實時性要求的場合中，如在線聊天等.該方法完全自動運行，從而擴展了風格化方法的應用領(lǐng)域.

[1]ZHAO H,JIN X,SHEN J,et al.Real-time feature-aware video abstraction[J].The Visual Computing,2008,24(7):727-734.

[2]ZHAO H,MAO X,JIN X,et al.Real-time saliency-aware video abstraction[J].The Visual Computer,2009,25(11):973-984.

[3]KANG H,LEE S,CHUI C K.Flow-based image abstraction[J].IEEE Transaction on Visualization and Computer Graphics,2009,15(1):62-76.

[4]胡光琴,唐旭光,胡礦,等.卡通畫的非真實感繪制技術(shù)[J].實驗科學與技術(shù)，2012,10(5):39-41.

[5]高寶玉,方漪,杜娜,等.基于 RGB 顏色向量的二維彩色圖像卡通風格渲染[J].青島大學學報:自然科學版，2010,23(2):31-37.

[6]DECARLO D,SANTELLA A.Stylization and abstraction of photographs[C]//International Conference on Computer Graphics and Interactive Techniques.New York:ACM,2002:769-776.

[7]WANG J,XU Y,SHUM H Y，et al.Video tooning[C]//International Conference on Computer Graphics and Interactive Techniques.New York:ACM,2004:574-583.

[8]FISCHER J,BARTZ D,STRABER W.Stylized augmented reality for improved immersion[C]//Virtual Reality Conference.USA:IEEE,2005:195-202.

[9]WINNEMOLLER H,OLSEN S C,GOOCH B.Real-time video abstraction[J].ACM Transactions on Graphics,2006:1 221-1 226.

[10]BARASH D,COMANICIU D.A common framework for nonlinear diffusion,adaptive smoothing,bilateral filtering and mean shift[J].Image and Vision Computing,2004,22(1):73-81.

[11]PHAM T Q,VLIET L J.Seperal bilateral filtering for fast video preprocessing[C]//International Conference on Multimedia and Expo.USA:IEEE,2005:CD.1-4.

[12]CANNY J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,6:679-698.

[13]HUERTAS A.Detection of intensity changes with subpixel accuracy using laplacian-gaussian masks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(5):651-664.

[14]SHEN L Q,SHEN D G,QI F H.Edge detection on real time using LOG filter[C]//International Symposium on Speech,Image Processing and Neural Networks.USA:IEEE,1994:37-40.

(責任編輯馬誠)

Cartoon-like Video Stylization for Online Real-time Applications

HONG Chao-qun1，2,CHEN Xu-hui1，2

(1.School of Computer & Information Engineering,Xiamen University of Technology,Xiamen 361024,China;2.Fujian Universities Key Lab of IOT Application Technology,Xiamen 361024,China)

Cartoon-like stylization for video suffers the problems of low speed and unpleasant visual effect of edges in contiguous frames.In this paper,a novel approach of cartoon-like stylization for video is presented，which works well for occasions with a high real-time requirement. Generally speaking,this approach consists of four steps:extended nonlinear diffusion, edge detection, color quantization and fusion. In this approach,the edge detection algorithm is improved based on the Laplacian of Gaussian(LOG).It is faster and has better visual effect of edges in contiguous frames. In addition to that,an implementation based on querying the tables of filter coefficients and quantization values is used in extended nonlinear diffusion and color quantization. It avoids computing Gaussian function and quantization function for each pixel and further improves the speed of the proposed method.Furthermore,the encoding process of the edge picture and quantized picture are separated, which reduces the bit-rate.The experimental results show that the proposed method performs well on the human faces and scenery in the circumstances of video chatting and online games.

Cartoon-like stylization;real-time applications;edge detection;extended nonlinear diffusion;color quantization

2014-09-26

2014-11-27

國家自然科學基金項目(61202145)；福建省自然科學基金項目(YKJ12005R)

洪朝群(1984-)，男，副教授，博士,研究方向為多媒體信息處理與檢索.E-mail:cqhong@xmut.edu.cn

TP391A

1673-4432(2015)01-0073-06