唇讀技術在角色動畫交互中的研究與應用

朱妹麗，羅江林，王青青

1. 吉林動畫學院科研與技術創(chuàng)新中心，吉林 長春 130000

2. 吉林動畫學院，吉林 長春 130000

3. 長春理工大學 光電信息學院，吉林 長春 130000

前言

在三維角色動畫制作中，面部動畫最為關鍵，只有當表情、口型、聲音三者一致時，角色動畫看起來才會更加真實自然。在歐美的動畫中，為了做到表情、口型、聲音的對應，傳統(tǒng)的方法先請配音演員錄音，然后讓動畫師捕捉配音演員說話時的表情神采與口型，并以此設定角色形象。隨著計算機圖形圖像技術的快速發(fā)展，可以通過建立標準口型發(fā)音系統(tǒng)的方法能來創(chuàng)作口型動畫。而在國內，則基本上采用關鍵幀制作法，只把臺詞中夸張的口型部分做出來，其他部分則含糊帶過，這使得國內動畫中的角色口型與臺詞的契合度很低，角色面部動畫生。

目前，動作捕捉技術日臻成熟，通過 Marker (標記點) 實時捕捉嘴部肌肉的運動軌跡，能夠讓角色的口型與配音匹配得更加完美。但是，動作捕捉系統(tǒng)[1]的價格通常較為昂貴，并且后續(xù)數(shù)據(jù)的處理與計算繁雜。在本文中，為了能夠讓動畫制作人員快捷、輕松的制作出高品質的口型動畫，本文提出了一種基于唇讀技術的交互式角色面部動畫制作方法的設計方案，借助唇讀技術，實現(xiàn)與角色的實時交互，實現(xiàn)口型與配音的一致。

圖1 唇讀技術與其應用Fig. 1 Application of lip-reading

1 唇讀技術

唇讀 (lip-reading/speech-reading)，是指通過觀察說話者的口型變化，“讀出”或“部分讀出”其所說的內容[2]。唇動作為一種重要的視覺信息通道，可作為語音的理解源，有著人的情感狀況和所要表達的意義。隨著計算機技術、圖像處理技術、模式識別技術的發(fā)展，唇讀技術已成為學者研究的熱點問題，唇讀作為新的人體生物特征、新的人機接口、新的編碼方式、新的反恐手段，在人們生活中發(fā)揮著越來越重要的作用。

1.1 唇讀技術的發(fā)展

唇讀的思想在 1954 年由 Sumby 提出，而第一個唇語系統(tǒng)由美國伊利諾大學的 Petajan 在 1984 年建立。在此后的 80 年代與 90 年代，唇讀技術得到發(fā)展積累。2000 年，約翰霍普金斯大學舉辦了第一次代表唇讀技術最高水平的學術會議，唇讀技術在 21 世紀得到了飛速發(fā)展，不僅在理論研究方面成果顯著，據(jù) EI 數(shù)據(jù)庫統(tǒng)計，每年唇讀技術相關論文多達 300多篇。在實際應用方面也取得了重要突破，唇語識別的軟硬件技術發(fā)展迅速，逐漸向著實用性階段推進。2002 年，日本電信通訊公司 (NTT) 旗下的 NTT DoCoMo 開始投入世界上第一款唇語手機的研發(fā)。2003 年，英特爾推出了一種能讓計算機讀唇語的軟件 (AVSR)。2013 年，微軟計劃發(fā)行的次世代 Kinect體感控制器能夠讀懂用戶的唇語。2016 年，在牛津大學人工智能實驗室、谷歌 DeepMind 團隊和加拿大高等研究院聯(lián)合發(fā)布的論文中，利用機器學習實現(xiàn)語句層面的自動唇讀技術。在 GRID 語料庫上，能夠取得 93.4% 的準確度[3]。

1.2 唇讀關鍵技術

唇讀技術的研究內容主要包括唇的檢測與定位、特征提取、識別理解。

(1) 唇部檢測與定位

唇部檢測與定位是唇讀系統(tǒng)中的首要任務，檢測與定位效果直接影響后續(xù)環(huán)節(jié)。唇部檢測與定位主要有以下幾種方法：

1) 根據(jù)人臉的生理結構[4]確定唇部位置

2) 根據(jù)灰度信息或者彩色空間變化及膚色模型確定唇部位置[5]

3) 利用運動目標檢測唇部[6]

雖然唇部區(qū)域檢測與定位技術已經(jīng)比較成熟，但仍存在值得研究的問題，比如，在實際環(huán)境下，光線變化影響問題、運動的說話人檢測問題、不同角度、不同頭部姿態(tài)的檢測問題、減少冗余信息及提高處理速度等問題。

(2) 唇動特征提取

唇動特征的選取是唇讀識別的關鍵環(huán)節(jié)。有效、魯棒的特征值直接影響唇讀識別的識別率。目前，唇動特征提取方法大都在傳統(tǒng)的視覺特征提取方法基礎上發(fā)展而來。主要的方法有基于紋理特征[7]、基于形狀特征[8]、混合方法[9,10]、基于運動分析[11]等。為了解決大詞匯量識別、抗噪音干擾、說話人無關等問題，3D 視覺特征、多姿態(tài)等將是唇部特征提取的研究重點。

(3) 唇語識別

唇讀識別模型多為借鑒語音識別模型，主要有模板匹配[12]、動態(tài)時間規(guī)劃 (DTW)[13]、隱馬爾可夫模型(HMM)[14]、神經(jīng)網(wǎng)絡 (ANN)[15]、支持向量機 (SVM)[16]等。隨著機器學習技術的發(fā)展，深度神經(jīng)網(wǎng)絡在唇讀技術中得到應用，并能夠取得較好的識別效果。

2 基于唇讀技術的角色動畫制作方法

角色面部動畫的特殊性，對制作者的專業(yè)能力與經(jīng)驗有著苛刻要求，需要制作者具備較強的專業(yè)能力與經(jīng)驗。為了能夠讓動畫師從重復的、煩雜的調試工作中解放出來，投入更多的精力到動畫作品本身的創(chuàng)意與設計上，簡單易操作的動畫制作工具成為動畫生產的必然需求。在本文中，以唇讀技術為基礎，提出了一種基于唇讀技術的交互式角色面部動畫制作方法的設計方案。該方案通過動畫師與角色的實時交互，實現(xiàn)角色口型動畫的快速制作。動畫師通過攝像頭實時捕捉視覺信息，利用唇讀技術進行唇部定位、特征提取及識別，根據(jù)唇語識別解析出的音素結果，從標準口型庫中查找出對應的口型，最后使用該口型控制角色模型的口型動畫。

基于唇讀技術的交互式角色面部動畫制作方法的設計方案如圖 2 所示。

圖2 方法流程設計Fig. 2 Method flow design

基于唇讀技術的交互式角色面部動畫制作方法如下：

(1) 數(shù)據(jù)采集

數(shù)據(jù)采集由普通攝像頭拾取視頻信息。在動畫師制作角色面部口型動畫時，面部朝向攝像頭，根據(jù)劇本，錄入要制作的配音口型。

(2) 數(shù)據(jù)處理

數(shù)據(jù)處理包括唇語識別、語音識別與語音合成三個部分。其中唇語識別是本方法實現(xiàn)的重點與難點。

1) 唇語識別

在實際的工作中，需要較為安靜的環(huán)境，因此采用唇讀技術，能夠有效避免同事之間的相互打擾。通過攝像頭獲得圖像信息，通過唇部定位、特征提取、識別理解后，解讀出所說的內容，然后根據(jù)內容到口型素材庫中查找出發(fā)音所對應的口型，以目標口型去控制角色口型的變化，進而達到角色口型與聲音相對應的目的。當前人臉檢測技術已經(jīng)相對發(fā)展成熟，因此，唇部定位可以借助人臉檢測技術，通過人臉檢測技術標記出的面部關鍵點來確定唇部位置。例如ASM (Active Shape Model) 算法，能夠確定出面部的68 個關鍵特征點，如圖 3 所示。ASM 算法不但可以實時獲取有效的唇部運動參數(shù)，而且還可以獲取其他面部關鍵點，以便控制角色面部的整體變化，使得表情、口型、聲音三者相一致。

為了準確描述唇部運動，唇動特征值應當包含唇的位置變化信息及動作變化信息，為此，唇動特征通常以視覺特征為基礎，選取不同的唇動屬性作為特征值。唇動視頻序列如圖 4 所示。

每一個發(fā)音都有對應的標準口型，而發(fā)音口型的設置是否標準直接影響口型動畫的真實感與流暢性。目前，國外針對英語發(fā)音，已經(jīng)建立了以國際音標的標準的口型發(fā)音系統(tǒng)，而對于漢語而言，還缺少標準的中文口型動畫素材庫，因此，需要根據(jù)漢語拼音的發(fā)音特點，建立標準口型素材庫。此外，可以借助互聯(lián)網(wǎng)與大數(shù)據(jù)技術，不斷擴充與完善素材庫中的口型，進而不斷提高唇語識別效率。

從特征描述符到機器學習，再到深度學習，計算機視覺發(fā)展迅速，特別是 2014 年，深度學習在很多學術領域中都取得了顯著成績，其中深度卷積神經(jīng)網(wǎng)絡 (DCNN) 在識別技術中應用最為廣泛，因此在唇語識別階段可以采用深度學習方法。卷積神經(jīng)網(wǎng)絡[17]的整體結構包括歸一化、濾波器組、非線性計算、池化。經(jīng)典的 LeNet5 模型如圖 5 所示。

圖3 面部關鍵特征點Fig. 3 Facial critical feature points

圖4 唇動視頻序列Fig. 4 Lip movement sequence

圖5 卷積神經(jīng)網(wǎng)絡模型Fig. 5 Convolution neural network model

LeNet5 模型可以簡化為單個階段，第一階段濾波器組-擠壓-最大池化，第二階段波器組-擠壓-最大池化，階段三標準 2 層 MLP。

2) 語音識別

由于目前唇讀技術的識別率不能達到準確無誤，特別是對于連續(xù)語句，因此，當唇語識別的結果不理想時，可以開啟語音識別功能，以提高識別的準確度。

3) 語音合成

當前，語音識別技術與語音合成技術相對成熟，因此，在本方案的設計中，語音識別與語音合成可采用集成方式，而系統(tǒng)的實現(xiàn)則需要注意與動畫應用軟件的連接問題，例如采用 MAYA 嵌入式語言開發(fā)，系統(tǒng)能夠具備較高的獨立性與可塑性。

3 結論

本文提出了一種基于唇讀技術的交互式角色面部動畫制作方法的設計方案，在該方案的設計中，借助唇讀技術，實現(xiàn)與角色的實時交互，實現(xiàn)口型與配音的一致，此外，唇讀識別可通過互聯(lián)網(wǎng)與大數(shù)據(jù)不斷擴充與完善唇動數(shù)據(jù)與識別模型，以提高識別效率。在該設計方案中，唇讀技術是實現(xiàn)的重點與難點。下一步的研究方向為基于深度學習的識別算法實現(xiàn)。

[1] 美國魔神動捕技術手冊[M].美國魔神運動分析技術公司, 2009.

[2] 姚鴻勛, 高文, 王瑞, 等. 視覺語言唇讀綜述[J] . 電子學報, 20 01 , 2 9( 2) : 239 -246 .

[3] LipNet: End-to-End Sentence-level Lipreading[J]. Yannis M. Assael, Brendan Shillingford, Shimon Whiteson,Nando de Freitas. eprint arXiv:1611.01599.

[4] YaoWenjuan, LiangYaling, DuMinghui. A real-time lip localization and tacking for lipreading［C］Proceedings of the 3rd International Conference on Advanced Computer Theory and Engineering.Chengdu: IEEE，2010:363-366.

[5] Pera V, Sa F, Afonso P, et.al, Audio-visual speech recognition in a Portuguese language based application.Proceedings of IEEE International Conference on Industrial Technology, 2003, Vol.2, Pages: 688-692.

[6] Pao Ts L, Liao W Y, A motion feature approach for audio-visual recognition. Proceedings of 48th Midwest Symposium on Circuits and Systems, 2005, Vol.1,Pages:421-424.

[7] M. Leszczynski, W. Skarbek. Viseme recognition - a comparative study[C]. In AVSS-Advanced Video and Signal Based Surveillance, 2005:287-292.

[8] Xie L.Cai X L.Fu Z H.et a1.Lip temporal pattern analysis for automatic visual speech recognition[C].In:7th International Conference on Signal Processing. Beijing,China, 2004.1:703-706

[9] Matthews I, Cootes T F, Bangham J A, et.al, Extraction of visual features for lipreading. IEEE Transactions on Pattern Analysis and Machine Intelligence,2002, Vol.24(2): 198-213.

[10] W. Wang, D. Cosker, Y. Hicks, S. Saneit, J. Chambers.Video assisted speech source separation[C]. Acoustics,Speech, and Signal Processing, 2005. Proceedings.(ICASSP '05). IEEE International Conference on,2005:425-428.

[11] Matthews I, Cootes T F, Bangham J A, et.al, Extraction of visual features for lipreading. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, Vol.24(2): 198-213.

[12] Tsuyoshi Miyazaki, Toyoshiro Nakashima,Naohiro Ishii.Mouth Shape Detection Based on Template Matching and Optical Flow for Machine Lip Reading[J]. International Journal of Software Innovation, 1(1), 14-25, January-March 2013 15.

[13] Yuhas B P, Goldstein M H, Sejnowski T J, Integration of acoustic and visual speech signals using neural nets. IEEE Communication Magazine, 1989, Vol.27(11): 65-71.

[14] E.D. Petajan,N.M. Brooke， B.J .Bisehoff and D.A.Bodoff. An Improved Automatic Lipreading System to Enhance Speech Rceognition[ J]. E.Soloway, D. Frye,and S.B. Sheppard, editors,Proc. Human Factors in Computing Systems ACM,1988,3(6):19-25

[15] Luettin N.A. Thaeker and S.W. Beet. Visual Speeeh Rceognition Using Active Shape Models and Hidden Markov Models[J]. IEEE International Conference on Acoustics，Speech，and Signal proeessing(ICASSP'96)，1996，2(4):817-820.

[16] 何俊. 服務機器人語音唇讀人機交互技術研究[D].南昌:南昌大學.

[17] Maimaitiaili Tuerxun,Dai Lirong.Deep neural network based uyghur large vocabulary continuous speech recognition[J].Journal of Data Acquisition and Processing,2015,30(2):365-371.