基于雙視角的真實感三維人臉重建系統(tǒng)

榮 堅， 趙翠蓮， 范志堅， 陳曉波

（1.上海大學機電工程與自動化學院，上海 200072；2.上海交通大學，上海 200240）

三維建模是計算機視覺和計算機圖形學領域中的一個基本問題，而人臉憑借其特有的普遍性成為眾多專家學者進行三維建模的研究對象。如今，三維人臉建模[1-2]技術已經廣泛地應用于影視制作、游戲娛樂、醫(yī)學、身份驗證和人機交互技術等諸多領域，它已經成為計算機圖形學領域的一個研究熱點并受到普遍關注。

從20世紀70年代Parke建立第1個臉部模型[3-4]開始，許多研究人員致力于三維人臉建模的研究。特別是20世紀90年代以來，計算機視覺和計算機圖形學技術的迅猛發(fā)展為三維人臉建模提供了越來越強大的技術支持。臉部的三維數據是形成特定三維人臉模型的前提條件?？傮w上講，三維人臉數據可以通過兩種途徑取得：一是采用三維掃描儀等較復雜的硬件裝置，輔以較簡單的算法來獲取幾何及紋理數據。如康柏劍橋研究所的Waters等人利用掃描儀獲取的三維數據進行了三維頭部建模[5]，Lee等人則用三維掃描儀獲取的三維數據創(chuàng)建了完整的三維人臉模型[6]。激光掃描裝置獲取數據精度高、速度快，但要求高性能的計算機和高價格的硬件設備，用于真實人臉數據采集難于推廣。二是采用普通相機輔以結構光投影儀采集圖像，其采用較復雜的圖像處理和計算機視覺算法獲取數據。如哈佛大學的Zhang和Yau等人采用一個彩色相機和結構光投影儀開發(fā)了一套三維數據采集系統(tǒng)，并將該設備應用于人臉數據采集中，實現了具備一定真實感的三維人臉建模[7]。該系統(tǒng)能同時獲取被測對象的幾何和紋理信息，由于其幾何和紋理數據一一對應，為后期建模提供了便利。然而，由于只通過一個測位進行測量，容易受到測量時的環(huán)境因素及人臉姿態(tài)影響，造成數據缺失，影響最終的建模效果。

為了彌補單一測位測量的局限性，本文開發(fā)了一套基于普通相機和結構光投影儀的雙視角數據采集系統(tǒng)[8]，通過增加測量視角，從兩個測位進行數據采集，并以此作為人臉數據采集設備開發(fā)了一套配套的三維人臉可視化建模軟件，形成了一個完整的真實感三維人臉重建系統(tǒng)。系統(tǒng)從成一定角度的兩個固定測位依次進行數據采集，在保證同時獲取測量對象具有對應關系的三維幾何數據和紋理數據的基礎上，大大擴展了采集設備的測量范圍，放寬了測量時人臉姿態(tài)的嚴格限制，其通用性和靈活性大大提高。采集數據經系統(tǒng)配套建模軟件處理可以建立真實感三維人臉模型，整個建模過程實現了可視化，同時支持鼠標和鍵盤交互，用戶可以實時觀察建模過程中的各個細節(jié)。

1 系統(tǒng)結構

一個完整的三維人臉重建系統(tǒng)通常需具備人臉數據采集、人臉模型重建、可視化交互等一系列功能，為此，建立如圖1所示的系統(tǒng)結構。其功能模塊主要由兩部分組成：硬件模塊和軟件模塊。硬件模塊是系統(tǒng)前端，主要完成紋理數據采集、幾何數據自動解算、數據預處理等功能，為后端輸出測量對象的幾何數據和紋理數據。軟件模塊是系統(tǒng)后端，負責存儲和處理硬件模塊輸出的采集數據，完成人臉三維模型的重建，同時實現建模過程的可視化交互。

圖1 系統(tǒng)結構圖

2 數據采集

數據采集模塊一大功能是完成數據采集。數據采集硬件設備，采用特殊的單目雙位測量系統(tǒng)，從呈一定角度α的左、右兩個測位依次獲取數據，每個測位均配置一臺結構光投影儀和一臺數字相機，如圖2所示。結構光三維測量技術原理，如圖3所示。投影儀主動投射預先設定的含有特定編碼特征的圖案至被測物體表面，由攝像機拍攝經物體表面形狀調制的變形結構光條紋，通過對變形條紋圖像的解碼來建立攝像機與投影儀間的對應特征關系，再結合測量系統(tǒng)光路幾何參數可以獲取測量對象的三維幾何信息，同時得到幾何和紋理數據的一一對應關系。兩側紋理照片的分辨率均為1280×1024。

圖2 硬件設備圖

圖3 測量原理圖

數據采集模塊的另一大功能是測量數據的預處理，主要是完成兩個測位測量數據的坐標歸一化處理。最終需要建立的是三維人臉正面模型，而硬件設備兩側實際采集到的數據同正面相比都有一定角度的偏轉，且二者坐標系不統(tǒng)一，必須將兩側幾何數據同時向人臉正面方向轉換，得到方向統(tǒng)一且坐標系統(tǒng)一的兩側幾何數據。這一過程亦在數據采集模塊中完成，硬件設備兩個測位之間的夾角α決定了坐標系歸一化處理過程的轉換矩陣。

3 模型重建與可視化交互

模型重建軟件系統(tǒng)在VC++平臺上開發(fā)，模型可視化通過可視化開發(fā)包VTK（Visualization Toolkit）[9]實現，完成三維人臉模型重建、可視化、用戶界面實現以及用戶交互等一系列功能，建模過程左右兩側測量數據各自單獨進行，軟件主界面中同時顯示兩側數據建模過程中的實時狀況。

3.1 數據精簡

數據精簡針對幾何點云數據，理論上系統(tǒng)一次測量單側點云數據量能達到130萬，為提高處理效率，在保證建模效果的前提下有必要對數據進行必要精簡。

數據精簡包括均勻精簡和非均勻精簡。均勻精簡是指對所有原始數據采用同一規(guī)則進行精簡，非均勻精簡則是指對數據不同區(qū)域采用不同規(guī)則進行精簡。對于人臉數據，適宜采用非均勻精簡。諸如鼻子和眼角區(qū)域，由于曲率突變明顯，要求的精度相對較高，有必要保留充足的數據點，而對于臉龐和面頰區(qū)域，凹凸變化不太明顯，且區(qū)域較大，精度要求相對較低，可以精簡更多數據。原始采集的點云數據按行列規(guī)則分布，試驗發(fā)現，對于鼻子和眼角區(qū)域，按3×3矩陣進行精簡，對其進行重采樣，而對于臉龐和面頰區(qū)域，按9×9矩陣進行精簡，僅保留位于矩陣頂點位置的點，這樣既能顯著提高數據處理效率，又能很好地保持建模精度。

3.2 分割與融合

人臉是人臉重建過程中的唯一關注特征，而數據采集時不可避免的會同時采集到面部以外諸如背景、耳朵、脖子、衣領等特征的信息，這些都是噪聲數據，必須進行剔除，從中分割提取出建模過程中的目標特征數據。兩側采集到的點云數據在脖子、耳根處與面部之間由于頭發(fā)、遮擋等因素影響都會出現明顯的空洞，這為面部數據分割提供了依據，模型重建軟件利用空洞形成的數據斷層提取人臉特征數據。兩側測量數據依次進行分割，分割后分別得到兩側面部數據。

系統(tǒng)最終要建立一個單一正面人臉模型，故而兩側面部數據分割提取完成后需要進行融合，使兩側數據在共同形成一張單一人臉。顯然，兩側人臉數據存在大量重疊區(qū)域，直接進行融合處理會造成大量的數據冗余。為此，融合之前需要對兩側人臉數據進行進一步分割處理，而測量硬件為分割提供了依據。硬件設備左側測位保證了右側人臉的數據完整性，右側測位則保證了左側人臉的數據完整性，為此，可以以人臉中垂面為分割基準，左側測位保留右側人臉數據，右側測位保留左側人臉數據，將兩側分割數據進行拼接顯示即可形成一張單一完整人臉。然而，僅僅對兩側面部數據做簡單分割和拼接顯示容易造成后期處理過程中接縫處出現間隙以及錯亂網格，無法保證建模效果，因此，實際操作中通常偏離中垂面進行分割，兩側人臉數據在中垂面附近各自預留一定的重疊點云作為過渡區(qū)域。

兩側拼接數據過渡區(qū)域存在大量重疊點，直接對拼接數據網格化必然在過渡區(qū)域形成重疊網格，導致紋理映射后最終人臉模型中接縫區(qū)域形成錯亂紋理，因此有必要對過渡區(qū)域進行數據融合處理。對兩側人臉分割數據過渡區(qū)域均進行點重采樣，剔除其他所有點，僅在人臉中垂面上各自保留一列重疊點，以此作為兩側人臉數據公共拼接邊界。如此，可以使兩側人臉分割后實現無縫拼接。圖4所示為分割融合示意圖。

圖4 分割融合示意圖

3.3 網格模型生成與紋理映射

建立網格模型是形成最終人臉模型的基礎，也是進行紋理映射的必要準備。

過渡區(qū)域融合處理之后的兩側人臉點云除了在公共邊界上存在重疊點之外，其他區(qū)域均不存在重疊點，這樣可以保證融合數據網格化操作過程中過渡區(qū)域不形成重疊和雜亂網格，同時公共邊界可以保證在人臉中垂面拼接線上兩側人臉幾何數據形成的網格完全拼合，避免拼接縫隙的產生，保證了后期紋理映射的逼真效果。點云網格化采用2D-Delaunay[10]三角化算法實現，兩側人臉數據三角化過程依次進行。

要實現真實感人臉模型效果，必須對三角化后形成的人臉網格模型進行紋理映射，渲染出人臉的逼真紋理。兩側人臉幾何數據建模過程各自獨立進行，紋理映射也各自獨立進行。紋理映射的一個核心過程是依次計算兩側人臉紋理照片中各像素的紋理坐標，兩側紋理照片的分辨率均為1280×1024，而各像素紋理坐標U、V范圍均在0～1之間，依據照片分辨率和各像素坐標可以計算出各像素的紋理坐標。如像素坐標為(I,J)的某一像素對應紋理坐標為(J/1280,I/1024)。

4 應用實例

本文以某一具體實驗人員為測量對象，利用此系統(tǒng)重建了真實感三維可視化人臉模型。如圖5所示為系統(tǒng)硬件設備采集到的左右兩側人臉坐標歸一化后的原始數據，左上角和左下角所示分別為左側測位獲取的幾何數據和紋理數據，右上角和右下角則分別為右側測位獲取的幾何數據和紋理數據，各側實測點云數量均為35000個，紋理數據分辨率均為1280×1024。由圖可知，實測數據在眉毛、眼睛、鼻孔等部位不同程度出現了數據缺失。

圖5 左右兩側原始采集數據

臉部數據分割之前對數據進行了精簡操作，鼻子區(qū)域和面部分別采用不同精簡度。圖6左右所示分別為左右兩側測量數據精簡后的效果圖。以耳朵與面部以及面部與脖子之間的空洞為依據分割出面部數據，圖7為左右兩側測量數據各自提取出的人臉數據。在此基礎上進行兩側人臉數據融合，圖8所示為融合效果圖。融合之后兩側數據依次進行三角化處理，如圖9為三角網格模型效果圖。形成網格模型后進行紋理映射便能得到真實感三維人臉模型，圖10所示為最終的重建模型。

圖6 數據精簡效果

圖7 分割提取臉部數據

圖8 數據融合效果

圖9 三角網格模型

圖10 真實感三維人臉模型

5 結 論

本文開發(fā)了一套基于結構光原理的雙視角數據采集設備，提出了一種基于雙視角幾何和紋理數據實現真實感三維人臉模型重建的新思路，并以VTK為可視化工具在VC++平臺上開發(fā)了一套數據處理軟件，形成了一個完整的三維人臉快速重建系統(tǒng)。通過試驗數據的驗證，得到了真實感較強的三維人臉可視化模型，證明了系統(tǒng)的可行性。系統(tǒng)硬件設備利用結構光原理實現三維測量，為避免光柵干涉增加點云三維坐標解算復雜度，測量時兩個測位依次進行測量，兩次測量的時間差會造成獲取的兩側紋理照片因光照條件不一致而存在灰度差異，影響最終的建模效果。這一缺陷可以通過圖像處理進行彌補，這也是后期的研究課題，本文采用的數據為理想條件下獲取的實驗數據。

[1]徐成華, 王蘊紅, 譚鐵牛. 三維人臉建模與應用[J].中國圖象圖形學報, 2004, 9(8): 893-903.

[2]徐 琳, 袁保宗, 高 文. 真實感人臉建模研究的進展與展望[J]. 軟件學報, 2003, 14(4): 804-810.

[3]Parke F I. Computer generated animation of faces [C]//Proceedings of ACM Annual Conference, Boston,Massachusetts, United States, 1972: 451-457.

[4]Parke F I. A parametric model for human faces [R].Technical Report UTEC-CSc-75-04, University of Utah, Salt Lake City, Utah, USA, 1974.

[5]Water K, Terzopoulos D. Modeling and animating faces using scanned data [J]. Visualization and Computer Animation, 1991, 2(4): 23-128.

[6]Lee Y C, Terzopoulos D, Waters K. Realistic modeling for facial animation [C]//Computer Graphics, Annual Conference Series, SIGGRAPH, 1995: 55-62.

[7]Zhang S, Yau S T. Simultaneous three-dimensional geometry and color texture acquisition using single color camera [J]. Optical Engineering, 2008, 47(12):178-183.

[8]熊耀陽, 陳曉波, 孫 健, 等. 結構光投影面部三維測量系統(tǒng)的研制[J]. 上海交通大學學報(醫(yī)學版),2009, 29(7): 837-842.

[9]Schroeder W J, Avila L S, Hoffman W. Visualizing with VTK: a tutorial [J]. IEEE Trans. on Computer Graphics and Applications, 2000, 20(5): 20-27.

[10]楊 欽. 限定Delaunay三角網格剖分技術[M]. 北京: 電子工業(yè)出版社, 2005: 127-153.