人臉皺紋三維測量與量化系統(tǒng)

【作 者】蔡國超，于云雷，曹熠偉，黃朔，周平, 2 東南大學(xué)生物科學(xué)與醫(yī)學(xué)工程學(xué)院，南京市，200962 東南大學(xué)蘇州研究院，蘇州市，2523

?

人臉皺紋三維測量與量化系統(tǒng)

【作 者】蔡國超1，于云雷1，曹熠偉1，黃朔1，周平1, 2
1 東南大學(xué)生物科學(xué)與醫(yī)學(xué)工程學(xué)院，南京市，210096
2 東南大學(xué)蘇州研究院，蘇州市，215123

【摘 要】人臉皺紋的三維測量與量化在眾多領(lǐng)域有著重要的應(yīng)用價值。該文提出了一套完整的系統(tǒng)，實現(xiàn)了對人臉皺紋的三維測量與量化。首先，該系統(tǒng)采用基于結(jié)構(gòu)光的立體視覺測量方法，完成了系統(tǒng)標定、對應(yīng)點匹配與三維反求，實現(xiàn)了人臉皺紋的三維測量。其次，該系統(tǒng)將皺紋視為疊加在人臉光滑輪廓上的噪聲，采用三維噪聲提取與形態(tài)學(xué)處理方法，實現(xiàn)了人臉皺紋的量化。實驗結(jié)果表明，該文提出的系統(tǒng)可以實現(xiàn)對人臉皺紋的準確測量與客觀量化評價，且具有非接觸、高精度等特點，具有廣泛的應(yīng)用前景。

【關(guān) 鍵 詞】皺紋；三維測量；立體視覺

0　引言

皮膚的衰老伴隨著人體的衰老，是人體衰老的表征之一。對人臉皺紋進行準確、客觀的測量、評價具有重要的應(yīng)用價值[1-4]。

早期的皺紋測量多采用硅膠倒模得到表面皮膚復(fù)制品（SSR），再以SSR為測量對象，以機械手段對SSR進行三維測量[5]。由于硅膠為柔性材料，擠壓變形等原因會導(dǎo)致SSR與真實皺紋之間存在必然差異，因此SSR方法只能作為皺紋的初步評價，分辨率較低，誤差較大。激光測距方法是上世紀八十年代逐步發(fā)展起來的一種皺紋三維測量方法[6]，此方法提高了測量的分辨率與精度，但整個測量過程需進行逐點掃描，耗時較長，人體的絕對位置在測量中的微小改變是其主要誤差源。近年來雖然出現(xiàn)了很多基于二維圖像的皺紋測量與評價方法[7-8]，但由于二維圖像測量對于皺紋深度信息的損失無法避免，因此這種方法的準確性與重復(fù)性都難以得到保證。

本文提出一種基于結(jié)構(gòu)光的立體視覺方法進行人臉皺紋的三維測量[9]，并對測量得到的人臉皺紋點云數(shù)據(jù)進行了特征提取與量化研究，研發(fā)了一套完整的人臉皺紋測量與量化系統(tǒng)。

1　皺紋測量

針對上述問題，本文針對人臉皺紋進行三維測量，提出了一種基于結(jié)構(gòu)光的立體視覺測量方法，如圖1所示為本文測量系統(tǒng)的結(jié)構(gòu)示意圖。

本文提出的人臉皺紋三維測量系統(tǒng)采用立體視覺原理，由圖1中所示的兩臺CCD相機（A1, A2）同時采集人臉皺紋二維圖像；P為投影儀，在進行人臉皺紋測量時，投影儀向待測人臉皺紋投射正弦結(jié)構(gòu)光柵，由CCD相機采集經(jīng)人臉皺紋調(diào)制后的變形光柵。本系統(tǒng)采用多頻外差法[10]，生成的光柵表示為：

圖1　人臉皺紋三維測量系統(tǒng)結(jié)構(gòu)示意圖Fig.1 3D facial wrinkle measurement system structure diagram

其中Iki表示頻率為λi的第k步相移光柵的光強，?ki表示頻率為λi的線性相位函數(shù)的第k步相移相位，A與B是光柵的調(diào)制系數(shù)。本文使用四步相移函數(shù)，光柵頻率分別為λ1= 1/74，λ2= 1/68，λ3=1/63。 本系統(tǒng)采用投影儀投射結(jié)構(gòu)光柵的目的為：當在由兩臺CCD采集到的二維人臉皺紋圖像中進行對應(yīng)點匹配時，其匹配精度不高，因此需要結(jié)構(gòu)光柵提供額外的匹配信息，以提高對應(yīng)點匹配精度，進而提高人臉皺紋的三維測量精度。

完成兩幅二維圖像間的對應(yīng)點匹配后，需通過系統(tǒng)的內(nèi)、外參數(shù)矩陣實現(xiàn)人臉皺紋的三維反求，即需要對測量系統(tǒng)進行標定。本文采用張正友標定工具箱實現(xiàn)系統(tǒng)標定，此方法基于小孔成像原理，將雙目立體視覺系統(tǒng)簡化為如圖2所示結(jié)構(gòu)。

圖2　系統(tǒng)標定原理Fig.2 System calibration principles

空間中一點P在左右相機的成像平面上分別成像為PL(uL, vL)與PR(uR, vR)，PL與PR即為一對匹配的對應(yīng)點，前述采用結(jié)構(gòu)光柵的目的即為提高PL與PR的匹配精度。

此標定方法包含如下坐標系：世界坐標系Ow-XwYwZw、相機坐標系Oc-XcYcZc、理想圖片坐標系OI-XY和計算機圖像坐標系o-uv。對世界坐標系中的一點P(xw, yw, zw)，其與左相機成像平面的成像關(guān)系可以表示為：

其中，[uL, vL, 1]’為PL的齊次坐標，[RLTL]分別為左相機的旋轉(zhuǎn)矩陣與平移向量，二者構(gòu)成左相機的外參數(shù)矩陣，外參數(shù)左側(cè)的矩陣為左相機的內(nèi)參數(shù)矩陣。將式(2)中的下腳標L變?yōu)镽，則可得到點P與右相機成像平面的成像關(guān)系。本文采用以圓形為特征圖形的標定板實現(xiàn)人臉皺紋三維測量系統(tǒng)的標定，標定板的精度為 0.005 mm。為提高系統(tǒng)測量精度，本系統(tǒng)在標定時考慮了二階徑向畸變與偏心畸變。最終，高精度標定后的系統(tǒng)測量精度達到了小于0.1 mm的水平，基本滿足了人臉皺紋三維測量的要求。

完成標定相當于得到了如公式(2)所示的兩個矩陣表示，若以方程形式展開公式(2)，則空間中一點P在左右相機的成像關(guān)系可表示為一個含有4個方程的方程組，其中的待求未知數(shù)即為點P在世界坐標系中坐標。本文采用基于結(jié)構(gòu)光的立體視覺方法，實現(xiàn)了點P在左右相機成像平面的對應(yīng)點匹配，即搜索得到點P在左右相機所成的像點PL(uL, vL)與PR(uR, vR)。至此，本系統(tǒng)將點P坐標的三維反求轉(zhuǎn)化為求解一個3個未知數(shù)4個方程的超定線性方程組問題，本系統(tǒng)求其最小二乘解。如圖3所示，為采用本系統(tǒng)測量的一幅人臉外眥皺紋的三維結(jié)果。

圖3　人臉外眥皺紋三維測量結(jié)果Fig.3 3D measurement result of face outer canthus wrinkles

2　皺紋提取

考慮到人臉輪廓在成年后變化很小，若忽略皺紋，人臉輪廓可近似為光滑、連續(xù)曲面，因此本文將人臉皺紋視為疊加在光滑、連續(xù)曲面上的噪聲，并采用三維噪聲提取方法實現(xiàn)人臉皺紋的提取。

對如圖3所示的人臉皺紋采用式(3)進行低階樣條曲面擬合。

公式(3)表明擬合曲面每一點都是相鄰節(jié)點數(shù)據(jù)的線性組合，因此可將擬合過程采用一線性函數(shù)表示，即：

其中，Z為擬合后的光滑曲面。為了將含有皺紋的人臉區(qū)域擬合成光滑、連續(xù)的曲面，對式(4)表示的擬合過程增加一階導(dǎo)數(shù)相等的約束，表示為：

其中，B為二階差分算子。本文采用拉普拉斯正則化方法對曲面擬合的過程進行迭代求解，求解公式(6)所得的最小值以獲得向量x，該過程表示為：

其中，參數(shù)λ被初始化為1。求解某一次的擬合結(jié)果為Zi，i為大于0的整數(shù)，通過計算Zi與前一次迭代結(jié)果Zi-1的殘差，Z0表示原始含有皺紋的曲面。以閾值法確定迭代結(jié)束的時刻，若殘差超過設(shè)定閾值，則增加λ并重新計算式(6)，直到殘差小于閾值。對應(yīng)于圖3所示含有皺紋的人臉區(qū)域，當滿足閾值條件時，λ迭代至60，迭代結(jié)束。圖4所示為采用此方法獲得的光滑、連續(xù)人臉輪廓。

圖4　光滑人臉輪廓擬合結(jié)果Fig.4 Fitting result of smooth face contour

以人臉皺紋為研究對象，將圖3、圖4所示點云數(shù)據(jù)做差，即可實現(xiàn)人臉皺紋的三維提取，但此提取結(jié)果含有較多的噪聲。由于三維噪聲濾除算法過于復(fù)雜，不利于實現(xiàn)系統(tǒng)實時性，且由于本文提取的人臉皺紋三維點云數(shù)據(jù)是以二維圖像為基礎(chǔ)進行三維反求獲得，因此，本文采用了一種便捷的方法實現(xiàn)對噪聲的濾除。

將初步提取的三維人臉皺紋數(shù)據(jù)向XY平面進行投影得到二維圖像，將皺紋深度量化為二維圖像相應(yīng)像素的灰度值，如圖5所示。

圖5　三維皺紋數(shù)據(jù)的二維投影Fig.5 2D projection of 3D wrinkle data

對圖5所示的二維圖像采用基于形態(tài)學(xué)的處理方法，通過連通域提取、連通域面積計算、基于連通域面積直方圖的閾值選取、基于閾值去除噪聲連通域的方法進行噪聲濾除。經(jīng)去噪處理后的皺紋如圖6所示，可見其中共有8條皺紋。

圖6　人臉皺紋三維提取結(jié)果Fig.6 Facial wrinkles 3D extraction results

3　實驗結(jié)果與討論

本文采用皺紋數(shù)量(number of wrinkles, Wn)、平均皺紋深度(overall average wrinkle depth, Wd)、皺紋最大深度均值(average maximum wrinkle depth, MaxWd)、最大皺紋深度(maximum largest wrinkle depth, lWd)、皺紋絕對面積(absolute wrinkle area, aWa)等五個參數(shù)來量化、評估人臉皺紋狀態(tài)。圖6所示皺紋的量化結(jié)果為Wn=8，Wd=0.12 mm，MaxWd=0.41 mm，lWd=1.14 mm，aWa=286.25 mm2。

由測量數(shù)據(jù)可知，lWd較大，顯示皺紋存在深度較大的區(qū)域。同時，lWd顯著大于Wd和MaxWd，顯示皺紋深度分布不均，在某些區(qū)域深度顯著大于其余部分。同時，結(jié)合圖6中給出的三維提取結(jié)果，可以確定深度較大區(qū)域的位置，即位于y∈[6～10] mm，x∈[15～20] mm的區(qū)間內(nèi)。

根據(jù)測量數(shù)據(jù)，Wd和MaxWd較小，表現(xiàn)出皺紋整體深度較淺，這與圖3中的測量結(jié)果吻合。相較于實驗區(qū)域表面積，aWa較大，顯示皺紋區(qū)域面積較大，皺紋分布密集。綜合以上測量結(jié)果，可以判斷該實驗區(qū)域皺紋分布較為密集，整體深度較淺，但深度分布不均勻。

本實驗的測量分析結(jié)果有助于醫(yī)生掌握病人的皺紋分布、皺紋深度等信息，有助于醫(yī)生客觀地分析病人的皺紋嚴重程度，并根據(jù)病人皺紋的整體與局部特點制定有針對性的治療方案，提高治療效果。同時，在治療期間使用本測量方法對病人皺紋嚴重程度與特點進行持續(xù)的跟蹤與分析，有助于對治療效果進行量化分析，從而合理調(diào)整治療方案。使用本系統(tǒng)也可以評測去皺產(chǎn)品的去皺效果。

由此實驗結(jié)果可見，本文提出的人臉皺紋三維測量與量化系統(tǒng)可以實現(xiàn)對人臉皺紋的精確三維提取與客觀量化。后續(xù)的研究將進一步圍繞提高系統(tǒng)測量精度進行。

參考文獻

[1] 頊改燕, 徐華, 翟忠武, 等. 基于Gabor濾波器與BP神經(jīng)網(wǎng)絡(luò)的人臉皮膚皺紋區(qū)域自動識別[J]. 計算機應(yīng)用, 2010, 30(2): 430-432.

[2] Choi SE, Lee YJ, Lee SJ, et al. Age estimation using a hierarchical classifier based on global and local facial features[J]. Pattern Recogn, 2011, 44(6): 1261-1281.

[3] 熊磊, 畢篤彥，何林遠, 等. 分層人臉模型機器真實感風格表情合成[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2013, 25(8): 1204-1212.

[4] 蔣大林, 曹虹, 李琳, 等. 皮膚表面測量技術(shù)的研究[J]. 北京生物醫(yī)學(xué)工程, 2007, 26(1), 107-110.

[5] Hatzis J. The wrinkle and its measurement— a skin surface profi lometric method[J]. Micron, 2004, 35(3): 201-219.

[6] Chernoff G, Slatkine M, Zair E, et al. Silk touch: a new technology for skin resurfacing in aesthetic surgery[J]. J Clin Laser Medand Surg, 1995, 13(2): 97-100.

[7] 夏寅輝. 人臉皮膚紋理測量及識別方法研究[D]. 秦皇島: 燕山大學(xué), 2003.

[8] 宋佳麗. 皮膚紋理圖像特征的提取與分析[D]. 沈陽: 東北大學(xué), 2009.

[9] 郝麗俊, 程勝. 基于結(jié)構(gòu)光亞像素提取的三維重建[J]. 中國醫(yī)療器械雜志, 2009, 33(5): 336-338.

[10] 黃亞楠，婁小平. 基于多頻外差原理的相位校正及匹配方法研究[J]. 應(yīng)用光學(xué), 2014, 35(2): 237-241.

Three-Dimensional Facial Wrinkle Measurement and Quantifi cation

【W(wǎng)riters】CAI Guochao1, YU Yunlei1, CAO Yiwei1, HUANG Shuo1, ZHOU Ping1, 2
1 School of Biological Science and Medical Engineering, Southeast University, Nanjing, 210096
2 Suzhou Research Institute of Southeast University, Suzhou, 215123

【Abstract】The three-dimensional facial wrinkle measurement and quantification have important applications in many fields, which are implemented by an entire system proposed in this paper. The system uses stereo vision method based on structured-light to achieve three-dimensional facial wrinkle measuring, where the system calibration, corresponding points matching and three-dimensional reverse method are implemented. Furthermore, the facial wrinkle is considered as the noise attached on smooth facial profi le so that the facial wrinkle is acquired quantitatively by three-dimensional noise acquisition and morphologic processing method. The experimental results show that this system can accomplish accurate facial wrinkle acquisition and objective quantifi cation. This system has comprehensive applications as it is non-contact and it has high precision.

【Key words】wrinkle, three-dimensional measurement, stereo vision

【中圖分類號】TP391.41

【文獻標志碼】A

doi:10.3969/j.issn.1671-7104.2016.02.001

文章編號：1671-7104(2016)02-0079-04

收稿日期：2015-10-22

通信作者：周平，E-mail: capzhou@163.com