基于紅外和白光結(jié)構(gòu)光三維建模的對比研究

肖寧

（四川大學(xué)計算機學(xué)院，成都610065）

0 引言

目前，三維人臉建模成為計算機視覺領(lǐng)域的一個研究熱點，人臉建模技術(shù)可被應(yīng)用在虛擬現(xiàn)實、影視制作、人機交互、可視電話、視頻會議等諸多領(lǐng)域中[1]?；诮Y(jié)構(gòu)光照明的三維表面測量，特別是最流行的數(shù)字正弦條紋投影，已在許多應(yīng)用中得到應(yīng)用[1-3]。在基于可見光的正弦條紋投影的三維測量系統(tǒng)中，測量的速度與精度都得到了很大的提高[4-6]。但由于一般人臉上頭發(fā)、眉毛、眼珠均是黑色，投射的在人臉頭發(fā)、眉毛、眼珠處的黑白正弦條紋呈現(xiàn)出對比度較差的現(xiàn)象，如圖1 所示。

圖1 細節(jié)處（眉毛、眼珠）較差的對比度

因此，為了研究不同波段光照對條紋對比度的影響，且由于紅外光照具有人臉采集具有隱蔽性、安全性[7-8]等特點的特點本文搭建了一套基于紅外的三維測量系統(tǒng)，用于研究和分析紅外結(jié)構(gòu)光投射下人臉細節(jié)處的建模情況。通過對比紅外三維正臉照相機與白光三維正臉照相機未補洞的原始數(shù)據(jù)，分析基于紅外的三維人臉照相機在眉毛、眼珠、頭發(fā)處的數(shù)據(jù)情況。比較在相同的光照強度下，紅外人臉照相機在人臉細節(jié)部分相比于白光否有所改進，從而對三維人臉建模的數(shù)據(jù)完整性及增加三維人臉識別的準確性提供工程性實踐指導(dǎo)。

1 原理

在整個三維人像感知單元中，使用雙目立體視覺與相移結(jié)構(gòu)光三維感知技術(shù)相結(jié)合的方式，并由展開后的相位輔助雙目立體的視覺匹配過程，提高雙目立體匹配精度，降低誤匹配率。由雙目立體視覺輔助正弦結(jié)構(gòu)光實現(xiàn)三維人像感知流程如下：

Step1：使用四步相移的三頻法對采集的條紋圖像進行相位展開，分別得到左右圖像的絕對相位圖；

Step2：由已標定的雙目立體相機的內(nèi)外參數(shù)對左右相位圖進行極線校正，使后續(xù)的立體匹配計算上在極線上進行；

Step3：在左相位圖像上逐行選取各像素點，在右相位圖上搜索相位值相同的最近鄰像素點坐標值，并利用有限視差約束、左右一致性、順序約束、連續(xù)性約束等約束條件，去除誤匹配點以得到左圖像對應(yīng)的視差圖；

Step4：根據(jù)雙目立體視覺成像原理，由視差圖進行三維數(shù)據(jù)計算以獲得三位人像。

1.1 相位展開

當(dāng)正弦條紋投影于三維物體表面上時，拍攝到的變形條紋為：

其中R(x,y)是物體表面反射率的分布，A(x,y)為背景光強，B(x,y)/A(x,y)表示了條紋的對比度，φ(x,y)是表示條紋的變形的相位函數(shù)，其中包含了物體的三維面形信息。

相移算法有很多種，如3 幀平均算法、N 幀滿周期等間距法、Carre 法、N+1 幀算法、次采樣算法等。其中，N 幀滿周期等間距法應(yīng)用比較廣泛，該方法在一個條紋周期內(nèi)，將投影光柵均勻地移動N(N ≥3)次，每次移動的相位是2π/N ，從而產(chǎn)生新的強度函數(shù)In(x,y)，利用獲得的N 幀圖像，就可以根據(jù)下式計算出φ(x,y)：

例如在標準四步相移中，相位每次移動π/2，則產(chǎn)生的四幅條紋圖可以表示為：

則相位函數(shù)為：

由于反正切函數(shù)計算出的相位在-π 到π 之間，因此相位被截斷在(-π,π]內(nèi)，不再連續(xù)，為了得到被測物體的真實面形，必須對截斷相位進行相位展開。

所有的以相位測量為基礎(chǔ)的條紋分析技術(shù)都面臨相位截斷的問題，由于反正切運算求得的相位值被截斷在(-π,π]內(nèi)，必須先進行相位展開以得到真正的連續(xù)相位值，才可以得到絕對相位從而將物體表面的高度分布計算出來。

圖2 相位展開圖

圖2 表示了相位展開的原理，其中圖2（a）是截斷在(-π,π]的相位，相位展開將這一不連續(xù)的相位展開成為圖2（b）中所示的連續(xù)相位。

為了減少噪聲以及邊界的影響，本文采用時間相位展開的算法。在時間相位展開算法（如圖3 所示）中，沿時間軸的一組相位圖形成了三維空間內(nèi)的相位分布。當(dāng)不存在噪聲與邊界時，沿著任何三維路徑展開都可以得到正確的連續(xù)相位；當(dāng)存在噪聲與邊界時，沿時間軸進行相位展開可以避免跳變、邊界以及噪聲等因素而導(dǎo)致的誤差傳播問題（如P 到Q）。

圖3 時間相位展開算法

時間相位展開可以分為以下三步進行：

（1）解出測量后每套條紋的截斷相位φw(m,n,t)

（2）求在同一點的相鄰兩幅截斷條紋圖的展開相位差與2π 的整數(shù)倍數(shù)：

根據(jù)三維相位展開方法的相關(guān)理論，時間相位展開只是其以時間作為第三個維度時的特例，由于時間軸可根據(jù)需要自動且精確的控制的特性，使得它從原理上比空間相位展開方法簡單的多。但是時間相位展開方法中需要獲取和處理的數(shù)據(jù)量經(jīng)常比較大，為了減少展開過程所需數(shù)據(jù)并提高展開效率，人們研究了很多算法。比較典型的算法有：時間軸上的序列按線性增長、指數(shù)增長、負指數(shù)增長等，和以這些算法為基礎(chǔ)的擬合算法；使用三套條紋（為最大投影條紋數(shù)目）的三頻相位展開法；以及基于外差的方法。

1.2 基于相移的調(diào)制度分析法

調(diào)制度是一種評價條紋圖質(zhì)量好壞的一個重要指標，調(diào)制度的值影響著圖片質(zhì)量的好壞以及實驗結(jié)果。調(diào)制度越大，條紋的質(zhì)量就越好，其相位的誤差就越小。而基于相移的調(diào)制度分析法需要投影和拍攝多幅光柵條紋圖片，且這些圖片需要滿足一定的相位關(guān)系。以N 步相移法為例，投影到被測物體表面的第n幅相移條紋的強度分布可以表示為：

其中I0(x,y)為背景光強，C0(x,y)為條紋的對比度，( x,y )為條紋相位分布，2πn/N 為相移量，那么條紋的調(diào)制度定于為：

將式（7）代入式（8）后，可以得到：

由式（9）可知，條紋的調(diào)制度M(x,y)和條紋對比度C0(x,y)成正比，即條紋對比度越好，其條紋的調(diào)制度也越好。

2 實驗與結(jié)果

2.1 實驗平臺

本文實驗算法實現(xiàn)基于C++語言與Visual Studio 2013。為了驗證采用紅外結(jié)構(gòu)光建模的效果優(yōu)于白光的效果，本次實驗搭建了一套基于紅外結(jié)構(gòu)光的照相機系統(tǒng)，系統(tǒng)主要由兩個1280×1024 分辨率的紅外相機、一個912×1140 分辨率的紅外光機和一個同步控制電路板組成。相機和光機都是120 幀，每個相機都配套了一個f=8mm 的鏡頭。兩個紅外相機組成立體相機，而彩色相機為紋理相機。紅外光機投射12 幀正弦條紋（相移法）到人臉上，立體相機和紋理相機在同步控制電路板的控制下同步采集圖像。本次實驗搭建的紅外系統(tǒng)平臺如圖4 所示。

圖4 紅外照相機系統(tǒng)圖

2.2 實驗結(jié)果與討論

由于紅外相機存在噪點較多的特征，投射條紋的密集程度直接影響了條紋對比度，從而影響建模的精度；密條紋對于建模表面的細節(jié)有較大的影響，條紋越密，建模后的表面平滑度越好。因此，選取合適的條紋對于本試驗具有重要的意義。

為了選取合適的條紋，將重建結(jié)果與對應(yīng)的標準值進行比較。本文采用工業(yè)標準件雙球啞鈴規(guī)（規(guī)格如表1 所示）進行重建，將其放在距離設(shè)備80cm 視場范圍的正中、左中和右中三個位置上進行拍攝完成三維建模。將建模后的數(shù)據(jù)放到Geomagic 軟件進行球形擬合，比較擬合后的雙球啞鈴規(guī)的A 球直徑、B 球直徑、A-B 球心距與實物的差值，評價測量精度。本試驗分別采用了1-7-49 和1-8-64 的條紋進行重建。其重建誤差對比結(jié)果如表1 所示。

圖5

表1 啞鈴歸規(guī)格表

表2 標準雙球啞鈴規(guī)誤差結(jié)果對比

從表2 中數(shù)據(jù)可以看出，1-7-49 比1-8-64 測量精度的一致性較好，因此在接下來進行建模時，選擇1-7-49 的密條紋進行投射。

在本實驗中，分別選用了黑色頭發(fā)的男生和棕色頭發(fā)的女生進行建模。在光機投射光照強度的情況下，通過對比在不同的調(diào)制度下，紅外三維正臉照相機和白光三維照相機未補洞的原始數(shù)據(jù)，分析基于紅外的三維人臉照相機在眉毛、眼珠和頭發(fā)處的數(shù)據(jù)情況，看其是否在人臉細節(jié)部分相比于白光是否有所改進。表3 和表4 分別展示了黑發(fā)男性和棕發(fā)女性在紅外和白光正臉照相機下的數(shù)據(jù)對比圖。

將紅外三維正臉相機與白光三維正臉相機進行對比，可以得出以下結(jié)論：

（1）在眉毛處：紅外效果明顯優(yōu)于白光，當(dāng)調(diào)制度等于7 時，紅外正臉采集的眉毛處數(shù)據(jù)只有少量數(shù)據(jù)丟失，調(diào)制度等于1 時，紅外數(shù)據(jù)上基本沒有數(shù)據(jù)丟失；

（2）在眼珠處：紅外效果明顯優(yōu)于白光，當(dāng)調(diào)制度等于7 時，紅外正臉采集的眼珠處數(shù)據(jù)只有少量數(shù)據(jù)丟失，調(diào)制度等于1 時，紅外數(shù)據(jù)丟失數(shù)據(jù)更少；

表3 黑發(fā)男性對比圖

（3）在頭發(fā)處：對純黑色男生頭發(fā)，調(diào)制度不管等于1 或7，紅外效果和白光效果基本一致，頭發(fā)數(shù)據(jù)都建不出來；對于棕色女生頭發(fā)，紅外效果要優(yōu)于白光，有部分頭發(fā)能建出來。

3 結(jié)語

通過投射相同光照強度的紅外條紋和白光條紋在人臉表面，采用時間相位展開的方法獲取左右相位圖進而獲取人臉的三維信息。實驗結(jié)果表明：在相同的光照的強度下，采用紅外結(jié)構(gòu)光在人臉的眼珠、眉毛和頭發(fā)等處的三維數(shù)據(jù)相比于白光較好。對人臉采集的安全性、完整性具有重要的意義，對科研實驗具有較好的指導(dǎo)作用。

表4 棕發(fā)女性對比圖