基于增強(qiáng)現(xiàn)實(shí)和人臉姿態(tài)估計(jì)的虛擬試戴技術(shù)①

黃奕棋,黃起豹,楊民強(qiáng)

1(蘭州大學(xué) 信息科學(xué)與工程學(xué)院,蘭州 730000)

2(凱迪雷拉大學(xué) 經(jīng)濟(jì)管理學(xué)院,碧瑤 2600)

增強(qiáng)現(xiàn)實(shí)技術(shù)的興起讓越來(lái)越多的非實(shí)體信息能夠在真實(shí)世界中虛擬化體現(xiàn),隨著日常生活場(chǎng)景不斷信息化、虛擬化(如網(wǎng)絡(luò)購(gòu)物的普及、各類云端體驗(yàn)的興起),增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用一直是計(jì)算機(jī)視覺(jué)領(lǐng)域經(jīng)久不衰的話題,因?yàn)檫@些應(yīng)用可以將虛擬化場(chǎng)景不斷深化從而改變?nèi)藗兊囊恍┕逃械纳盍?xí)慣.例如,在網(wǎng)絡(luò)購(gòu)物時(shí),用戶無(wú)法體驗(yàn)商品的適合度,只能憑借臆測(cè)來(lái)決定是否下單.通過(guò)虛擬穿戴技術(shù),用戶能夠在缺少試戴的情況下對(duì)商品有一個(gè)更好的感知,并輔助用戶進(jìn)行決策[1].

但是由于相關(guān)子技術(shù)過(guò)于分散并缺乏整合,且相關(guān)虛擬試戴技術(shù)一直未有一個(gè)明確的方案路線.此外,部分與擬議的虛擬試戴技術(shù)相關(guān)聯(lián)的子技術(shù)尚未成熟,或其關(guān)注的重點(diǎn)與擬議技術(shù)相距甚遠(yuǎn),還存在有如面部區(qū)域的識(shí)別易受姿態(tài)與表情的影響、面部姿態(tài)的角度表達(dá)無(wú)法對(duì)應(yīng)于模型文件的觀測(cè)視角等問(wèn)題,這些問(wèn)題都給虛擬試戴技術(shù)的研究與發(fā)展帶來(lái)了重大的挑戰(zhàn).但是,放眼于未來(lái),增強(qiáng)現(xiàn)實(shí)相關(guān)領(lǐng)域的發(fā)展、相關(guān)子技術(shù)的完善、以及技術(shù)側(cè)重點(diǎn)的更改是十分必要的.

在人臉檢測(cè)標(biāo)注中,Ghenescu 等人提供的通用DNN 目標(biāo)檢測(cè)方法提供了一種魯棒的人臉檢測(cè)方法[2].本文基于此方法調(diào)用集成的OpenCV 接口對(duì)實(shí)時(shí)視頻流中的人臉檢測(cè),但這種方法缺乏對(duì)于瞳孔中心的定位.結(jié)合Chen 等人提供的眼部定位方法[3],縮小待操作區(qū)域以減少誤差.此外,文獻(xiàn)[4]中提供的帶有深度信息的姿態(tài)估計(jì)方法結(jié)合n點(diǎn)透視位姿求解法,為本方法得到人臉姿態(tài)參數(shù)提供了一種良好的思路,將參數(shù)運(yùn)用文獻(xiàn)[5]中所述的矩陣關(guān)系進(jìn)行運(yùn)算,將矩陣轉(zhuǎn)換成相關(guān)角度.

對(duì)于某些系統(tǒng)[6],其虛擬試戴技術(shù)主要關(guān)注于2D圖像的3D 重建過(guò)程,該操作需要大量算力與運(yùn)行時(shí)間,本文簡(jiǎn)化了重建過(guò)程,采用映射方式在圖像上進(jìn)行操作,為實(shí)時(shí)視頻流操作提供了可能.而系統(tǒng)[7]對(duì)于操作區(qū)域與模型關(guān)鍵特征的定位操作存在偶然性,文獻(xiàn)[3]和文獻(xiàn)[8]中提供了一種眼部定位與眼睛檢測(cè)的方法,本文結(jié)合兩種方法并通過(guò)實(shí)時(shí)檢測(cè)的面部坐標(biāo)差值縮小操作范圍,文獻(xiàn)[9]中采用HSV 顏色空間的方法為本文提供了一個(gè)很好的圖像分割思路.

結(jié)合上述子技術(shù)并為解決現(xiàn)有系統(tǒng)的不足,本文嘗試提供一種方法路線,結(jié)合相關(guān)子技術(shù)提出一種基于增強(qiáng)現(xiàn)實(shí)與面部姿態(tài)估計(jì)的虛擬試戴技術(shù).此方法主要是一種用于加合實(shí)時(shí)面部場(chǎng)景與3D 模型文件的虛擬試戴技術(shù),利用深度神經(jīng)網(wǎng)絡(luò)人臉標(biāo)志檢測(cè)器,估計(jì)實(shí)時(shí)場(chǎng)景中的人臉位態(tài)信息,返回對(duì)應(yīng)的方位角與旋轉(zhuǎn)角[5].在此方法中,相關(guān)姿態(tài)參數(shù)會(huì)被用于調(diào)整3D 模型文件相對(duì)于攝像機(jī)坐標(biāo)系的位置,從而將模型文件映射至屏幕坐標(biāo)系中.同時(shí)采取圖像分割技術(shù),以68 個(gè)標(biāo)志點(diǎn)為基準(zhǔn),定向分割出待加合區(qū)域,模型文件還將根據(jù)成像坐標(biāo)系與攝像機(jī)坐標(biāo)系的相對(duì)位置進(jìn)行自適應(yīng).

1 擬議的虛擬試戴方法

圖1顯示了擬議方法的示意圖,該方法主要針對(duì)于人臉部分的虛擬佩戴.對(duì)于輸入的原始實(shí)時(shí)視頻流(real-time video streaming,RVS),使用預(yù)先訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉檢測(cè).檢測(cè)人臉存在后,通過(guò)初始化相關(guān)關(guān)鍵點(diǎn)標(biāo)識(shí)面部輪廓,采用Perspective-N-Point 方法估計(jì)面部的姿態(tài)信息,并返回相關(guān)角度參數(shù).由相應(yīng)的數(shù)學(xué)關(guān)系實(shí)現(xiàn)角度向elev 與azim的轉(zhuǎn)化,將轉(zhuǎn)化后的參數(shù)傳入view_init 方法對(duì)3D 模型文件進(jìn)行視角轉(zhuǎn)換.在不同的視角下,利用相關(guān)數(shù)學(xué)原理對(duì)矩陣進(jìn)行歸一與消元操作實(shí)現(xiàn)3D 文件的映射降維.基于面部關(guān)鍵點(diǎn)標(biāo)注框選眼部區(qū)域,基于深度顏色空間設(shè)定閾值并構(gòu)建掩碼位圖,提取出的細(xì)化區(qū)域與框選區(qū)域進(jìn)行加合,得到部分加合結(jié)果.并依此法對(duì)RVS 逐幀操作,實(shí)現(xiàn)面部虛擬試戴.

1.1 DNN 人臉檢測(cè)與標(biāo)注

首先對(duì)于輸入的實(shí)時(shí)視頻流中的每一幀進(jìn)行檢測(cè),使用傳統(tǒng)視覺(jué)方法中的由Papageorgiou 等人提出的Haar 特征[10],以及Viola和Jones 提出的Haar-like 小波特征和積分圖方法進(jìn)行人臉檢測(cè)[11,12],本方法選擇直接使用改進(jìn)后的OpenCV的Haar 分類器.基于對(duì)靜態(tài)圖的檢測(cè)方法,在視頻中的每一幀均重復(fù)相同操作,實(shí)現(xiàn)對(duì)視頻流的人臉檢測(cè),并對(duì)相應(yīng)面部區(qū)域進(jìn)行框選,返回置信度.

緊接著對(duì)框選區(qū)域進(jìn)行關(guān)鍵點(diǎn)檢測(cè),繪制出68 個(gè)面部關(guān)鍵點(diǎn)并以此為基準(zhǔn)對(duì)人臉進(jìn)行對(duì)齊,即對(duì)于某些具有初始姿態(tài)的面部圖像,進(jìn)行相應(yīng)的仿射變換以返回正對(duì)于屏幕坐標(biāo)軸的對(duì)齊圖像,仿射關(guān)系可表示為:

圖像進(jìn)行仿射變換后,在面部檢測(cè)器中初始化一個(gè)DNN,將對(duì)齊后的面部圖像輸入到該檢測(cè)器中,并提取layer6 中名為final_dense的張量,將其用于面部預(yù)測(cè),得到尺寸為136×1的矩陣,將其轉(zhuǎn)換為68×2的矩陣,分別對(duì)應(yīng)于人臉68 個(gè)關(guān)鍵點(diǎn)的像素坐標(biāo),并由這些坐標(biāo)定向至像素坐標(biāo)系下對(duì)應(yīng)的人臉位置,進(jìn)行標(biāo)注,圖2展示了在某一個(gè)姿態(tài)下的向量與矩陣以及對(duì)應(yīng)的面部標(biāo)注情況.

1.2 基于面部標(biāo)注的姿態(tài)估計(jì)

本方法主要是針對(duì)于面部的虛擬試戴,而面部朝向的角度信息則是虛擬佩戴適應(yīng)度與真實(shí)性的基礎(chǔ),因此我們將在DNN 網(wǎng)絡(luò)人臉檢測(cè)器標(biāo)識(shí)的基礎(chǔ)下,求解所有面部標(biāo)志的姿態(tài)信息[2].面部的姿態(tài)估計(jì)主要分析3 個(gè)維度的角度信息,分別是俯仰角Pitch,偏航角Roll和滾轉(zhuǎn)角Yaw 三個(gè)歐拉角,如圖3所示,分別對(duì)應(yīng)于實(shí)際場(chǎng)景中頭部的上下抬低、左右搖擺和立軸轉(zhuǎn)動(dòng),面部的所有姿態(tài)均可分解為這3 個(gè)方面的變化.

基于上述描述,本文選擇采用5 點(diǎn)透視位姿求解的方法,利用點(diǎn)云配準(zhǔn)方法求解攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的平移矩陣(T)以及旋轉(zhuǎn)矩陣(R)[5].假設(shè)世界坐標(biāo)系用X、Y、Z 表示,像素坐標(biāo)系用U、V、W 表示,由攝像機(jī)成像原理可知,繞各自軸旋轉(zhuǎn)一定角度和平移一段距離,能夠獲得世界物體呈現(xiàn)在以光心為原點(diǎn)的相機(jī)坐標(biāo)下.而針對(duì)像平面,其間存在著投影透射關(guān)系,是由三維坐標(biāo)向像素點(diǎn)的轉(zhuǎn)換,針對(duì)相應(yīng)的數(shù)學(xué)運(yùn)算,我們可建立屏幕坐標(biāo)系下映射的坐標(biāo)與世界坐標(biāo)系中實(shí)際點(diǎn)的關(guān)系,可用于求解矩陣R和矩陣T:

其中,s表示尺度參數(shù)(scale parameter),fx和fy表示各自方向上的焦距,cx和cy表示光學(xué)中心,x和y為圖像上各自點(diǎn)的橫縱坐標(biāo).所述的5 點(diǎn)透視位姿求解的方法,只能得到T矩陣和R矩陣,而本文設(shè)定得到的姿態(tài)信息應(yīng)由圖2所示的3 個(gè)歐拉角表示,因此對(duì)于得到R矩陣還需進(jìn)行相應(yīng)計(jì)算得到最終的3 個(gè)歐拉角.T矩陣作為人臉平移量的表示,直接加合至3D 模型文件矩陣中,表示平移量.旋轉(zhuǎn)矩陣到歐拉角的關(guān)系如式(3):

其中,φ,?,γ分別對(duì)應(yīng)于Pitch,Roll和Yaw.依據(jù)上述求得的歐拉角,可將面部姿態(tài)的關(guān)系數(shù)值化,并依此將最終經(jīng)姿態(tài)變換后的人臉標(biāo)注映射至屏幕坐標(biāo)系,得到對(duì)應(yīng)的2D 成像,如圖4所示,其中相機(jī)坐標(biāo)系的z軸指向相面的中心,也稱為光心.

依據(jù)上述姿態(tài)估計(jì)方法,任意世界坐標(biāo)系下的人臉姿態(tài)都將被準(zhǔn)確估計(jì),即每個(gè)人臉可檢測(cè)范圍內(nèi)的朝向信息都將被轉(zhuǎn)換為相應(yīng)的歐拉角信息,所有人臉的姿態(tài)信息將被用于標(biāo)注該朝向的人臉關(guān)鍵點(diǎn),并分別在3D 空間中與2D 平面上呈現(xiàn).

1.3 轉(zhuǎn)換參數(shù)以設(shè)定視角

計(jì)算人臉姿態(tài)信息的目的是得出人臉在該姿態(tài)下所對(duì)應(yīng)的3D 模型物體的視角信息,因此,本步驟主要聚焦于將歐拉角向視角信息轉(zhuǎn)化.由上述步驟可知,人臉姿態(tài)信息最終體現(xiàn)為俯仰角Pitch,偏航角Roll和滾轉(zhuǎn)角Yaw 三個(gè)歐拉角.我們假設(shè)以人臉鼻尖作為原點(diǎn),垂直紙面向外為u軸,豎直向上為w軸,垂直u-o-w平面向右為v軸,如圖4中的世界坐標(biāo)系,我們易知俯仰角為人臉姿態(tài)與v軸的夾角,偏航角為人臉姿態(tài)繞u軸轉(zhuǎn)動(dòng),滾轉(zhuǎn)角則為姿態(tài)信息與w軸分量的夾角.

然而,對(duì)于3D 模型文件,其方向信息主要由觀測(cè)者的視角進(jìn)行體現(xiàn),分別對(duì)應(yīng)于view_init 方法中的elev 參數(shù)(方位視角)和azim 參數(shù)(海拔視角).假設(shè)初始視角為3D 模型文件的正視圖,圖5(a)以眼鏡3D 模型為例展現(xiàn)了視角變化過(guò)程.在不同的視角下,均有相對(duì)應(yīng)的面部姿態(tài),圖5(b)中的人臉?lè)謩e對(duì)應(yīng)于圖5(a)中的5 個(gè)視角.

通過(guò)大量試驗(yàn),我們得出了在不同姿態(tài)下,3D 模型文件的視角與人臉姿態(tài)歐拉角的關(guān)聯(lián)關(guān)系,式(5)–式(9)展現(xiàn)出了部分視角與歐拉角的等價(jià)關(guān)系,其中,Yaw的值均為0:

由此類等價(jià)關(guān)系,我們可推得azim 與elev 對(duì)應(yīng)于Roll 與Pitch的等價(jià)關(guān)系.對(duì)于Yaw,它是相對(duì)于w軸的變化,即為視角上的遠(yuǎn)近關(guān)系,這類關(guān)系并非由視角與滾轉(zhuǎn)角直接對(duì)應(yīng).

1.4 映射變換

本步驟是為了將3D 模型文件通過(guò)映射變換,轉(zhuǎn)換為2D 圖像渲染的形式.本文采取投影方法進(jìn)行映射,此處成像面為一個(gè)二維平面,此處不考慮3D 模型向規(guī)范視域體(canonical view volume)的投影.相較于2D 平面圖形,3D 模型包含有深度信息,在投影的過(guò)程中,原本的3D 物體會(huì)失去一些角度和距離信息,只會(huì)保留原物體中的一些屬性.

在常見(jiàn)的相機(jī)模型中,光線將經(jīng)由三維物體的各個(gè)點(diǎn)通過(guò)小孔模型投影在像平面上,假設(shè)世界坐標(biāo)系中存在有一個(gè)三維物體,其某個(gè)面上的頂點(diǎn)坐標(biāo)為(x,y,z),若要將其映射至二維平面,則該點(diǎn)在投影時(shí)將對(duì)應(yīng)著一個(gè)投影矩陣,此投影矩陣通常為這個(gè)頂點(diǎn)向量提供了一個(gè)點(diǎn)乘運(yùn)算,從而實(shí)現(xiàn)3D 齊次坐標(biāo)向2D 齊次坐標(biāo)轉(zhuǎn)換[5].

1.5 眼部區(qū)域框選

3D 模型文件經(jīng)過(guò)映射變換后,在像素平面上得到了對(duì)應(yīng)文件的二維圖像形式.為了確保虛擬試戴的準(zhǔn)確性,我們需要根據(jù)所操作模型的特征對(duì)操作區(qū)域進(jìn)行縮小,即只對(duì)輸入幀的局部進(jìn)行加合操作.

以眼鏡模型為例,本方法會(huì)將操作區(qū)域縮小至眼睛區(qū)域[3,8],上至眉毛,下至眼袋,并以左右眼角作為兩側(cè)邊界,如圖6所示.基于第1.1 節(jié)中得到的面部關(guān)鍵點(diǎn)標(biāo)注,依據(jù)標(biāo)注點(diǎn)與面部區(qū)域的對(duì)應(yīng)關(guān)系選擇出所要規(guī)劃邊界的關(guān)鍵點(diǎn).對(duì)于眼部區(qū)域而言,將起始標(biāo)注記為1 (對(duì)應(yīng)面部左側(cè)太陽(yáng)穴),兩眉最高點(diǎn)(對(duì)應(yīng)于標(biāo)注19和25)為上邊界,左右眼角外側(cè)(對(duì)應(yīng)于標(biāo)注37和46)與左右眉毛邊緣點(diǎn)內(nèi)側(cè)(對(duì)應(yīng)于標(biāo)注18和27) 豎線作為左右邊界,過(guò)鼻梁位置(對(duì)應(yīng)于標(biāo)注29)與臉頰外側(cè)關(guān)鍵點(diǎn)(對(duì)應(yīng)于標(biāo)注2)連線作為下邊界,各邊界構(gòu)成一個(gè)類矩形區(qū)域.對(duì)于框選出的局部區(qū)域,計(jì)算該區(qū)域的長(zhǎng)度和寬度作為模型文件的尺寸,使用OpenCV 中的resize 方法,調(diào)整模型文件的相對(duì)大小,以自適應(yīng)人臉在遠(yuǎn)近移動(dòng)時(shí)帶來(lái)的眼間距寬度的絕對(duì)數(shù)值變化.

在選取局部圖像后,降維后的模型圖片定向至目標(biāo)區(qū)域,這種做法不僅降低了加合過(guò)程中的復(fù)雜程度,還消除了無(wú)關(guān)背景對(duì)于虛擬試戴區(qū)域定位的影響,可在一定程度上提高佩戴的準(zhǔn)確性.

1.6 基于深度顏色空間的掩碼生成

經(jīng)由前述階段對(duì)于人臉視頻流與3D 模型文件的操作后,本階段將在此基礎(chǔ)上對(duì)截取后的局部圖像與輸入的人臉視頻流進(jìn)行加合處理.然而,對(duì)于映射降維后的2D 圖像,其大體呈現(xiàn)為以一定視角成像的圖形嵌入白色背景中,直接加合會(huì)導(dǎo)致2D 圖像所在圖層將覆蓋人臉對(duì)應(yīng)區(qū)域.因此,本文采用生成圖像遮罩層的方法,基于HSV 顏色空間(色調(diào)H,飽和度S以及明度V)計(jì)算白色背景外的模型圖形各像素點(diǎn)的HSV 值,并繪制如圖7所示的閾值曲線.

此外,根據(jù)圖7所示的閾值曲線,我們發(fā)現(xiàn)樣例模型文件各點(diǎn)的HSV 顏色閾值主要集中在[100 205 70]–[105 215 170]之間,由此界定上下限并生成掩碼矩陣.由于我們可將圖像視為一系列數(shù)組,這些數(shù)組的值即為像素值,并對(duì)應(yīng)著不同的顏色.對(duì)于重疊部分,我們期望映射后的模型圖形能夠覆蓋對(duì)應(yīng)部位而其余面部區(qū)域保持不變,因此我們利用掩碼界定區(qū)域?qū)⒅丿B部分的面部像素值設(shè)置為1,其余保持不變.在對(duì)相應(yīng)像素值進(jìn)行修改后,將視頻幀中人臉區(qū)域矩陣與模型2D 映射圖像進(jìn)行點(diǎn)積運(yùn)算,最終得到局部區(qū)域的模型佩戴結(jié)果,由此結(jié)果反饋至全局幀區(qū)域,以得到增強(qiáng)現(xiàn)實(shí)下的虛擬試戴效果.

2 現(xiàn)存方法比較

文獻(xiàn)[13]中提出的人臉檢測(cè)方法具有較大的局限性,其基于人臉膚色的檢測(cè)方法在背景色與膚色十分接近的情況下,會(huì)產(chǎn)生較大的偏差,因此該檢測(cè)方法對(duì)于背景色有較為嚴(yán)格的要求.此外,該方法中設(shè)定的眼間距是基于經(jīng)驗(yàn)確定,這種確定方法并不具有魯棒性,對(duì)于某些特殊人群該間距可能并不適合.本文提出的人臉檢測(cè)方法,是基于面部關(guān)鍵點(diǎn)進(jìn)行區(qū)分,并不受背景色與不同人群的不同特征影響,能夠根據(jù)返回的眼部關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行相應(yīng)的計(jì)算,并自適應(yīng)于不同特征的人臉.對(duì)于文獻(xiàn)[13]中的結(jié)果而言,其最終佩戴在人臉面部的眼鏡,其鏡片顏色將遮擋眼部區(qū)域,導(dǎo)致佩戴的不真實(shí)性,針對(duì)此類問(wèn)題,本文提出了圖像掩碼設(shè)定,利用HSV 閾值設(shè)定模型文件的框架范圍,將眼部區(qū)域取代鏡片內(nèi)的白色區(qū)域,以此增加虛擬佩戴的真實(shí)性.

與文獻(xiàn)[13]類似,文獻(xiàn)[7]中所提出的試戴方案,僅測(cè)量左、右眼角與鼻梁3 個(gè)點(diǎn)的位置,這種定位方法基于人眼對(duì)稱的先驗(yàn)知識(shí),具有一定的偶然性.對(duì)于某些具有特殊眼部特征的人群,可能無(wú)法達(dá)到與文獻(xiàn)[7]中所述的定位效果.而本文中采用多關(guān)鍵點(diǎn)的人臉檢測(cè),能夠準(zhǔn)確識(shí)別眼眶、眼角等關(guān)鍵位置,進(jìn)而為眼部區(qū)域的框選提供了可能.不可否認(rèn)的是,文獻(xiàn)[7]中使用的等腰直角三角形擬合的方式對(duì)于眼鏡之于對(duì)稱眼部的佩戴有較為良好的效果.

就定位準(zhǔn)確性與模型加載的真實(shí)性而言,文獻(xiàn)[9]很好地完成此類要求,其基于大量無(wú)眼鏡的人臉數(shù)據(jù)集進(jìn)行訓(xùn)練,并使用ROI 提取方法,使得其定位效果良好.而且利用2D 圖像重建令其眼鏡模型具有較強(qiáng)的真實(shí)性并能較好地解決因?yàn)槌上窠嵌榷鴰?lái)的遮擋問(wèn)題,但是人臉重建過(guò)程對(duì)于具體實(shí)現(xiàn)而言具有較大的難度[14],且算法通常會(huì)存在較大的時(shí)延,而此數(shù)值已遠(yuǎn)超出人眼所能適應(yīng)延遲的閾值,因此在實(shí)時(shí)場(chǎng)景下并不適用.本文所提出的技術(shù)方案簡(jiǎn)化了重建過(guò)程,采用圖像映射的方法實(shí)現(xiàn)低維度的圖像加合,一定程度上減輕了實(shí)時(shí)計(jì)算時(shí)可能因?yàn)橹亟ㄟ^(guò)程而帶來(lái)的計(jì)算負(fù)擔(dān).

3 試驗(yàn)結(jié)果

3.1 頭部姿態(tài)估計(jì)結(jié)果

本文擬議方法的操作對(duì)象為現(xiàn)實(shí)場(chǎng)景下包含人臉的實(shí)時(shí)視頻流,該視頻流中必然包含有多姿態(tài)、多表情的面部幀.因此,為了貼近實(shí)際應(yīng)用場(chǎng)景,本次實(shí)驗(yàn)選取了20 名受試者,受試者任意轉(zhuǎn)動(dòng)頭部角度并改變面部表情,直接調(diào)用本地?cái)z像頭運(yùn)行本算法.我們通過(guò)姿態(tài)估計(jì)矩形與面部檢測(cè)點(diǎn)的穩(wěn)定程度以及姿態(tài)估計(jì)準(zhǔn)確度來(lái)判斷頭部姿態(tài)估計(jì)效果的好壞,若估計(jì)矩形具有明顯抖動(dòng),則認(rèn)為本次測(cè)試效果不佳;若姿態(tài)估計(jì)有明顯偏差,亦認(rèn)為本次測(cè)試效果不佳.圖8表示其中一位受試者的頭部姿態(tài)估計(jì)結(jié)果.經(jīng)過(guò)多次試驗(yàn),本方法中所使用到的姿態(tài)估計(jì)算法具有較強(qiáng)的魯棒性.

3.2 試戴效果

本方法能實(shí)現(xiàn)在實(shí)時(shí)場(chǎng)景下利用增強(qiáng)現(xiàn)實(shí)技術(shù)將選擇的模型文件定向添加至面部區(qū)域,該方法具有魯棒性和可擴(kuò)展性.模型文件可選擇眼鏡、口罩、貼紙等面部修飾品,修改對(duì)應(yīng)佩戴區(qū)域的參數(shù)即可得到不同類型的模型文件向面部區(qū)域的加合,因此本方法具有較強(qiáng)的可擴(kuò)展性.以眼鏡模型文件為例,圖9展示了受試者在正臉姿態(tài)下的佩戴情況.從圖中我們可以看到,受試者佩戴口罩,本方法仍能檢測(cè)出人臉區(qū)域并向眼部區(qū)域添加模型文件,對(duì)于不同受試者,本方法均可以針對(duì)受試者的面部區(qū)域虛擬佩戴模型文件.此外,對(duì)于被試者的遠(yuǎn)近移動(dòng),本方法能夠自適應(yīng)眼鏡模型大小,以貼合受試者的眼部區(qū)域,因此本方法具有較強(qiáng)的魯棒性,圖9展示了本方法的作用下最終的虛擬試戴結(jié)果.

4 結(jié)論與未來(lái)工作

本文提出了一種增強(qiáng)現(xiàn)實(shí)技術(shù)的虛擬試戴方法,主要針對(duì)實(shí)時(shí)場(chǎng)景下的人臉對(duì)應(yīng)區(qū)域,在擺脫實(shí)體的情況下確保用戶的整體感知,通過(guò)對(duì)虛擬信息的加載實(shí)現(xiàn)相關(guān)區(qū)域的模型文件試戴.

為了確保準(zhǔn)確性,我們基于先前的姿態(tài)估計(jì)技術(shù)進(jìn)行相應(yīng)地修改以適應(yīng)本方法的目標(biāo),依據(jù)相關(guān)參數(shù)變換以及模型文件的映射成像實(shí)現(xiàn)虛擬佩戴技術(shù),本方法整合并改進(jìn)現(xiàn)有子技術(shù),較為系統(tǒng)地呈現(xiàn)了一個(gè)虛擬試戴方案.未來(lái)本方法還可將進(jìn)行進(jìn)一步改良,通過(guò)載入更完善的紋理與材質(zhì)信息使得本技術(shù)具有更強(qiáng)的真實(shí)性,并運(yùn)用到電子商務(wù)、云端體驗(yàn)等新興領(lǐng)域.