基于學(xué)習(xí)功能的人體模型表達(dá)與實(shí)現(xiàn)

季 勇，蔣高明

(1.江南大學(xué) 針織技術(shù)教育部工程研究中心，江蘇 無錫 214122；2.南通大學(xué) 杏林學(xué)院，江蘇 南通 226001；3.生態(tài)紡織教育部重點(diǎn)實(shí)驗(yàn)室(江南大學(xué))，江蘇 無錫 214122)

人體模型的表達(dá)與實(shí)現(xiàn)是計(jì)算機(jī)人體仿真的重要組成部分，不僅是虛擬現(xiàn)實(shí)人物模擬的主體內(nèi)容，更是人工智能領(lǐng)域研究的熱點(diǎn)之一[1]。隨著虛擬現(xiàn)實(shí)技術(shù)不斷迭代更新，人體模型的表示方法也開始從傳統(tǒng)的線框模型不斷進(jìn)行技術(shù)升級。

對于人體形狀估計(jì)的需求，人體感知的圖像扭曲方法被提出來，該方法也能將人體整形效果從模型傳遞到圖像，通過改變?nèi)韺傩?，?chuàng)建所需的整形效果[2]。此外，又進(jìn)一步提出從單一圖像估計(jì)人體和服裝形狀，該方法從訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)可變形模型，為不同姿勢的人體生成三維試衣網(wǎng)格[3]。對于人體輪廓估計(jì)的需求，提出綜合幾何和統(tǒng)計(jì)先驗(yàn)知識的方法，從1個正面和1個側(cè)面輪廓中重建一個標(biāo)準(zhǔn)化物體的形狀。學(xué)習(xí)一個連接輪廓外觀的非線性函數(shù)，并將其用于創(chuàng)建一階近似人體模型[4]。此外，參數(shù)化人體造型和變形算法也被用于水平剖面橫切獲取人體模型的特征腰圍圍線，并引入人體特征尺寸參量，確定相關(guān)圍線初始值以及迭代初始值，通過指定區(qū)域變形，得到個性化人體模型[5]。對于人體數(shù)據(jù)集，對人體數(shù)據(jù)的更新需求及人體數(shù)據(jù)的獲取方法、發(fā)展趨勢等進(jìn)行調(diào)研，匯總國內(nèi)外22 個人體數(shù)據(jù)庫的研究建立、運(yùn)行使用以及數(shù)據(jù)含量等情況，分析了數(shù)據(jù)庫框架特征和功能[6]。

以上相關(guān)研究局限于圖像生成和二維參數(shù)建模，沒有結(jié)合現(xiàn)有的人體數(shù)據(jù)庫，快速實(shí)現(xiàn)人體模型表達(dá)，導(dǎo)致工程化適用性不強(qiáng)。本文提出了基于學(xué)習(xí)功能的線性人體模型表達(dá)方法，通過對大量不同人體形狀的三維網(wǎng)格進(jìn)行整體模型訓(xùn)練，快速實(shí)現(xiàn)快速人體模型的重建，為人體建模在虛擬現(xiàn)實(shí)中虛擬設(shè)計(jì)和可視化仿真提供有力支撐。

1 三維人體掃描與人體數(shù)據(jù)集

人體模型表達(dá)與實(shí)現(xiàn)需要大量的訓(xùn)練和驗(yàn)證數(shù)據(jù)。收集大量的人體形狀是一項(xiàng)非常復(fù)雜的任務(wù)。目前，國內(nèi)還沒有真實(shí)的人體形狀和測量數(shù)據(jù)集，由此需要進(jìn)行人體尺寸的測量、掃描以及重建。

1.1 三維人體掃描

1.1.1 被動三角剖分

三角剖分是人體三維掃描的主要方法之一，被動三角剖分需要對不同姿態(tài)拍攝圖像尋找點(diǎn)的對應(yīng)關(guān)系，從而完成物體或場景的重建[7-8]，如圖1所示。根據(jù)2張圖像中對應(yīng)點(diǎn)的位置，立體攝像機(jī)相對排列并且相同方向，剖分時找到圖像中對應(yīng)點(diǎn)的三維位置并三角化。被動三角剖分依賴于圖像中準(zhǔn)確的對應(yīng)點(diǎn)，而人體掃描特征點(diǎn)不明顯，所以被動三角剖分在人體掃描上具有一定的局限性。

圖1 被動三角剖分Fig.1 Passive triangulation

1.1.2 主動三角剖分

主動三角剖分的原理是將測量系統(tǒng)中的一個攝像頭替換為一個光源，光源將一個點(diǎn)從一個校準(zhǔn)的位置投射到環(huán)境并顯示于成對的圖像中，如圖2所示，激光掃描是一種主動三角剖分的形式，利用校準(zhǔn)的激光、傳感器以及相機(jī)系統(tǒng)的組合來完成物體的三維測量[9]。激光將1條或幾條線投射到一個物體上，調(diào)到特定波長的攝像機(jī)進(jìn)一步測量這些線的變形，再利用采集的數(shù)據(jù)將每條線變成三維曲線，進(jìn)而激光沿著物體的整個表面移動，把獲得的三維曲線轉(zhuǎn)變?yōu)檎麄€人體的三維表面。

圖2 主動三角剖分Fig.2 Active triangulation

1.2 人體數(shù)據(jù)集

本文選用CAESAR人體數(shù)據(jù)集[10]，主要采用主動三角剖分方法采集人體數(shù)據(jù)，是目前最大的三維人體數(shù)據(jù)集，也是人體模型幾何圖形研究領(lǐng)域最常用的數(shù)據(jù)集，經(jīng)常被用于人體模型的采集與生成研究。區(qū)別于二維人體數(shù)據(jù)集，該數(shù)據(jù)集具有準(zhǔn)確的體積和表面積的測量能力。如圖3所示，CAESAR數(shù)據(jù)集包含3種人體形態(tài)的全身掃描。CAESAR數(shù)據(jù)集已經(jīng)被應(yīng)用到多項(xiàng)人體研究之中，包括學(xué)習(xí)人體的形狀和姿勢、站立人體姿態(tài)歸一化、參數(shù)化人體形狀表示。

2 人體模型重建的數(shù)學(xué)模型與算法

基于學(xué)習(xí)功能的人體模型重建是利用數(shù)據(jù)集的再塑過程，結(jié)合深度圖中人體形狀來選擇特定的曲面網(wǎng)格，對齊新網(wǎng)格與輸入網(wǎng)格以重構(gòu)整個網(wǎng)格。本文提出的人體線性模型采用校正人體形狀的網(wǎng)格頂點(diǎn)算法，以C=20個關(guān)節(jié)，V=7 160個頂點(diǎn)的人體網(wǎng)格為基準(zhǔn)，J()為關(guān)節(jié)位置函數(shù)，如圖3所示，其分割初始權(quán)重Π∈RV×J，RV×J是V×J階矩陣，R為人體形狀矩陣。

圖3 人體模型網(wǎng)格基準(zhǔn)Fig.3 Mannequin grid datum

根據(jù)標(biāo)準(zhǔn)的人體網(wǎng)格創(chuàng)建方法，人體模型的形狀S由V個向量代表的平均模板形成：

(1)

(2)

人體關(guān)節(jié)的位置是人體模型建模中關(guān)鍵部分，精準(zhǔn)的關(guān)節(jié)位置使人體模型的軀干更加自然并且清晰?；谌梭w形狀的關(guān)節(jié)位置公式為

(3)

(4)

式中W(·)是一個標(biāo)準(zhǔn)的線性蒙皮函數(shù)，對關(guān)節(jié)中心估計(jì)的頂點(diǎn)進(jìn)行旋轉(zhuǎn)，并用權(quán)值來實(shí)現(xiàn)平滑。

3 人體形狀參數(shù)訓(xùn)練及實(shí)踐

(5)

(6)

通過以上計(jì)算，可以得到與數(shù)據(jù)集匹配的形狀，對轉(zhuǎn)化后的人體網(wǎng)格進(jìn)行主成分分析，經(jīng)過位置標(biāo)準(zhǔn)化得到相應(yīng)形狀參數(shù)。由此根據(jù)方差頂點(diǎn)偏移位置定位人體網(wǎng)格。在頂點(diǎn)構(gòu)建人體形狀時，優(yōu)化位置能避免人體形狀的偽影[11-12]。訓(xùn)練時，人體網(wǎng)格變形的映射方差不能直接轉(zhuǎn)化為頂點(diǎn)位置的方差，但三角形變形擁有靈活自由度，這也確保模型的可行性。

預(yù)訓(xùn)練的網(wǎng)絡(luò)已經(jīng)能夠分割人體部位，這使得合成數(shù)據(jù)集中的人體表現(xiàn)真實(shí)[13-15]，由于人體模型訓(xùn)練數(shù)量較少，微調(diào)會在100次迭代后收斂。評估分段和深度估計(jì)的性能時，表1示出人體模型的分割結(jié)果，交并比均值達(dá)到65.27，像素準(zhǔn)確均值達(dá)到62.15，比Optimal和Baseline-greedy 2種方法表現(xiàn)較好，在優(yōu)化Obj文件和時間效率上表現(xiàn)中等。

表1 人體估計(jì)分割Tab.1 Mannequin segmentation

為進(jìn)一步評估模型的泛化能力，將每個模型擬合到已有網(wǎng)格，在人體形狀上進(jìn)行優(yōu)化即根據(jù)平方頂點(diǎn)距離找到最佳擬合。通過優(yōu)化人體模型的個性化模板形狀，使網(wǎng)格之間的位移達(dá)到動態(tài)匹配，以此擴(kuò)展線性公式，并簡單地添加動態(tài)形狀函數(shù)到蒙皮函數(shù)如下：

(7)

(8)

式中：β∈R3V×|ε|，|ε|是凱撒數(shù)據(jù)集中的主成分個數(shù)；γβ∈R3V；f(·)為動態(tài)控制向量函數(shù)，對動態(tài)形狀系數(shù)的向量進(jìn)行預(yù)估。

根據(jù)以上頂點(diǎn)距離最佳擬合公式生成線性人體模型。隨著動態(tài)控制向量的改變，人體模型出現(xiàn)了顯著差異，人體模型的網(wǎng)格變形更加真實(shí)，如圖4所示。隨著動態(tài)控制向量的變化，人體形狀也產(chǎn)生線性改變，依賴于人體形狀參數(shù)的人體變形看起來流暢自然，人體線性模型擬合程度較高，這也說明回歸訓(xùn)練達(dá)到了預(yù)期的效果。

圖4 線性人體模型Fig.4 Linear mannequin

4 結(jié) 論

針對復(fù)雜結(jié)構(gòu)的人體重建問題，利用人體網(wǎng)格頂點(diǎn)模型，結(jié)合人體形狀參數(shù)訓(xùn)練，將不同類型的人體連接起來，生成了線性化的人體模型。經(jīng)過優(yōu)化關(guān)節(jié)位置，隱式地建立人體模型的空間關(guān)系；并通過考慮人體結(jié)構(gòu)以及關(guān)節(jié)位置來推斷人體網(wǎng)格，完成人體網(wǎng)格的深度估計(jì)。根據(jù)平方頂點(diǎn)距離找到最佳擬合，實(shí)現(xiàn)對人體形狀模型進(jìn)一步優(yōu)化；優(yōu)化后的人體形狀可使網(wǎng)格之間的位移達(dá)到動態(tài)匹配，以此快速實(shí)現(xiàn)多種復(fù)雜的人體模型重建，并可用于人體模型的開發(fā)和服裝虛擬展示。