基于PTM模型文物紋理映射算法

劉 穎，劉 倩，李大湘，楊文宗

1.西安郵電大學(xué) 通信與信息工程學(xué)院，西安710121

2.中國科學(xué)院 西安光學(xué)精密機(jī)械研究所，西安710121

3.電子信息現(xiàn)場勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，西安710121

1 引言

在計(jì)算機(jī)視覺及3D技術(shù)高速發(fā)展背景下，文物數(shù)字化得到了迅速普及和發(fā)展，在對文物數(shù)字化中，能否真實(shí)再現(xiàn)物體表面紋理細(xì)節(jié)，對于文物保護(hù)工作具有重大意義[1-2]。對于三維重建物體，物體的宏觀結(jié)構(gòu)僅決定著繪制物體的外觀輪廓，而更精致的真實(shí)感圖形繪制則需要考慮物體表面的細(xì)節(jié)紋理。但是在建模物體表面進(jìn)行細(xì)節(jié)精確的建模是很困難的工作，而紋理映射技術(shù)可以用拍攝的表面細(xì)節(jié)圖像貼在虛擬物體表面以很低的代價(jià)完成這一工作[3]。因此，物體在計(jì)算機(jī)中能否真實(shí)再現(xiàn)，表面細(xì)節(jié)繪制是關(guān)鍵所在。

紋理映射[4]（Texture Mapping）是將紋理空間中的紋理像素映射到屏幕空間中像素的過程，是繪制復(fù)雜場景真實(shí)感圖形最為常用的技術(shù)之一。傳統(tǒng)紋理映射，如環(huán)境紋理映射、幾何紋理映射、法向紋理映射等，都是通過用拍攝的表面細(xì)節(jié)圖像貼在虛擬物體表面形成紋理[5]。然而，由于紋理的來源一般是在現(xiàn)實(shí)中以某一特定視點(diǎn)位置，在特定的光照條件下拍攝到的照片，當(dāng)把這個(gè)紋理映射到三維物體表面沒有考慮虛擬場景中的光照條件時(shí)，此時(shí)合成環(huán)境中的光照與捕獲原始拍攝對象的光照不一致，則生成的紋理將顯得不正確、不真實(shí)。而且當(dāng)原始捕獲對象與算法模型在幾何表面光照上由于計(jì)算誤差而導(dǎo)致光照混合時(shí)，生成的紋理渲染將變得非常平坦和平滑，將更無法真實(shí)地再現(xiàn)物體表面的細(xì)節(jié)紋理。此外當(dāng)物體表面具有較大凹凸變化，其自身導(dǎo)致的自陰影和互反射，也會使得渲染效果變得不再真實(shí)、細(xì)致。

多項(xiàng)式紋理映射[6-8]就是針對以上諸多問題所提出的一種解決方案，可以大大提高傳統(tǒng)紋理映射方法的真實(shí)感，并且無需對復(fù)雜幾何體進(jìn)行建模。這種映射方式選擇使用簡單的雙二次多項(xiàng)式獨(dú)立地表示每個(gè)像素的表面顏色變化，以此保持色度恒定，并且允許在渲染期間快速重建顏色。其適當(dāng)?shù)卦佻F(xiàn)了光源方向相對于物體對象變化的影響[9-12]，無論是對紋理映射對象的表面法線取向，還是改變光源的位置，所產(chǎn)生的自陰影、亞表面散射和互反射引起的強(qiáng)度和顏色變化，都可以由PTM捕獲和建模。

基于原始PTM模型，Zhang等人[13]提出了利用最小平方殘差中值（LMS）穩(wěn)健回歸來生成6維多項(xiàng)式模型，試圖通過最小化殘差的中值來將盡可能多的數(shù)據(jù)點(diǎn)擬合至該模型，通過正確識別的啞光像素來更準(zhǔn)確地恢復(fù)表面法線，像素色度等。盡管利用LMS穩(wěn)健回歸可以實(shí)現(xiàn)更好的表面紋理重建，但該方法回歸緩慢并會造成巨大的計(jì)算負(fù)荷。

此外Gautron等人[14-15]提出了使用源自球諧函數(shù)（SH）來模擬光照的PTM模型。利用球諧函數(shù)作為單位球面上的一組基函數(shù)替代原PTM模型中的多項(xiàng)式的基函數(shù)。但是，使用在整個(gè)球形域上定義的基函數(shù)SH來表示這種半球函數(shù)會在半球的邊界處引入不連續(xù)性，并且需要大量的系數(shù)。且在大入射角的情況下，SH在邊界點(diǎn)處的擬合效果會非常差。

為克服上述同類改進(jìn)算法的不足，本文通過改進(jìn)多項(xiàng)式的基函數(shù)和優(yōu)化擬合系數(shù)來避免在實(shí)現(xiàn)高精度重建圖像時(shí)所產(chǎn)生的較大的計(jì)算負(fù)荷、LMS所導(dǎo)致的緩慢回歸及利用SH模擬光照模型在半球邊界引起的不連續(xù)性等問題。實(shí)驗(yàn)證明本文提出的PTM優(yōu)化模型實(shí)現(xiàn)了在表面紋理重建精度同等的條件下，具有更小的計(jì)算負(fù)荷和計(jì)算復(fù)雜度的優(yōu)點(diǎn)。

2 光照模型

2.1 雙向紋理函數(shù)BTF

雙向紋理函數(shù)BTF（Bidirectional Texture Function），由Dana等人引入，描述在不同光照條件和視線方向下紋理的外表[16]。使用相機(jī)對景物進(jìn)行平面采樣，每像素的亮度是由光源方向和拍攝角度不同引起的，拍出的結(jié)果圖像就是視點(diǎn)和光線的函數(shù)，如圖1所示。顯然，BTF的不同照片數(shù)據(jù)可以看作一個(gè)6維的反射域。

圖1 測量雙向反射分布函數(shù)BTF方位角示意圖

平面采樣的每一點(diǎn)和實(shí)際物體面上的每一點(diǎn)(u,v)以及在入射光(θi,?i)和出射光(θe,?e)方向上是分別相聯(lián)系的。BTF獲取綜合光照條件下的景物圖像，通過照片提供BTF采樣，而在紋理空間的點(diǎn)采樣只能保留4維的采樣數(shù)據(jù)，要得到完整的數(shù)據(jù)需要大量的照片采樣。

2.2 多項(xiàng)式顏色依賴性

受雙向紋理函數(shù)BTF模型的推動[17-18]，多項(xiàng)式紋理貼圖（PTM），是一種新穎的基于圖像的紋理映射技術(shù)，用于在空間可變的照明源下重建物體表面的細(xì)節(jié)外觀。PTM通過保持光照出口方向恒定，即反射角始終朝向固定攝像機(jī)位置，簡化了光亮度計(jì)算。

即像素強(qiáng)度是入射光源的角坐標(biāo)(θi,?i)和兩個(gè)空間變量(u,v)的函數(shù)[19]。犧牲了捕獲視圖相關(guān)效果（如鏡面反射）的能力，但保留了在表面上表示任意幾何陰影和漫反射陰影效果的能力。獲取固定視點(diǎn)的PTM采樣原理如圖2。

圖2 PTM采樣示意圖與設(shè)備搭建圖

對于紋理貼圖中的每個(gè)紋素，需要為每個(gè)輸入光位置存儲顏色樣本，這些圖像中的一個(gè)冗余源，是在變化的光源方向上像素的色度恒定。在朗伯表面的假設(shè)下，每個(gè)像素的亮度隨光源方向而變化，并且色度被認(rèn)為是恒定的。

利用這種冗余模型，通過由亮度調(diào)制的紋素(Rn(u,v),Gn(u,v),Bn(u,v))來存儲顏色信息，而每個(gè)像素的顏色又用角度相關(guān)的亮度因子L(u,v)調(diào)制，這使得光照亮度具有如下式所示的可分離性：

3 多項(xiàng)式紋理映射PTM

3.1 PTM原理

對于漫反射物體，發(fā)現(xiàn)即使對具有高頻率紋理的物體，得到的渲染紋理結(jié)果也非常平滑。故選擇使用雙二次多項(xiàng)式來模擬這種顏色與亮度的依賴關(guān)系：

以相機(jī)為頂點(diǎn)定義一個(gè)局部坐標(biāo)系，基于法線以及從局部紋理坐標(biāo)導(dǎo)出的切線和副法線。其中是歸一化光矢量到局部紋理坐標(biāo)系的投影，是像素點(diǎn)合成的在該坐標(biāo)處的合成表面亮度。系數(shù)存儲了每張照片的紋素?cái)?shù)據(jù)。

獲取少量的不同光線方向條件下的照片，用它們合成近似表面的反射函數(shù)。這里圖像上每個(gè)像素包括一個(gè)亮度信息，這個(gè)亮度是入射光線方向的函數(shù)。在固定視點(diǎn)拍攝一系列入射光線方向變化的照片，假定有N+1張圖像，使用奇異值分解（SVD）[20]計(jì)算出L2范數(shù)中的最佳擬合，求解以下方程組的(a0-a5)。

L0～LN是根據(jù)變化的光線方向(Iu,Iv)對每像素測得的實(shí)際光亮度值，這些值由圖像采樣獲得。(Iu0,Iv0)是第一次光線方向在本地紋理坐標(biāo)系統(tǒng)中的投影，(Iu1,Iv1)是第二次光線方向在紋理坐標(biāo)的投影等等。紋理圖像每個(gè)像素對應(yīng)一套反射系數(shù)，每個(gè)像素的多項(xiàng)式系數(shù)只計(jì)算一次，給定一系列不同光源位置的采樣照片，這些系數(shù)由采樣數(shù)據(jù)用方程（5）擬合求出后，為每個(gè)像素存儲作為一個(gè)多項(xiàng)式紋理圖，然后用方程（4）進(jìn)行紋理像素值的計(jì)算，從而重構(gòu)出一張具有多角度光照深度信息的PTM紋理圖。

3.2 多項(xiàng)式擬合系數(shù)優(yōu)化

原始PTM模型中借助(u,v,v2,u2,uv,1)作基函數(shù)所構(gòu)造的光照方向矩陣I，該形式的基函數(shù)只能先通過扭曲非線性模型來適應(yīng)線性數(shù)據(jù)，故無法良好地模擬真正的朗伯表面。上文方程式（3）所述的反射函數(shù)是基于亮度模型下的，該式中反射系數(shù)L可以通過將RGB彩色圖像轉(zhuǎn)變?yōu)榛叶葓D像后采集亮度信息獲得。若方程式（5）中的亮度信息求解良好，則求解出的雙二次多項(xiàng)式擬合系數(shù)較為精確。但在較差光照環(huán)境下采集到的圖像亮度信息可能分布不均勻，集中在較窄范圍內(nèi)，圖像細(xì)節(jié)不夠清晰，導(dǎo)致重建PTM復(fù)現(xiàn)圖像效果不理想。

為解決以上問題，本文借助改進(jìn)的基函數(shù)構(gòu)造新光照方向矩陣I與灰度圖像的直方圖均衡化技術(shù)對由RGB圖像轉(zhuǎn)為灰度圖后的亮度信息進(jìn)行再均衡的改進(jìn)，使圖像的亮度信息在整體上分布更加均勻，從而達(dá)到改進(jìn)擬合系數(shù)，克服非線性模型對線性數(shù)據(jù)的適應(yīng)問題，使得PTM達(dá)到重建紋理更加精確的目地。

具體實(shí)現(xiàn)過程如下：

（1）利用改進(jìn)的基函數(shù)(u,v,z,u2,uv,1)構(gòu)造新光照方向矩陣I，其中。則原模擬這種顏色與亮度的依賴關(guān)系的二次多項(xiàng)式優(yōu)化為：

（2）根據(jù)原始圖像灰度計(jì)算灰度密度函數(shù)PDF，即原始圖像直方圖：

其中，nrN分別表示每個(gè)灰度級的像素個(gè)數(shù)和總像素個(gè)數(shù)。

（3）由（1）中PDF獲得積累分布函數(shù)CDF，且原始圖像灰度級概率密度的累積就是新圖像灰度級的概率密度。

其中，k=0,1,2,…,255，為轉(zhuǎn)換后圖像的灰度級，這里最大取255。

（4）將CDF歸一化至原始圖像取值范圍。

（5）對已知的CD進(jìn)行取整操作，獲得灰度轉(zhuǎn)換函數(shù)：

（6）借助灰度轉(zhuǎn)換函數(shù)對原始圖像進(jìn)行灰度信息再均勻。

經(jīng)過上述操作使得建模對象反射系數(shù)L的獲取更加精確，模型對線性數(shù)據(jù)的適應(yīng)性更強(qiáng)，圖像細(xì)節(jié)更加精細(xì)，進(jìn)而對方程式（5）中求解得到的雙二次多項(xiàng)式系數(shù)更為精確，最終使得憑借該多項(xiàng)式系數(shù)重建的PTM圖像模型更為真實(shí)，細(xì)膩。

3.3 PTM的攝影采集

如一般的光度立體聲領(lǐng)域所做的那樣，在不同的光照條件下一般使用靜態(tài)相機(jī)收集靜態(tài)物體的多個(gè)圖像。原始的PTM采集設(shè)備是用簡單的合金框架搭建二十面體模型，手動將光源定位在每一面的中間位置，如圖3所示。

圖3 實(shí)驗(yàn)設(shè)備原始搭建圖

由于原始采集設(shè)備如圖3所示，較為簡陋，拍攝框架模型光源數(shù)目太少，無法精確地獲得重建物體的表面法線信息。此外設(shè)備沒有外圍遮光罩，導(dǎo)致采集圖像在自然光下發(fā)生光照混合情況，近而使得法向光照定位不準(zhǔn)確，重建效果不理想。因此Zhang等人設(shè)計(jì)了如圖4所示立式PTM模型數(shù)據(jù)采集設(shè)備，充分?jǐn)U充了光源數(shù)目，獲得了較多且相比原始采集設(shè)備更加精確的重建物體的表面法線信息。雖然立式采集裝置克服了原始采集設(shè)備的部分問題，但兩個(gè)實(shí)驗(yàn)設(shè)備仍具有共同的不可克服的問題。即：

（1）面積大小的不統(tǒng)一，對光源中心設(shè)定與光源分布不均，產(chǎn)生影響。

（2）內(nèi)部沒有遮光涂層，物體表面反射與漫反射現(xiàn)象嚴(yán)重。

圖4 立式實(shí)驗(yàn)設(shè)備圖

綜上存在問題，通過大量實(shí)驗(yàn)驗(yàn)證，提出了如圖5所示的PTM攝影采集裝置。該實(shí)驗(yàn)裝置從一個(gè)固定視點(diǎn)來捕獲圖像集，采用一個(gè)通體涂滿遮光材料的半球形模型。這樣可以避免自然光以及內(nèi)部光照產(chǎn)生的反射與漫反射光的負(fù)面影響。光源位置標(biāo)定后，將光源固定在相對于樣品的40個(gè)位置，采取獨(dú)立開關(guān)控制每一個(gè)光源。將相機(jī)固定在半球裝置的頂部位置，與所控制光源完成同步拍攝。拍攝物體與RTI工具箱的黑色斯諾克球一起放置在半球形模型內(nèi)部的水平白色基板上，如圖5所示。閃光燈的坐標(biāo)由幾何校準(zhǔn)程序確定，該程序基坐標(biāo)為由放置在基板中心的垂直投射陰影。方式不僅簡單易行，而且這種方法能夠取得良好的實(shí)驗(yàn)效果。這樣的設(shè)計(jì)有助于避免自然光對PTM圖片采集的影響。

圖5 改進(jìn)后實(shí)驗(yàn)設(shè)備搭建圖

4 實(shí)驗(yàn)和分析

4.1 實(shí)驗(yàn)重建圖像效果分析

圖6為原始設(shè)備與改進(jìn)設(shè)備對于同一拍攝對象的PTM算法模型重建圖。圖6（a）所示為原始設(shè)備下的PTM重建圖，玉璧表面字體與紋理模糊，祥云辨識度低、甚至出現(xiàn)細(xì)節(jié)缺失的現(xiàn)象。圖6（b）所示為立式設(shè)備下的PTM重建圖，圖像重建效果基本理想，但是由于受到自然光照以及自陰影和互陰影等因素的影響使得重建圖像的紋理出現(xiàn)表面深度信息不明顯，重建圖像曝光嚴(yán)重。圖6（c）所示改進(jìn)設(shè)備后的PTM重建圖像，較好地再現(xiàn)了玉璧的表面紋路及原始光照環(huán)境，其中“52”字樣、外邊緣渦蚊紋理浮現(xiàn)較為清晰，辨識度較好，但內(nèi)邊緣“錫”等8個(gè)字樣紋理細(xì)節(jié)復(fù)現(xiàn)一般。

圖6 新舊設(shè)備重建圖像比較

如圖7所示，（a）為SH基函數(shù)的PTM渲染圖，（b）為LMS回歸的PTM渲染圖，（c）為系數(shù)優(yōu)化后的PTM渲染圖。由圖7清晰可見這三者優(yōu)化PTM后的重建圖，都具有紋理復(fù)現(xiàn)深刻，光照條件復(fù)現(xiàn)良好的效果。其中“52”字樣和外邊緣渦蚊紋理浮現(xiàn)也更為深刻、細(xì)膩、辨識度更高，且內(nèi)邊緣“錫”等8個(gè)字樣紋理細(xì)節(jié)復(fù)現(xiàn)清晰。

圖7 三種優(yōu)化后PTM渲染圖

4.2 客觀量化評價(jià)

本文通過引入PSNR（Peak Signal to Noise Ratio）對PTM和原圖分別進(jìn)行客觀考核來量化衡量兩個(gè)比對圖像之間的相似性，PSNR的優(yōu)點(diǎn)是算法簡單，相似度檢測耗時(shí)短，但同時(shí)呈現(xiàn)出檢測結(jié)果與人類主觀感受存在偏差的缺點(diǎn)。為解決單一檢測指標(biāo)的不充分、不嚴(yán)謹(jǐn)?shù)娜毕?，故在此量化評價(jià)指標(biāo)的基礎(chǔ)上又加入SSIM算法評價(jià)，分別從亮度、對比度、結(jié)構(gòu)三個(gè)方面來比較兩幅圖像的相似度，修正了PSNR的缺點(diǎn)，進(jìn)而使得量化指標(biāo)更具有可信度。

式中，M N為圖像的尺寸，x為原始圖像，x?為PTM重建后圖像，μx和μx?分別為原始圖像的平均灰度值和方差，σx和σx?分別為PTM重建后圖像的灰度平均值和方差，σxx?為原始圖像和重建圖像的協(xié)方差，c1和c2為常數(shù)。

由表1可得在PSNR指標(biāo)下，改進(jìn)設(shè)備前PTM重建圖像，立式設(shè)備PTM重建圖像、改進(jìn)設(shè)備后PTM重建圖像與原始圖像的相似指標(biāo)分別為：20.499 1、30.016 5、30.394 9。三者檢測指標(biāo)值依次增大，證明了改進(jìn)后的PTM貼圖重建圖像紋理相較改進(jìn)前的PTM重建圖像更加清晰、深刻，而且組建復(fù)雜度和價(jià)位更低廉。SH基函數(shù)的PTM重建圖像、LMS回歸的PTM重建圖、改進(jìn)基函數(shù)和擬合系數(shù)的PTM重建圖的相似指標(biāo)分別為：35.859 2、35.987 9、36.291 4。表明三者的重建效果基本一致，但本文提出的方式紋理相似度與實(shí)物更相近，真實(shí)性更高。

表1 圖像質(zhì)量的客觀評價(jià)表

在SSIM指標(biāo)下，改進(jìn)設(shè)備前PTM重建圖像、立式設(shè)備PTM重建圖像、改進(jìn)設(shè)備后PTM重建圖像與原始圖像的相似指標(biāo)分別為0.346 1、0.489 2、0.504 1。SH基函數(shù)的PTM重建圖像、LMS回歸的PTM重建圖、改進(jìn)基函數(shù)和擬合系數(shù)的PTM重建圖的相似指標(biāo)分別為0.637 3、0.696 7、0.765 0。綜上驗(yàn)證了本文提出的改進(jìn)方法不僅在硬件上具有復(fù)雜度低、價(jià)位低廉、重建效果優(yōu)秀的效果。而且提出的改進(jìn)基函數(shù)和擬合系數(shù)的PTM相較利用SH為基函數(shù)的PTM模型和利用LMS回歸的PTM模型分別高出0.167 7和0.138 3，計(jì)算復(fù)雜度也得到極大的降低。

最后在PSNR及SSIM的綜合考核下，表明了本文提出的PTM優(yōu)化方法具有設(shè)備組建簡易、低廉，細(xì)節(jié)紋理重建深刻真實(shí)，計(jì)算復(fù)雜度低等優(yōu)秀特性，再次驗(yàn)證提出優(yōu)化PTM理論的正確性。

5 結(jié)語

本文介紹了一種新穎的紋理映射方法PTM，并提出了基于改進(jìn)的PTM算法模型的擬合系數(shù)與實(shí)驗(yàn)設(shè)備優(yōu)化方法，該方法采用改良后的遮光式多角度光源采集設(shè)備，從固定攝像機(jī)位置捕獲的一組指定光照方向的圖像。通過多項(xiàng)式函數(shù)將圖像光強(qiáng)集合擬合到每個(gè)像素處，來生成高質(zhì)量的照片級別的重建物體紋理表面。并且改進(jìn)了光照方向矩陣的基函數(shù)，使得模型對于線性數(shù)據(jù)的適應(yīng)性提高。此外提出優(yōu)化PTM擬合系數(shù)的算法模型，成功地解決了在原PTM模型求解中原始圖像亮度信息分布不均勻，亮度系數(shù)求解不準(zhǔn)確，導(dǎo)致的求解雙二次多項(xiàng)式擬合系數(shù)較差，重建紋理圖像模糊不真實(shí)的狀況，從而增強(qiáng)了PTM模型真實(shí)并且精確重建物體紋理細(xì)節(jié)的能力。該算法不僅在計(jì)算機(jī)視覺領(lǐng)域中具有實(shí)際的應(yīng)用價(jià)值，而且更是對數(shù)字化文化遺產(chǎn)保護(hù)，如博物館展品數(shù)字化存檔、壁畫再現(xiàn)、虛擬文博館建設(shè)等都具有極其重大的實(shí)際意義。