數(shù)據(jù)驅(qū)動(dòng)的大規(guī)模水面動(dòng)畫合成方法

王承博，朱登明

(1.中國(guó)科學(xué)院計(jì)算技術(shù)研究所虛擬現(xiàn)實(shí)實(shí)驗(yàn)室，北京 100190；2.中國(guó)科學(xué)院大學(xué)，北京 100049)

水是自然界中最為普遍的物質(zhì)之一，它的存在使得世界更加生動(dòng)多樣。隨著多年的研究發(fā)展，水的動(dòng)畫合成與模擬取得了大量的研究成果，并被廣泛地應(yīng)用于虛擬現(xiàn)實(shí)、影視動(dòng)漫、游戲娛樂等行業(yè)中，極大提高了場(chǎng)景的真實(shí)性。傳統(tǒng)的水動(dòng)畫合成方法可以分為兩類：基于波面造型的方法和基于物理的方法。基于波面造型的方法通過參數(shù)曲面合成和噪聲合成的方法近似模擬水表面的高度場(chǎng)，此類方法運(yùn)算量小，可以達(dá)到實(shí)時(shí)，但是生成的水面簡(jiǎn)單，缺乏細(xì)節(jié)?；谖锢淼姆椒ㄍㄟ^求解流體動(dòng)力學(xué)方程來模擬水的運(yùn)動(dòng)，此類方法合成的水面具有高度的真實(shí)感，但其包含大量的數(shù)值計(jì)算，求解步驟復(fù)雜且非常耗時(shí)。

基于視頻的方法是近幾年才逐漸發(fā)展起來的一種研究思路，該方法直接從自然現(xiàn)象中提取特征進(jìn)行表面重建，具有內(nèi)在的物理真實(shí)性，并且拋開了復(fù)雜的物理方程求解，計(jì)算速度得到了提高。但目前已有的方法其結(jié)果受限于拍攝范圍和重建精度的制約，不能在規(guī)模和細(xì)節(jié)之間取得較好的平衡。本文提出了一種新的合成框架，基于視頻重建出具有各種運(yùn)動(dòng)細(xì)節(jié)的水面，然后對(duì)這些水面進(jìn)行采樣，將采樣出的等大小的規(guī)則面片進(jìn)行有重疊的融合拼接，從而得到細(xì)節(jié)豐富且具有任意規(guī)模的水動(dòng)畫。

1 相關(guān)工作

1.1 基于視頻的水面重建

從視頻中提取流體運(yùn)動(dòng)信息進(jìn)行表面重建從而合成水面動(dòng)畫是一個(gè)較新的研究方向，近年來已有的研究方法根據(jù)重建對(duì)象的規(guī)模大小可以分為兩類：室內(nèi)可控水體重建和室外大規(guī)模水體重建。

針對(duì)室內(nèi)可控水體的重建方法，大多需要對(duì)水面進(jìn)行特殊處理來消除水的折射和鏡面反射。Ihrke等[1]利用多臺(tái)攝像機(jī)對(duì)水進(jìn)行拍攝，在拍攝前先向水中添加了熒光化學(xué)物質(zhì)，在黑暗的環(huán)境中拍攝，然后利用光的強(qiáng)度計(jì)算水體厚度，從中構(gòu)造出水體的粗糙模型，最后對(duì)基于圖像一致性的誤差函數(shù)進(jìn)行優(yōu)化得到光滑的流體表面。Wang等[2]使用雙目攝像機(jī)，拍攝前對(duì)水進(jìn)行染色，并將一個(gè)固定的隨機(jī)斑點(diǎn)圖案投影到液體表面，在黑暗的環(huán)境中拍攝，從圖像中提取出深度圖并根據(jù)張力約束和速度場(chǎng)約束進(jìn)行優(yōu)化得到重建的表面。Sagawa等[3]向表面投影具有特殊結(jié)構(gòu)的圖像，根據(jù)圖像的形變來恢復(fù)快速變化的表面，包括水面、服裝和人臉等，其中在對(duì)水面重建時(shí)也對(duì)水面進(jìn)行了染色，消除了折射的影響。以上三種方法都對(duì)水面進(jìn)行了特殊處理，重建的細(xì)節(jié)較好，但步驟繁瑣，計(jì)算量較大。Morris和Kutulakos[4]對(duì)運(yùn)動(dòng)的淺水表面進(jìn)行復(fù)原，作者在水的底部放置了一個(gè)未知的圖案，用兩臺(tái)攝像機(jī)進(jìn)行拍攝，綜合利用立體成像和折射成像的方法，雖然沒有對(duì)水體進(jìn)行特殊處理，但其局限于對(duì)淺水的微小波動(dòng)進(jìn)行重建。

另一類方法針對(duì)的室外大規(guī)模水體主要指江河湖海等流體，此類流體渾濁不透明，鏡面反射和折射現(xiàn)象較弱，可近似為朗伯表面。Gallego等[5]使用兩臺(tái)攝像機(jī)拍攝海洋表面，提出一種基于雙目視覺的方法對(duì)海面進(jìn)行重建，結(jié)合物理方程，進(jìn)行了大量數(shù)值計(jì)算，重建精度較高，但是計(jì)算復(fù)雜耗時(shí)。Pickup等[6]將基于影調(diào)恢復(fù)形狀(shape from shading, SFS)[7]和光流的方法相結(jié)合，先用SFS獲取初始的表面，然后利用基于初始的表面使用光流來追蹤速度場(chǎng)，最后通過速度場(chǎng)來重建出水面，重建結(jié)果具有較好的視覺逼真度。

以上重建的方法只能針對(duì)鏡頭內(nèi)的水體運(yùn)動(dòng)進(jìn)行復(fù)原，得到的結(jié)果由于拍攝的限制顯現(xiàn)出片面局部的缺點(diǎn)，并不能直接滿足實(shí)際的應(yīng)用需求。為此，本文應(yīng)用拼接的思想，利用重建的局部結(jié)果合成整體。

1.2 拼接

拼接在紋理合成領(lǐng)域是一個(gè)重要的研究方向，紋理的拼接是指由已知的紋理圖片拼接合成出更大規(guī)模的紋理圖像，在游戲貼圖中的應(yīng)用較多?；趬K的拼接方法首先由Efros和Freeman[8]提出，其大體算法是從已知的紋理圖像中采樣出小的紋理塊，然后有重疊地放到目標(biāo)紋理圖像中，在重疊區(qū)域使用誤差最小的準(zhǔn)則進(jìn)行切割。該方法計(jì)算簡(jiǎn)潔高效，但是采樣的塊必須等大小且規(guī)則放置，適用于周期重復(fù)的紋理。Kwatra等[9]對(duì)其進(jìn)行了改進(jìn)，建立馬爾科夫隨機(jī)場(chǎng)模型并用GraphCut進(jìn)行分割，對(duì)于塊的放置沒有限制，切割線更加隨機(jī)，能適用于更多的紋理圖像。

以上是紋理的二維拼接方法，本文重建出來的三維曲面水面，在曲面細(xì)節(jié)和連續(xù)性上提出了更高的要求。三維曲面的拼接方法大致分為兩類：基于泊松方程的方法[10]和基于拉普拉斯坐標(biāo)的方法[11]。這兩類方法具有一定的通用性，適用于多種曲面編輯的操作，但這些方法均只針對(duì)于靜態(tài)的網(wǎng)格表面，且計(jì)算復(fù)雜，沒有考慮水表面的特性，不能直接適于本文的場(chǎng)景。針對(duì)動(dòng)態(tài)網(wǎng)格序列形式的擴(kuò)展拼接還沒有專門的研究。

本文將首先利用基于SFS推導(dǎo)的方法從視頻中重建出水的深度表面，進(jìn)行了一系列的優(yōu)化得到三角網(wǎng)格面，然后通過針對(duì)三維表面序列設(shè)計(jì)的拼接方法，從重建的局部結(jié)果采樣合成最終結(jié)果，下面分別詳細(xì)介紹重建和拼接算法。

2 水面重建

本文的重建目標(biāo)是針對(duì)室外的大規(guī)模水體，由于此類水體渾濁不透明，具有朗伯表面的性質(zhì)，Pickup等[6]利用SFS方法得到了較好結(jié)果。

SFS方法假設(shè)圖像的亮度與物體表面的輻射圖成正比，對(duì)于朗伯表面，物體的表面輻射圖又是光線方向與表面法線夾角的余弦值，可得下式：

其中I(x,y)為像素值，R為輻射圖，為光源方向，n=(p,q,1)為表面法向。Tsai和Shah[7]的方法采用線性逼近，迭代求解的方程如下：

令迭代的初值為Z0(x,y)= 0，迭代一次的結(jié)果為：

可見經(jīng)過一次迭代生成的結(jié)果與原圖像成正比Z1～I(xiàn)。為此本文采用對(duì)圖像進(jìn)行歸一化處理的方法，將得到的灰度圖作為深度結(jié)果：

這樣重建出的表面與真實(shí)的表面之間存在著一些明顯的差異，這些差異是由SFS問題的不適定性導(dǎo)致的，文獻(xiàn)[7]的方法進(jìn)行多次迭代也不能修正。但由于重建的表面序列具有較好的波動(dòng)特性和較真實(shí)的視覺體會(huì)，對(duì)于本文動(dòng)畫合成的需求來說已經(jīng)足夠。

以上重建是基于每一幀獨(dú)立處理的，各幀之間可能會(huì)由于光線的變化使得結(jié)果不規(guī)整，需要做一些處理來滿足各幀之間的連續(xù)性。本文利用體積守恒做約束，對(duì)重建的表面做對(duì)齊優(yōu)化。記水體的高度表面為h′(x,y,t) =h(x,y,t) +δ(t)，h(x,y,t)是基于視頻重建的表面，δ(t)是每幀的平均誤差。體積是表面的積分，體積守恒的約束可以表示如下：

離散形式為：

簡(jiǎn)單地令C=0，得到了修正的水表面模型：

為保證重建表面的時(shí)空連續(xù)性，本文對(duì)以上結(jié)果再做一些平滑處理。先對(duì)每幀進(jìn)行拉普拉斯平滑，由于直接重建出的是深度表面，將權(quán)重取為1，這樣在拉普拉斯平滑時(shí)不會(huì)改變表面在水平方向的規(guī)則分布。接下來用各幀做差求出垂直方向的速度場(chǎng) 并用高斯濾波進(jìn)行平滑處理，之后再?gòu)钠交^的速度場(chǎng)中計(jì)算出各幀表面。最后根據(jù)以上優(yōu)化的結(jié)果構(gòu)造出三角網(wǎng)格，圖1是整個(gè)處理流程。圖2是兩個(gè)不同水面圖像的重建結(jié)果。

圖1 水面建模流程

3 三角網(wǎng)格拼接

3.1 拼接準(zhǔn)則

重建出水面序列以后，類似紋理合成那樣，本文利用有限的表面去合成更大規(guī)模的表面。由于這里拼接的是連續(xù)的表面序列，問題的空間是?3×T，T為時(shí)間域，因此不僅要保證每一幀拼接后在三維空間的連續(xù)性，更要保證相鄰幀之間的連續(xù)性，即在時(shí)域的連續(xù)性。記表面序列的集合為St，本節(jié)中提到的表面均指的是St，而不是具體的一個(gè)表面。

本文采用基于塊的合成方法，首先將表面St正交投影到水平面上得到St，計(jì)算出St所在的包圍盒并將其劃分為n×m的矩形網(wǎng)格，如圖3所示。將落在同一個(gè)網(wǎng)格內(nèi)的頂點(diǎn)和對(duì)應(yīng)的垂直速度求平均值存在網(wǎng)格中，作為一種粗糙的參數(shù)化結(jié)果。

圖2 從左至右依次是原圖像，重建出的三角網(wǎng)格和從重建表面渲染的結(jié)果；下面一排是基于紅色方框區(qū)域的重建

圖3 平面網(wǎng)格映射

然后以網(wǎng)格為最小單位進(jìn)行采樣，采樣的塊記作B(s,l)，s表示其在投影表面S上起始位置的網(wǎng)格坐標(biāo)(is,js)，l=(r,c)表示其大小，r和c分別為其占有的網(wǎng)格的行數(shù)和列數(shù)。如圖3中藍(lán)色區(qū)域?yàn)槠鹗加?2,2)，大小為(5,5)的塊。

采樣的塊將被有重疊地放置到目標(biāo)區(qū)域，按照從左到右、從上到下的順序合成目標(biāo)。為了使合成后的結(jié)果能同時(shí)滿足空間和時(shí)間的連續(xù)性，假設(shè)兩個(gè)相鄰塊的重疊區(qū)域?yàn)?T和T2，它們第一幀的表面分別為1φ和2φ，速度場(chǎng)分別為Vt和Wt，定義1T和T2的距離為：

當(dāng)我們采樣出所有的塊并放到目標(biāo)區(qū)域后，下一步對(duì)重疊的區(qū)域進(jìn)行合并處理，處理的過程總共分為三步：裁剪、融合與縫合。下面將一一詳細(xì)介紹。

3.2 裁剪

裁剪是將重疊區(qū)域從原來的表面裁剪下來成為獨(dú)立的網(wǎng)格面。將部分表面裁剪下來是為了便于做局部參數(shù)化，以提高整體的計(jì)算速度。通過上節(jié)中的水平網(wǎng)格來界定裁剪區(qū)域，如圖4所示藍(lán)色網(wǎng)格為裁剪框，有兩種裁剪方法：細(xì)裁剪和粗裁剪；細(xì)裁剪將嚴(yán)格依照輪廓線進(jìn)行裁剪，在裁剪邊界處重構(gòu)三角網(wǎng)格結(jié)構(gòu)，使其具有規(guī)則的邊界。而粗裁剪則僅提取裁剪框內(nèi)的三角網(wǎng)格，不修改已有結(jié)構(gòu)，速度較快，但會(huì)產(chǎn)生不規(guī)則邊界。實(shí)驗(yàn)在后面進(jìn)行的參數(shù)化操作削減了邊界不規(guī)則性的影響，因此通常采用效率更高、更穩(wěn)定的粗裁剪。

圖4 細(xì)裁剪與粗裁剪

3.3 融合

通過裁剪可得到兩個(gè)網(wǎng)格面S1,S2。將S1和S2融合為一個(gè)網(wǎng)格面S3，S3能自然地從S1過渡到S2，如圖5所示。需首先建立S1和S2之間的一一映射。把S1和S2都參數(shù)化到單位正方形區(qū)域，兩個(gè)網(wǎng)格面上最靠近包圍盒四個(gè)角的四個(gè)頂點(diǎn)被分別映射到單位正方形的四個(gè)頂點(diǎn)，網(wǎng)格內(nèi)部的點(diǎn)通過中值坐標(biāo)參數(shù)化。

圖5 黑色網(wǎng)格為紅色和綠色網(wǎng)格重疊部分的融合結(jié)果

記 ?3中的點(diǎn)為p= (x,y,z)，中的點(diǎn)為u=(u,v)，中的三角形用大寫字母表示，中的三角形用小寫字母表示，如T=[p1,p2,p3]和t= [u1,u2,u3]。參數(shù)化的結(jié)果用花體英文字母表示，如S是S的參數(shù)化結(jié)果。通過兩個(gè)網(wǎng)格面的參數(shù)化平面的坐標(biāo)來建立一一映射。由于兩個(gè)網(wǎng)格邊的結(jié)構(gòu)不一樣，很難將一個(gè)面上的頂點(diǎn)映射到另一個(gè)面的頂點(diǎn)，大部分情況下只能將一個(gè)網(wǎng)格面上的頂點(diǎn)映射到另一個(gè)網(wǎng)格面的三角形中。假設(shè)u1∈S1被映射到三角形t∈S2，可計(jì)算出u1對(duì)應(yīng)點(diǎn)的重心坐標(biāo)。定義三角形 的三個(gè)頂點(diǎn)為t1，t2和t3，u1對(duì)應(yīng)的點(diǎn)可以表示為這三個(gè)頂點(diǎn)的加權(quán)和：

其中 (λ1,λ2,λ3)就是重心坐標(biāo)，滿足約束λ1+λ2+λ3=1。重心坐標(biāo)的計(jì)算方式如下式：

式中Δ表示面積，如圖6所示。

圖6 重心坐標(biāo)計(jì)算

接下來利用在參數(shù)化平面找到的對(duì)應(yīng)關(guān)系，將原始表面的對(duì)應(yīng)頂點(diǎn)進(jìn)行線性插值。本文直接令融合表面S3的結(jié)構(gòu)等同于S1，S3的頂點(diǎn)位置計(jì)算如下式：

式中，p1∈S1，p2=λ1q1+λ2q2+λ3q3，且w∈ [0,1]。如果希望融合表面沿參數(shù)化平面的u軸過渡則令w=u1，沿v軸過渡則令w=v1。

3.4 縫合

最后一步需要把S3與原來的表面縫合在一起。前述處理過程得到的S3與原來表面的邊界緊密相鄰，縫合操作需要將相鄰的邊界線合成一條。

首先利用弧長(zhǎng)把相鄰的邊界線參數(shù)化到[0,1]的線段。記相鄰的邊界為B1=和B2=，參數(shù)化結(jié)果為：

和的頂點(diǎn)之間一一對(duì)應(yīng)，在此基礎(chǔ)上構(gòu)造新的公共邊界B′ =，使得它到和的距離平方之和最小：

當(dāng)si-=si-時(shí)上式取得最小值，因此定義新的邊界為：

用B′替換1B′和 2B′，并根據(jù)B′修改原網(wǎng)格面的三角結(jié)構(gòu)得到融合的表面，如圖7所示。

圖7 縫合

4 實(shí)驗(yàn)結(jié)果與討論

本文重建的視頻來源于Dyntex數(shù)據(jù)庫(kù)[12]和自己用手機(jī)拍攝的湖面。實(shí)驗(yàn)運(yùn)行在有Core-i3M380 2.53 GHz的CPU和2 GB內(nèi)存的計(jì)算機(jī)上。

根據(jù)水面的運(yùn)動(dòng)特性，人工地把視頻數(shù)據(jù)進(jìn)行分類并篩選出四種代表性的水面，分別是：粗條紋波面，細(xì)條紋波面，短鱗波面和雜波面。本文對(duì)這四種水面重建并進(jìn)行4倍拼接擴(kuò)展。在進(jìn)行網(wǎng)格劃分時(shí)，網(wǎng)格越細(xì)擴(kuò)展的結(jié)果連續(xù)性越好，但是計(jì)算量就越復(fù)雜，經(jīng)過多次實(shí)驗(yàn)發(fā)現(xiàn)每個(gè)網(wǎng)格包含四到八個(gè)頂點(diǎn)就能得到不錯(cuò)的結(jié)果。圖8展示了四種波一幀的重建和拼接結(jié)果。從結(jié)果中可以看到，拼接的結(jié)果沒有任何縫隙，不僅具有整體的水面運(yùn)動(dòng)特性，也擁有較好的細(xì)節(jié)。圖9展示了粗條紋波擴(kuò)展后的六幀結(jié)果，可以看到擴(kuò)展的結(jié)果在時(shí)間上也有較好的連續(xù)性。視頻結(jié)果參見http://v.youku.com/v_show/id_XNTYxMDQyNzQ0.html。

圖8 從左到右依次是原圖像，重建的表面，4倍拼接的表面和拼接結(jié)果的細(xì)節(jié)展示；從上到下依次是粗條紋波面，細(xì)條紋波面，短鱗波面和雜波面

圖9 粗條紋波的擴(kuò)展結(jié)果，截取了六個(gè)等間隔的幀

本文重建出的水面序列是基于真實(shí)水面運(yùn)動(dòng)的視頻記錄，其物理真實(shí)性依賴于數(shù)據(jù)和重建算法。在后續(xù)的合成階段，利用的是表面的相似性進(jìn)行擴(kuò)展，此時(shí)局部的物理真實(shí)性可以得到保障，但整體的物理真實(shí)性無法保障，從有些視頻結(jié)果中可以看出局部痕跡。由于本文的目的在于動(dòng)畫，降低了對(duì)整體物理真實(shí)性的要求，依賴距離最小原則，保障了整體的視覺真實(shí)性。

5 結(jié)束語(yǔ)

本文提出了一種新穎的水面動(dòng)畫合成方法，從單目攝像機(jī)拍攝的視頻中提取出三維水面序列，繼而用拼接的方法合成出任意大小的三維水面序列。該方法可以方便地應(yīng)用到影視游戲中，根據(jù)用戶需求定制任意規(guī)模的水面動(dòng)畫。本文提出的基于三角網(wǎng)格面的拼接方法可以通用地適用于任何方法得到的三角網(wǎng)格表示的水面模型。在將來的工作中需綜合各種重建方法，收集更多類型的水面運(yùn)動(dòng)序列，建立豐富的水面運(yùn)動(dòng)數(shù)據(jù)庫(kù)，并進(jìn)一步加強(qiáng)本文的拼接算法，實(shí)現(xiàn)將各種類型的水面在時(shí)間和空間上的混合融合，提高合成結(jié)果的多樣性。

[1]Ihrke I, Goidluecke B, Magnor M.Reconstructing the geometry of flowing water [C]//Computer Vision, 2005.ICCV 2005.Tenth IEEE International Conference on.IEEE, 2005, 2: 1055-1060.

[2]Wang Huamin, Liao Miao, Zhang Qing, Yang Ruigang,Turk G.Physically guided liquid surface modeling from videos [J].ACM Transactions on Graphics (TOG), 2009,28(3): 1-11.

[3]Sagawa R, Kawasaki H, Kiyota S, Furukawa R.Dense one-shot 3D reconstruction by detecting continuous regions with parallel line projection [C]//Computer Vision (ICCV), 2011 IEEE International Conference on.IEEE, 2011: 1911-1918.

[4]Morris N J W, Kutulakos K N.Dynamic refraction stereo [C]//Computer Vision, 2005.ICCV 2005.Tenth IEEE International Conference on.IEEE, 2005, 2:1573-1580.

[5]Gallego B G.Variational image processing algorithms for the stereoscopic space-time reconstruction of water waves [D].Georgia Institute of Technology, 2011.

[6]Pickup D, Li Chuan, Cosker D, Hall P, Willis P.Reconstructing mass-conserved water surfaces using shape from shading and optical flow [C]//Computer Vision-ACCV 2010.Springer Berlin Heidelberg, 2011:189-201.

[7]Tsai PS, Shah M.Shape from shading using linear approximation [J].Image and Vision Computing, 1994,12(8): 487-498.

[8]Efros A A, Freeman W T.Image quilting for texture synthesis and transfer [C]//Proceedings of the 28th annual conference on Computer graphics and interactive techniques.ACM, 2001: 341-346.

[9]Kwatra V, Sch?dl A, Essa I, Turk G, Bobick A.Graphcut textures: image and video synthesis using graph cuts [C]//ACM Transactions on Graphics (ToG).ACM,2003, 22(3): 277-286.

[10]Yu Yizhou, Zhou Kun, Xu Dong, Shi Xiaohan, Bao Hujun, Guo Baining, Shum H Y.Mesh editing with poisson-based gradient field manipulation [C]//ACM Transactions on Graphics (TOG).ACM, 2004, 23(3):644-651.

[11]Sorkine O, Cohen-Or D, Lipman Y, Alexa M, R?ssl C,Seidel H P.Laplacian surface editing [C]//Proceedings of the 2004 Eurographics/ACM SIGGRAPH symposium on Geometry processing.ACM, 2004: 175-184.

[12]Péteri R, Fazekas S, Huiskes M J.DynTex: A comprehensive database of dynamic textures [J].Pattern Recognition Letters, 2010, 31(12): 1627-1632.