平面照片上的3D之舞

方陵生/編譯

平面照片上的3D之舞

方陵生/編譯

●操控數(shù)碼照片，填補隱而不見的部分，可擁有廣泛的實際應用，包括從家具設(shè)計到事故現(xiàn)場重現(xiàn)等。

一些照片編輯應用軟件，如Photoshop，在攝影愛好者群體中廣泛應用。Photoshop可讓普通用戶超越攝影取景范圍的限制，提供特殊手段改變圖像的顏色、移動像素、將人工元素結(jié)合進自然攝影照片中。通過這類手段，極大地擴展了用戶表達和發(fā)揮想象力的能力。

然而，傳統(tǒng)的圖片編輯應用軟件在很大程度上還只能局限于圖像場景的二維視圖，如照片中跌倒在地板上的一把椅子，不能通過圖片編輯處理手段將它從地板上扶正，翻轉(zhuǎn)過來，重新安放在沙發(fā)旁邊。物體的三維特性對于人類來說是一種直觀體驗，因為我們有著接觸并了解3D物體特性的人生經(jīng)驗。但一般的照片編輯軟件卻缺乏對隱藏在表象之下看不見的3D元素的相關(guān)認知，如圖片場景中對象看不到部分的幾何形狀和色彩，相機能夠捕捉并反映在照片上的只有二維像素。

要想獲得對象的3D特性，方法之一是使用計算機輔助設(shè)計（CAD）軟件，模擬物體的形態(tài)和場景中光線的明暗對比。但這是一個很難解決的問題，表面凹凸不平的羊毛沙發(fā)套、靠墊上的皺褶、茶幾上的污漬、扶手椅的彎曲度，還有地毯上的紋理、花瓶的華麗色彩、窗外防護網(wǎng)上的磨損痕跡，以及窗外樹上的不同形態(tài)的片片葉子，可以想象復制重現(xiàn)房間里所有生活中細節(jié)的難度！誠然，模擬3D視覺效果的公司能夠重新創(chuàng)建出整個場景的特殊立體效果，但他們也需要通過龐大的專家團隊、多任務的分工合作，以及專門的設(shè)備來實現(xiàn)，普通用戶只能望洋興嘆了。

新的3D模擬軟件的目標是要為用戶提供完整的3D控制，重點是如何自動推斷出與照片中現(xiàn)場圖景中對象相關(guān)部分背后的三維結(jié)構(gòu)。例如，要將照片中翻轉(zhuǎn)的椅子扶正，軟件需要推斷椅子和地面接觸部分的三維結(jié)構(gòu)，包括椅子隱而不見的各個表面，讓用戶可以“看見”椅子隱藏的部分，以及與隱藏部分相應的陰影和明暗光線效果。

與照片中對象隱藏部分匹配的3D背景可以有許多選擇。以椅子圖片為例，可以是如圖中擁有光滑纖維材質(zhì)的椅子，也可以是蜂窩布表面的椅子，并且還可以是轉(zhuǎn)拍自另一張圖片的照片。軟件需要推斷出對于人類直覺來說最合理的場景，首先要具備對圖片中對象的實際操控功能。

用戶可對攝影圖片進行多種3D操作（從上至下），如：翻轉(zhuǎn)對象，發(fā)現(xiàn)它們隱藏的部分；進行復制和變形操作，創(chuàng)建一些特技效果，如懸浮在半空中的水果；或改變對象用途，如將一頂大禮帽變成一頂魔術(shù)師的帽子；用戶還可以對畫作進行修改，例如法國畫家奧迪隆·雷東1901的靜物畫；甚至還可以對一些歷史照片上的對象進行操作，如二次大戰(zhàn)中“復仇者”式魚雷轟炸機編隊的照片

數(shù)據(jù)庫3D模型：人生經(jīng)驗代理者

即使信息本身不完整，人類通過日常生活中豐富的常識或經(jīng)驗，也可以即刻想象出照片中對象完整的三維結(jié)構(gòu)和顏色。我們知道這張椅子還有圖中看不到的第四條椅子腿，也能想象到椅子座位背面的樣子等。如果軟件能成為人類經(jīng)驗的代理者，它就可以解決這個問題，讓用戶對圖片中的對象進行一些操作。

幸運的是，大型公共數(shù)據(jù)庫的3D模型可以作為我們?nèi)松?jīng)驗的代理者。3D模型可通過數(shù)學形式描述某個對象的幾何形狀和外觀。例如，一張白色靠墻桌的3D模型標有這個白色長方體的桌腿和桌面的詳細尺寸。3D圖片庫和Turbosquid圖形工作室（世界知名的3D建模團隊）等網(wǎng)站都提供有大量3D模型，如家具、車輛、建筑地標、家居用品、玩具、電子設(shè)備、植物和動物等。通過將某個物體的3D模型代入照片中，軟件就可以為用戶提供對象的3D控制功能。

使用三維模型的方法之一是“抹去”圖片中的對象，用3D模型代入。Photoshop有一個叫做“內(nèi)容感知填充（Content-Aware）”的功能，可自動偵測圈選內(nèi)容，自動對周圍材質(zhì)運算后進行填補，將背景中的像素加入對象；對象插入功能可允許用戶將3D模型插入各種圖片中，允許用戶手動創(chuàng)建陰影或自動生成插入對象的虛擬陰影。伊利諾伊大學香檳分校的大衛(wèi)·福賽斯（David Forsyth）和他的同事正在對最后一種方法進行探研。

但對象插入法不適合對象的修改。當3D模型疊加到圖片中椅子上時，幾何圖形可能不會完全重合，色彩深淺也會有很大區(qū)別。此外，三維模型不能提供光線效果的相關(guān)信息。要完全精確替代圖中的對象，圖形對象處理軟件需要對3D模型的幾何形狀進行修改，推斷出光線投影產(chǎn)生的陰影和明暗對比，對模型對象的外觀進行完善，以與圖片中的對象完全相匹配。

人們可能會說，既然3D模型不匹配，那就應該尋找完全匹配的3D模型，但事實上，3D模型與實際對象之間的不匹配現(xiàn)象是很普遍的。不可能為每一個實例找到完全匹配的三維模型，例如，一根香蕉。此外，一些網(wǎng)上3D圖庫中的模型的設(shè)計者可能無法獲得對象的精確規(guī)格尺寸。在某些情況下，一個與拍攝對象相近的3D模型可能就相當不錯了。

攝影師捕捉圖像時往往會按照自己的想法調(diào)整相機、拍攝對象和場景光線之間的關(guān)系，如果3D模型改變了拍攝對象的結(jié)構(gòu)或外觀，有可能會偏離攝影師的初衷。軟件的目的是，為用戶對圖片中對象的方向和位置進行調(diào)整提供全面直觀控制能力的同時，保持拍攝元素的原始特征。另外，如果攝影師想要創(chuàng)建對象的一個動畫畫面，例如，通過一張簡單的紙鶴照片，創(chuàng)建一幅翩翩飛鶴的動畫圖片，一個不夠精確的3D模型產(chǎn)生的圖像與原始照片將會格格不入，無法提供一個自然流暢的轉(zhuǎn)換。

軟件可展示照片背景環(huán)境中從各個角度到達拍攝對象的光量（a），將光線圖作用于拍攝對象，可產(chǎn)生陰影，如c中所示。用光點代表的不同方向球形內(nèi)核（b、e、f）創(chuàng)建出一個方向正好相反的陰影（d、g、h），軟件通過結(jié)合這幾個球形的數(shù)據(jù)，將各個方向的光影效果結(jié)合在一起，估算和創(chuàng)建出現(xiàn)場的光線陰影圖

外觀設(shè)計與光線模擬：創(chuàng)建真實感的明暗光線和陰影

3D建模軟件首先將三維模型的幾何輪廓與拍攝對象進行匹配。用戶將3D模型加載到應用程序，并提供拍攝對象與3D模型之間從二維到三維轉(zhuǎn)換的相一致之處，引導軟件確認拍攝對象每個元素的參考標志。有了這些標志，軟件可通過瑞士洛桑聯(lián)邦理工大學的帕斯卡·弗瓦（Pascal Fua）和他的同事開發(fā)的一種叫做“透視n點”的算法，對三維模型在場景中的位置和方向進行評估，通過軟件系統(tǒng)的算法確定3D模型的旋轉(zhuǎn)和疊加，讓3D模型和2D攝影圖片的相對應部分達到最佳匹配。

接下來，用戶移動疊加3D模型上的參與點與2D攝影對象的輪廓對齊。軟件通過優(yōu)化操作，確定3D模型與用戶提供2D圖片上各點的最佳匹配方案，同時保持3D模型的對稱度和平滑度。許多對象，如椅子、桌子、車輛、燈具、填充玩具和動物等，都有對稱的主平面，被稱為“雙邊平面”。優(yōu)化程序可確保3D模型在通過兩維平面形狀發(fā)生變化時，原始3D模型上的各個對稱的點要繼續(xù)保持對稱。優(yōu)化程序還可確保用戶每移動一個點，與它相鄰的點也會做出相應的移動，以保持3D模型的平滑度。

在幾何圖形達成一致后，軟件可開始設(shè)計3D環(huán)境背景下的光線明暗和陰影“地圖”。圖中用球形來表示在3D背景下從各個方向抵達現(xiàn)場的光量。較淺區(qū)域代表較為強烈的光源，如房間墻上的熒光燈；黑暗區(qū)域代表較弱的光源或沒有光源。中等強度的光源代表反射在白色墻壁上的光線。環(huán)境地圖應用于場景中的對象和背景，可令拍攝照片產(chǎn)生逼真的光線明弱和陰影效果。

光照環(huán)境地圖是軟件通過一組叫做von Mises-Fisher的內(nèi)核探查照片背景產(chǎn)生的，8個球形以不同的方向和角度旋轉(zhuǎn)獲得代表光量強弱的內(nèi)核。例如，圖中第一個內(nèi)核探測右邊對象的光量，或在其左邊產(chǎn)生陰影的濃重程度。最后一個內(nèi)核探測的是對象背后的光量或其前面陰影的強弱。通過對探測結(jié)果的綜合分析，軟件可自動進行推導，例如，如果椅子下面陰影濃重，說明椅子上方存在有強烈的光源。

這一次，我們同樣可以利用優(yōu)化程序來確定環(huán)境光線與照片中對象的關(guān)系。為優(yōu)化光線效果，軟件還額外提供了對象不受光線影響并且無陰影的外觀和真正色彩。為全方位地提供場景中對象的3D控制，軟件需要完成對象隱藏部分的外觀設(shè)計，如此軟件才可以將3D光線效果作用于對象，不管顯示出來的是物體對象的哪個隱藏部位，都能夠產(chǎn)生看上去極具真實感的光線明暗和陰影效果。

軟件可利用物體的對稱性給出包括隱藏部分在內(nèi)的對象的完整外形，例如，椅子左邊與椅子右邊是完全對稱的，雖然椅子背面與其他任何部分都不是完全對稱，但與椅子正面大致對稱。人類可以相當準確地辨別精確對稱與大致對稱之間的區(qū)別。軟件首先對對象的大部分對稱平面進行評估，包括精確對稱和大致對稱，然后將可見部分的平面形狀代入相應的對稱部分，通過修正最后達到預期效果。

3D之舞：旋轉(zhuǎn)和翻轉(zhuǎn)等

軟件在完成對象的外觀設(shè)計后，系統(tǒng)就具備了進行一些其他操作的條件，如實現(xiàn)3D圖像的旋轉(zhuǎn)、平移、變形和復制粘貼等；又如操縱對象創(chuàng)建因汽車側(cè)翻而造成的交通堵塞的場景，或讓畫面中的水果懸浮在半空中等；如果用戶愿意，甚至還可以控制改變物體的用途性質(zhì)，如將一頂大禮帽變成魔術(shù)師的帽子；用戶還可以通過非攝影手段操縱對象，如在一些繪畫作品或反映歷史場景的照片上對目的對象進行操作；利用3D建模軟件可制作動畫的功能，用戶可充分發(fā)揮他們的創(chuàng)造力和想象力，如讓靜態(tài)畫面中的紙鶴變身為翩翩起舞的飛鶴。

我們可以預測，3D建模軟件為更多實際應用開辟了新的可能。例如，對事故現(xiàn)場或犯罪現(xiàn)場的真實模擬等，軟件還可以幫助家具的設(shè)計和布置，甚至對于醫(yī)學上的器官重建手術(shù)也有很大幫助，軟件還可以幫助用戶直接打印出照片中對象的3D圖片。

[資料來源：American Scientist][責任編輯：彥隱]