羅馬不是一天造就的,即使重建其3D模型也需要10年。然而,當撒米爾#8226;阿加瓦爾發(fā)現(xiàn)了Flickr上的圖片資源之后,他開始嘗試在24小時內重建虛擬羅馬。
撒米爾#8226;阿加瓦爾(Sameer Agarwal)是一位計算機視覺專家,美國華盛頓大學計算機科學與工程系助理教授。他現(xiàn)在做的工作聽起來非??帷蝗罩亟_馬。
“把所有困難的工作都扔給計算機好了。計算機能自動收集Flickr上帶有Rome或者Roma標簽的圖片,圖片收集好后進行匹配,21小時后,你就能走進新‘疊’成的3D版羅馬。”阿加瓦爾一邊說,一邊把瀏覽3D版羅馬的網址發(fā)給記者?!澳憧梢試L試四處走走看,親身感受一下這座露天的博物館,10年建成的斗獸場是一定要去看看的,還有幾乎花了一個世紀建造的圣彼得大教堂。”
記者點擊了阿加瓦爾提供的網頁,加載速度稍慢,加載完成后,能360度觀看斗獸場,感覺就像是從斗獸場腳下走過一樣,還能微微仰視,有種身臨其境的感覺。甚至斗獸場第4層的房檐下面排列著240個中空的,用來安插木棍以支撐遮陽帆布的部位都清晰可見。
“你眼前所看到的,只是借助Flickr上的15萬張圖片,征用了496臺集群計算機,工作21小時的結果,而在此之前,同樣的重建過程可能會耗時10年?!卑⒓油郀栒f。
找出圖片的DNA
“重建羅馬只是第一步,我們還重建了威尼斯、杜布羅夫尼克,以后還會有更多的城市加入其中?!痹诎⒓油郀柨磥?,這十分必要?!耙粡垐D片勝過千言萬語,現(xiàn)在的問題是,千張圖片的價值在哪里?它們齊刷刷地撲面而來,嘰嘰喳喳都在你耳邊說話,你一句我一句?!?/p>
“如果你在Flickr的搜索框輸入‘特雷維噴泉’,你會發(fā)現(xiàn)超過1.1萬千張照片。瀏覽這些圖片,就意味著你必須一張張點擊圖片的縮略圖。任何用過Flickr或者Google圖片搜索的人都能理解這種繁瑣來帶來的沮喪?!卑⒓油郀栒f?!?年前,我想在網上找張視角稍廣點的‘特雷維噴泉’圖片,但沒有?!眻D片很多,想要的卻不多。
“我們從網上分享的圖片中獲得啟發(fā),并且成功開發(fā)出了一款軟件,它能通過關鍵字搜索圖片,自行進行匹配。在測試中,電腦花了不到兩個小時,讓‘特雷維噴泉’三維重建,所用到的圖片來自50位攝影師所拍的151張照片。所有的計算和圖像排序是自動執(zhí)行。”史蒂夫#8226;塞茨(Steve Seitz)補充道。他是阿加瓦爾《一日建造羅馬》論文的合作者,華盛頓大學計算機科學與工程系副教授。
“每張照片經計算機的景像算法處理,提取出很多的特征元素。通過創(chuàng)建一個點云(見本期辭典)給圖片一個唯一的標識,類似于DNA一樣為每個已被識別的圖片的特征進行標識。然后,這些照片的特征會在一個網中被鏈接起來。當同一個特征在不同的圖像中被發(fā)現(xiàn)時,它的三維位置就能夠被計算出來。這類似于人腦通過雙眼看到的圖像來感知三維立體位置?!卑⒓油郀栠M一步進行解釋,這就是使用了全新思路的基于圖像的渲染技術(IBR)。
阿加瓦爾曾在Te c h F e st會議上演示過“特雷維溫泉”的漫游,這款有趣的軟件于是被微軟青睞。2005年3月,微軟與華盛頓大學簽署了商業(yè)授權協(xié)議,將其重新包裝后于2008年8月推出,命名為Photosynth。
全世界的拼圖游戲
“連續(xù)觀看時,有些不順暢,一些細小的人物和景物無法完全銜接。這是因為三維圖像是由多幅照片拼接而成的,所以轉動觀看角度時就像播放動畫片,它的流暢和真實程度取決于原始照片的數(shù)量和質量。要是拍攝的照片不夠多,或場景差別過大,就會出現(xiàn)上述情況?!?/p>
一些使用過Photosynth的人表示,這個軟件很酷。但從處理照片到最終完成三維效果動畫,可能會耗費數(shù)小時。
的確,從制作城市地標到還原整座城市的轉變,是從數(shù)百張照片,轉而變?yōu)橐獙?shù)十萬、數(shù)百萬張照片進行處理。這并不是一件容易的事?!鞍凑誔hotosynth的處理水平,一套有2萬5千張圖片的場景需要500臺計算機花1年的時間才能處理完”,阿加瓦爾說,“如果是10萬張照片,處理的時間將超過10年。”
解決方法是建立一個并行分布式系統(tǒng),“新開發(fā)的代碼,速度比以前的版本快上100多倍。它首先確定可能的匹配,然后將這些可能的匹配進行集中重建。該代碼還使用并行處理技術,使其能夠運行在多臺計算機,或通過因特網連接的遠程服務器,甚至同時進行?!?/p>
“當然,我們將不僅僅是做一本相片集”,賽茨說:“當它實現(xiàn)了再現(xiàn)照片上的特定場景或地點之后,房地產機構,博物館和酒店會覺得這是一個對旅游業(yè)有益的東西,因為觀眾可以通過放大來閱讀餐廳的菜單或查看一幅畫。而考古學家和生物學家們則可以在網上通過逼真還原的場景來進行研究。這種直觀的通過照片再現(xiàn)場景的技術,對軍方的價值自然就更不用說了?!?以外,這種技術還能夠為用戶在網絡地圖上創(chuàng)建一個虛擬現(xiàn)實的體驗,甚至還可以建立以城市為背景的視頻游戲?!八^不會僅僅被用作城市建筑的數(shù)字化保存,起碼能與在線地圖相互整合使用吧。”賽茨對他的創(chuàng)意很有信心。
阿加瓦爾認為,只要還有熱衷于攝影和旅游的玩家,這款軟件就會充滿前途。因為玩家們的照片事實上充斥著互聯(lián)網。
在阿加瓦爾看來,他正在做的就是在實現(xiàn)“視覺維基”的概念。投稿者可以上傳照片,并有計劃地將它們結合起來,最終在虛擬世界創(chuàng)造出一個完整的現(xiàn)實世界的鏡像。