穿越時空的畫卷

“吁……畜牲!往哪跑?”趕驢少年喝道，“老人家!別怕別怕，您腳前面有條凳子，慢著……”

“哎哎哎，這橋啊!擠得越來越不像樣了……難為我這瞎老頭子，過趟橋真不容易啊!”

一老一少的對白，夾著些許河南口音的普通話，伴隨著盲人用竹杖探地聲、驢子受驚后的嘶鳴聲、和著橋上小販的吆喝聲、橋下船工的喊話聲、看熱鬧的起哄聲、橋下嘩嘩的河水聲……800多年前汴京虹橋上的繁華盛景撲面而來，北宋張擇端精心繪制的《清明上河圖》中一角市井風(fēng)隋躍然眼前。

這不是在做夢，更不是在拍電視劇。而是由故宮博物院、微軟亞洲研究院和北京大學(xué)合作研發(fā)、精心打造的“走進(jìn)清明上河圖”沉浸式數(shù)字音畫展示項(xiàng)目。6月23日，這一項(xiàng)目正式完成，今后觀眾在參觀故宮時，可以通過數(shù)字音畫的方式欣賞到北宋汴京的社會盛況。

《清明上河圖》是北京故宮博物院收藏的國寶級藏品，是現(xiàn)存的唯一把北宋的城市生活面貌、生活狀態(tài)清晰描繪的畫作，具有很高歷史價值和考證價值。它猶如一個長長的電影鏡頭般，從早春的郊野一直搖到城內(nèi)市井中的深宅大院。泛黃的絹，細(xì)膩的筆觸，我們曾經(jīng)聽說過它，可能看到過它的復(fù)制品，卻從來沒有真正去感受過它。

“走進(jìn)清明上河圖”項(xiàng)目以觀眾體驗(yàn)為核心，以視覺和聽覺沉浸的方式，采用超高清晰的數(shù)字影像最大程度地再現(xiàn)了原作的所有細(xì)節(jié)。穿越時空，置身市井繁華，讓我們一起“走進(jìn)”清明上河圖，體驗(yàn)背后同樣富有魅力的技術(shù)細(xì)節(jié)。

原味歷史

《清明上河圖》橫528.7厘米、縱24.8厘米。5米多長的畫卷中畫有500多個人物，各種牲畜60多匹，大小船只20多只，房屋樓閣30多棟，推車乘轎也有20多件，在方寸之間，重現(xiàn)歷史、讓觀眾感受歷史、且不改變原作一分一毫，這并不容易。

“數(shù)字清明上河圖”的研發(fā)過程始終以故宮博物院內(nèi)、外的文物專家的研究為指引。微軟亞洲研究院首先按照史學(xué)專家的建議，把整幅圖畫分成了51個場景，700多段人物對話，并請專業(yè)配音演員配音，基于對歷史的遵循，配音演員在對場景的詮釋過程中，人物普通話中略帶河南口音。

在微軟亞洲研究院主管研究員徐迎慶的介紹中，數(shù)字化的經(jīng)典畫卷在眼前徐徐展開：在無用戶交互時，數(shù)字清明上河圖會在雄壯交響樂的烘托下從右向左打開，引人入境，此為畫卷層，隨著畫面的播放，進(jìn)入交互瀏覽的部分，生動的自然環(huán)境音效描繪了村野、田園、集市、街巷、大河、激流、險灘等場景音讓人仿佛置身其中；進(jìn)入故事層，一個個生動詼諧的對話講述一個個有趣的故事，所點(diǎn)之處，就像在看一場情景劇，具體到對象層，聲音就能關(guān)聯(lián)到故事層中的每個任務(wù)或?qū)ο蟆?/p>

據(jù)徐迎慶介紹，基于散點(diǎn)透視的繪畫展示系統(tǒng)主要采用四項(xiàng)核心技術(shù)：基于散點(diǎn)透視的空間幾何模型，基于層次圖結(jié)構(gòu)的立體聲時空標(biāo)注模型、千兆級圖像及其多媒體數(shù)據(jù)的實(shí)時呈現(xiàn)、以及視聽覺感知一致的交互多媒體展示系統(tǒng)。

音畫汴京

與西方畫很大的不同是，中國畫中有許多個消失點(diǎn)，畫面中，畫家的視角是隨意移動的，因而產(chǎn)生了多個消失點(diǎn)，即散點(diǎn)透視。這樣，畫家可以打破空間的局限，從多個角度描繪客觀景物。清明上河圖卷就是中國繪畫中散點(diǎn)透視的運(yùn)用的典范，如何還原《清明上河圖》所描繪的人間百態(tài)呢?

“作者在畫中的視角并不是連貫的，而是會隨時變換視點(diǎn)。首先，會通過把握不同物體的相對位置，來營造一種向后退縮的錯覺。同一場景中的人物、動物、樹木、建筑按照一個統(tǒng)一的傾斜度來排列，確保任何一處畫面本身的地面是連貫的。同時，對于前后物體之間形成迭壓關(guān)系，會利用筆墨的濃淡加強(qiáng)兩者之間的距離感，使人產(chǎn)生兩者位于同一縱深方向但遠(yuǎn)、近不同的錯覺?！蔽④泚喼扪芯吭褐鞴苎芯繂T徐迎慶解釋道。

研究計(jì)算機(jī)的人首先要講究算法，而算法都是基于幾何、基于數(shù)學(xué)的。但是，散點(diǎn)透視是沒有一個數(shù)學(xué)模型的，怎么辦?

必須提出新的散點(diǎn)透視幾何模型，實(shí)現(xiàn)全局的、連貫的三維空間和快速計(jì)算?！耙舢嬒到y(tǒng)希望讓人身臨其境，而在幾何關(guān)系上就難以實(shí)現(xiàn)聲音的淡入淡出等三維效果。我們必須提出一個新的散點(diǎn)透視的解決方案，能夠重建出全圖的連貫的三維空間來；另外，還要快速計(jì)算。我們的目的主要是在散點(diǎn)透視的空間，得到圖像上每一個聲源的幾何空間位置，這樣當(dāng)參觀者走近的時候，就能夠精確的知道，應(yīng)該走到哪了，聲音在哪里?！毙煊瓚c對記者介紹。

原作者的不同視角就是對畫中立體聲進(jìn)行空間定位的前提。先確定畫家對局部場景的仰角，然后，通過把畫中不同視角的對象投影在統(tǒng)一的地平面，進(jìn)而確定物體的空間位置和場景間距離。為了實(shí)現(xiàn)場景和對應(yīng)音樂的實(shí)時調(diào)用，又在不同層次的畫中分為1800多塊，進(jìn)行交互式操作的時候，系統(tǒng)就會把它最臨近的一些圖像都調(diào)進(jìn)來，而不是所有的圖像，這有效地保障了效率。對于音頻文件，分別規(guī)定播放的順序和停留時間，這樣用戶在交互的時候就可以聽到根據(jù)層次圖結(jié)構(gòu)而組織的故事了。

數(shù)字化生存

走進(jìn)清明上河圖項(xiàng)目提供了一種身臨其境的體驗(yàn)方式和對文化遺產(chǎn)的理解渠道。

以虹橋片段為例，《走進(jìn)清明上河圖》項(xiàng)目中使用了百余條聲音素材來再現(xiàn)這一場景。在聲音布局的整體節(jié)奏上，一方面著力渲染虹橋場景緊張、熱鬧的氛圍，一方面盡量貼近原作緊湊中猶帶從容的感覺，遵循畫面內(nèi)斂的、“勁發(fā)而不露”的古典品質(zhì)。在人物對白中，盡可能在簡短的語言中將圖中的歷史信息表達(dá)出來。

“‘走進(jìn)清明上河圖’項(xiàng)目，不僅用高精度的數(shù)字圖像如實(shí)再現(xiàn)其藝術(shù)觀賞魅力，更融入了數(shù)字技術(shù)的新內(nèi)涵：交互性與沉浸感。古老文化與現(xiàn)代技術(shù)完美結(jié)合在了一起，觀眾可以在多點(diǎn)觸摸屏上瀏覽高清晰的《清明上河圖》影像，任意放大、縮小和移動。同時，配合畫面實(shí)時合成的聲音素材，構(gòu)建出逼真的立體空間環(huán)境，使觀眾猶如置身北宋時期的汴梁城，聆聽市井喧嘩、人物故事。”故宮博物院常務(wù)副院長李季表示。

微軟亞洲研究院和北京大學(xué)從技術(shù)上提供支持，從采集圖像到考慮方案，接下來的實(shí)施、測試和安裝，項(xiàng)目用了一年時間完成，當(dāng)最終匯報的時候，故宮博物院的項(xiàng)目負(fù)責(zé)人難耐激動之情，“這個就是我們想要的，我們這么多年一直想要這樣一個系統(tǒng)?！?/p>

“此次與故宮博物院和北京大學(xué)展開合作是博物館、企業(yè)以及高校依托各自優(yōu)勢共同推動文化遺產(chǎn)保護(hù)與傳承的有益嘗試。我深信，這一科技與人文交匯、多方協(xié)作創(chuàng)新的有益嘗試會為今后文化遺產(chǎn)的保護(hù)工作開啟一個新的篇章，希望在不久的將來我們能看到更多故宮的傳世珍寶以數(shù)字方式呈現(xiàn)給大家?！蔽④泚喼扪芯吭涸洪L洪小文說。

“這只是一個起點(diǎn)?！毙煊瓚c對記者表示，他們的后續(xù)工作就是把應(yīng)用于清明上河圖的技術(shù)推廣至其他散點(diǎn)透視古畫，并進(jìn)一步完善和提高標(biāo)注系統(tǒng)的自動化程度。文化遺產(chǎn)的數(shù)字化生存讓更多的人接觸到古人的智慧、民族經(jīng)典。而對于一個專注與創(chuàng)新的公司來說，技術(shù)此刻的價值不僅意味著顛覆，在某些方面，它讓人類更好地感知當(dāng)下的，過去的和未來的世界。