淺談用于電影虛擬制作的全景圖像縫合技術(shù)

劉　沛　（北京電影學(xué)院　100000）

?

淺談用于電影虛擬制作的全景圖像縫合技術(shù)

劉沛（北京電影學(xué)院100000）

摘要：圖像縫合技術(shù)是一種解決單一相機（攝影機）視角不足，通過對場景多個角度的拍攝最終獲取更廣視角全景圖像的技術(shù)。隨著電影產(chǎn)業(yè)和數(shù)字圖像處理技術(shù)的不斷發(fā)展，全景圖像已經(jīng)廣泛應(yīng)用于虛擬現(xiàn)實和電影后期的合成背景。在電影領(lǐng)域中，全景圖像由于其視野廣、分辨率高、復(fù)雜度小、真實度高等優(yōu)勢，可以作為完美的電影背景畫片。同時可以應(yīng)用在實時預(yù)演系統(tǒng)里，使導(dǎo)演可以在現(xiàn)場實現(xiàn)實時合成效果的監(jiān)看。

關(guān)鍵詞：全景圖像；縫合技術(shù)；Ptgui

一、全景圖像概述

全景圖像的英文panorama，是從希臘語π?ν和?ραμα發(fā)展而來，英文直譯為all和sight，是指任何大視角表現(xiàn)現(xiàn)實空間的圖像，十八世紀愛爾蘭畫家Robert Barker在表述他在愛丁堡和倫敦所作的全景畫作時，第一次用到了panorama這個詞。事實上，在panorama這個詞出現(xiàn)之前，使用全景表現(xiàn)空間場景的畫作早就誕生了，我國北宋畫家張擇端的《清明上河圖》，采用散點透視構(gòu)圖法，將北宋徽宗時代首都汴京（今河南開封）郊區(qū)和城內(nèi)汴河兩岸的建筑及生活場景，展現(xiàn)在長528.7cm，寬24.8cm的平面上，這是人類歷史上利用全景展現(xiàn)空間場景的最早嘗試之一。西方的全景繪畫起源于18世紀，panorama這個詞也誕生于那個時期，到19世紀時盛極一時，西方的全景繪畫一般版面很大，很多作品長度都在100米以上，必須在專門的圓柱形展覽館內(nèi)向人們展示。

全景圖像的縫合指的是利用攝影機平移旋轉(zhuǎn)或多部攝影機多角度拍攝得到的具有部分重疊信息的圖像樣本，生成一個具有較大視場角的全景圖像。即用攝影機對場景一定范圍內(nèi)進行全方位的圖像采集，然后再由縫合軟件對局部圖像進行拼接，生成包含這組局部圖像全部信息的新視圖。最終生成的全景圖像按照顯示方式（即投影方式）的不同，主要分為柱面、球面、立方體等幾種，其中在虛擬電影的應(yīng)用方面，通常以柱面和球面為最為普遍的投影方式。

二、全景圖像縫合軟件與縫合原理：

在全景圖像的縫合中，我們所依據(jù)的是圖像序列中相鄰兩幅圖像的重疊區(qū)域的相似性，有基于特征的縫合方法和基于相位相關(guān)的縫合方法等，兩種方法的算法和原理都不相同?；谔卣鞯目p合方法主要從兩幅圖像中選擇一系列特征點，然后根據(jù)相似性原則進行圖像間的特征匹配。而基于相位相關(guān)的縫合方法是直接從圖像重疊區(qū)域?qū)?yīng)像素灰度值出發(fā)考慮，利用所有可利用的數(shù)據(jù)實現(xiàn)精確的匹配。

從全景圖像的素材拍攝完成，到最后的全景圖像的生成，就是全景拍攝的后期工作，即全景圖像的縫合過程。全景圖像的縫合工作主要目的是如何以效率更高、速度更快、質(zhì)量更高的方式將拍攝的全景素材，即同一場景不同角度的圖像拼合成一張視角更廣的完整的全景圖像。在實際應(yīng)用中有很多軟件可以實現(xiàn)從全景素材的導(dǎo)入、生成、編輯到最終全景圖像的輸出這一完整的后期流程。比如PTGui Pro、Kolor Autopano、Pixtra PanoStitcher、Pano2QTVR、PanoramaStudio、Image Composite Editor等。其中PTGui Pro是一款開源的全景圖像縫合軟件，從1996年誕生以來不斷的更新升級，現(xiàn)在已經(jīng)可以實現(xiàn)對全景圖像的畸變校正，視點調(diào)整，標記點編輯，曝光調(diào)整，圖像優(yōu)化等操作，通過參數(shù)的調(diào)整彌補拍攝過程的操作不當對全景圖質(zhì)量帶來的影響。

三、全景圖像的縫合流程：

全景圖像的縫合，歸結(jié)為兩點，歸根結(jié)底需要解決兩個問題，一個是全景素材的對齊，二是全景素材的融合。在PTGui中，從全景圖像素材的導(dǎo)入，到最終全景圖像的生成，需要以此經(jīng)過鏡頭參數(shù)的設(shè)置、投影方式的選擇、特征點的尋找和標記、圖像的融合、和全景圖像的生成等步驟，下面將以PTGui為例，詳細講述全景圖像的縫合流程。

1.鏡頭參數(shù)的設(shè)置

在圖像導(dǎo)入PTGui后，首先需要進行的是鏡頭參數(shù)的設(shè)置，在鏡頭參數(shù)設(shè)置中，包含了鏡頭類型、鏡頭焦距、焦距乘數(shù)、水平視場的參數(shù)調(diào)節(jié)，在高級選項中，提供了鏡頭校正參數(shù)、圖像位移和圖像修剪的參數(shù)調(diào)節(jié)。其中大多數(shù)設(shè)置由PTGui自動確定。

要創(chuàng)建一個無縫的全景圖，源圖像需要被重新映射（也稱為扭曲）。這可以看作是一個透視變換：源圖像的透視變換成所生成的全景的角度。對于實現(xiàn)一個正確的變換，PTGui需要知道拍攝全景圖像使用何種鏡頭。其中，鏡頭的類型和他的視場角是兩個關(guān)鍵參數(shù)。

2.投影方式的選擇

全景圖像是對場景的一種平面展示，換言之，是將三維的環(huán)境投射到一個二維的表面上，稱之為投影，PTGui提供了多種可選擇的投影方式，不存在一種完美的投影方式，每種投影方式都具有其特有的優(yōu)勢和局限，用戶需根據(jù)自己的需求選擇合適的投影方式。

3.特征點的尋找和標記

特征點的尋找和標記是圖像縫合中最為關(guān)鍵的一步，通過尋找圖像的特征點，我們可以大致確定相鄰兩幅圖像的重合區(qū)域，并通過重合區(qū)域的特征點對相鄰圖像進行配準。全景圖像的縫合質(zhì)量主要依賴于圖像間配準的精確程度，在PTGui中，圖像配準的算法是基于特征點匹配算法，其工作流程為：1.提取所有原始全景素材圖像的特征點。2.根據(jù)特征點對相鄰圖像進行圖像匹配。3.計算圖像變換關(guān)系。4.對圖像進行幾何變換。5.縫合兩幅圖像。

4.圖像的融合

當對所有特征點進行標記之后，事實上此時多個全景圖像素材已經(jīng)拼合成一幅完整的全景圖像了，對于無視差現(xiàn)象的全景圖像，標記點在沒有出現(xiàn)明顯精度誤差的情況下是不會出現(xiàn)圖像的錯位的，但是假如圖像間存在曝光差異，圖像間會出現(xiàn)由于曝光不同產(chǎn)生的接縫，圖像的融合就是利用算法對圖像間重合部分進行曝光過渡，消除接縫。

5.全景圖像的輸出

PTGui通過創(chuàng)建全景圖面板完成全景圖像啊的輸出，在創(chuàng)建全景圖像面板下，分為普通和高級兩種選項，在普通選項中，我們可以對全景圖像完成基本的設(shè)置，分別是全景圖像分辨率、輸出文件格式、圖層和輸出路徑。

四、結(jié)語

在電影虛擬場景的搭建中，我們希望盡最大可能提高虛擬場景的真實性，真實度越高的虛擬場景，越可以使觀眾獲得更高的沉浸感，而使用全景圖像作為虛擬場景中的背景可以克服三維模型方法帶來的缺陷，由于全景圖像具有真實度高、復(fù)雜度低等優(yōu)勢，所以目前基于全景圖像的縫合技術(shù)構(gòu)建的虛擬場景被應(yīng)用于電影工業(yè)中，隨著電影工業(yè)越來越成熟，全景圖像的在影視中的應(yīng)用也會越來越廣泛。

參考文獻：

［1］漆馳，劉強，孫家廣.攝像機圖像序列的全景圖拼接［J］.計算機輔助設(shè)計與圖像學(xué)學(xué)報，2001，13（7）：605-609.

［2］楊燕，王雪瑞，戴青，等.球面全景圖像生成技術(shù)的研究［J］.計算機應(yīng)用與軟件，2007，24（10）：164-165.

［3］方賢勇.圖像拼接技術(shù)研究［D］.浙江大學(xué)，2005：49-52.

作者簡介：

劉沛，1990年4月7日，男，漢，山東省青島市，碩士，北京電影學(xué)院，研究方向：數(shù)字電影技術(shù)。