立體視頻壓縮的內(nèi)參考與交叉參考比較*

賈振堂

（上海電力學院 計算機與信息工程學院，上海 200090）

1 引言

立體視頻是由左右兩個視頻序列組成的雙目視頻序列。由于視差的存在，人眼在觀察立體視頻序列時會產(chǎn)生立體視覺效果，具有深度層次感和更強的身臨其境感。立體視頻技術可被廣泛應用于數(shù)字電視、遠程教育、遠程工業(yè)控制、三維視頻會議系統(tǒng)、虛擬現(xiàn)實系統(tǒng)、遠程購物、自動導航等諸多方面。

立體視頻逐漸成為視頻技術的發(fā)展方向。其中，立體視頻壓縮是立體視頻應用的關鍵技術。在壓縮過程中，往往特別強調(diào)左右圖像之間的相關性，認為可以帶來更高的壓縮率。筆者將通過試驗來比較內(nèi)參考和交叉參考的有效性，從而為立體視頻壓縮算法的設計提供借鑒。

2 立體視頻序列的壓縮

立體視頻序列是由兩個攝像機從不同角度對同一景物拍攝，形成左右兩個視頻序列，同時左右序列具有時間約束關系，即同一個幀號的左圖像Ln和右圖像Rn應是同一時刻拍攝的，這由左右攝像機的同步機制來保證（見圖 1）。

立體視頻序列中的任何一個序列都可采用標準的視頻壓縮技術（如MPEG，H.264等）。而左右序列之間存在較強的相關性，應充分考慮左右圖像之間的關系帶來的壓縮可能[1]。然而在立體視頻壓縮過程中，雖然有較多的因素需要考慮，比如左右圖像視覺互補[2]等，但是運動搜索和運動補償依然是最為有效的環(huán)節(jié)。

考慮參考幀時，不但序列內(nèi)的以前重建幀可以作為參考幀，左右序列之間也可以作為參考幀。通常對其中一個序列采用標準單目視頻壓縮方法，參考圖像僅限于本序列內(nèi)部，這里稱為序列內(nèi)參考（簡稱內(nèi)參考）；而另一個序列考慮兩種參考圖像方式，即內(nèi)參考與交叉參考，交叉參考是參考另外一個視頻序列中的重建圖像。文獻[3]采用視差補償（即交叉參考）的方法，同時考慮視覺抑制原理，但是并沒有對序列內(nèi)參考與交叉參考作具體的比較。

3 內(nèi)外參考幀的比較

3.1 試驗測試

將左序列采用序列內(nèi)參考方式，當編碼右圖像的某個幀時，比如Rn+1，則可以選擇已經(jīng)重建的Ln，Rn或者Ln+1作為參考幀。這里暫不考慮同序列內(nèi)的多參考幀情況，僅比較 Ln+1和 Rn。

試驗中，為了比較參考圖像的有效性，拋開視頻壓縮編碼的其他環(huán)節(jié)，僅考察運動搜索的效果，并采用全搜索（full-search）求運動補償?shù)恼`差。運動搜索以宏塊MB為單元，一幀的全部宏塊運動補償以后的平均誤差為

其中，sadi是第 i個宏塊的誤差。 Δx，Δy為 sadi取最小值時的運動矢量。能夠說明運動補償?shù)男Ч叫≌f明殘差越小，壓縮效果就越好。

交叉參考時，由于視差的存在，左右圖像之間在水平方向上存在固定的偏移Δx0，因此運動搜索時考慮這個偏移。另外，由于左右圖像之間固有的水平偏移，在圖像的左邊緣和右邊緣肯定會存在失配的情況，為了具有較強的可比性，左右圖像之間交叉搜索時不把邊緣部分計算在內(nèi)。在實際的壓縮算法中，考慮全景圖在一定程度上可以彌補邊緣失配帶來的誤差，因此這里不計算失配的部分也是合理的。測試結果如圖2和圖3所示。

3.2 結果分析

在立體序列1中，背景固定。前面有女士在轉椅上左右轉動，后面還有人進出。這是常見的視頻場景。測試結果中，交叉參考帶來的殘差明顯大于序列內(nèi)參考的情況，約為2倍左右。

在立體序列2中，開始為靜止的場景，內(nèi)部參考的殘差幾乎為0，而交叉參考的殘差依然較大。小女孩走進來以后坐在沙發(fā)上左右晃動，這時情況與序列1類似。后半段視頻則存在劇烈的攝像機運動，造成場景的快速切換，出現(xiàn)了交叉參考的殘差小于內(nèi)部參考的情況。

從以上測試及其他類似測試 （限于篇幅沒有全部列出）可以看出：

1）通常情況下，內(nèi)參考可獲得較小運動搜索殘差；

2）特別是圖像靜止情況下，內(nèi)參考殘差甚至趨于0，而交叉參考沒有明顯的減??；

3）交叉參考在圖像內(nèi)容劇烈變化（比如攝像機運動、場景變換等情況下）時有可能小于內(nèi)參考。

交叉參考的誤差來源有：1）攝像機位置差異引起的圖像整體錯位；2）視角不同引起的遮擋差異。即使是靜止的畫面，這種誤差也照樣存在。并且與圖像的運動沒有關系，而僅與圖像的內(nèi)容有關。或者說僅是空間的差異，而不是時間上的差異。同時，由于兩個攝像機的拍攝角度不同，可能帶來明暗的差異。

而同序列誤差主要來源于圖像內(nèi)容在時間上的變化，與攝像機的位置無關，并且這種誤差是可變的。慢速運動的差異小，當畫面靜止時，誤差趨于0（存在少量噪聲誤差）。因此，在進行立體視頻編碼的過程中選擇內(nèi)部參考方式，通常情況下都是合適的。在I幀編碼或者存在場景切換的情況下，可以考慮交叉參考。

4 小結

由試驗結果可知，通常情況下，序列內(nèi)相鄰圖像間變化不大，可以得到較好的匹配結果，而左右圖像之間存在圖像偏移和視角差別，造成匹配誤差大于內(nèi)參考的情況。僅當圖像內(nèi)容突變時，左右圖像之間的相似性大于時間軸上的相似性，交叉參考才更有效，或者當I幀編碼時，可以考慮交叉參考方式。

[1]陳雪松.立體圖像壓縮編碼技術的研究[D].上海：上海大學，2003.

[2]HARI K，LAKIS C，LIAM M，et al.Design and evaluation of a 3D video system based on H.264 view coding [C/OL]//Proceedings of the 2006 international workshop on Network and operating systems support for digital audio and video[2009-10-01].http://portal.acm.org/citation.cfm?id=1378207.

[3]PEI S，LAI C.Very low bit-rate coding algorithm for stereo video with spatiotemporal HVS model and binary correlation disparity estimato[J].IEEE Journal on Selected Areas in Communications， 1998，16（1）：98-107.