立體視頻圖像編碼的研究進(jìn)展

覃遠(yuǎn)年，徐曉寧

(桂林電子科技大學(xué) 信息與通信學(xué)院，廣西 桂林 541004)

?

立體視頻圖像編碼的研究進(jìn)展

覃遠(yuǎn)年，徐曉寧

(桂林電子科技大學(xué) 信息與通信學(xué)院，廣西 桂林 541004)

從編碼方案、關(guān)鍵技術(shù)和評(píng)價(jià)準(zhǔn)則3個(gè)方面綜述了立體視頻圖像編碼研究的發(fā)展。闡明了各種編碼方案的特點(diǎn)及適用范圍。詳細(xì)分析了立體視頻圖像編碼中視差估計(jì)、運(yùn)動(dòng)估計(jì)、遮擋檢測(cè)、殘差圖像編碼和碼率控制5大關(guān)鍵技術(shù)，總結(jié)了各項(xiàng)技術(shù)的發(fā)展現(xiàn)狀。最后指出了立體視頻圖像編碼研究中存在的問(wèn)題，并對(duì)未來(lái)的研究方向進(jìn)行了展望。

立體視頻編碼；視差估計(jì)；遮擋檢測(cè)；可伸縮編碼；壓縮感知

1 立體視頻圖像編碼

隨著信號(hào)處理、通信網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)的發(fā)展，傳統(tǒng)視頻(2D Video)編碼技術(shù)趨于成熟，基于MPEG-X、H.26X等視頻編碼標(biāo)準(zhǔn)的視頻產(chǎn)品得到了廣泛的應(yīng)用。然而，由于立體視頻(3D Video)能夠帶給人們更多的視覺(jué)信息和視覺(jué)體驗(yàn)，能產(chǎn)生更強(qiáng)烈的視覺(jué)沖擊，因此正越來(lái)越受到人們的追捧[1]，例如3D電影電視等。立體視頻是利用人眼睛的雙目視差原理，使欣賞到的圖像有強(qiáng)烈的立體感、臨場(chǎng)感和真實(shí)感。立體視頻處理是圖像視頻處理技術(shù)的重要組成部分和研究熱點(diǎn)[2]，在醫(yī)學(xué)診斷、影視娛樂(lè)、戰(zhàn)場(chǎng)實(shí)時(shí)仿真、遠(yuǎn)程教育及視頻會(huì)議、文物保存研究等領(lǐng)域有著廣闊的應(yīng)用前景。

目前立體視頻技術(shù)中雙目立體視頻是應(yīng)用最廣泛的視頻格式，觀看者通過(guò)顯示設(shè)備獲得其左、右眼兩路視頻并基于視差原理獲得立體視覺(jué)效果。與單目視頻相比，雙目立體視頻的數(shù)據(jù)量和計(jì)算復(fù)雜度成倍增加，這使得立體視頻在信息處理和存儲(chǔ)、遠(yuǎn)程通信等應(yīng)用領(lǐng)域面臨巨大考驗(yàn)。因此，如何高效地對(duì)立體視頻圖像進(jìn)行編碼，最大限度壓縮數(shù)據(jù)量是立體視頻得到更廣泛的應(yīng)用(例如移動(dòng)3D視頻、互聯(lián)網(wǎng)3D視頻等)的關(guān)鍵。

國(guó)際上，立體視頻圖像編碼的研究始于20世紀(jì)80年代末[3]。初期，主要是將立體圖像對(duì)中的左右圖像分別使用經(jīng)典的2D圖像編碼方法進(jìn)行壓縮。該方法比較簡(jiǎn)單直觀，但沒(méi)有很好地利用立體視頻圖像中的相關(guān)性，獲得的壓縮率也比較小，難以滿(mǎn)足實(shí)際應(yīng)用的需求。進(jìn)入90年代中后期，隨著研究的深入[4]，許多學(xué)者注意到有大量的冗余信息存在于立體圖像的左右視圖之間，通過(guò)采用計(jì)算機(jī)視覺(jué)的方法，對(duì)左右視圖進(jìn)行視差估計(jì)，可顯著提高編碼效率。國(guó)內(nèi)學(xué)者從20世紀(jì)90年代中后期開(kāi)始對(duì)立體視頻圖像編碼進(jìn)行研究，截至目前已在立體視頻的編碼方面取得了一定的研究成果[5-6]。雖然不斷涌現(xiàn)了眾多的立體視頻編碼算法，但目前很多技術(shù)仍不成熟，將其廣泛應(yīng)用還有很長(zhǎng)的路要走。為此，本文從編碼方案、關(guān)鍵技術(shù)和評(píng)價(jià)準(zhǔn)則3個(gè)方面綜述了立體視頻編碼研究的發(fā)展，指出了立體視頻圖像編碼研究中存在的問(wèn)題，對(duì)未來(lái)的研究方向進(jìn)行了展望。

2 編碼方案

2.1 基于普通視頻編碼標(biāo)準(zhǔn)的擴(kuò)展方案

2.1.1 基于塊的立體視頻圖像編碼方案

基于塊的立體視頻圖像編碼方案[7]主要使用視差估計(jì)算法通過(guò)已編碼的左圖像序列對(duì)右圖像序列進(jìn)行預(yù)測(cè)編碼。該方案首先把左圖像序列分割成大小相等的塊，然后根據(jù)單視點(diǎn)視頻編碼的方法對(duì)其進(jìn)行編碼；對(duì)于右圖像也先分成大小相等的塊，按照某種判決準(zhǔn)則在左圖像序列中尋找相應(yīng)塊的最佳匹配塊，視差矢量即為左右圖像匹配塊之間的位置差異，為了提高視差預(yù)測(cè)的精度，塊的大小也可以是可變尺寸的。在基于塊的立體視頻圖像編碼方案中，視差匹配估計(jì)[8]是至關(guān)重要的一步，它的準(zhǔn)確程度直接影響整個(gè)編碼系統(tǒng)的精度和效率。基于塊的編碼方案與其他編碼方案相比算法簡(jiǎn)單、穩(wěn)健且易于硬件移植。但會(huì)出現(xiàn)塊效應(yīng)，且在低比特率下重建圖像的主觀質(zhì)量不是很好。

2.1.2 基于對(duì)象的立體視頻圖像編碼方案

20世紀(jì)90年代后期，圖像編碼領(lǐng)域開(kāi)始研究基于對(duì)象的編碼算法[9]，其核心思想是：首先使用視差估計(jì)算法得到視差場(chǎng)，然后根據(jù)視差場(chǎng)和圖像特征將用戶(hù)感興趣的對(duì)象分割、提取出來(lái)，并在編碼時(shí)分配較多碼流，對(duì)視頻場(chǎng)景中的其余部分編碼時(shí)則分配較少碼流，從而顯著提高編碼效率。這種方法的性能和效率均優(yōu)于基于塊的編碼方法，在低比特率下沒(méi)有方塊效應(yīng)，能夠以一種更自然的方式對(duì)場(chǎng)景進(jìn)行描述。但是基于對(duì)象的編碼方法的圖像分析過(guò)程比較復(fù)雜，且其中的對(duì)象建模、分割和提取等很多環(huán)節(jié)還不是很成熟，同時(shí)對(duì)于一些運(yùn)動(dòng)形式和圖像背景復(fù)雜的視頻圖像不是很適用[10]，視頻對(duì)象的有效分割和提取是基于對(duì)象法尚待解決的問(wèn)題，對(duì)于立體視頻編碼來(lái)說(shuō)更是需要深入的研究。

2.1.3 基于網(wǎng)格的立體視頻圖像編碼方案

目前網(wǎng)格已被廣泛應(yīng)用于眾多領(lǐng)域，如計(jì)算機(jī)圖形學(xué)[11]、力學(xué)的有限元分析以及地貌模型的構(gòu)造等。在視頻編碼中，網(wǎng)格根據(jù)圖像內(nèi)容自適應(yīng)地產(chǎn)生一些符合一定特征的多邊形區(qū)域來(lái)對(duì)整個(gè)圖像和運(yùn)動(dòng)模型進(jìn)行描述。在立體圖像編碼中有三角形網(wǎng)格[12]和四邊形網(wǎng)格[13]等。文獻(xiàn)[14]基于DT網(wǎng)格提出了一種立體視頻編碼算法，該算法首先將特征點(diǎn)DT網(wǎng)格化，得到網(wǎng)格化的立體視頻圖像；然后對(duì)網(wǎng)格節(jié)點(diǎn)進(jìn)行運(yùn)動(dòng)估計(jì)和跟蹤；最后對(duì)視差信息和運(yùn)動(dòng)信息進(jìn)行編碼?；诰W(wǎng)格的方法在較高壓縮比時(shí)恢復(fù)圖像的均勻度、自然度，優(yōu)于基于塊的方法，主觀上更易接受。

2.2 立體視頻編碼新探索

2.2.1 基于可伸縮的立體視頻圖像編碼方案

為了更好地適應(yīng)各種復(fù)雜的網(wǎng)絡(luò)環(huán)境和不同的終端設(shè)備，人們提出了可伸縮立體視頻編碼[15]方案?？缮炜s編碼[16]實(shí)質(zhì)是首先按照視頻信息的重要性對(duì)其進(jìn)行分解，然后按照其自身的統(tǒng)計(jì)特性對(duì)分解的各層進(jìn)行編碼。通常，將視頻編碼分成一個(gè)基本層和一組增強(qiáng)層。對(duì)基本層進(jìn)行單獨(dú)的傳輸解碼即可滿(mǎn)足最小需求，但解碼的視頻質(zhì)量較差；增強(qiáng)層依賴(lài)于基本層，增強(qiáng)層是對(duì)基本層視頻信息的增強(qiáng)。增強(qiáng)層越多，視頻信息的質(zhì)量恢復(fù)得越好。與其他編碼方案相比，可伸縮編碼通過(guò)對(duì)視頻信息進(jìn)行分解處理簡(jiǎn)化了解碼器端的設(shè)計(jì)，同時(shí)也使得碼流對(duì)網(wǎng)絡(luò)帶寬變化、誤碼和丟包都有了很強(qiáng)的適應(yīng)性，成為目前視頻編碼技術(shù)研究的熱點(diǎn)。

2.2.2 基于多視點(diǎn)的立體視頻圖像編碼方案

多視點(diǎn)視頻編碼是把視點(diǎn)內(nèi)部的時(shí)間相關(guān)性和多個(gè)視點(diǎn)之間的空間相關(guān)性作為著手點(diǎn)，直接對(duì)所有視點(diǎn)進(jìn)行編碼的方法(Multi-View Video Coding，MVC)[17]。目前，MVC的編碼傳輸格式分為兩類(lèi)：一類(lèi)是視頻流中只包括多視點(diǎn)視頻數(shù)據(jù)的純視頻格式[18]；另一類(lèi)是多視點(diǎn)視頻加深度信息的深度增強(qiáng)格式[19]。純視頻型MVC的研究主要從預(yù)測(cè)結(jié)構(gòu)、提高M(jìn)VC編碼效率的技術(shù)、高層語(yǔ)法3個(gè)方面展開(kāi)。MVC標(biāo)準(zhǔn)[20]定義的純視頻型編碼方案支持隨機(jī)訪問(wèn)功能且兼顧了H.264/AVC的后向兼容性。深度增強(qiáng)型MVC將深度信息和多視點(diǎn)視頻信息一起傳輸?shù)浇獯a端，通過(guò)深度圖繪制技術(shù)(DIBR)恢復(fù)更多的視頻流，實(shí)現(xiàn)立體“環(huán)視”效果。深度增強(qiáng)型MVC的關(guān)鍵環(huán)節(jié)是深度圖像的獲取、深度圖像的編碼、視點(diǎn)合成技術(shù)[21]。與純視頻型MVC相比，深度增強(qiáng)型MVC大大減少了傳輸數(shù)據(jù)量，解碼端深度信息具有尺度伸展性，成為了目前的研究熱點(diǎn)。

2.2.3 基于分布式壓縮感知的立體視頻圖像編碼方案

分布式視頻編碼(Distributed Video Coding，DVC)是分布式信源編碼技術(shù)[22-23]在視頻編碼領(lǐng)域的應(yīng)用，它將耗時(shí)耗功率的運(yùn)動(dòng)估計(jì)/補(bǔ)償從編碼端移到解碼端，具有編碼簡(jiǎn)單、解碼相對(duì)復(fù)雜以及容錯(cuò)性能較好的特點(diǎn)。壓縮感知理論(Compress Sensing，CS)最早由Candes、Donoho等人[24-25]提出，其核心思想是利用較少的測(cè)量值對(duì)稀疏或可壓縮信號(hào)的信息進(jìn)行完全表征。通過(guò)采用壓縮感知技術(shù)，可以低于奈奎斯特速率的采樣率對(duì)視頻數(shù)據(jù)進(jìn)行壓縮采樣，從而顯著地降低數(shù)據(jù)處理所需時(shí)間，增強(qiáng)實(shí)時(shí)性。分布式壓縮感知采用一種聯(lián)合稀疏模型(Joint Sparity Model，JSM) 對(duì)相關(guān)信源進(jìn)行壓縮。由于相鄰幀之間的相關(guān)性，視頻序列可以看作是一種特殊的相關(guān)信源，Kang 等人[26]將聯(lián)合稀疏模型應(yīng)用在視頻信號(hào)的壓縮編碼中，提出了一種分布式視頻壓縮感知(DCVS)算法。武曉嘉等人[27]提出了一種用于多視點(diǎn)立體視頻編解碼的分布式壓縮感知模型，該模型可以在實(shí)現(xiàn)高效編碼的同時(shí)將復(fù)雜度從編碼端轉(zhuǎn)移到解碼端，從而滿(mǎn)足低復(fù)雜度編碼的應(yīng)用場(chǎng)合。

2.2.4 基于模式識(shí)別的立體視頻圖像編碼方案

模式識(shí)別[28]是通過(guò)計(jì)算機(jī)對(duì)信息進(jìn)行處理、判別的一種分類(lèi)過(guò)程?；谀Ｊ阶R(shí)別的圖像編碼算法[29-30]是一種新的圖像編碼思路，能夠較好地克服變換編碼適應(yīng)性不足的缺點(diǎn)。文獻(xiàn)[31]提出了一種基于自組織神經(jīng)網(wǎng)絡(luò)的立體圖像編碼算法(SOM+VQ+DE)，該算法為了提高左圖像的編碼效率，采用矢量量化編碼代替?zhèn)鹘y(tǒng)算法中的DCT變換對(duì)左圖像進(jìn)行壓縮，使用視差估計(jì)補(bǔ)償算法對(duì)右圖像進(jìn)行預(yù)測(cè)編碼，最后對(duì)矢量量化與視差估計(jì)的殘差均使用DCT和Huffman進(jìn)行編碼。實(shí)驗(yàn)結(jié)果表明，該算法能有效地提高左圖像的編碼效率。但在基于模式識(shí)別的立體圖像編碼方面目前仍有很多工作需要做，例如如何獲得性能更優(yōu)的模式庫(kù)以及為視差估計(jì)殘差、矢量量化殘差建立相應(yīng)的Huffman碼表等。

3 關(guān)鍵技術(shù)

3.1 視差估計(jì)

視差估計(jì)是立體視頻圖像編碼的第一步，其估計(jì)的準(zhǔn)確程度直接影響算法的整體性能，視差估計(jì)實(shí)質(zhì)上就是按照某種數(shù)學(xué)準(zhǔn)則在左右圖像上尋找匹配點(diǎn)或塊的過(guò)程，視差估計(jì)是一個(gè)圖像匹配的過(guò)程。視差矢量就是兩個(gè)對(duì)應(yīng)點(diǎn)或塊之間的位置差異，它代表了左右圖像在空間上的冗余信息。對(duì)此，很多學(xué)者對(duì)通用算法和在特定應(yīng)用中的視差估計(jì)進(jìn)行了研究，并取得了一定的成果。Koschan[32]總結(jié)了1989年到1993年視差估計(jì)算法。Myron Z.Brown 等人[33]對(duì)1993年至2003年期間視差估計(jì)技術(shù)的發(fā)展進(jìn)行了總結(jié)。Zhu Shiping[34]等人對(duì)自適應(yīng)視差估計(jì)的發(fā)展現(xiàn)狀進(jìn)行了分析，同時(shí)基于自適應(yīng)視差估計(jì)算法提出了一些新的中間視合成技術(shù)。

根據(jù)匹配基元的不同，可以把視差估計(jì)簡(jiǎn)單分為基于區(qū)域的和基于特征的兩大類(lèi)[35-36]，根據(jù)匹配策略的不同，基于區(qū)域的視差估計(jì)又可以分為局部法和全局法兩種。代表性的局部算法有相關(guān)法[37]、松弛迭代法[38]和生長(zhǎng)法[39]等；而全局法計(jì)算復(fù)雜度較高，速度相對(duì)較慢，但是全局法能夠得到比局部法更好的結(jié)果，代表性的全局算法有動(dòng)態(tài)規(guī)劃法[40]、圖割法[41]和置信度傳播法[42]等?；谔卣鞯钠ヅ渌惴ㄍǔ０▋蓚€(gè)步驟：特征點(diǎn)提取和特征匹配，文獻(xiàn)[43]提出了一種基于關(guān)鍵點(diǎn)的目標(biāo)識(shí)別方法，這種識(shí)別方法能實(shí)時(shí)地對(duì)存在混亂和堵塞的對(duì)象進(jìn)行有效識(shí)別。

3.2 運(yùn)動(dòng)估計(jì)

運(yùn)動(dòng)估計(jì)就是尋找視頻序列中運(yùn)動(dòng)物體在前后幀之間移動(dòng)的方向和大小，即運(yùn)動(dòng)矢量。運(yùn)動(dòng)估計(jì)是視頻編碼中消除時(shí)間冗余，提高壓縮比的一項(xiàng)重要的技術(shù)。目前，常用的運(yùn)動(dòng)估計(jì)方法有頻域運(yùn)動(dòng)估計(jì)和空間運(yùn)動(dòng)估計(jì)兩大類(lèi)。

頻域運(yùn)動(dòng)估計(jì)算法主要是在變換域內(nèi)進(jìn)行匹配搜索運(yùn)算。Moshe等人[44]提出一種基于沃爾什-哈達(dá)瑪(WHT)變換的快速運(yùn)動(dòng)估計(jì)自適應(yīng)算法，該算法能根據(jù)圖像內(nèi)容自適應(yīng)的提高估計(jì)精度，在計(jì)算復(fù)雜度和估計(jì)精度之間進(jìn)行很好的權(quán)衡?？臻g運(yùn)動(dòng)估計(jì)算法主要在空間域進(jìn)行匹配搜索，實(shí)現(xiàn)待匹配圖像與參考圖像之間的最優(yōu)匹配。這一方法主要分為光流場(chǎng)法[45]、像素遞歸法[46]和圖像塊匹配法[47]等。

3.3 遮擋檢測(cè)

遮擋問(wèn)題主要是由物體之間的遮擋以及攝像機(jī)的位置差異而產(chǎn)生的，在立體視頻圖像編碼中，遮擋區(qū)域由于得不到很好的視差補(bǔ)償而成為殘差圖像的重要來(lái)源。依據(jù)遮擋產(chǎn)生原因的不同，視覺(jué)目標(biāo)之間的遮擋可分為兩大類(lèi)：一類(lèi)是不同物體間存在的互相遮擋現(xiàn)象；另一類(lèi)是同一物體的不同組成部分之間存在的自遮擋現(xiàn)象。

遮擋現(xiàn)象的研究已取得了一定的成果，M.Hu等人[48]引入了貝葉斯網(wǎng)絡(luò)處理遮擋問(wèn)題，該貝葉斯網(wǎng)絡(luò)通過(guò)一個(gè)二維橢球模型和對(duì)遮擋的深度處理過(guò)程進(jìn)行建模。二維橢球模型通過(guò)創(chuàng)建子區(qū)域的顏色直方圖來(lái)聯(lián)合顏色和空間信息；深度處理過(guò)程能表示出遮擋區(qū)域的深度信息。Ahra Jo等人[49]采用基于水平分割矩形窗的直方圖匹配法對(duì)車(chē)輛跟蹤中存在的遮擋區(qū)域進(jìn)行檢測(cè)。王展青等人[50]在Mean Shift算法的基礎(chǔ)上，利用Kalman濾波器引入遮擋檢測(cè)算法，根據(jù)濾波殘差的大小判定是否發(fā)生遮擋，然后將目標(biāo)分塊進(jìn)行遮擋程度檢測(cè)。

相對(duì)于視覺(jué)目標(biāo)的之間存在的互遮擋的研究，有關(guān)自遮擋現(xiàn)象的研究仍需進(jìn)一步的深入。Zhang Shihui等人[51]利用支持向量機(jī)技術(shù)提出了一種對(duì)深度圖像進(jìn)行自遮擋檢測(cè)的方法。J.L.Youn等人[52]提出了一種簡(jiǎn)單的三維形變模型，通過(guò)一個(gè)圓柱頭模型對(duì)輸入人臉的遮擋部分進(jìn)行自動(dòng)檢測(cè)，選擇面部可見(jiàn)的特征點(diǎn)對(duì)三維模型擬合方法進(jìn)行設(shè)計(jì)，從而有效避免了自遮擋的影響，改善了三維人臉重建性能。

3.4 殘差圖像編碼

立體殘差圖像(Disparity Compensated Difference，DCD)是由原始右圖像和利用視差估計(jì)補(bǔ)償算法得到的預(yù)測(cè)圖像做差得到的。為了提高解碼重建圖像的質(zhì)量，將得到的殘差圖像與視差矢量一同被傳送到解碼端。常用的殘差圖像編碼方法有基于DCT的方法和基于小波變換的方法。文獻(xiàn)[53]分別使用DCT和小波變換對(duì)立體殘差數(shù)據(jù)進(jìn)行處理，結(jié)果表明DCT變換比小波更適合立體殘差數(shù)據(jù)的處理。文獻(xiàn)[54]從DCT域中運(yùn)動(dòng)殘差的分布特性出發(fā)，通過(guò)分析殘差與編碼圖像兩者之間量化DCT系數(shù)的關(guān)系，提出一種基于I/P系數(shù)法則的運(yùn)動(dòng)補(bǔ)償算法。文獻(xiàn)[55] 從能量非平穩(wěn)特性、時(shí)空相關(guān)特性和頻率特性3個(gè)方面對(duì)可伸縮視頻編碼中的時(shí)域?yàn)V波殘差圖像特性進(jìn)行了分析研究，研究結(jié)果對(duì)立體殘差圖像的編碼有重要意義。

3.5 碼率控制

碼率控制的目標(biāo)是通過(guò)預(yù)設(shè)的控制算法，使視頻編碼的碼率適應(yīng)傳輸帶寬，同時(shí)使編碼重建質(zhì)量達(dá)到最優(yōu)。根據(jù)外部帶寬變化特性的不同，碼率控制主要分為恒定碼率[56]和可變碼率[57]兩大類(lèi)。目前針對(duì)立體視頻碼率控制算法主要從三方面進(jìn)行研究：1)在基于率失真模型的碼率控制方面，文獻(xiàn)[58]根據(jù)立體視頻的不同圖片類(lèi)型，改造了3D視頻序列的二次失真模型，實(shí)現(xiàn)了在幀層和宏塊層碼率的精確控制。2)在基于人眼視覺(jué)特性的碼率控制方面，Natio等人[59]提出了能保持左右圖像質(zhì)量平衡的統(tǒng)一緩沖區(qū)模型，優(yōu)化了GoP結(jié)構(gòu)的設(shè)置，根據(jù)人眼視覺(jué)特性對(duì)左右視點(diǎn)進(jìn)行了合理的比特分配。盧山等人[60]通過(guò)對(duì)立體視覺(jué)特性的分析，提出了一種基于幀級(jí)目標(biāo)碼率分配的碼率控制算法。3)在多視點(diǎn)視頻碼率控制方面，文獻(xiàn)[61]提出了一種基于多視點(diǎn)視頻加深度的碼率控制技術(shù)，首先采用圖像拼接技術(shù)對(duì)視頻和深度同時(shí)進(jìn)行編碼，然后在視圖層、視頻深度層、幀層3個(gè)層次進(jìn)行聯(lián)合碼率控制。文獻(xiàn)[62]通過(guò)利用人類(lèi)感知的視覺(jué)冗余，針對(duì)MVC提出了一種基于區(qū)域比特分配優(yōu)化的立體視覺(jué)關(guān)注算法。

4 評(píng)價(jià)準(zhǔn)則

立體視頻圖像編碼就是要在編碼復(fù)雜度、壓縮率和圖像質(zhì)量之間尋求平衡。同時(shí)圖像質(zhì)量和壓縮比之間又相互制約，它們是最基本的衡量編碼效果好壞的標(biāo)準(zhǔn)。

4.1 編碼復(fù)雜度

編碼復(fù)雜度直接影響整個(gè)系統(tǒng)的實(shí)時(shí)性，復(fù)雜度越高，計(jì)算量越大，實(shí)時(shí)性越差。目前，對(duì)于立體視頻編碼復(fù)雜度的研究主要集中在低復(fù)雜度的編碼算法上，而低復(fù)雜度編碼算法的研究主要集中在三方面：運(yùn)動(dòng)估計(jì)、視差估計(jì)、碼率控制。

4.2 圖像質(zhì)量

圖像質(zhì)量指人們對(duì)一幅圖像的視覺(jué)主觀評(píng)價(jià)，包括圖像逼真度和圖像可懂度兩個(gè)含義，通常立體視頻圖像壓縮只關(guān)注圖像的逼真度?？陀^評(píng)價(jià)和主觀評(píng)價(jià)是常用的兩種圖像質(zhì)量評(píng)價(jià)方法，其中客觀評(píng)價(jià)有均方誤差(MSE)、峰值信噪比(PSNR)等，主觀評(píng)價(jià)有平均評(píng)價(jià)分?jǐn)?shù)法(MOS)等。目前部分學(xué)者致力于研究更合理有效的立體圖像評(píng)價(jià)方法，文獻(xiàn)[63]提出了一種新型遙感立體圖像編碼質(zhì)量綜合評(píng)價(jià)模型，該模型從輻射特性畸變、紋理?yè)p失、相關(guān)性損失和幾何特性畸變四個(gè)方面評(píng)價(jià)重建圖像的質(zhì)量，實(shí)驗(yàn)表明該方法的評(píng)價(jià)結(jié)果與人眼的感知評(píng)價(jià)保持很好的一致性。

4.3 壓縮比

壓縮比(Compression Ratio，CR)是衡量壓縮程度的指標(biāo)之一。壓縮比的計(jì)算方法有很多，一種是采用信息論中的概念，即在得知要壓縮數(shù)據(jù)的統(tǒng)計(jì)分析結(jié)果的前提下，壓縮比就是壓縮前后數(shù)據(jù)的熵之比。這種定義方法存在局限性，而現(xiàn)在所使用的許多壓縮技術(shù)并不依賴(lài)于數(shù)據(jù)的統(tǒng)計(jì)結(jié)果。

5 存在問(wèn)題及未來(lái)發(fā)展方向

近年來(lái)，盡管立體視頻編碼的研究已取得了較大進(jìn)展，但就整體而言，它仍處于一個(gè)較基礎(chǔ)的研究階段，面臨著許多問(wèn)題和難點(diǎn)，有待進(jìn)一步的研究和探索。

5.1 視差估計(jì)

近年來(lái)，人們對(duì)基于區(qū)域的視差估計(jì)進(jìn)行了大量的研究并提出了很多有效的改進(jìn)措施，但是目前仍存在許多不足之處，主要表現(xiàn)在以下幾個(gè)方面：1)視差的精度易受圖像灰度統(tǒng)計(jì)的影響。當(dāng)景物表面缺乏足夠的紋理信息時(shí)，由于信息量小，容易出現(xiàn)誤匹配現(xiàn)象。2)由于存在遮擋效應(yīng)、噪聲、光線、約束原則等因素的影響，常常會(huì)引起匹配的混淆，因此改進(jìn)視差圖校正算法的研究至關(guān)重要。3)由于基于區(qū)域的匹配法是一個(gè)窮舉匹配運(yùn)算的過(guò)程，因此該方法的運(yùn)算量大、復(fù)雜度高。需進(jìn)一步對(duì)算法進(jìn)行優(yōu)化改進(jìn)，減少運(yùn)算量，降低編碼復(fù)雜度。

與基于特征的視差估計(jì)算法相比，基于區(qū)域的算法具有匹配準(zhǔn)確度高、計(jì)算量小、速度快等優(yōu)點(diǎn)。但由于特征點(diǎn)的提取本身存在不足，導(dǎo)致了基于特征點(diǎn)的視差估計(jì)算法也存在一些缺點(diǎn)：1)特征在圖像中的稀疏性決定基于特征的匹配算法只能得到稀疏的視差場(chǎng)，雖可通過(guò)插值的方法來(lái)提高特征匹配得到的視差場(chǎng)，但這也會(huì)帶來(lái)更復(fù)雜的計(jì)算。2)特征的提取和定位對(duì)匹配的精度影響很大，若特征提取效果不佳會(huì)很大程度上制約匹配精度的提高，如何高效準(zhǔn)確地進(jìn)行特征提取定位將是今后算法的發(fā)展方向。

5.2 運(yùn)動(dòng)估計(jì)

隨著視頻編碼技術(shù)應(yīng)用范圍的不斷擴(kuò)展，傳統(tǒng)的運(yùn)動(dòng)估計(jì)算法面臨很多問(wèn)題：1)從低碼率到高碼率視頻編碼，對(duì)不同分辨率的視頻序列進(jìn)行編碼時(shí)，同一個(gè)算法會(huì)導(dǎo)致編碼性能的不穩(wěn)定。因此需根據(jù)不同視頻序列編碼參數(shù)的不同，自適應(yīng)地對(duì)運(yùn)動(dòng)估計(jì)算法的搜索策略進(jìn)行調(diào)整。2)模式選擇，合理地對(duì)塊的模式進(jìn)行選擇，可以進(jìn)一步優(yōu)化運(yùn)動(dòng)估計(jì)中存在的冗余度，同時(shí)有效地降低編碼器的復(fù)雜度。3)預(yù)測(cè)準(zhǔn)確性，基于塊的運(yùn)動(dòng)估計(jì)算法假設(shè)圖像塊均進(jìn)行簡(jiǎn)單的平移運(yùn)動(dòng)，對(duì)旋轉(zhuǎn)、縮放或其他任何形式的非平移運(yùn)動(dòng)不能進(jìn)行表示，運(yùn)動(dòng)估計(jì)的準(zhǔn)確性低，視頻壓縮的效率也有待進(jìn)一步提高。

總的來(lái)說(shuō)，視頻序列運(yùn)動(dòng)估計(jì)算法仍有待繼續(xù)優(yōu)化完善，一些創(chuàng)新性的理論和技術(shù)正在不斷的被應(yīng)用到其中。神經(jīng)網(wǎng)絡(luò)在圖像編碼中得到了廣泛的應(yīng)用，研究人員正嘗試著將其運(yùn)用到運(yùn)動(dòng)估計(jì)中[64]，與此同時(shí)，更高像素精度的運(yùn)動(dòng)估計(jì)如半像素、1/4像素、1/8像素等[65]也成為了一個(gè)主要的發(fā)展趨勢(shì)。

5.3 遮擋檢測(cè)

遮擋檢測(cè)是立體視頻圖像編碼中的難題，現(xiàn)有的算法雖然檢測(cè)率高，但是計(jì)算復(fù)雜。非常不合適對(duì)實(shí)時(shí)性要求較高的編碼系統(tǒng)。另外，立體圖像編碼中的遮擋區(qū)域檢測(cè)對(duì)精確性的要求會(huì)因?yàn)橛袣埐顖D像的存在而有所降低。因此，在保持一定的準(zhǔn)確度和精確性的前提下，如何適當(dāng)?shù)貙?duì)這些遮擋檢測(cè)算法進(jìn)行簡(jiǎn)化將成為這一領(lǐng)域的研究重點(diǎn)。

5.4 碼率控制

由于立體視頻編碼系統(tǒng)自身的復(fù)雜度，同時(shí)影響視頻主觀質(zhì)量的因素很多，立體視頻碼率控制在許多方面仍不完善，很多問(wèn)題有待進(jìn)一步研究。

1)目前大部分的立體視頻編碼方法都是將左右兩個(gè)通道等同對(duì)待，分配相同的比特。如何合理地給左右兩個(gè)通道分配比特?cái)?shù)，使其滿(mǎn)足信道的要求，同時(shí)又能保證良好的圖像質(zhì)量，有待進(jìn)一步的研究。

2)目前算法所采用的率失真模型準(zhǔn)確度均不是很高，而立體視頻的比特分配與碼率控制精度與率失真模型的準(zhǔn)確度密切相關(guān)，因此如何有效提高率失真模型的準(zhǔn)確度，將是未來(lái)重要的研究熱點(diǎn)。

3)目前的碼率控制算法大部分是針對(duì)恒定碼率研究的，而實(shí)際通信中的帶寬是經(jīng)常變化的，尤其是在移動(dòng)環(huán)境小的情況下，使有效帶寬變化更大。因此需要將碼率控制算法擴(kuò)展到可變碼率(VBR)的立體視頻通信中。

4)人眼是視頻的最終接收者，視頻質(zhì)量的好壞必須滿(mǎn)足人眼的主觀感受，因此基于人眼視覺(jué)特性的多視點(diǎn)視頻碼率控制是未來(lái)研究的方向之一。

5.5 可伸縮立體視頻編碼

可伸縮編碼方法(Fine Granualarity Scalability，F(xiàn)GS)[66]是近年來(lái)研究的熱點(diǎn)，這種方法可以根據(jù)網(wǎng)絡(luò)帶寬的變化自適應(yīng)調(diào)整輸出碼流的大小。立體視頻不可避免地要面向網(wǎng)絡(luò)環(huán)境傳輸，因此研究面向網(wǎng)絡(luò)環(huán)境傳輸?shù)腇GS立體視頻編碼方案具有重要的意義。但是現(xiàn)有的FGS方案在立體視頻編碼方面還處于研究初期，需要進(jìn)一步地優(yōu)化碼流選取方案、提高壓縮效率以及分級(jí)方案的靈活性，同時(shí)也需要研究更加高效的可用帶寬測(cè)量機(jī)制和終端設(shè)備描述機(jī)制，通過(guò)對(duì)網(wǎng)絡(luò)可用帶寬的準(zhǔn)確測(cè)量和終端設(shè)備的高效描述，為視頻傳輸過(guò)程提供依據(jù)。

6 結(jié)束語(yǔ)

隨著人們對(duì)視頻應(yīng)用需求的不斷增長(zhǎng)和品質(zhì)要求的日益提高，2D視頻在立體感、臨場(chǎng)感和真實(shí)感方面已無(wú)法滿(mǎn)足人們的視覺(jué)要求，因此研究立體視頻處理及其編碼技術(shù)有著重大的現(xiàn)實(shí)意義。本文綜述了立體視頻編碼方案、關(guān)鍵技術(shù)和評(píng)價(jià)準(zhǔn)則，指出了存在的問(wèn)題，并對(duì)未來(lái)的研究方向進(jìn)行了展望，希望能對(duì)相關(guān)領(lǐng)域的研究人員有所裨益。

[1]KONRAO J，HALLE M.3-D displays and signal processing[J].Signal Processing Magazine，2007，24(6)：97-111.

[2]張兆楊，安平，張之江.二維和三維視頻處理及立體顯示技術(shù)[M].北京：科學(xué)出版社，2010.

[3]LUKACS M.Predictive coding of multi-viewpoint image sets[C]//Proc.IEEE International Conference on Acoustics，Speech，and Signal Processing(ICASSP′86).[S.l.]：IEEE Press，1986：521-524.

[4]STRINTZIS M G，MALASSIOTIS S.Object-based coding of stereoscopic and 3D image sequences[J].IEEE Signal Processing Magazine，1999，16 (3)：14-28.

[5]韓軍功.立體圖像和視頻編碼的理論及算法研究[D].西安：西安電子科技大學(xué)，2004.

[6]張克新.可伸縮視頻編碼及傳輸理論與應(yīng)用研究[D].廣州：華南理工大學(xué)，2012.

[7]YANG W，NGAN K.MPEG-4 based stereoscopic video sequences encoder[C]//Proc.IEEE International Conference on Acoustics，Speech，and Signal Processing(ICASSP 2004).[S.l.]：IEEE Press，2004：741-744.

[8]GOUTCHER R，HIBBARD P B.Mechanisms for similarity matching in disparity measurement[J].Front Psychol，2014(4)：10-14.

[9]AIZAWA K，HUANG T S.Model-based image coding advanced video coding techniques for very low bitrate applications[J].Proceedings of the IEEE，1995，83(2)：259-271.

[10]吳勇軍，殷勤業(yè)，方強(qiáng)，等.立體圖像壓縮研究進(jìn)展[J]．電視技術(shù)，2002，26(7)：19-23.

[11]WANG Changbo，ZHANG Qiang，KONG Fanlong，et al.Hybrid particle Grid fluid animation with enhanced details[J].The Visual Computer，2013，29(9)：937-947.

[12]焦衛(wèi)東，盧朝陽(yáng)，郭大波.Delaunay三角形模型基立體圖像編碼[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2008，12(20)：12.

[13]ANISSA M，VIANNEY M J，ASTRUC J P.Motion estimation algorithms using the deformation of planar hierarchical mesh grid for video conferencing applications at low bit-rate transmission[J].Journal of Signal Processing Systems，2012，67(2)：167-185.

[14]劉爽.視差立體視頻對(duì)象提取與DT網(wǎng)格壓縮編碼[D].長(zhǎng)春：吉林大學(xué)，2012.

[15]JIN Zhigang，ZHAO Ximan，WANG Jia.Scalable video coding transmission system with error correction of high-resolution multi-view stereo video with LDPC[C]//Proc.6th International Conference on Wireless Communications， Networking and Mobile Computing(WiCOM 2010).[S.l.]：IEEE Press，2010：1-4.

[16]SCHWARZ H，MARPE D， WIEGAND T.Overview of the scalable video coding extension of the H.264/AVC standard[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17(9)：1103-1120.

[17]HE Y，OSTERMANN J，TANIMOTO M，et al.Introduction to the special section on multiview video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17(11)：1433-1435.

[18]FEZZA S A，LARABI M C，F(xiàn)ARAOUN K M.Feature-based color correction of multi-view video for coding and rendering enhancement[J].IEEE Trans.Circuits and Systems for Video Technology，2014，24(9)：1486-1498.

[19]MARIO C，CARL J D.An adaptive lagrange multiplier technique for multi-view video plus depth coding[C]//Proc.Picture Coding Symposium(PCS 2013).San Jose，CA：IEEE Press，2013：249-252.

[20]SULGLIVAN G J，WIEGAND T，SCHWARZ H.JVT-AD007：Editorsdraft revision to ITU-T H.264，ISO/IEC14496-10 advanced video coding in preparation for ITU-TSG 16 AAP consent(in integrated form)[S].2009.

[21]CHUNG T Y，SIM J Y，KIM C S.Bit allocation algorithm with novel view synthesis distortion model for multi-view video plus depth coding[J].IEEE Trans.Image Processing，2014，23(8)：3254-3267.

[22]SLEPIAN J D，WOLF J K.Noiseless coding of correlated information sources[J].IEEE Trans.Information Theory，1973，19(4)：471-480.

[23]WYNER A D，ZIV J.The rate-distortion function for source coding with side information at the decoder[J].IEEE Trans.Information Theory，1975，22(1)：1-10.

[24]CANDES E J， ROMBERG J.Quantitative robust uncertainty principles and optimally sparse decompositions[J].Foundations of Compute Math.，2006，6(2)：227-254.

[25]DONOHO D L.Compressed sensing[J].IEEE Trans.Information Theory，2006，52(4)：1289-1306.

[26]KANG L W，LU C S．Distributed compressive video sensing[C]//Proc.IEEE International Conference on Acoustics，Speech，and Signal Processing．Piscataway：IEEE Press，2009：1169-1172．

[27]武曉嘉，郭繼昌，姜丹，等.一種多視點(diǎn)立體視頻分布式壓縮感知編解碼模型[J].天津大學(xué)學(xué)報(bào)，2012，45(10)：895-902.

[28]XI Zhanghao，LIU Heping，REN Zhenqin，et al.The summary of the application of pattern recognition in image progressing[J].Advanced Materials Research，2012(532)：1329-1333.

[29]黎洪松，李達(dá).一種新的基于自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的靜止圖像編碼方案[J].北京師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2006，42(5)：498.

[30]CHIRCO P，ZANARINI M.Image analysis and pattern recognition for the localization of medical devices in the operational field[C]//Proc.SPIE Optical Engineering Applications,International Society for Optics and Photonics.[S.l.]：SPIE Press，2011：125-128.

[31]李達(dá)，黎洪松.一種改進(jìn)的立體圖像編碼算法[J].北京師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，43(1)：50.

[32]KOSCHAN A.A survey of current stereo papers[D].Berlin：Univ.of Berlin，1993.

[33]BROWN M Z，BURSCHKA D，HAGER G D.Advances in computational stereo [J].IEEE Trans.Pattern Analysis and Machine Intelligence，2005，25(8)：993-1008.

[34]ZHU S，YANG L.A survey of adaptive disparity estimation[C]//Proc.International Conference on Industrial Control and Electronics Engineering (ICICEE 2012).[S.l.]：IEEE Press，2012：958-961.

[35]POLLEFEYS M.Vision modeling with a hand-held camera[J].International Journal of Computer Vision，2004，59(3)：207-232.

[36]KALOMIROS J A.Dense disparity features for fast stereo vision[J].J.Electron.Imaging，2012，21(4)：23-43.

[37]STEFANO L D， MARCHIONNI M， MATTOCCIA S.A fast area-based stereo matching Algorithm[J].Image and Vision Computing，2006，22(12)：983-1005.

[38]ZITINICK C L，KANADE T.A cooperative algorithm for stereo matching and occlusion detection[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2000，22(7)：675-684.

[39]CECH J， SARA R.Efficient sampling of disparity space for fast and accurate matching[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis，Minnesota，USA：IEEE Press，2008：1-8.

[40]HU Tingbo，QI Baojun，WU Tao，et al.Stereo matching using weighted dynamic programming on a single-direction four connected tree[J].Computer Vision and Image Understanding， 2012，116(8)：908-921.

[41]WANG D L，LIM K B.Obtaining depth map from segment-based stereo matching using graph cuts[J].Journal of Visual Communication and Image Representation，2011，22(4)：325-331.

[42]PEREZ J M，SANCHEZ P.Real-time stereo matching using memory efficient belief propagation for high-definition 3D telepresence systems[J].Pattern Recognition Letters，2011，32(16)：2250-2253.

[43]DAVID G L.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60(2)：91-110.

[44]MOSHE Y，HELOR H．Video block motion estimation based on gray-code kernels[J].IEEE Trans.Image Process，2009，18(10)：2243-2254.

[45]BROX T，MALIK J．Large displacement optical flow：descriptor matching in variational motion estimation[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2011，33(3)：500-513．

[46]HUANG Y R，CHAU Y.A fast recursive algorithm for gradient-based global motion estimation in sparsely sampled field[C]//Proc.8th International Conference on Intelligent Systems Design and Applications.Washington，DC，USA：IEEE Press，2008：84-88．

[47]AKIN A，SAYILAR G，HAMZAOG L I． High performance hardware architectures for one bit transform based single and multiple reference frame motion estimation[J].IEEE Trans． Consumer Electron，2010，56(2)：1144-1152．

[48]HU M，HU W，TAN T.Tracking people through occlusions[C]//Proc.17th Int.Conf.on Pattern Recognition.Cambridge，UK：IEEE Press，2004：724-727.

[49]AHRA J，JANG G J，HAN B.Occlusion detection using horizontally segmented windows for vehicle tracking[J].Multimedia Tools and Applications，2014(9)：784-790.

[50]王展青，凡友福，張桂林.跟蹤遮擋目標(biāo)的一種魯棒算法[J].計(jì)算機(jī)工程與應(yīng)用，2007，43(27)：50-53.

[51]ZHANG Shihui，LIU Jianxin.A self-occlusion detection approach based on depth image using SVM[J].International Journal of Advanced Robotic Systems，2012(9)：230-243.

[52]YOUN J L，SUNG J L，KANG R P，et al.Single view based 3D face reconstruction robust to self occlusion[J].EURASIP Journal on Advances in Signal Processing，2012，2012(1)：176.

[53]ZEGER K.Residual image coding for stereo image compression[J].Optical Engineering，2003，42(1)：182-189.

[54]景麟，王宏遠(yuǎn)，馬泳，等.基于殘差分布特性的運(yùn)動(dòng)補(bǔ)償算法[J].計(jì)算機(jī)工程，2008，34(12)：194.

[55]向友軍，吳宗澤，張克新.運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波殘差圖像的特性研究[J].電視技術(shù)，2009，33(11)：11-21.

[56]胡曉飛， 詹學(xué)峰， 朱秀昌.基于自適應(yīng)變論域模糊理論的CBR視頻碼率控制策略[J].信號(hào)處理，2009(7)：1141-1145.

[57]SABRY A，EL-BADAWY H，SHEHATA K，et al.A novel resource allocation technique for vbr video traffic in the uplink over WiMAX networks [C]//Proc.International Conference on Information and Multimedia Technology(ICIMT′09).[S.l.]：IEEE Press，2009：442-448.

[58]LIM J E，KIM J.Advanced rate control technologies for 3D-HDTV[J].IEEE Trans.Consumer Electronics，2003，4(49)：1498-1507.

[59]NAITO S，MATSUMOTO S.Advanced rate control technologies for 3D-HDTV digital coding based on MPEG-2 multi-view profile[C]//Proc.International Conference on Image Processing(ICIP 99).[S.l.]：IEEE Press，1999：281-285.

[60]盧山，孫軍，王嘉.基于人眼立體視覺(jué)特性的多視視頻碼率控制算法[J].中國(guó)圖象圖形學(xué)報(bào)，2009，14(11)：2396-2400.

[61]LIU Y W，HUANG Q M，MA S W.A novel rate control technique for multiview video plus depth based 3D video coding[J].IEEE Trans.Broadcasting，2011，57(2)：562-571.

[62]ZHANG Y， JIANG G，YU M.Stereoscopic visual attention-based regional bit allocation optimization for multiview video coding[J].EURASIP Journal on Advances in Signal Processing，2010(7)：24-26.

[63]李世忠，胡萃，顧學(xué)邁，等.新型遙感立體圖像編碼質(zhì)量評(píng)價(jià)方法[J].西安電子科技大學(xué)學(xué)報(bào)，2009，36(5)：927-932.

[64]陳云華，余永權(quán)，曾碧.一種基于新型遺傳算法的塊運(yùn)動(dòng)估計(jì)算法[J].計(jì)算機(jī)工程與應(yīng)用，2005(34)：86-88.

[65]LIN W Y，PANUSOPONE K，BAYLON D M． A fast sub-pixel motion estimation algorithm for H.264/AVC video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2011，21(2)：237-242.

[66]OZBEK N.Trellis-based optimization of layer extraction for rate adaptation in real-time scalable stereo video coding[J].Turkish Journal of Electrical and Computer Sciences，2012，20(4)：557-567.

Research Development of Stereo Video and Image Coding

QIN Yuannian，XU Xiaoning

(GuilinUniversityofElectronicTechnology，CollegeofInformationandCommunication，GuangxiGuilin541004，China)

The development of stereo video and image coding research is overviewed from three aspects， which include coding schemes， key technologies and evaluation criteria.The characteristics and applicable scope of each kind of coding scheme are represented in this paper.In addition， five key technologies are described in the stereo video and image coding， which include disparity estimation， motion estimation， occlusion detection， residual image coding and rate control.In the end， the existing problems are pointed out in the research of stereo video and image coding， at the same time， the direction of research in the future is prospected.

stereo video coding；disparity estimation；occlusion detection；scalable coding；compressed sensing

國(guó)家自然科學(xué)基金項(xiàng)目(61261035)

TN91

A

10.16280/j.videoe.2015.07.003

2014-06-09

【本文獻(xiàn)信息】覃遠(yuǎn)年，徐曉寧.立體視頻圖像編碼的研究進(jìn)展[J].電視技術(shù),2015，39(7).

覃遠(yuǎn)年(1971— )，碩士生導(dǎo)師，主要研究方向?yàn)闊o(wú)線通信系統(tǒng)和信號(hào)處理；

徐曉寧(1987— )，碩士生，主要研究方向?yàn)閳D像處理、立體圖像壓縮研究。

責(zé)任編輯:時(shí) 雯