H.264中FMO模式的性能測(cè)試及應(yīng)用研究*

喻 欣，周 亮，楊曉秋，劉 蓓

（重慶有線(xiàn)電視網(wǎng)絡(luò)有限公司 規(guī)劃設(shè)計(jì)院，重慶 400051）

1 引言

H.264是ISO與ITU-T于2003年聯(lián)合頒布的新一代低比特率視頻壓縮標(biāo)準(zhǔn)，其主要目的是提高壓縮效率和增加網(wǎng)絡(luò)友好性[1]。該標(biāo)準(zhǔn)雖獲得了很好的編碼效率，但也使得其抗誤碼能力更加脆弱，誤碼擴(kuò)散會(huì)引起重構(gòu)圖像質(zhì)量的急劇下降。因此在H.264中，引入了一些新的抗誤碼差錯(cuò)控制技術(shù)，如靈活宏塊重排（Flexible Macroblock Ordering，F(xiàn)MO）技術(shù)。目前國(guó)內(nèi)外對(duì)FMO技術(shù)進(jìn)行了一定的研究，文獻(xiàn)[2]研究了一種FMO模式下的優(yōu)化技術(shù)；文獻(xiàn)[3]測(cè)試了FMO技術(shù)對(duì)幾個(gè)編碼參數(shù)的影響，并提出了一種FMO模式下提高錯(cuò)誤隱藏效果方法；文獻(xiàn)[4]和文獻(xiàn)[5]針對(duì)FMO提出了非等差錯(cuò)保護(hù)思想；文獻(xiàn)[6]提出了一種通過(guò)模式切換的方法提高容錯(cuò)能力。這些文獻(xiàn)尚未對(duì)各種FMO模式的編解碼參數(shù)作出比較完整的分析，也沒(méi)有對(duì)采用各種FMO模式編碼后的碼流進(jìn)行抗誤碼能力的測(cè)試。

筆者在分析FMO原理的基礎(chǔ)上，總結(jié)出FMO差錯(cuò)控制思想及各種模式宏塊重排的特點(diǎn)。通過(guò)研究H.264官方測(cè)試代碼JM86基線(xiàn)檔次中FMO設(shè)置參數(shù)的含義，實(shí)現(xiàn)了一種合理的宏塊分配映射方式用于后續(xù)測(cè)試。最后，選取4種標(biāo)準(zhǔn)視頻測(cè)試序列和不同的模擬信道丟包模式，對(duì)各種FMO模式下的編解碼效率及抗誤碼能力進(jìn)行了測(cè)試，并總結(jié)出了各種模式的應(yīng)用場(chǎng)所。

2 FMO原理及基本模式

FMO是通過(guò)宏塊分配映射技術(shù)，按照一定的方式將一類(lèi)宏塊映射到1個(gè)片組中。如果只有2個(gè)片組，則對(duì)片組分開(kāi)進(jìn)行傳送，如果片組中還分為不同的片，則相同片組中的片分開(kāi)傳送。由于整幅圖像中一些相鄰宏塊分布在不同的片中，丟失塊可充分利用周?chē)噜弶K的相關(guān)信息進(jìn)行錯(cuò)誤隱藏，因此可以較好地恢復(fù)出錯(cuò)誤圖像，提高抗誤碼能力[7-8]。H.264中定義了7種宏塊到片組的映射方式：

1）交織（Interleaved）模式（FMO0），不同片組交替出現(xiàn)，圖1a是三片組的交織模式。

2）分散（Dispersed）模式（FMO1），相鄰宏塊分散出現(xiàn)在不同的片組中，該模式下某個(gè)宏塊與其周?chē)纳舷伦笥?個(gè)相鄰塊都不在同一片組中。兩片組分散模式如圖1b所示。

3）前后景（Fore-ground with left-over）模式（FMO2），將圖像按照不同特點(diǎn)分為1個(gè)或幾個(gè)矩形區(qū)域，把各區(qū)域的宏塊分配到不同的片組，兩片組前后景模式如圖1c所示。

4）環(huán)形掃描（Box-out）模式（FMO3），將圖像中心區(qū)域的宏塊定義為片組中較小的宏塊，以順時(shí)針或逆時(shí)針?lè)较蛐D(zhuǎn)確定片組大小，中心區(qū)域以外的宏塊則定義為第2個(gè)片組。旋轉(zhuǎn)方向、宏塊數(shù)目由參數(shù)設(shè)定。圖1d是兩片組順時(shí)針?lè)较驋呙钑r(shí)的環(huán)形掃描模式。

5）光柵（Raster-scan）模式（FMO4），將圖像分為上下2個(gè)片組，可從左到右、從上到下，也可從右到左、從下到上進(jìn)行掃描。片組宏塊數(shù)目由參數(shù)設(shè)置確定。圖1e是兩片組從左到右、從上到下掃描時(shí)的光柵模式。

6）擦拭掃描（Wipe）模式（FMO5），將圖像分為左右2個(gè)片組。從上到下、從左到右掃描的擦拭模式如圖1f所示。

7）顯示控制（Explicit）模式（FMO6），由用戶(hù)指明每個(gè)宏塊屬于哪個(gè)片組，可在配置文件為每個(gè)宏塊設(shè)置其所屬的片組，設(shè)置順序?yàn)楣鈻艗呙桧樞颉?/p>

FMO0，F(xiàn)MO2與 FMO6需要使用 sg0/2/6cong.cfg配置文件，把一幅圖像中的宏塊在其模式下按照一定的方式分配到片組中。其他模式有固定的片組分配方式，不需要進(jìn)行配置。片組分配完成后，再做片設(shè)置，完成片組到片的分配過(guò)程。

3 FMO參數(shù)設(shè)置及文件配置

在JM86基線(xiàn)檔次的配置文件enconder_baseline.cfg中，F(xiàn)MO配置參數(shù)含義如下：

SliceMode（參數(shù)1）：對(duì)是否分片及分片方式進(jìn)行設(shè)置。0為不分片；1為以固定宏塊數(shù)分片；2為以固定比特?cái)?shù)分片。

SliceArgument（參數(shù)2）：對(duì)不同的分片方式下片的大小進(jìn)行設(shè)置。0表示SliceArgument無(wú)效；1表示以宏塊為單位進(jìn)行分片，每個(gè)片有SliceArgument個(gè)宏塊；2表示以字節(jié)為單位進(jìn)行分片，每個(gè)片有SliceArgument個(gè)字節(jié)。

num_slice_groups_minus1（參數(shù) 3）：是否使用 FMO 及片組數(shù)目設(shè)置。0表示不使用FMO；1表示設(shè)置兩個(gè)片組，2表示設(shè)置3個(gè)片組。

slice_group_map_type （參數(shù) 4）：0～6 分別表示設(shè)置FMO0～FMO6模式。

slice_group_change_direction_flag（參數(shù) 5）：設(shè)置值為0或1，對(duì)環(huán)形掃描，光柵掃描，擦式掃描模式中的掃描方向進(jìn)行設(shè)置。

slice_group_change_rate_minus1（參數(shù) 6）：對(duì)環(huán)形掃描，光柵掃描，擦式掃描模式每個(gè)片組的宏塊個(gè)數(shù)進(jìn)行設(shè)置。

SliceGroupConfigFileName（參數(shù) 7）：設(shè)置值為“sg0conf.cfg”/“sg2conf.cfg”/“sg6conf.cfg”， 對(duì) FMO0，F(xiàn)MO2，F(xiàn)MO6模式下片組區(qū)域進(jìn)行設(shè)置。

第7種模式為自定義模式，筆者對(duì)H.264的前6種FMO模式及無(wú)FMO模式進(jìn)行測(cè)試，對(duì)基線(xiàn)檔次的FMO參數(shù)設(shè)置如表1所示，表中的“/”表示在該模式下此參數(shù)無(wú)效。

這里對(duì)前6種FMO模式和無(wú)FMO模式進(jìn)行測(cè)試和比較。由于前6種FMO模式中有的模式只能分為2個(gè)片組，所以本文將所有模式都分為2個(gè)片組。此外為使得各模式下片分配方式有較大差異，片大小設(shè)置為30。圖2a～2g為各種設(shè)置參數(shù)下的片組及片分配示例。

表1 不同F(xiàn)MO模式參數(shù)設(shè)置

4 FMO性能測(cè)試及應(yīng)用分析

測(cè)試所用的計(jì)算機(jī)配置為：AMD Turion 64×2 Mobile Technology TL-602.00 GHz，1.87 Gbyte；采用 H.264官方測(cè)試平臺(tái)JM86；基本參數(shù)設(shè)置為基線(xiàn)檔次，編碼100幀，IPPPP 格式，幀率為 30 f/s（幀/秒），CAVLC 熵編碼方式，RTP輸出格式，量化步長(zhǎng)為28，率失真（rd-optimized mode）設(shè)置為 1。

采用 news，foreman，silent和 carphone 4 種不同特點(diǎn)的QCIF格式的標(biāo)準(zhǔn)視頻測(cè)試序列。

4.1 FMO編解碼效率測(cè)試

圖3a～3e分別為對(duì)100幀4種不同特點(diǎn)、IPPPP格式的視頻序列進(jìn)行測(cè)試后，得到P幀的運(yùn)動(dòng)估計(jì)時(shí)間、編碼時(shí)間、編碼輸出比特率、解碼圖像的亮度峰值信噪比（PSNRY）、解碼時(shí)間的測(cè)試結(jié)果。

通過(guò)對(duì)測(cè)試結(jié)果的分析，可得到如下結(jié)論：

1）運(yùn)動(dòng)估計(jì)時(shí)間：運(yùn)動(dòng)估計(jì)時(shí)間不會(huì)因?yàn)镕MO模式的不同而有較大的變化。因?yàn)閷?duì)P幀的每個(gè)宏塊做運(yùn)動(dòng)估計(jì)是通過(guò)重構(gòu)幀來(lái)進(jìn)行的，與P幀中宏塊本身的排列順序無(wú)關(guān)。

2）編碼時(shí)間：FMO1模式的編碼時(shí)間最少，F(xiàn)MO0模式次之，其他模式編碼時(shí)間相差不大。這是因?yàn)樵贗幀中，對(duì)某一個(gè)片中的宏塊作幀內(nèi)預(yù)測(cè)時(shí)，F(xiàn)MO1沒(méi)有可用預(yù)測(cè)的相鄰塊，因此不作幀內(nèi)預(yù)測(cè)。FMO0模式只使用上側(cè)的宏塊進(jìn)行預(yù)測(cè)，而其他模式下可用于預(yù)測(cè)的相鄰塊較多，預(yù)測(cè)的范圍越大，預(yù)測(cè)時(shí)間越多。

3）編碼輸出比特率：FMO1模式的輸出比特率最高，原因是該模式不作幀內(nèi)預(yù)測(cè)，直接進(jìn)行幀內(nèi)編碼。FMO0模式只使用上側(cè)相鄰塊進(jìn)行預(yù)測(cè)，預(yù)測(cè)精度不高，殘差值較大，輸出碼流較大。其他模式下片內(nèi)相鄰宏塊較多，預(yù)測(cè)較準(zhǔn)確，殘差值較小，輸出比特率也相對(duì)較小。

4）PSNRY：不同F(xiàn)MO模式下解碼圖像的PSNRY變化不大。圖像的重構(gòu)質(zhì)量主要取決于量化精度，量化精度一樣，則重構(gòu)質(zhì)量幾乎相同。

目前，我國(guó)大部分中小型企業(yè)都以成本精細(xì)化管理來(lái)提高自身的綜合發(fā)展實(shí)力。醫(yī)院實(shí)行成本精細(xì)化管理不僅可以提高醫(yī)院的綜合實(shí)力，還能更好地處理與患者之間微妙的關(guān)系。

5）解碼時(shí)間：在不同F(xiàn)MO模式下解碼時(shí)間變化不大。FMO只是對(duì)宏塊順序進(jìn)行重排，解碼端只需對(duì)順序進(jìn)行恢復(fù)，因此沒(méi)有增加解碼端的復(fù)雜度。

4.2 FMO抗誤碼能力測(cè)試

模擬信道丟包程序Mobile IP有3類(lèi)錯(cuò)誤模式，即18681.3、18681.4和wcdma。經(jīng)過(guò)18681.3丟包后的碼流丟失率約為30%～40%，18681.4約為10%～20%，而wcdma有多個(gè)文件分別模擬不同信道的特點(diǎn)，這里選取的是wcdma_64kb_3kph_5e-04.bin文件，這種錯(cuò)誤模式下I幀不作丟失，碼流的丟失率大約在5%以下。對(duì)不同F(xiàn)MO模式編碼后的碼流在不同錯(cuò)誤模式下進(jìn)行丟包后解碼，得到其解碼幀數(shù)如圖4a～4c所示。

由圖4a～4c可看出，丟失率越小，解碼成功的機(jī)會(huì)越大。但在wcdma文件下，即使I幀不丟失，碼流仍然可能不解碼。這是因?yàn)榇a流中的一些頭信息丟失，導(dǎo)致不能正常解碼。

筆者將同一模式下的解碼成功次數(shù)進(jìn)行了統(tǒng)計(jì)，數(shù)據(jù)比較如圖5所示。FMO0與FMO1具有較好的抗誤碼能力，即使在丟包率較高的情況下也可能正確解碼。無(wú)FMO與FMO4模式的抗誤碼性能也不錯(cuò)，在保證I幀正確接收的情況下也能正確解碼。FMO5模式比剩余其他模式的抗誤碼性能要好，最差的是FMO3。

宏塊分配映射方式不同，片與片之間的相關(guān)性不同，丟失塊與其相鄰塊所屬的片組不同，這些都會(huì)導(dǎo)致解碼時(shí)對(duì)差錯(cuò)處理的能力不同。例如在解碼當(dāng)前宏塊時(shí)找不到運(yùn)動(dòng)矢量時(shí)，可選擇相鄰宏塊中的運(yùn)動(dòng)矢量，如果相鄰塊全部丟失，則不做解碼。在FMO0與FMO1模式下，丟失塊的相鄰塊更可能正確接收，因而可以很好地處理誤碼的情況。無(wú)FMO與FMO4的宏塊映射方式類(lèi)似，因此抗誤碼性能相同。其他模式下相鄰塊丟失的可能性更大，處理差錯(cuò)的性能下降，因此抗誤碼能力較弱。

4.3 FMO的應(yīng)用研究

通過(guò)對(duì)不同F(xiàn)MO模式下的編解碼效率及抗誤碼性能進(jìn)行分析，可確定各種FMO模式的適用范圍及應(yīng)用場(chǎng)合。

FMO0與FMO1模式下編碼后碼流總比特率較高，需更大帶寬，但其編碼時(shí)間短，抗誤碼能力相對(duì)較強(qiáng)。因此，在帶寬允許的情況下可選擇這兩種模式用于實(shí)時(shí)視頻通信。此外，兩種模式片與片之間的宏塊具有更好的相關(guān)性，可提高錯(cuò)誤隱藏性能，恢復(fù)出更好的視頻質(zhì)量。因此，這兩種模式可應(yīng)用于視頻通信和高清廣播電視中。

FMO2與FMO3兩種模式下編碼后碼流的抗誤碼能力下降，比特率略低于無(wú)FMO模式。但是從這兩種模式下片組的映射過(guò)程可知，可以通過(guò)對(duì)圖像內(nèi)容劃分后進(jìn)行片組映射，進(jìn)一步提高圖像壓縮效率，從而降低總比特率。此外，通過(guò)對(duì)重要內(nèi)容進(jìn)行保護(hù)后，也可提高其碼流的容錯(cuò)能力。因此這兩種模式可以應(yīng)用于帶寬較低，實(shí)時(shí)性要求較低的流媒體服務(wù)中。

FMO4與FMO5兩種模式下編碼后的碼流無(wú)論是在抗誤碼能力還是編碼時(shí)間與比特率上均劣于無(wú)FMO模式下的碼流，并且片組分配映射方式不夠靈活，因此，筆者認(rèn)為，F(xiàn)MO4與FMO5并沒(méi)有更多的實(shí)際應(yīng)用價(jià)值。

5 小結(jié)

合理利用H.264中的FMO抗誤碼技術(shù)可以有效提高其碼流的容錯(cuò)能力。筆者對(duì)其編解碼效率、抗誤碼能力進(jìn)行了測(cè)試，通過(guò)對(duì)測(cè)試結(jié)果的比較可見(jiàn)，片內(nèi)宏塊的相關(guān)性導(dǎo)致了不同F(xiàn)MO模式預(yù)測(cè)范圍的變化、預(yù)測(cè)殘差值的變化，因此編碼時(shí)間和輸出比特率也不同。片與片之間的相關(guān)性不同也導(dǎo)致了抗誤碼能力的不同。通過(guò)分析，總結(jié)了各FMO模式下的性能特點(diǎn)及適用范圍。

[1]WIEGAND T，SULIVAN G J，BJONTEGAARD G，et al.Overview of the H.264/AVC video coding standard[J].IEEE Trans.Circuits Systems for Video Technology，2003，13（7）：560-576.

[2]謝治平，鄭更生，賀貴明.一種基于FMO的H.264容錯(cuò)編碼[J].計(jì)算機(jī)工程與應(yīng)用，2006，42（31）：200-202.

[3]萬(wàn)里晴，李學(xué)明.H.264的差錯(cuò)控制與錯(cuò)誤隱藏技術(shù)研究[J].計(jì)算機(jī)工程與應(yīng)用，2007，43（16）：53-57.

[4]HANNUKSELA M M，WANG Y K，GABBOUJ M.Isolated regions in video coding[J].IEEE Trans.Multimedia， 2004，6（2）：259-267.

[5]IM S K，PEARMAIN A J.Unequal error protection with the H.264 flexible macroblock ordering[C]//Proc.SPIE VCIP 2005.Beijing：[s.n.]，2005：1033-1040.

[6]毛樸澄，何小海，滕奇志.基于H.264的一種新型自適應(yīng)FMO選擇策略[J].電視技術(shù)，2009，33（12）：14-17.

[7]王俊生.視頻編碼新標(biāo)準(zhǔn)H.264中抗誤碼技術(shù)的研究[J].中國(guó)有線(xiàn)電視，2004，19（20）：15-18.

[8]楊華，楊松岸，余松煌.H.264的幾種抗誤碼方法的分析與比較[J].通信技術(shù)，2003（10）：1-3.