H.265為4K監(jiān)控帶來應(yīng)用春天

□文 /吳參毅

4K的引入

近幾年上，一些監(jiān)控廠家推出了4K分辨率前端，顯控廠家也推出了配套大屏，非常熱鬧。何為4K？簡單理解，所謂4K是只水平方向分別率接近4000或4096的超高清圖像。要詳細(xì)了解4K，必須要了解超高清電視（Ultra HighDefinitionTelevision，即Ultra HD television，UHDTV,UHD），UHD 包 括 4K UHD 和 8K UHD兩種分辨率，這兩種數(shù)字視頻格式由日本NHK建議，并最終稱為ITU國標(biāo)標(biāo)準(zhǔn)（如圖1所示）。同時(shí)于2012年10月消費(fèi)電子聯(lián)盟也把這兩種UHD分辨率也作為顯示分辨率。4K UHD分辨率為3840×2160（2160p，8.3Megapixels），4 倍 于 1920×1080（1080p，2.1 Megapixels）。8K UHD 分辨率為 7680×4320（4320p，33.2Megapixels），16 倍于1080P。1080P HD、4K 和 8K UHD的縱橫比均為16∶9。除此之外，數(shù)字影院促進(jìn)會(huì)還定義了另外一種4K分辨率4096×2160（8.8Megapixels，縱橫比為17∶9）。監(jiān)控領(lǐng)域大多使用ITU定義的應(yīng)用于電視領(lǐng)域的4K UHD。

UHD 相 比 于 FHD（即 HD，1920×1080），不 僅僅分辨率加大，顏色空間和幀率也進(jìn)行擴(kuò)展。FHD的色彩空間定于Rec.709，而UHD的色彩空間定義于Rec.2020（2012年正式發(fā)布）當(dāng)處理CIE 1931顏色空間時(shí)，Rec.2020顏色空間可以覆蓋到75.8%，但是Rec.709顏色空間只能覆蓋到35.9%（如圖2）。Rec.2020還允許幀率達(dá)到120fps，Rec.709最大只達(dá)到60fps。

▲圖1 SDTV、HDTV、4KUHDTV、8KUHDTV分辨率對比

▲圖2 CIE 1931顏色空間

說明：Rec.2020(UHD)顏色空間為外三角，Rec.709(HD)顏色空間為內(nèi)三角，光源D65同時(shí)為兩者的白點(diǎn)。

由此可見，4倍1080p的超高清分辨率，帶來的最直觀的好處就是清晰度更高，畫面色彩鮮艷，文字清晰銳利，和1080p相比，同一畫面下細(xì)節(jié)更清楚。 圖3是宇視1080p的IP攝像機(jī)的測試圖像；圖4是宇視4K的IP攝像機(jī)的測試圖像。

▲圖3 宇視1080p測試圖像

▲圖4 宇視4K測試圖像

粗略看，好像差不多，但放大看細(xì)節(jié)就能看出明顯的差別，圖5是兩者細(xì)節(jié)對比圖。

由圖5所示的細(xì)節(jié)對比圖可以看出，4K帶來的好處顯而易見，很多關(guān)鍵的信息不丟失，顏色更豐富，不僅僅主觀感覺圖像效果不同，對智能分析應(yīng)用準(zhǔn)確率提高大有裨益。

▲圖5 宇視4K和1080p細(xì)節(jié)對比圖

但問題也顯而易見，由于4K碼率比較大，網(wǎng)上傳輸和存儲(chǔ)需消耗很大的資源。舉例說明，一路基于H.264的1080p碼率大約是4Mbps，而基于H.264的4K碼率大約是12Mbps，造成的后果是，如果要保存1路1080p的碼流一個(gè)月，大約需要的存儲(chǔ)空間是1.4T，而要存儲(chǔ)1路4K的全幀率大約花費(fèi)是1080p的3倍，約需要4.2T。這意味著要上一個(gè)4K系統(tǒng)，網(wǎng)絡(luò)和存儲(chǔ)上比1080p要付出非常多的代價(jià)。

如何解決既想通過4K看得清晰，又不需要在網(wǎng)絡(luò)和存儲(chǔ)上投入太巨大，就必須把碼率降下來，而在目前已知的編碼方式中，H.264相比MPEG2和MPEG4等壓縮比已經(jīng)是最高的。如何進(jìn)一步提升壓縮效率，解決重任就落在H.264的繼任者俗稱H.265的HEVC上了?？梢赃@么說，HEVC就是專門為4K和8K的UHD而量身定做的。

HEVC承載4k應(yīng)用使命

HEVC全稱High Efficiency Video Coding，是繼H.264之后的新一代視頻壓縮格式。HEVC框架類似于H.264，由 ISO/IEC MPEG和ITU-T VCEG成立的視頻編碼聯(lián)合協(xié)作小組JCT-VC合作開發(fā)完成。該新的視頻壓縮標(biāo)準(zhǔn)在ISO/IEC中的名稱為ISO/IEC 23008-2(即MPEG-H part 2)，在ITU-T中的名稱為ITU-T H.265/H.HEVC。

HEVC的目標(biāo)是與H.264 HP相同級(jí)別圖像質(zhì)量的情況下只需其一半的碼率，即壓縮效率提升一倍。但是編碼復(fù)雜度會(huì)增加數(shù)倍。壓縮效率提升的好處顯而易見，按照碼率降50%來算，一個(gè)H.264的4K碼流碼率將變成6Mbps，只比原來的1080p多2Mbps，一路一月存儲(chǔ)下來能省大約2.1個(gè)TB的空間，非常有經(jīng)濟(jì)效益。導(dǎo)致目前，很多互聯(lián)網(wǎng)視頻廠家，已經(jīng)通過H.265存儲(chǔ)來省帶寬和存儲(chǔ)空間，如迅雷、優(yōu)酷等均已宣稱支持H.265。

HEVC的起源

在H.264的2005年1月份的會(huì)議上，ISO/IEC MPEG和ITU-T VCEG成立了“Key Technical Areas（KTA）”專題，同時(shí)KTA的參考軟件基于H.264的參考軟件JM實(shí)現(xiàn)，HEVC就是在KTA的基礎(chǔ)上發(fā)展而來。

從2010年4月JCT-VC第一次會(huì)議召開，到2013年4月，歷時(shí)4年HEVC終于成為國際標(biāo)準(zhǔn)。2014年4月13日，H.HEVC/H.265成為ITU-T的標(biāo)準(zhǔn)，在2013年11月25日，ISO/IEC 23008-2（MPEG-H Part 2）最終稱為ISO/IEC的標(biāo)準(zhǔn)。HEVC包含了最近幾年間的大量的視頻編解碼算法方面的最新研究成果，成為國際上代表了最高的視頻壓縮效率的新一代視頻標(biāo)準(zhǔn)。

HEVC編碼框架

HEVC視頻編碼器框圖如圖6所示。由此可見，HEVC類似于之前的圖像視頻編解碼標(biāo)準(zhǔn)，仍然采用了預(yù)測+變換的“混合”架構(gòu)。

▲圖6 HEVC編碼框架（注：其中紫色部分為解碼器）

HEVC編碼技術(shù)

HEVC相比于H.264，之所以編碼效率提高一倍，主要得益于其采用了更大的圖像分割尺寸。H.264中圖像最大的圖像分割單元（宏塊MB）尺寸為16×16。HEVC 中的 CTU（Coding Tree Unit）又稱為最大編碼單元（Largest Coding Unit），其尺寸范圍為64×64、32×32、16×16。實(shí)驗(yàn)表明CTU的尺寸越大壓縮效率越高，其具體實(shí)驗(yàn)如表1所示?；贖EVC參考模型HM-8.0版本（截止2014年2月份，HEVC參考模型版本為HM13.0）測試，評(píng)價(jià)標(biāo)準(zhǔn)為客觀評(píng)價(jià)指標(biāo)PSNR。測試序列為JCT-VC中使用的4類測試序列。

對分辨率為2560×1600的A類測試序列來說，全部強(qiáng)制32×32的CTU比全部強(qiáng)制64×64時(shí)，比特率提高5.7%；全部強(qiáng)制16×16的CTU比全部強(qiáng)制64×64時(shí)，比特率提高28.2%。

對四類所有序列，圖像中的CTU尺寸強(qiáng)制設(shè)置為32×32時(shí)的比特率要比強(qiáng)制設(shè)為64×64高2.2%，全部強(qiáng)制設(shè)為16×16的比特率要不全部強(qiáng)制設(shè)為64×64高11%。

表1 更小CTU尺寸導(dǎo)致更高比特率

表1 所示的實(shí)驗(yàn)表明對高分辨率視頻來說，采用更大尺寸的CTU對提高編碼效率更加有益。同時(shí)這項(xiàng)實(shí)驗(yàn)還表明，全部采用16×16的CTU編碼的解碼時(shí)間要比全部采用64×64的CTU的解碼時(shí)間要長60%。即采用更大尺寸的CTU也對降低解碼時(shí)間有益，即在提高編碼效率的同時(shí)降低編碼時(shí)間。

HEVC采用四叉樹的編碼樹單元架構(gòu)，如圖7和圖 8。CTU 的尺寸可為 64×64、32×32、16×16。編碼樹單元可以進(jìn)一步按照四叉樹結(jié)構(gòu)細(xì)分，即一分為四個(gè)相同尺寸區(qū)域，同時(shí)每個(gè)區(qū)域還可以繼續(xù)四叉樹細(xì)分。不再細(xì)分的編碼單元（CU）稱為編碼塊（CB）。

所謂的編碼單元包含編碼塊和編碼單元中塊的細(xì)分層次等語法元素。HEVC之所以具有高壓縮效率，其中就在于其采用的自適應(yīng)的CTU尺寸，根據(jù)不同圖像區(qū)域紋理內(nèi)容的不同，采用不同尺寸的CTU。

對解碼器來說，不同區(qū)域選擇怎么樣的CTU已經(jīng)在碼流中固定了，但是對編碼器來說，如何理解圖像內(nèi)容，自適應(yīng)采用不同尺寸的CTU以及CU將是一個(gè)艱巨的挑戰(zhàn)。對同一段視頻序列中同一幀的同一塊區(qū)域來說，不同的HEVC編碼器實(shí)現(xiàn)方案所采用的CTU尺寸或許不同，因此真正的編碼效果和編碼效率也不同。所以真正的核心在如何使用圖像分析算法去理解圖像紋理內(nèi)容，快速高效的選擇最佳編碼模式。

▲圖7 編碼樹單元架構(gòu)

▲圖8 遞歸四叉樹細(xì)分得到的編碼塊（白色）和變換塊（紅色）

CTU的最底層編碼單元成為編碼塊（CB），編碼塊作為預(yù)測單元（PU）。預(yù)測單元可以進(jìn)一步細(xì)分成不同尺寸的預(yù)測單元，最底層的預(yù)測單元成為預(yù)測塊（PB）。預(yù)測單元的尺寸范圍為64×64～4×4?？紤]到解碼過程中運(yùn)動(dòng)補(bǔ)償時(shí)最壞情況下的內(nèi)存帶寬使用，幀間預(yù)測編碼的預(yù)測單元的最小尺寸，在單向預(yù)測中，限制在8×4或4×8；在雙向預(yù)測中限制在8×8。如圖9所示，相比于H.264中的四叉樹細(xì)分和1/2細(xì)分，HEVC還增加了1/3+2/3細(xì)分。從標(biāo)準(zhǔn)規(guī)范上涵蓋了預(yù)測單元內(nèi)圖像紋理的各種可能情況，即HEVC的碼流能夠支持各種可能的紋理分割預(yù)測模式，相比H.264碼流標(biāo)準(zhǔn)，提高了兼容性，相比于H.264解碼器，復(fù)雜度增加不大。但是對編碼器設(shè)計(jì)來講，如何充分理解圖像紋理內(nèi)容，使用合理的圖像分析算法，快速高效的找到最佳預(yù)測單元細(xì)分模式將是一項(xiàng)充滿挑戰(zhàn)的工作。

▲圖9 預(yù)測單元?jiǎng)澐帜Ｊ?/p>

最底層的預(yù)測單元成為預(yù)測塊，運(yùn)動(dòng)估計(jì)后的預(yù)測殘差塊形成變換單元（TU），變換單元可以進(jìn)一步細(xì)分，最底層的變換單元成為變換塊（TB）。一個(gè)變換塊的尺寸可以是 32×32、16×16、8×8、4×4。

就變換塊尺寸來講，HEVC對比H.264，增加了更大尺寸的32×32變換。

除了以上重要的技術(shù)，HEVC還有適合多核并行處理的瓦片機(jī)制和波陣面并行處理機(jī)制，還有熵編碼、幀內(nèi)預(yù)測、幀內(nèi)預(yù)測、運(yùn)動(dòng)補(bǔ)償、運(yùn)動(dòng)矢量預(yù)測、反變換、環(huán)路濾波、去塊濾波器、樣點(diǎn)自適應(yīng)濾波器等各方面的全面改進(jìn)。

HEVC標(biāo)準(zhǔn)支持的顏色空間有：NTSC、PAL、Rec.601、Rec.709、Rec.2020、SMPTE 170M、SMPTE 240M、sRGB、sYCC、svYCC等。這些顏色空間不僅包含表清和高清的顏色空間，還包含的4K和8K的顏色空間，在顏色豐富程度上充分支持了高清和超高清應(yīng)用。

HEVC范圍擴(kuò)展：HEVC不僅僅支持8bit位寬樣點(diǎn)，還支持10bit、12bit、16bit位寬樣點(diǎn)；HEVC 還支持DPCM格式的無損壓縮；除了4∶2∶0色度空間格式，HEVC 還支持 4∶2∶2 和 4∶4∶4 色度空間格式；HEVC 還支持圖片壓縮，其中的Main still profile就是專門為圖片壓縮而設(shè)計(jì)。相比于JPEG和JPEG2000圖片壓縮格式，HEVC的圖片壓縮效率提高顯著。如表2所示。

表2 基于PSNR和MOS的圖片壓縮效率對比

HEVC編解碼實(shí)現(xiàn)復(fù)雜度

從以上編碼技術(shù)來看，HEVC的確比H.264提供更高級(jí)的算法。同時(shí)作為一個(gè)視頻壓縮標(biāo)準(zhǔn)，為更多的算法技術(shù)提供了更多的碼流規(guī)范。視頻編碼標(biāo)準(zhǔn)作為一個(gè)規(guī)范，類似于監(jiān)控中的平臺(tái)互聯(lián)互通中的國標(biāo)或者DB33，它只提供接口，只在碼流格式層面為高效壓縮提供盡可能多的模式規(guī)范。但是對編碼器設(shè)計(jì)來說，要想充分利用這種可能，則需要在上述的各個(gè)技術(shù)方面進(jìn)行創(chuàng)新和突破，在充分理解視頻圖像的基礎(chǔ)上，充分利用各種視頻圖像分析技術(shù)，尋找便捷快速算法，但又不能消耗過多的內(nèi)存容量和內(nèi)存交換帶寬。

鑒于HEVC壓縮標(biāo)準(zhǔn)才發(fā)布不久，上述的各種技術(shù)也是剛標(biāo)準(zhǔn)化。編碼器的快速算法的研究實(shí)現(xiàn)還需要一段時(shí)間，可以預(yù)見在將來的一兩年里將是這些快速算法的爆發(fā)期。等這些快速算法實(shí)現(xiàn)并成熟后，HEVC編碼器的SOC方案才會(huì)真正的落地。

但是從解碼器角度來看，HEVC其復(fù)雜度并不大，類似于H.264，可以在現(xiàn)有的各種平臺(tái)上實(shí)現(xiàn)。故現(xiàn)在市面上首先發(fā)布的一些HEVC方案大都是HEVC解碼器，有軟件的，也有硬件的。

應(yīng)用趨勢分析

當(dāng)然，H.265的出現(xiàn)不僅僅是對4K好，對目前的720p、1080p高清設(shè)備同樣有效，采用H.265編碼大約用1Mbps就能完成720p的傳輸，2Mbps完成1080p的傳輸。由于目前4G的普及，意味著我們通過手機(jī)端就能完成高清碼流的看控存查。同樣，隨著碼流的下降，高清設(shè)備所占用的存儲(chǔ)空間大大下降。雖然H.265是大勢所趨，但基于上面的介紹可以看出，H.265的真正落地還需要一段時(shí)間。主要原因是一是算法的復(fù)雜度高，至今沒有芯片廠家推出SOC的編碼方案，很多廠家是通過CPU或者多核DSP來提供H.265，效率低，價(jià)格高，也不實(shí)用。二是H.265的專利收費(fèi)用問題，谷歌的開源的VP9進(jìn)步明顯，同樣也會(huì)對H.265的落地造成一定影響。