HEVC技術(shù)的專(zhuān)利狀況分析

張志華

摘 要 文章首先簡(jiǎn)要介紹了高效視頻編碼（HEVC）的產(chǎn)生背景，隨后對(duì)其相對(duì)于H.264/AVC采用的新的關(guān)鍵技術(shù)進(jìn)行了介紹，然后通過(guò)對(duì)HEVC進(jìn)行檢索，統(tǒng)計(jì)分析了HEVC技術(shù)的專(zhuān)利申請(qǐng)情況，并介紹了典型的專(zhuān)利申請(qǐng)案例，對(duì)HEVC的專(zhuān)利概況進(jìn)行了簡(jiǎn)單的梳理。

關(guān)鍵詞 HEVC；專(zhuān)利申請(qǐng)；專(zhuān)利分析

中圖分類(lèi)號(hào) C18 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2018）219-0136-03

近年來(lái)，隨著高清、超高清視頻應(yīng)用的興起，視頻信息的數(shù)據(jù)量大大增加，現(xiàn)有的視頻壓縮標(biāo)準(zhǔn)H.264/AVC已經(jīng)不能滿(mǎn)足海量視頻的傳輸和存儲(chǔ)要求。為此，ITU-T和ISO/IEC聯(lián)合成立了視頻編碼聯(lián)合組（JCT-VC），致力于研制具有更高壓縮率的新一代視頻編碼標(biāo)準(zhǔn)——H.265/HEVC [ 1 ]。

1 HEVC關(guān)鍵技術(shù)[2]

1.1 基于四叉樹(shù)靈活的塊分割結(jié)構(gòu)

HEVC中為圖像的劃分定義了一套全新的分割結(jié)構(gòu)，包括：編碼樹(shù)單元（CTU）、編碼單元（CU）、預(yù)測(cè)單元（PU）和變換單元（TU）。一個(gè)CTU可以通過(guò)四叉樹(shù)遞歸分解的方式劃分為若干CU，一個(gè)CU在進(jìn)行幀內(nèi)/幀間預(yù)測(cè)時(shí)可以劃分成一個(gè)或多個(gè)PU，在進(jìn)行變換和量化時(shí)又可以劃分成多個(gè)TU。每個(gè)葉子節(jié)點(diǎn)上的CU是HEVC中進(jìn)行編碼的基本單位，用于指示當(dāng)前塊的預(yù)測(cè)模式，即幀內(nèi)或幀間預(yù)測(cè)。這種四叉樹(shù)結(jié)構(gòu)使得HEVC能夠根據(jù)當(dāng)前塊的局部特性靈活地進(jìn)行分塊處理，在平滑區(qū)域采用較大的編碼單元，而在紋理細(xì)節(jié)區(qū)域采用較小的編碼單元，從而能夠更好地提高壓縮效率。

1.2 改進(jìn)的幀內(nèi)預(yù)測(cè)技術(shù)

為了更準(zhǔn)確地反映紋理特性，降低預(yù)測(cè)誤差，HEVC提出了更為精確的幀內(nèi)預(yù)測(cè)技術(shù)。對(duì)于亮度信息，HEVC中一共定義了35種幀內(nèi)預(yù)測(cè)模式，包括Planar預(yù)測(cè)模式、DC預(yù)測(cè)模式和33種角度預(yù)測(cè)，與H.264/AVC的9種預(yù)測(cè)模式相比增加了許多。增加的預(yù)測(cè)模式能夠更好地匹配視頻中復(fù)雜的方向性紋理信息，從而得到更好的預(yù)測(cè)效果。

1.3 先進(jìn)的幀間預(yù)測(cè)技術(shù)

為了提升幀間預(yù)測(cè)性能，在HEVC中引入了新的幀間預(yù)測(cè)技術(shù)，設(shè)有3種模式，分別是Skip模式、Merge模式和Inter模式。其中Skip模式和Merge模式均無(wú)需傳送運(yùn)動(dòng)矢量信息，只傳送候選PU塊的索引信息即可，這樣大幅節(jié)省了運(yùn)動(dòng)信息的編碼比特?cái)?shù)。在Skip模式中，連運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)殘差信息也無(wú)需傳送，在解碼端直接由運(yùn)動(dòng)補(bǔ)償?shù)玫降念A(yù)測(cè)信號(hào)作為重構(gòu)信號(hào)。對(duì)于Inter模式，每一個(gè)預(yù)測(cè)單元含有一組運(yùn)動(dòng)參數(shù)，包括：幀間預(yù)測(cè)的方向、參考幀的索引值、運(yùn)動(dòng)向量預(yù)測(cè)器的索引值以及運(yùn)動(dòng)向量的預(yù)測(cè)殘差。

1.4 自適應(yīng)熵編碼技術(shù)

HEVC中選擇基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼（CABAC）作為熵編碼算法，其基本設(shè)計(jì)與H.264/ AVC中的CABAC類(lèi)似，但是HEVC中CABAC熵編碼器的上下文數(shù)量、數(shù)據(jù)間的相互依賴(lài)性較H.264有所減少，通過(guò)對(duì)相同上下文的編碼符號(hào)進(jìn)行組合，對(duì)通過(guò)旁路編碼的符號(hào)進(jìn)行組合，同時(shí)減少解析碼流時(shí)的相互依賴(lài)性以及對(duì)內(nèi)存讀取的需求，使得熵編碼的效率得到進(jìn)一步提高。

1.5 樣值自適應(yīng)補(bǔ)償技術(shù)（SAO）

圖像經(jīng)過(guò)編碼后，重構(gòu)圖像的失真不僅存在方塊效應(yīng)，還存在振鈴效應(yīng)。HEVC引入樣本自適應(yīng)補(bǔ)償技術(shù)，對(duì)重建圖像的像素分為不同的類(lèi)型，然后按照不同的類(lèi)型為每個(gè)像素加上相應(yīng)的偏移量，從而補(bǔ)償重構(gòu)像素值，降低源圖像的失真，以達(dá)到減少振鈴效應(yīng)失真的目的。SAO主要分為帶狀補(bǔ)償和邊緣補(bǔ)償兩種。帶狀補(bǔ)償主要是針對(duì)不同的像素值范圍給予不同的補(bǔ)償值。邊緣補(bǔ)償主要是對(duì)圖像的輪廓進(jìn)行補(bǔ)償[3]。

2 專(zhuān)利申請(qǐng)總體狀況

為了研究HEVC專(zhuān)利申請(qǐng)的現(xiàn)狀，筆者在中文專(zhuān)利摘要庫(kù)、中文專(zhuān)利全文庫(kù)、英文專(zhuān)利摘要庫(kù)及英文專(zhuān)利全文庫(kù)中利用關(guān)鍵詞、分類(lèi)號(hào)等多種檢索手段，對(duì)涉及HEVC的專(zhuān)利文獻(xiàn)進(jìn)行了檢索，檢索截止日期為2017年12月31日。經(jīng)檢索，共獲得全球范圍內(nèi)HEVC相關(guān)專(zhuān)利申請(qǐng)6 933件。由于彼時(shí)2016-2017年的部分專(zhuān)利申請(qǐng)尚未公開(kāi)，文章僅針對(duì)已公開(kāi)的專(zhuān)利申請(qǐng)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析。

2.1 申請(qǐng)量變化趨勢(shì)

圖1為2010年至2017年HEVC技術(shù)相關(guān)專(zhuān)利全球及中國(guó)申請(qǐng)量的變化趨勢(shì)圖。由于JCT-VC于2010年1月才成立，之后正式開(kāi)始征集提案，因此2010年涉及HEVC的專(zhuān)利申請(qǐng)較少，各公司都剛剛著手進(jìn)行HEVC技術(shù)的研發(fā)。隨著技術(shù)研發(fā)工作的推進(jìn)，2011-2012年，申請(qǐng)量快速增長(zhǎng)。

2013年4月，HEVC被ITU-T正式接受為國(guó)際標(biāo)準(zhǔn)。反映到專(zhuān)利申請(qǐng)量方面，2013年的申請(qǐng)量達(dá)到頂峰，申請(qǐng)人紛紛圍繞新制定的HEVC標(biāo)準(zhǔn)進(jìn)行專(zhuān)利布局。隨著各項(xiàng)關(guān)鍵技術(shù)研究的深入開(kāi)展，2014年的申請(qǐng)量仍保持高位。隨著該領(lǐng)域技術(shù)的日漸成熟，2015年開(kāi)始申請(qǐng)量出現(xiàn)明顯回落。2016年，特別是2017年專(zhuān)利申請(qǐng)量較少的原因與統(tǒng)計(jì)時(shí)間有關(guān)，相關(guān)專(zhuān)利申請(qǐng)尚未公開(kāi)。

HEVC技術(shù)在中國(guó)的專(zhuān)利申請(qǐng)量相對(duì)較少，在中國(guó)提出申請(qǐng)或有中文同族的申請(qǐng)僅457件。雖然在 2010年已提出4件申請(qǐng)，但申請(qǐng)量增長(zhǎng)比較緩慢，明顯落后于全球HEVC申請(qǐng)量的增長(zhǎng)勢(shì)頭。這說(shuō)明我國(guó)申請(qǐng)人雖然已有一定的專(zhuān)利布局意識(shí)，但技術(shù)研發(fā)水平較國(guó)外申請(qǐng)還有一定差距。

到2017年我國(guó)申請(qǐng)量才開(kāi)始快速增長(zhǎng)，一舉達(dá)到145件，且考慮到2017年相當(dāng)一部分申請(qǐng)尚未公開(kāi)，該上升趨勢(shì)實(shí)際上會(huì)更加迅猛。這一方面是由于其他國(guó)家之前的申請(qǐng)開(kāi)始進(jìn)入中國(guó)，另一方面，也說(shuō)明國(guó)內(nèi)企業(yè)和高校仍在針對(duì)HEVC標(biāo)準(zhǔn)不斷進(jìn)行改進(jìn)。此時(shí)，HEVC的發(fā)展已經(jīng)進(jìn)入了一種穩(wěn)定的狀態(tài)，不再有爆發(fā)性的技術(shù)革命，而是相關(guān)技術(shù)的不斷改進(jìn)和完善。這說(shuō)明我國(guó)企業(yè)和高校對(duì)HEVC的研發(fā)多以細(xì)節(jié)上的改進(jìn)為主，旨在對(duì)HEVC標(biāo)準(zhǔn)進(jìn)行進(jìn)一步完善和升級(jí)，根本性的技術(shù)創(chuàng)新較少。

2.2 申請(qǐng)人分析

涉及HEVC技術(shù)的專(zhuān)利申請(qǐng)的主要申請(qǐng)人及其申請(qǐng)數(shù)量如圖2所示。從申請(qǐng)人的分布情況來(lái)看，高通遙遙領(lǐng)先，占據(jù)絕對(duì)優(yōu)勢(shì)，體現(xiàn)了其在該領(lǐng)域的強(qiáng)勁實(shí)力。臺(tái)灣的聯(lián)發(fā)科技和日本的索尼分別位列第二和第三，表明其對(duì)HEVC的研究也處于全球領(lǐng)先地位。除索尼外，日本的佳能、松下、夏普排名均進(jìn)入前十位，體現(xiàn)了日本企業(yè)在該領(lǐng)域的研發(fā)實(shí)力。華為公司位列第四位，是國(guó)內(nèi)申請(qǐng)人中在該領(lǐng)域申請(qǐng)量最高的，也是唯一進(jìn)入前十的中國(guó)大陸企業(yè)，這體現(xiàn)了華為公司近年來(lái)對(duì)技術(shù)研發(fā)和專(zhuān)利申請(qǐng)保護(hù)的日益重視，但與國(guó)外申請(qǐng)人的申請(qǐng)量相比還有一定的差距，國(guó)內(nèi)企業(yè)仍然需要更加努力，縮小差距。

3 典型專(zhuān)利申請(qǐng)

3.1 CN102984521A涉及編碼單元?jiǎng)澐?/p>

本發(fā)明利用相鄰幀之間的PU模式選擇的相似性，根據(jù)前一幀中大尺寸CU所采取的PU模式，選擇當(dāng)前CU的PU模式，跳過(guò)一些不太可能的CU分塊尺寸及PU預(yù)測(cè)模式，所述方法包括：預(yù)測(cè)方式配置和預(yù)測(cè)模式選擇，在預(yù)測(cè)方式配置中，CU分割深度不大于4，PU采用對(duì)稱(chēng)和非對(duì)稱(chēng)綜合預(yù)測(cè)模式或只采用對(duì)稱(chēng)預(yù)測(cè)模式，在預(yù)測(cè)模式選擇中，將當(dāng)前深度CU總的率—失真代價(jià)之和與上一層CU總的率—失真代價(jià)之和進(jìn)行比較，若比上層更小，則進(jìn)一步采取四叉樹(shù)劃分成4個(gè)更下一層深度的CU，否則終止四叉樹(shù)劃分。本方法能減少所需遍歷的PU模式，從而能減少率失真代價(jià)計(jì)算的數(shù)量，最終能降低HEVC視頻編碼的計(jì)算復(fù)雜度。

3.2 CN104639940A涉及幀內(nèi)預(yù)測(cè)模式選擇

本發(fā)明在幀內(nèi)預(yù)測(cè)模式粗選后，充分利用了粗選的幀內(nèi)預(yù)測(cè)模式對(duì)應(yīng)的基于哈德瑪變換的代價(jià)值的統(tǒng)計(jì)特性，充分考慮了視頻紋理方向與幀內(nèi)預(yù)測(cè)模式角度的相關(guān)性，對(duì)于不同尺寸的預(yù)測(cè)單元類(lèi)型，通過(guò)閾值的方法來(lái)快速篩減粗選后的幀內(nèi)預(yù)測(cè)模式或者通過(guò)計(jì)算粗選的幀內(nèi)預(yù)測(cè)模式的連續(xù)性來(lái)反映預(yù)測(cè)單元的紋理方向，從而篩選掉相應(yīng)不必要的粗選的幀內(nèi)預(yù)測(cè)模式，這樣不會(huì)引入過(guò)多的額外計(jì)算量；其在驗(yàn)證最有可能預(yù)測(cè)模式的過(guò)程中，充分考慮了粗選的幀內(nèi)預(yù)測(cè)模式和最有可能預(yù)測(cè)模式的相關(guān)性，及視頻圖像本身的空間相關(guān)性，快速的獲得了最終的最優(yōu)幀內(nèi)預(yù)測(cè)模式，在保證視頻編碼質(zhì)量的前提下，減少了幀內(nèi)編碼復(fù)雜度。

3.3 CN103609121A涉及在幀間預(yù)測(cè)中的候選塊選擇

本發(fā)明確定用于待譯碼的視頻數(shù)據(jù)的當(dāng)前塊的運(yùn)動(dòng)向量預(yù)測(cè)過(guò)程的多種模式中的一者；使用所確定模式和候選塊集合執(zhí)行用于視頻數(shù)據(jù)的當(dāng)前塊的運(yùn)動(dòng)向量預(yù)測(cè)過(guò)程，其中，候選塊集合對(duì)于多種模式中的每一者相同，可包含左上方候選塊、上方候選塊、右上方候選塊、左側(cè)候選塊、左下方候選塊、時(shí)間候選塊，多種模式可包含合并模式和自適應(yīng)運(yùn)動(dòng)向量預(yù)測(cè)模式。該方法使得存儲(chǔ)運(yùn)動(dòng)向量和其它幀間預(yù)測(cè)相關(guān)信息需要較少存儲(chǔ)器，存儲(chǔ)器帶寬要求也可得以減少。

3.4 CN103563380A涉及基于上下文自適應(yīng)二進(jìn)制算術(shù)編碼

本發(fā)明提供一種減少用于上下文自適應(yīng)熵處理的行緩存的方法，包括確定用于處理區(qū)域中當(dāng)前塊的當(dāng)前語(yǔ)法元素的上下文信息，其中，該上下文信息依據(jù)相應(yīng)于相鄰區(qū)塊的區(qū)塊信息；如果該相鄰區(qū)塊相對(duì)于該當(dāng)前區(qū)塊位于區(qū)域邊界的不同邊，以替換區(qū)塊信息來(lái)替換相應(yīng)于該相鄰區(qū)塊的該區(qū)塊信息；根據(jù)該上下文信息執(zhí)行該當(dāng)前語(yǔ)法元素的上下文自適應(yīng)熵處理。該方法可有效地減少或移除行緩存需求。

3.5 CN103404137A涉及樣本自適應(yīng)補(bǔ)償

本發(fā)明使用率失真優(yōu)化對(duì)已處理視頻數(shù)據(jù)的SAO補(bǔ)償?shù)哪Ｊ經(jīng)Q定方法：接收已處理視頻數(shù)據(jù)；識(shí)別SAO的多個(gè)模式；依據(jù)失真減少量決定每一模式相關(guān)的失真，第一失真與已SAO補(bǔ)償信號(hào)和已處理視頻數(shù)據(jù)相關(guān)的原始信號(hào)相關(guān)，第二失真信號(hào)與重建信號(hào)（128）和已處理視頻數(shù)據(jù)相關(guān)的原始信號(hào)有關(guān)；基于失真決定每一模式的率失真成本，在多個(gè)模式中選擇最佳模式，其中最佳模式具有最小的率失真成本；依據(jù)已選擇的最佳模式對(duì)已處理視頻數(shù)據(jù)應(yīng)用SAO。該方法可以大大減少所需的計(jì)算和圖像緩沖區(qū)的訪問(wèn)。

4 結(jié)論

文章簡(jiǎn)要介紹了HEVC的發(fā)展概況、主要技術(shù)熱點(diǎn)和專(zhuān)利申請(qǐng)情況，同時(shí)對(duì)典型專(zhuān)利進(jìn)行了分析?？梢钥闯?，HEVC具有很多有特色的核心技術(shù)，這使得它具有出色的壓縮性能和更好的實(shí)用性。在不久的將來(lái)，其必將于取代H.264/AVC，成為廣泛應(yīng)用的主流編碼標(biāo)準(zhǔn)。

申請(qǐng)量位于前10位的申請(qǐng)人均為企業(yè)，這說(shuō)明該技術(shù)已經(jīng)進(jìn)入實(shí)際應(yīng)用階段，各大通信企業(yè)都大力投入到了該技術(shù)的研發(fā)和測(cè)試中。尤其需要關(guān)注的是該技術(shù)領(lǐng)域中的領(lǐng)軍企業(yè)高通，其申請(qǐng)總量占據(jù)絕對(duì)優(yōu)勢(shì)，重要專(zhuān)利數(shù)量也非常多，且積極在各國(guó)家和地區(qū)進(jìn)行專(zhuān)利布局，值得國(guó)內(nèi)企業(yè)跟蹤學(xué)習(xí)。

參考文獻(xiàn)

[1]萬(wàn)帥，楊付正.新一代高效視頻編碼H.265/HEVC：原理、標(biāo)準(zhǔn)與實(shí)現(xiàn)[M].北京：電子工業(yè)出版社，2014.

[2]趙耀，黃晗，林春雨，等.新一代視頻編碼標(biāo)準(zhǔn)HEVC的關(guān)鍵技術(shù)[J].數(shù)據(jù)采集與處理，2014，29（1）：1-10.

[3]崔遙，劉軍.HEVC關(guān)鍵技術(shù)介紹[J].科技創(chuàng)新與應(yīng)用，2012（33）：1.