面向３６０°全景視頻的幀內(nèi)預測編碼的快速算法

摘 要：為了節(jié)省３６０°全景視頻的編碼時間，對通用視頻編碼標準中的編碼單元劃分決策過程進行了研究，提出了一種面向３６０°全景視頻的幀內(nèi)預測編碼的快速算法。通過優(yōu)化編碼樹單元（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ，ＣＴＵ） 的編碼深度范圍和編碼單元的劃分模式的選擇過程，減少編碼時間。實驗結果表明，在全幀內(nèi)模式下，所提算法比原始算法平均可以節(jié)?。常矗?３３％ 的時間復雜度，同時帶來的ＢＤＢＲ 平均增量僅為１． ６６５％ ，ＢＤＰＳＮＲ 的平均降低量僅為０． ０７６ ｄＢ。

關鍵詞：通用視頻編碼；３６０°全景視頻；幀內(nèi)編碼；快速算法

中圖分類號：ＴＰ７５１． １ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０５－１０７４－０９

０ 引言

在通信技術和數(shù)字技術的推動下，普通二維視頻和標清視頻已無法滿足人們?nèi)找嬖鲩L的視頻需求，視頻應用的多樣性和高清化的趨勢對視頻編碼性能提出了更高的要求［１］。為此，國際電信聯(lián)盟電信標準化部門（Ｉｎｔｅｒｎａｔｉｏｎａｌ ＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ-Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ，ＩＴＵ-Ｔ）與國際標準化組織（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ，ＩＳＯ）和國際電工委員會會（Ｉｎｔｅｒｎａ-ｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ，ＩＥＣ ）合作，于２０２０ 年７ 月正式發(fā)布了最新的視頻編碼標準，即通用視頻編碼（Ｈ． ２６６ ／ ＶＶＣ）標準［２］，為已有和新興的視頻應用（如３６０°全景視頻）提供更加強大的壓縮性能及更加靈活易用的功能［３］。

３６０°全景視頻是一種包含全方位視覺信息的球體視頻，具有高幀率、高分辨率和高位深等特點［４］，能夠給人們帶來更真實、更鮮活、更豐富的體驗感，但與此同時，也使得視頻數(shù)據(jù)量成倍增長，需要花費的編碼時間大大增加，影響了３６０°全景視頻在實時性場景中的應用［５］。此外，由于目前尚不支持對３６０°全景視頻直接進行編碼，需要將３６０°全景視頻的球面圖像投影成二維平面圖像，然后利用傳統(tǒng)的視頻編碼標準框架來完成剩余的編碼工作［６］。因此，面向３６０°全景視頻的快速編碼算法需在視頻編碼標準的基礎上進行研究。

Ｗａｎｇ 等［７］在高效視頻編碼（Ｈ． ２６５ ／ ＨＥＶＣ）標準的基礎上結合等矩形投影（Ｅｑｕｉ-Ｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ，ＥＲＰ）格式的視頻特點，利用深度信息和空間相關性對最可能模式（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ，ＭＰＭ）過程進行了優(yōu)化，減少了幀內(nèi)預測模式中候選模式的數(shù)量，并利用相鄰預測單元（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ，ＰＵ）的深度信息和絕對變換差之和（Ｓｕｍ ｏｆ ＡｂｓｏｌｕｔｅＴｒａｎｓｆｏｒｍ Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＴＤ）的相關性，提出了一種對ＰＵ 提前跳過和終止劃分的操作算法。Ｗａｎｇ等［８］分析了ＥＲＰ 格式的采樣密度的特點，基于ＨＥＶＣ 標準提出去除一些大于編號１８ 的冗余角度模式，并擴展小于編號１８ 的角度模式，同時修改了最可能模式的推導方法，實現(xiàn)了針對ＥＲＰ 格式視頻的幀內(nèi)角度模式的快速算法。Ｌｉｕ 等［９］基于ＨＥＶＣ標準對立方體投影格式下ＶＲ ３６０°視頻編碼的編碼參數(shù)進行統(tǒng)計分析，提出了一種基于粗略模式?jīng)Q策（Ｒｏｕｇｈ Ｍｏｄｅ Ｄｅｃｉｓｉｏｎ，ＲＭＤ）和ＭＰＭ 之間的候選模式修剪方法。Ｌｉｎ 等［１０］通過分析ＥＲＰ 格式的緯度特性對ＨＥＶＣ 標準中的幀內(nèi)模式?jīng)Q策的影響，考慮了幀內(nèi)依賴關系和率失真模型，將全局復雜度分配到所有緯度區(qū)域的問題公式化，提出了一種基于緯度的幀內(nèi)編碼復雜度優(yōu)化算法。Ｂｅｌｉｎｇ 等［１１］利用ＥＲＰ 格式的拉伸模型，提出在ＨＥＶＣ 標準的幀內(nèi)編碼樹單元（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ，ＣＴＵ）劃分過程中進行自適應地提前終止。Ｚｈａｎｇ 等［１２］在ＨＥＶＣ 標準的基礎上，根據(jù)ＥＲＰ 過程中的像素坐標進行自適應修正量化參數(shù)補償，并基于深度范圍和空間相關性預測實現(xiàn)ＣＵ 劃分的提前終止，以及采用ｐｒｅｗｉｔｔ 算子自適應模式選擇算法來減少編碼時間。Ｓｔｏｒｃｈ等［１３］利用３６０°全景視頻的空間特性，通過減少基于幀區(qū)域評估幀內(nèi)預測模式的數(shù)量，提出一種自適應的編碼幀區(qū)域的評估技術。

綜上可知，面向３６０°全景視頻提出的幀內(nèi)預測編碼的快速算法都基于ＨＥＶＣ 標準，目前針對３６０°全景視頻基于最新一代的視頻編碼標準ＶＶＣ 的研究正處于初始階段。因此，借鑒前人工作，本文在ＶＶＣ 標準的基礎上，結合３６０°全景視頻在ＥＲＰ 格式映射過程中采樣不均勻的特點，從ＣＴＵ 編碼深度和ＣＵ 劃分模式兩方面出發(fā)，提出面向３６０°全景視頻的幀內(nèi)預測編碼的快速算法。

１ ＶＶＣ 標準ＣＵ 劃分模式

ＣＵ 劃分模式是指對ＣＵ 進行分割的方式。根據(jù)不同類型的視頻內(nèi)容選擇不同的劃分模式可以提高視頻的編碼效率和預測精度。因此，為了滿足高清、超高清等新興視頻的編碼需求，ＶＶＣ 標準不僅將ＣＴＵ 尺寸擴展為１２８ × １２８，還提供了更靈活的ＣＵ 劃分模式［１４］。

在ＶＶＣ 標準中，共有６ 種ＣＵ 劃分模式，分別是四叉樹（Ｑｕａｄ Ｔｒｅｅ，ＱＴ）、水平二叉樹（ＨｏｒｉｚｏｎｔａｌＢｉｎａｒｙ-ｔｒｅｅ，ＢＨ）、垂直二叉樹（Ｖｅｒｔｉｃａｌ Ｂｉｎａｒｙｔｒｅｅ，ＢＶ）、水平三叉樹（Ｈｏｒｉｚｏｎｔａｌ Ｔｅｒｎａｒｙ-ｔｒｅｅ，ＴＨ）、垂直三叉樹（Ｖｅｒｔｉｃａｌ Ｔｅｒｎａｒｙ-ｔｒｅｅ，ＴＶ）和不劃分。其中，ＢＨ和ＢＶ 統(tǒng)稱為二叉樹，是將一個ＣＵ 分成２ 個大小相等的子ＣＵ；ＴＨ 和ＴＶ 統(tǒng)稱為三叉樹，是在水平或垂直方向產(chǎn)生３ 個比例為１ ∶ ２ ∶ １ 的子ＣＵ［１５］，如圖１ 所示。

確定ＣＴＵ 內(nèi)部最優(yōu)ＣＵ 劃分模式的判別過程是遞歸過程，ＶＶＣ 在遞歸劃分ＣＵ 時需要依次計算采用不劃分、ＱＴ 劃分、ＰＨ 劃分、ＢＶ 劃分、ＴＨ 劃分和ＴＶ 劃分的率失真代價（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ，ＲＤ-ｃｏｓｔ），并選擇ＲＤ-ｃｏｓｔ 最小的劃分模式作為最優(yōu)的劃分方式。通過ＣＵ 劃分模式判別，一幀視頻圖像會被劃分為多個能夠覆蓋全幀且不重疊的ＣＴＵ，并將每個ＣＴＵ 作為根節(jié)點，再執(zhí)行遞歸劃分操作，得到多個ＣＵ。一個ＣＴＵ 通過遞歸劃分為多個ＣＵ 的示例如圖２ 所示，其中，圖２ （ａ）展示了ＶＶＣ 標準中某個大小為１２８ ×１２８ 的ＣＴＵ 在經(jīng)歷復雜的幀內(nèi)預測和劃分模式等過程后根據(jù)ＲＤ-ｃｏｓｔ 選出的最優(yōu)劃分結果；圖２ （ｂ）是對應于圖２（ａ）的ＣＵ 劃分結構的樹形圖，其中，黑線表示ＱＴ 劃分，藍色線表示ＢＴ 劃分，黃色線表示ＴＴ劃分。

２ 提出的算法

該算法首先利用ＥＲＰ 格式的采樣特點、ＣＴＵ 的紋理復雜度以及空間相關性，對編碼深度范圍進行優(yōu)化，以實現(xiàn)ＣＵ 劃分過程中的提前終止；然后，針對大小為３２×３２ 的ＣＵ 利用紋理方向信息，優(yōu)化ＣＵ的劃分模式的選擇過程，以進一步實現(xiàn)對ＣＵ 劃分過程的簡化操作。

２． １ 基于緯度的ＣＴＵ 深度決策方法

３６０°全景視頻在映射為ＥＲＰ 格式的過程中，為了保證球面采樣的等角特性，在不同緯度區(qū)域均采用了相同的采樣點［１６］，造成３６０°全景視頻在球面不同緯度區(qū)域存在不同程度的拉伸。這導致采用傳統(tǒng)的視頻編碼方法對３６０°全景視頻壓縮效果并不理想，需要在傳統(tǒng)視頻編碼的基礎上，針對其特點進行編碼優(yōu)化。因此對ＥＲＰ 格式的３６０°全景視頻進行分析總結：越靠近兩極，拉伸程度越重，采樣率越高，且視頻內(nèi)容常為天空或大地，編碼深度較小，編碼塊較大；越靠近赤道，拉伸程度越輕，采樣率越低，且視頻內(nèi)容越豐富，編碼深度較大，編碼塊較?。粚τ谥虚g區(qū)域，情況較復雜，無法直接判定出編碼塊大小，但此區(qū)域的圖像內(nèi)容通常較為復雜，應兼顧深度較小和深度較大的情況。

基于上述分析，提出對ＥＲＰ 格式的３６０°全景視頻進行區(qū)域劃分，通過ＣＴＵ 所處區(qū)域判定其編碼深度的范圍。首先，將ＥＲＰ 格式的整幅圖像劃分為３ 個區(qū)域，分別是兩極區(qū)域、赤道區(qū)域以及中間區(qū)域；然后，以ＣＴＵ 的權重值作為判斷當前ＣＴＵ 所處區(qū)域的依據(jù)。

獲取權重值的思想是以ＣＴＵ 為基本單元，計算每一行像素的權重值，再將其求和并取平均，最終得到的值即為該ＣＴＵ 的權重值。其中，每一行權重值ｗｊ 的計算方法如式（１）所示，ｊ 為每個ＣＴＵ 最左側一列像素的縱坐標，Ｈ 為視頻幀的高度；第ｉ 個ＣＴＵ 的權重值ωｉ 的計算方法如式（２）所示，ＣＴＵＨ為ＣＴＵ 的高度。

通過大量實驗得出ωｉ 取０． ４、０． ９ 作為３ 種區(qū)域的閾值時，可以在編碼效率和編碼質量之間取得較好的平衡，則ＣＴＵ 所屬區(qū)域如下：

式中：ＣＴＵｉ 表示第ｉ 個ＣＴＵ，ＰＯＬＥ、ＭＩＤ、ＥＱＵＡ 分別表示ＣＴＵ 所處的區(qū)域為兩極區(qū)域、中間區(qū)域和赤道區(qū)域。

在ＶＶＣ 標準中，ＣＴＵ 默認的最大編碼深度為６，最小為０。因此，將兩極區(qū)域的編碼深度設置為Ｄ１ ＝ ［０，４］，中間區(qū)域的編碼深度設置為Ｄ２ ＝ ［２，５］，赤道區(qū)域的編碼深度設置為Ｄ３ ＝ ［３，６］。由于每個ＣＴＵ 必然會有一個區(qū)域與之相對應，因此將ＣＴＵ 所屬區(qū)域的編碼深度區(qū)間作為當前ＣＴＵ 的編碼深度區(qū)間，則每個ＣＴＵ 的深度ＤＮ１ 可由式（４）確定：

２． ２ 基于方差的ＣＴＵ 深度決策方法

由于３６０°全景視頻通常包含很多如天空、海平面或草地等形式的平坦區(qū)域，且經(jīng)實驗發(fā)現(xiàn)在平坦區(qū)域中判斷紋理復雜度時采用方差法獲得的結果較為準確，因此選用方差法計算每個ＣＴＵ 的紋理復雜度。具體計算方法如下：

式中：ｖａｒ 為方差值，（ｉ，ｊ）為當前ＣＴＵ 中的左上頂點像素的坐標值，ＣＵ＿Ｗ 和ＣＵ＿Ｈ 為最大ＣＵ 的寬度和高度。

根據(jù)每個視頻的圖像內(nèi)容自適應地選擇判斷紋理復雜度的閾值，并根據(jù)視頻序列的幀率進行更新閾值。將ＣＴＵ 根據(jù)紋理復雜程度區(qū)分為３ 類，分別為簡單ＣＴＵ、一般ＣＴＵ 和復雜ＣＴＵ。當ＣＴＵ 的方差高于上閾值（Ｔｔ）時，可以判定該ＣＴＵ 具有豐富的圖像細節(jié)，可直接計算小尺寸ＣＵ 的ＲＤ-ｃｏｓｔ 值，而不考慮適用于簡單紋理的大尺寸ＣＵ；當ＣＴＵ 的方差值低于下閾值（Ｔｌ）時，判定該ＣＴＵ 位于圖像平滑區(qū)域，此時可以終止ＣＴＵ 遞歸到更高的編碼深度，跳過對劃分結構復雜和編碼深度較大的ＣＵ 進行ＲＤ-ｃｏｓｔ 值的計算。

具體算法是首先將視頻序列分為原始算法幀和算法優(yōu)化幀，間隔為當前視頻的幀率值；然后，在原始算法幀中，按照ＶＶＣ 標準的幀內(nèi)預測的原始算法進行編碼，并在編碼完成后，計算所有ＣＴＵ 的方差值以及存儲各個ＣＴＵ 內(nèi)所有ＣＵ 的深度值；最后，在算法優(yōu)化幀中，去除相同的方差值，并在計算上閾值時，將去重后的方差值按照從小到大的順序進行排列，表示為［ＮＰｍｉｎ，ＮＰｍａｘ ］，而在計算下閾值時，將去重后的方差值按照從大到小的順序進行排列，表示為［ＮＰｍａｘ，ＮＰｍｉｎ］。

獲取上閾值的方法是首先遍歷［ＮＰｍｉｎ，ＮＰｍａｘ ］，以當前ＮＰ 作為上閾值，統(tǒng)計滿足所有ＣＴＵ 的方差值大于等于當前ＣＴＵ 的方差值且當前ＣＴＵ 內(nèi)的ＣＵ深度大于２ 的ＣＵ 個數(shù)，以及不滿足的ＣＵ 個數(shù)，從而計算當前ＮＰ 的劃分準確率Ａ。Ａ 的計算如式（６）所示。式中：Ｒ 為正確劃分數(shù)，指滿足條件的ＣＵ 個數(shù)；Ｅ 為錯誤劃分數(shù)，指不滿足條件的ＣＵ 個數(shù)。Ｒ 和Ｅ 的初始值均為０，在原始算法幀編碼結束后，根據(jù)式（７）和式（８）計算上閾值的Ｒ 和Ｅ。

獲取下閾值的方法和上閾值的相類似。不同之處是遍歷［ＮＰｍａｘ，ＮＰｍｉｎ ］，以當前ＮＰ 作為下閾值，統(tǒng)計滿足所有ＣＴＵ 的方差值小于等于當前ＣＴＵ 的方差值且當前ＣＴＵ 內(nèi)的ＣＵ 深度小于５ 的ＣＵ 個數(shù)，以及不滿足的ＣＵ 個數(shù)。

當Ａ 首次滿足準確率的條件時，終止遍歷，并選取當前的ＮＰ 的值為新的閾值，直到下一原始算法幀，重新計算ＮＰ 。為了權衡編碼時間和視頻質量，在產(chǎn)生盡可能少的失真的同時，可以最大程度地節(jié)省編碼時間，本文通過大量實驗總結得出不同ＱＰ下的劃分準確率的條件，如表１ 所示。

將簡單ＣＴＵ 的編碼深度設置為Ｄ４ ＝ ［０，４］，復雜ＣＴＵ 的編碼深度設置為Ｄ５ ＝ ［３，６］，不更改一般ＣＴＵ 的編碼深度區(qū)間，則此時各個ＣＴＵ 的編碼深度區(qū)間可以通過式（９）確定。

式中：Ｄ４ 、Ｄ５ 為前文所定義的區(qū)間，ＤＮ２ 為當前ＣＴＵ的編碼深度區(qū)間，ＳＩＭＰＬＥ、ＧＥＮＥＲＡＬ 和ＣＯＭＰＬＥＸ分別為簡單ＣＴＵ、一般ＣＴＵ 和復雜ＣＴＵ。

２． ３ 基于空間相關性的ＣＴＵ 深度決策方法

由于同一幀中的空間相鄰ＣＵ 通常具有相同或相似的紋理，故編碼深度具有較強的空間相關性。在ＶＶＣ 標準中，幀內(nèi)預測按照Ｚ 字形順序對ＣＵ 進行編碼，在對當前ＣＴＵ 進行編碼時，其左側相鄰的ＣＴＵ 與上方相鄰的ＣＴＵ 已經(jīng)完成編碼，因此可以利用這２ 個相鄰ＣＴＵ 的深度信息預測當前ＣＴＵ 的編碼深度范圍，以進一步縮小當前ＣＴＵ 的編碼深度范圍，從而實現(xiàn)減少ＲＤｃｏｓｔ 的計算次數(shù)，縮短編碼時間。

當左側相鄰的ＣＴＵ 與上方相鄰的ＣＴＵ 的最大編碼深度均小于等于５，且當前ＣＴＵ 的最大編碼深度大于４ 時，將當前ＣＴＵ 的最大編碼深度減１，最小編碼深度不變；而當左側相鄰的ＣＴＵ 與上方相鄰的ＣＴＵ 的最小編碼深度均大于等于３，且當前ＣＴＵ 的最小編碼深度小于４ 時，將當前ＣＴＵ 的最小編碼深度加１，最大編碼深度不變。此時各個ＣＴＵ 的編碼深度區(qū)間表示方法如下：

式中：ＤＮ３ 為當前ＣＴＵ 的編碼深度區(qū)間，Ｄｌ＿ｍａｘ和Ｄａ＿ｍａｘ 分別為左側和上方相鄰ＣＴＵ 的最大編碼深度，Ｄｌ＿ｍｉｎ 和Ｄａ＿ｍｉｎ 分別為左側和上方相鄰ＣＴＵ 的最小編碼深度，ｏｔｈｅｒ 為除上述條件外的其他情況。

２． ４ 基于梯度的ＣＵ 劃分模式?jīng)Q策方法

鑒于最大二叉樹尺寸和最大三叉樹尺寸都是３２，且?。茫?不會占用太多編碼時間，因此針對大小為３２×３２ 的ＣＵ 做進一步優(yōu)化。利用Ｓｏｂｅｌ 梯度算子提取出的邊緣特征決定是否跳過垂直或水平劃分模式。

Ｓｏｂｅｌ 算子使用２ 個３×３ 的卷積核，分別對圖像進行水平和垂直方向的卷積運算。值得注意的是Ｓｏｂｅｌ 算子在卷積運算時，無法對最外一圈的像素值做運算，因此，在計算梯度前先對原始視頻圖像的最外圈進行像素值的填充。填充方法是對最頂行、最底行、最左列和最右列中的像素采用最近原則進行填充，即在需要填充像素值的位置使用距離最近的像素值進行填充，如圖３ 所示，其中，Ｗ 和Ｈ 為原始視頻大小的寬和高，陰影部分表示原始視頻，白色部分為填充部分，每個小方塊均代表一個像素。

由Ｓｏｂｅｌ 算子提取邊緣特征，得到邊緣圖后，將在邊緣圖中坐標為（ｘ，ｙ）的像素值記錄為ｓｏｂｅｌ（ｘ，ｙ）。如果ｓｏｂｅｌ（ｘ，ｙ）不等于０，則將ｓｏｂｅｌ（ｘ，ｙ）設為１，否則設為０；然后，使用ＶＥ 和ＨＥ 的比值來表示紋理方向的趨勢是水平或垂直。

ＶＥ 和ＨＥ 的計算如下：

式中：ｖｅｉ 和ｈｅｉ 分別為ｙ ＝ ｉ 和ｘ ＝ ｉ 時ｓｏｂｅｌ（ｘ，ｙ）不為０ 的邊緣點的數(shù)量，ＶＥ 為垂直方向上的邊緣長度，ＨＥ 為水平方向上的邊緣長度。

當ＶＥ／ＨＥ＞１ 時，說明該ＣＵ 內(nèi)更多存在的是垂直方向上的紋理，更有可能采用垂直劃分模式進行劃分該ＣＵ，因而，提前跳過水平劃分模式，即跳過ＢＨ 和ＴＨ 的劃分方式；當ＨＥ／ＶＥ ＞１ 時，說明該ＣＵ 的水平方向的紋理趨勢較強于垂直方向的紋理趨勢，提前跳過垂直劃分模式，即跳過ＢＶ 和ＴＶ 的劃分方式。

綜上所述，本文所提算法的流程如圖４ 所示。判斷３６０°全景視頻的ＥＲＰ 格式視頻序列的當前幀是否為算法優(yōu)化幀。若當前幀不是算法優(yōu)化幀，即為原始算法幀，采用ＶＶＣ 標準的原始算法。若當前幀為算法優(yōu)化幀，則首先根據(jù)當前ＣＴＵ 的權重值ωｉ判斷出當前ＣＴＵ 所處區(qū)域，初步確定當前ＣＴＵ 的深度范圍為ＤＮ１ ；其次判斷ＣＴＵ 的方差ｖａｒ 與下閾值（Ｔｌ）和上閾值（Ｔｔ ）的關系，從而判定出當前ＣＴＵ的紋理復雜度，得到當前ＣＴＵ 的深度范圍為ＤＮ２ ；然后結合左側相鄰的ＣＴＵ、上方相鄰的ＣＴＵ 和當前ＣＴＵ 的編碼深度，進一步判斷出當前ＣＴＵ 的深度范圍為ＤＮ３ ；最后判斷當前ＣＵ 尺寸是否為３２×３２，若是，則繼續(xù)判斷ＶＥ 和ＨＥ 之間的比值關系，并據(jù)此抉擇出是否跳過垂直或水平劃分模式，若否，則本文算法至此結束。

３ 實驗結果

為驗證本文方法的性能，將本文提出的算法在ＪＶＥＴ 提供的集成了３６０Ｌｉｂ 的官方參考軟件３６０Ｌｉｂ１２． ０-ＶＴＭ１１． ０ 上進行測試。在全幀內(nèi)模式和通用測試條件［１７］下對ＪＶＥＴ 推薦的３６０°全景視頻序列進行測試。編碼配置的量化參數(shù)ＱＰｓ 指定為｛２２，２７，３２，３７｝。采用被廣泛認可的客觀評價指標ＢＤＰＳＮＲ 和ＢＤＢＲ 來評價本文提出的算法的編碼性能，同時，采用Ｔｉｍｅ Ｒｅｄｕｃｔｉｏｎ（ＴＲ）來表示編碼器復雜度的降低［１８］，計算如下：

式中：ＴＶＴＭ１１． ０ 表示原始算法的ＶＶＣ 編碼器所耗費的編碼時間，ＴＰ 表示所提算法的ＶＶＣ 編碼器所耗費的編碼時間。

所提算法和原始算法的對比結果如表２ 所示。可以看出，相對于原始算法，所提算法在ＢＤＢＲ 平均增加１． ６６５％ 和ＢＤＰＳＮＲ 平均損失０． ０７６ ｄＢ 的前提下，編碼時間平均縮減了３４． ３３％ 。在編碼效率損失方面，所提算法的編碼效率損失最低為０． ９２４％ ，最高為２． ２５６％ ；在時間節(jié)省方面，所提算法的時間節(jié)省最低為２５． ２１％ ，最高為４４． ５０％ ，平均為３４． ３３％ ，說明所提算法針對不同類型的視頻序列均可以有效降低編碼的計算復雜度，提升編碼速度，并保證圖像質量幾乎不變。

為了更直觀地表示編碼器性能的損失，將所提算法與ＶＶＣ 原始算法的率失真曲線進行比較，如圖５ 所示。與ＶＴＭ１１． ０ 標準算法相比，所提算法的率失真曲線和原始算法的率失真曲線非常接近。這表明對于不同分辨率大小且視頻內(nèi)容完全不同的測試序列，該算法對編碼時間均有不同程度的縮減，都降低了編碼復雜度，且視頻質量損失可忽略不計。

人眼是視頻信號的最終接收方，因此，除客觀質量評價指標外，視頻的主觀質量評價也較為重要。由于ＱＰ 越大，視頻質量越低，使得通過主觀判斷原始算法和本文所提算法之間的差異越困難，本文截取了ＰｏｌｅＶａｕｌｔ＿ｌｅ 測試序列在ＱＰ 為２２ 時的解碼幀圖像，如圖６ 所示。從圖６ 中的原始算法和本文所提算法的解碼幀的對比圖以及相對應的細節(jié)放大圖中，可以看出天空、房屋、樹木、人物及車輛等部分幾乎完全一樣。說明使用本文所提算法進行編解碼的視頻序列在視頻質量方面所造成的影響微乎其微。

４ 結束語

為解決３６０°全景視頻編碼時間過長的問題，本文在ＶＶＣ 標準的基礎上結合３６０°全景視頻在ＥＲＰ格式映射過程中采樣不均勻的特點，提出了一種面向３６０°全景視頻的幀內(nèi)預測編碼的快速算法。該算法首先將視頻劃分為３ 個區(qū)域，根據(jù)ＣＴＵ 所處區(qū)域初步判定當前ＣＴＵ 的編碼深度范圍；然后，根據(jù)各個ＣＴＵ 的方差值和自適應更新的雙閾值對每個ＣＴＵ 按照紋理復雜度進行分類，以進一步限制當前ＣＴＵ 的編碼深度范圍；最后，利用編碼深度信息的空間相關性，將相鄰ＣＴＵ 的深度范圍作為參考，完成對當前ＣＴＵ 編碼深度范圍的最終決策。同時，針對大小為３２ ×３２ 的ＣＵ，利用紋理信息跳過垂直或水平劃分模式，以優(yōu)化ＣＵ 劃分模式的選擇過程。實驗結果表明，與原始算法相比，在全幀內(nèi)模式下，該算法有效簡化了３６０°全景視頻的幀內(nèi)編碼ＣＵ 劃分決策過程，平均可以節(jié)?。常矗?３３％ 的時間復雜度，同時帶來的ＢＤＢＲ 平均增量僅為１． ６６５％ ，ＢＤＰＳＮＲ的平均降低量僅為０． ０７６ ｄＢ。在幾乎不損失視頻質量的情況下，所提算法降低了３６０°全景視頻的編碼復雜度，有效縮短了編碼時間。

參考文獻

［１］ 帥鑫，卿粼波，何小海，等． 一種基于卷積神經(jīng)網(wǎng)絡的ＶＶＣ 去壓縮偽影半盲方法［Ｊ］． 無線電工程，２０２２，５２（１０）：１７０２－１７０９．

［２］ ＺＨＡＮＧ Ｈ Ｃ，ＹＵ Ｌ，ＬＩ Ｔ Ｓ，ｅｔ ａｌ． Ｆａｓｔ ＧＬＣＭｂａｓｅｄ ＩｎｔｒａＢｌｏｃｋ Ｐａｒｔｉｔｉｏｎ ｆｏｒ ＶＶＣ ［Ｃ］∥ ２０２１ Ｄａｔａ ＣｏｍｐｒｅｓｓｉｏｎＣｏｎｆｅｒｅｎｃｅ （ＤＣＣ）． Ｓｎｏｗｂｉｒｄ：ＩＥＥＥ，２０２１：３８２．

［３］ 萬帥，霍俊彥，馬彥卓，等． 新一代通用視頻編碼Ｈ．２６６ ／ ＶＶＣ：原理，標準與實現(xiàn)［Ｍ］． 北京：電子工業(yè)出版社，２０２２．

［４］ ＴＳＡＮＧ Ｓ Ｈ，ＣＨＡＮ Ｙ Ｌ． ３６０ｄｅｇｒｅｅ Ｉｎｔｒａ Ｃｏｄｉｎｇ Ｍｏｄｅｆｏｒ Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ Ｆｏｒｍａｔ Ｖｉｄｅｏｓ［Ｃ］∥２０２０ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＳＣＡＳ）． Ｓｅｖｉｌｌｅ：ＩＥＥＥ，２０２０：１－５．

［５］ 吳志強，郁梅，姜浩，等． 基于感興趣區(qū)域的３６０° 全景視頻編碼［Ｊ］． 激光與光電子學進展，２０１８，５５ （６）：１９１－１９７．

［６］ ＨＥ Ｙ，ＶＩＳＨＷＡＮＡＴＨ Ｂ． ＡＨＧ８：Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆＩｎｔｅｒｄｉｇｉｔａｌ’ｓ Ｐｒｏｊｅｃｔｉｏｎ Ｆｏｒｍａｔ Ｃｏｎｖｅｒｓｉｏｎ Ｔｏｏｌ （ＰＣＴ３６０）［Ｃ］∥Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ （ＪＶＥＴ）ｏｆ ＩＴＵＴ ＳＧ１６ ＷＰ ３ ａｎｄ ＩＳＯ／ ＩＥＣ ＪＴＣ １／ ＳＣ ２９／ ＷＧ １１． Ｃｈｅｎｇｄｕ：［ｓ．ｎ． ］，２０１６：５６０－５６９．

［７］ ＷＡＮＧ Ｙ Ｂ，ＬＩ Ｙ Ｍ，ＹＡＮＧ Ｄ Ｑ，ｅｔ ａｌ． Ａ Ｆａｓｔ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ３６０ｄｅｇｒｅｅ Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ ＰａｎｏｒａｍｉｃＶｉｄｅｏ［Ｃ］∥２０１７ ＩＥＥＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ （ＶＣＩＰ）． Ｓｔ． Ｐｅｔｅｒｓｂｕｒｇ：ＩＥＥＥ，２０１８：１－４．

［８］ ＷＡＮＧ Ｙ Ｂ，ＣＨＥＮ Ｚ Ｚ，ＬＩＵ Ｓ． ＥｑｕｉｒｅｃｔａｎｇｕｌａｒＰｒｏｊｅｃｔｉｏｎ Ｏｒｉｅｎｔｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ３６０ｄｅｇｒｅｅ ＶｉｄｅｏＣｏｄｉｎｇ［Ｃ］∥２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＶＣＩＰ ）．Ｍａｃａｕ：ＩＥＥＥ，２０２０：４８３－４８６．

［９］ ＬＩＵ Ｚ，ＸＵ Ｃ，ＺＨＡＮＧ Ｍ Ｍ，ｅｔ ａｌ． Ｆａｓｔ Ｉｎｔｒａ ＰｒｅｄｉｃｔｉｏｎＡｌｇｏｒｉｔｈｍ ｆｏｒ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ ３６０ Ｄｅｇｒｅｅ Ｖｉｄｅｏ Ｂａｓｅｄ ｏｎＩｍｐｒｏｖｅｄ ＲＭＤ［Ｃ］∥２０１９ Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＤＣＣ）． Ｓｎｏｗｂｉｒｄ：ＩＥＥＥ，２０１９：５９３．

［１０］ ＬＩＮ Ｊ Ｌ，ＬＩＮ Ｌ Ｑ，ＬＩ Ｗ Ｍ，ｅｔ ａｌ． Ｌａｔｉｔｕｄｅｂａｓｅｄ ＦｌｅｘｉｂｌｅＣｏｍｐｌｅｘｉｔｙ Ａｌｌｏｃａｔｉｏｎ ｆｏｒ ３６０ｄｅｇｒｅｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ，２０２２，６８ （３ ）：５７２－５８１．

［１１］ ＢＥＬＩＮＧ Ｂ，ＳＴＯＲＣＨ Ｉ，ＡＧＯＳＴＩＮＩ Ｌ，ｅｔ ａｌ． ＥＲＰｂａｓｅｄＣＴＵ Ｓｐｌｉｔｔｉｎｇ Ｅａｒｌｙ Ｔｅｒｍｉｎａｔｉｏｎ ｆｏｒ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｏｆ３６０ Ｖｉｄｅｏｓ［Ｃ］∥２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＶｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＶＣＩＰ ）．Ｍａｃａｕ：ＩＥＥＥ，２０２０：３５９－３６２．

［１２］ ＺＨＡＮＧ Ｍ Ｍ，ＺＨＡＮＧ Ｊ，ＬＩＵ Ｚ，ｅｔ ａｌ． Ａｎ ＥｆｆｉｃｉｅｎｔＣｏｄｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｆｏｒ ３６０ｄｅｇｒｅｅ Ｖｉｄｅｏ Ｂａｓｅｄ ｏｎＩｍｐｒｏｖｅｄ Ａｄａｐｔｉｖｅ ＱＰ Ｃｏｍｐｅｎｓａｔｉｏｎ ａｎｄ Ｅａｒｌｙ ＣＵ Ｐａｒｔｉｔｉｏｎ Ｔｅｒｍｉｎａｔｉｏｎ［Ｊ］． Ｍｕｌｔｉｍｅｄｉａ Ｔｏｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，２０１９，７８（１）：１０８１－１１０１．

［１３］ ＳＴＯＲＣＨ Ｉ，ＺＡＴＴ Ｂ，ＡＧＯＳＴＩＮＩ Ｌ，ｅｔ ａｌ． ＳｐａｔｉａｌｌｙＡｄａｐｔｉｖｅ Ｉｎｔｒａ Ｍｏｄｅ Ｐｒｅｓｅｌｅｃｔｉｏｎ ｆｏｒ ＥＲＰ ３６０ ＶｉｄｅｏＣｏｄｉｎｇ ［Ｃ ］∥ ２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＡｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）． Ｂａｒｃｅｌｏｎａ：ＩＥＥＥ，２０２０：２１７８－２１８２．

［１４］ ＬＩ Ｗ，ＦＡＮ Ｃ Ｘ，ＲＥＮ Ｐ． Ｆａｓｔ Ｉｎｔｒａｐｉｃｔｕｒｅ Ｐａｒｔｉｔｉｏｎｉｎｇｆｏｒ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ［Ｃ］∥２０２０ ＩＥＥＥ ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＳＩＰ）． Ｎａｎｊｉｎｇ：ＩＥＥＥ，２０２０：１０８－１１１．

［１５］ ＢＯＳＳＥＮ Ｆ，ＳＵＨＲＩＮＧ Ｋ，ＷＩＥＣＫＯＷＳＫＩ Ａ，ｅｔ ａｌ． ＶＶＣＣｏｍｐｌｅｘｉｔｙ ａｎｄ Ｓｏｆｔｗａｒｅ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ Ａｎａｌｙｓｉｓ ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ ＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，２０２１，３１（１０）：３７６５－３７７８．

［１６］ ＹＥ Ｙ，ＢＯＹＣＥ Ｊ Ｍ，ＨＡＮＨＡＲＴ Ｐ． Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ３６０°Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ ｉｎ Ｒｅｓｐｏｎｓｅｓ ｔｏ ｔｈｅ Ｊｏｉｎｔ Ｃａｌｌｆｏｒ Ｐｒｏｐｏｓａｌｓ ｏｎ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ＣａｐａｂｉｌｉｔｙＢｅｙｏｎｄ ＨＥＶＣ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄＳｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，２０１９，３０（５）：１２４１－１２５２

［１７］ ＢＯＹＣＥ Ｊ Ｍ，ＡＬＳＨＩＮＡ Ｅ，ＡＢＢＡＳ Ａ，ｅｔ ａｌ． ＪＶＥＴＤ１０３０：ＪＶＥＴ Ｃｏｍｍｏｎ Ｔｅｓｔ Ｃｏｎｄｉｔｉｏｎｓ ａｎｄ ＥｖａｌｕａｔｉｏｎＰｒｏｃｅｄｕｒｅｓ ｆｏｒ ３６０° Ｖｉｄｅｏ［Ｃ］∥ＩＴＵＴ ＳＧ １６ ＷＰ ３ ａｎｄＩＳＯ ／ ＩＥＣ ＪＴＣ １ ／ ＳＣ ２９ ／ ＷＧ １１ ７ｔｈ Ｍｅｅｔｉｎｇ． Ｔｏｒｉｎｏ：［ｓ．ｎ． ］，２０１６：１２０５－１２１３．

［１８］ ＺＨＡＮＧ Ｍ Ｌ，ＣＨＥＮ Ｙ Ｓ，ＬＵ Ｘ，ｅｔ ａｌ． Ｆａｓｔ Ｃｏｄｉｎｇ ＵｎｉｔＰａｒｔｉｔｉｏｎ Ｄｅｃｉｓｉｏｎ ｆｏｒ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｉｎ Ｖｅｒｓａｔｉｌｅ ＶｉｄｅｏＣｏｄｉｎｇ［Ｃ］∥Ｔｈｅ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅａｎｄ Ｇｒａｐｈｉｃｓ （ＩＣＩＧ ２０２１）． Ｈａｉｋｏｕ：ＡＣＭ，２０２１：７００－７１１．

作者簡介

金雪松 男，（１９７５—），博士，教授。主要研究方向：圖像處理與模式識別、深度學習。

王田田 女，（１９９７—），碩士研究生。主要研究方向：視頻編碼。

基金項目：黑龍江省自然科學基金（Ｆ２０１８０２０）