張云研究團隊提出一種基于稀疏表示的 3D 虛擬視點視頻質(zhì)量評價方法

中國科學(xué)院深圳先進技術(shù)研究院高性能技術(shù)研究中心張云研究團隊在 3D 虛擬視點視頻質(zhì)量評價研究取得進展。相應(yīng)成果為“Zhang Y, Zhang H, Yu M, et al. Sparse representation based video quality assessment for synthesized 3D videos [J]. IEEE Transactions on Image Processing, 2020, 29: 509-524(基于稀疏表示的 3D 虛擬視點視頻質(zhì)量評價方法)”。

3D 和自由視點視頻系統(tǒng)中，虛擬視點可以提供任意角度的觀看體驗，這為人們提供更加身臨其境的 3D 體驗，因而虛擬視點質(zhì)量對于 3D 系統(tǒng)的視覺質(zhì)量感知意義重大。然而，由于深度圖的壓縮失真和繪制過程等引入的噪聲，虛擬視點視頻中產(chǎn)生了一種惱人的閃爍失真，嚴(yán)重影響了 3D 觀看質(zhì)量。

為了評價虛擬視點視頻質(zhì)量以及進一步優(yōu)化 3D 視頻系統(tǒng)中的壓縮技術(shù)，該研究提出一種針對 3D 虛擬視點視頻的質(zhì)量評價方法。具體地，首先將虛擬視頻高效表示為空間上相鄰的時間層，利用時間層梯度特征和深度圖的強邊緣特征檢測閃爍失真位置；然后，針對時域?qū)硬捎米值鋵W(xué)習(xí)和稀疏表示有效表達時域閃爍失真并得到虛擬視點視頻的閃爍失真分?jǐn)?shù)；最后，將提出的虛擬視點閃爍失真測量模塊與傳統(tǒng)的空域失真測量模塊結(jié)合，得到虛擬視點視頻最終的質(zhì)量評價模型 SR-3DVQA。

結(jié)果顯示，在現(xiàn)有的 SIAT 3D 序列測試集上，所提出的虛擬視點視頻質(zhì)量評價模型 SR-3DVQA 的線性評價指標(biāo) PLCC(Pearson 線性相關(guān)系數(shù))、SROCC(Spearman 秩相關(guān)系數(shù))、RMSE(均方根誤差)分別達到 0.910、0.914 和 0.053，更接近與人眼主觀質(zhì)量，且顯著優(yōu)于其他圖像/視頻質(zhì)量評價方法。

所提出的方法可以衡量虛擬視點視頻質(zhì)量，為 3D 系統(tǒng)的壓縮、傳輸?shù)葓D像處理過程提供更先進的技術(shù)指導(dǎo)，以提高用戶 3D 視覺體驗。該方法可應(yīng)用于 3DTV、VR 游戲、遠(yuǎn)程教育等場景。

3D 虛擬視點視頻質(zhì)量評價模型 SR-3DVQA