基于v-SVR的無參考3D點云質量評估模型

劉雨鑫 楊環(huán) 蘇洪磊 劉祺 陳添鑫 龍春意

摘要：

為了實現(xiàn)對3D點云質量有效監(jiān)控，提出一種基于v-SVR的無參考3D點云質量評估模型。首先，分析失真點云編碼相關參數(shù)與主觀質量之間的關系，確定編碼設置對主觀質量的影響。其次，分析相同編碼設置下不同內容特性對主觀質量的影響，并提出了一個能夠估計表征點云內容特性的幾何特性因子和紋理特性因子的模型。最后，將量化參數(shù)、位置量化尺度、紋理特征因子、幾何特征因子作為v-SVR的輸入參數(shù)，主觀質量分數(shù)作為輸出參數(shù)，訓練并得出一個反映人眼視覺特性的無參考3D點云質量評估模型。實驗結果表明，與其他典型點云質量評估模型（Pointssim、PSNR-Y、PCMrr）相比，本文模型得到客觀質量分數(shù)與主觀質量分數(shù)的皮爾森相關系數(shù)分別提高了03265、01855、01748，均方根誤差分別下降了63174、38350、36050。

關鍵詞：

點云質量評估（PCQA）;基于幾何的點云壓縮（G-PCC）;無參考;3D點云;支持向量回歸（SVR）

中圖分類號：TN919.8

文獻標志碼：A

收稿日期：2020-12-29

基金項目：

山東省重點研發(fā)計劃（批準號：2019GGX101021）資助;山東省自然科學基金（批準號：ZR2018PF002）資助。

通信作者：

楊環(huán)，女，博士，副教授，主要研究方向為圖像/視頻處理與分析、視覺感知建模及質量評估、機器學習等。E-mail：cathy_yanghuan@hotmail.com。

3D點云是由分散在三維空間中大量非結構化的三維點組成，這些點不僅具有幾何信息，還具有相應屬性（RGB顏色，表面法向量，不透明度，反射率等）。目前，隨著沉浸式媒體通訊的迅速發(fā)展，日常生活中出現(xiàn)了越來越多的3D點云應用，如沉浸式通話、智能購物、數(shù)字博物館等。但是，一個典型的高質量點云需要數(shù)百萬甚至數(shù)十億個點，不僅存儲不便，也難以實現(xiàn)實時傳輸。因此國際標準動態(tài)圖像專家組（Moving Picture Experts Group， MPEG）提出多種3D點云壓縮（Point Cloud Compression，PCC）技術[1]，其中對于動態(tài)點云壓縮通常使用基于視頻的點云壓縮（Video-based Point Cloud Compression，V-PCC），靜態(tài)點云壓縮通常使用基于幾何的點云壓縮（Geometry-based Point Cloud Compression，G-PCC）。在G-PCC中幾何編碼方式分為八叉樹（Octree）方式和Trisoup方式，屬性編碼方式分為區(qū)域自適應分層變換（ Region Adaptive Hierarchical Transform，RAHT）、基于插值的層次最近鄰預測（Predicting Transform，PT）、帶有更新和提升步驟的基于插值的層次最近鄰預測（Lifting Transform，LT）。G-PCC提供了高編碼性能，超越了許多編碼方法，成為目前最流行的3D點云壓縮方法之一。根據(jù)不同的應用場景終端及傳輸帶寬，在編碼過程中對3D點云進行不同程度的壓縮，會造成3D點云質量的下降，最終影響用戶的視覺體驗。人眼主觀評測是視覺體驗的最真實反映，但主觀評測耗時耗力且不能實現(xiàn)實時評測及反饋，為了更好地衡量壓縮后點云的質量，需開發(fā)3D點云質量客觀評價模型來模擬人類視覺系統(tǒng)（Human Visual System，HVS）感知機制并進行建模，進而給出量化指標。3D點云客觀質量不僅可以作為對比不同點云壓縮算法性能的指標，還可以作為壓縮算法參數(shù)調整的依據(jù)，動態(tài)調整3D點云壓縮的視覺效果，以達到評估和優(yōu)化的目的。在3D點云客觀質量評估中，根據(jù)對原始點云信息的利用將質量評估模型分為三類：全參考（Full Reference， FR）、部分參考（Reduced Reference，RR）、無參考（No Reference，NR）。FR模型是3D點云質量評估中現(xiàn)有最多的模型，可以利用來自整個原始點云的信息來估計失真。FR模型主要分為基于點的[2-11]、基于投影的[12-15]以及基于圖的[16]質量評估模型。其中，基于點的FR模型中，文獻[2]認為訪問幾何分布取決于歐氏距離或沿法向量的投影誤差;文獻[3]認為使用顏色直方圖和相關圖來評估一個失真點云相對于參考點云的損失，以獲得一個點云質量評估（Point Cloud Quality Assessment，PCQA）指標。文獻[6]提出通過計算局部表面近似相似度來預測幾何形變，提出了角相似度度量。文獻[7-8]提出了基于顏色分量的點對點PSNR （Peak signal-to-noise Ratio， PSNR-Y）來評價彩色點云的紋理失真。這個度量是PSNR在三維空間的擴展，因此也繼承了PSNR評價2D圖像的缺點。Alexiou等[9-11]利用相似度[17]的思想分別提出了三種度量指標，其度量準確性在圖像質量評價領域得到了證明。從參考點云和失真點云中分別提取幾何特征、法線特征、曲率特征和顏色特征，然后評估幾何特征和顏色特征的相似性，獲得客觀評分。除了這些基于點的模型外，還有基于投影的模型，基于投影的PSNR （Peak signal-to-noise Ratio， PSNRp），基于投影的結構相似性（Structual Similarity， SSIMp），基于投影的多尺度結構相似性（Multi-scale Structual Similarity， MS-SSIMp）和基于投影的像素域視覺信息保真度（ Visual Information Fidelity Pixel-based， VIFPp） [12-15]。當無法獲取原始點云時，使用RR和NR模型評估點云質量更有優(yōu)勢。RR模型利用原始點云提取特征參數(shù)作為邊帶信息傳輸?shù)浇獯a端，在解碼端提取失真點云中的特征參數(shù)與原始點云的特征參數(shù)進行運算得到失真點云的質量。Viola等[18]提出了一個RR度量，其從給定的參考點云中提取基于幾何、基于亮度和基于法線的特征。這些特征作為邊帶信息隨點云信息一起傳輸，并在接收端與失真點云中提取的特征進行計算，以評估其失真點云的感知質量，并通過線性優(yōu)化算法找到所提出特征的最佳組合。因為RR模型需要邊帶信息和完全解碼，所以要想實現(xiàn)對網絡節(jié)點中大規(guī)模點云碼流質量的實時監(jiān)控，NR模型成為最佳選擇。NR模型不需要原始點云信息的依賴，只需要對編碼比特流進行解析及重構點云即可計算失真點云的質量分數(shù)。此外，無參考質量評估具有傳輸數(shù)據(jù)少、高實時性、計算復雜度低的優(yōu)點，可以應用于任何3D點云業(yè)務相關領域，具有普適性。目前所知道針對點云提出的NR模型只有文獻[19]，提出基于比特率和觀測距離估計質量等級的模型，但并未考慮HVS。本文結合v-SVR提出一種NR模型，考慮HVS在主觀實驗時產生的空間掩蓋效應，即分析相同編碼情況下不同內容特性點云的MOS，確定點云紋理和幾何內容特性對MOS的影響，并提出分別能夠表示點云幾何和紋理內容特性的幾何特征因子、屬性特征因子。在解碼端通過解析比特流中的信息和提取重構點云中的特征作為輸入變量，點云質量分數(shù)作為輸出變量，采用v-SVR進行訓練，得到一個能夠反映人類視覺特性的無參考3D點云質量評估模型，該模型適用于G-PCC編碼的無參考3D點云質量評估并能夠準確預測“Octree-LT”編碼失真的3D點云質量分數(shù)，可以準確得到符合人眼視覺系統(tǒng)的客觀質量分數(shù)，使得客觀質量分數(shù)與主觀視覺效果具有更好的一致性。

3 主觀實驗

本文選擇WPC[15]中20個點云進行G-PCC（Octree-LT，版本V.11）壓縮，屬性上量化參數(shù)選取28、34、40、46，幾何上位置量化尺度選取0125、025、05，其余編碼參數(shù)為缺省值。將解碼后得到240個失真點云和20個原始點云使用Pccrenderer （版本V.5）[26]進行渲染，渲染所用的參數(shù)設置如表1所示。其中，渲染時將點云的幾何中心作為圓的中心，選擇水平圓和垂直圓作為虛擬相機路徑（如圖5所示），連續(xù)在這些圓上產生視點，將每個失真點云和原始點云水平的連接生成一個視頻序列展示。

主觀測試基于BT-50013標準[27]。共30人參與測試，所有測試人員的視力正?；虺C正視力正常。為了使測試者在正式測試前了解點云的各種失真情況，在訓練環(huán)節(jié)中向測試者展示了12個不同點云不同編碼參數(shù)的失真點云。正式測試時每人進行240個失真點云打分，每個測試者的整個測試時間約為1小時20分鐘，為防止測試人員長時間看屏幕導致視覺疲勞，測試分為3節(jié)，設置每展示80個點云后休息5分鐘。最終每個點云對應著30個主觀評分，所以一共得到 7 200個主觀分數(shù)。

測試結束后將主觀分數(shù)轉化為Z-scores，采用離群值去除方案檢測是否有離群值[24]。再將Z-scores線性縮放調整到范圍 [0，100]。每個失真點云的MOS通過所有有效的并且已經縮放調整的Z-scores進行平均值計算得到。MOS分布的直方圖如圖6所示，可知失真點云質量分數(shù)分布范圍很廣。圖7所示為所有測試人員對每個失真點云打出分數(shù)的標準差，可知標準差較小，說明整體測試人員表現(xiàn)較好。通過計算每個測試人員的分數(shù)與MOS之間的皮爾森線性相關系數(shù) （Pearson Linear Correlation Coefficient，PLCC）和斯皮爾曼秩相關系數(shù)（Spearman Rank-order Correlation Coefficient，SRCC）來估計個體受試者的表現(xiàn)，在圖8中展示計算結果。每個受試者與MOS之間的PLCC和SRCC的平均值分別高達0829 6、0827 6，表明大部分個體之間的表現(xiàn)基本一致。

4 實驗結果分析

本文軟件系統(tǒng)的回歸算法主要在臺灣大學開發(fā)的Mtlab版LIBSVM工具箱的基礎上[28]使用v-SVR對點云的質量分數(shù)進行回歸預測實驗。選取WPC中不同內容特性的點云（Bag、Banana、Biscuits、Cake、Cauliflower、Flowerpot、Glasses_case、Honeydew_melon、House、Litchi）作為訓練集點云，選擇不同內容特性的點云（Mushroom、Pen_container、Pineapple、Ping-pong_bat、Puer_tea、Pumpkin、Ship、Statue、Stone、Tool_box）作為測試集點云。編碼選取G-PCC（Octree-LT），量化參數(shù)選取28、34、40、46，位置量化尺度選取0125、025、05，其余編碼參數(shù)為缺省值。將點云訓練集數(shù)據(jù)放入LIBSVM中選用v-SVR進行模型訓練，核函數(shù)使用多項式核函數(shù)。由于核函數(shù)參數(shù)（λ，d，γ）選取不合適會導致過擬合或者欠擬合現(xiàn)象，所以核參數(shù)選擇很大程度上關系到整個回歸預測結果的精度。由于λ，d影響較大，分別選取不同λ，d的值訓練模型而將其他參數(shù)設置為默認值，通過比較訓練出的模型在測試樣本上的表現(xiàn)來選擇最佳參數(shù)組合。表2給出了使用不同參數(shù)組合方式進行模型訓練的結果，經過對比選取出最優(yōu)參數(shù)組合（λ=061，d=2，γ=0）。其中λ，d，γ分別對應LIBSVM中的參數(shù)（gamma=061，degree=2，coef0=0）。預測準確率使用客觀質量分數(shù)與主觀質量分數(shù)之間的均方根誤差 （ Root Mean Squard Error，RMSE ）、平均絕對誤差 （Mean Absolute Error ，MAE ）、皮爾森線性相關系數(shù)（Pearson Linear Correlation Coefficient，PLCC）、肯德爾等級相關系數(shù)（Kendall rank-order correlation coefficient，KRCC）、斯皮爾曼秩相關系數(shù)（Spearman Rank-order Correlation Coefficient，SRCC ）來表現(xiàn)。其中RMSE和MAE是反映預測值與被預測值之間差異程度的一種度量，表示客觀質量分數(shù)與主觀質量分數(shù)之間的差異程度。PLCC描述客觀質量分數(shù)和主觀質量分數(shù)之間的線性相關性，KRCC是用來測量兩組數(shù)據(jù)之間的相關性的統(tǒng)計值。PLCC、KRCC的絕對值越大，相關性越強。SRCC 是度量兩個組數(shù)據(jù)之間單調關系強弱的相關系數(shù)，如果一個變量是另外一個變量的嚴格單調函數(shù)，則系數(shù)為1或-1，表示完全相關（強相關）。表3所示為全參考模型Pointssim[9]、PSNR-Y [8]和部分參考模型PCMrr[18]與本文的模型性能參數(shù)比較?？芍?，SVR-PCQA相比其他模型具有更高的PLCC、SRCC、KRCC，相比其他模型具有更好的預測單調性和相關性;SVR-PCQA所得的RMSE、MAE相比其他模型小，說明SVR-PCQA具有更高的預測精準度。圖9給出了主觀質量分數(shù)分別與4種模型所得的客觀分數(shù)的散點圖，通過比較圖中（a）、（b）、（c）、（d），可知本文模型具有更高的預測精準度。

5 結論

本文提出了一種適用于G-PCC（Octree-LT）編碼且基于v-SVR的無參考3D點云質量評估模型。通過分析量化參數(shù)和位置量化尺度對點云失真的影響，建立模型基本關系?？紤]點云的內容特性對于人類視覺評估點云質量時產生的空間掩蓋效應，分析幾何特性和紋理特性同樣是影響點云質量的重要因素，并提出表示點云幾何特性和紋理特性的幾何特性因子和紋理特性因子。通過比特流的包頭解析得到量化參數(shù)和位置量化尺度，對于解碼端的失真點云進行特征提取得到幾何特征因子和紋理特征因子，并利用上述信息結合v-SVR進而建立一個符合人類視覺的無參考3D點云質量評估模型。實驗結果表明，本文模型所得客觀質量分數(shù)與MOS有較好的一致性。

參考文獻

[1]SCHWARZ S， PREDA M， BARONCINI V， et al. Emerging MPEG standards for point cloud compression[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems， 2018， 9（1）： 133-148.

[2]TIAN D， OCHIMIZU H， FENG C， et al. Geometric distortion metrics for point cloud compression[C]//2017 IEEE International Conference on Image Processing （ICIP）， Beijing， 2017： 3460-3464.

[3]VIOLA I， SUBRAMANYAM S， CESAR P. A color-based objective quality metric for point cloud contents[C]//12th International Conference on Quality of Multimedia Experience （QoMEX 2020）， Athlone， 2020.

[4]TIAN D， OCHIMIZU H， FENG C， et al. Evaluation metrics for point cloud compression[J]. ISO/IEC MPEG2016 M， 2017， 39316.

[5]TIAN D， OCHIMIZU H， FENG C， et al. Updates and integration of evaluation metric software for PCC[J]. ISO/IEC JTC1/SC29/WG11 MPEG2017 M， 2017， 40522.

[6]ALEXIOU E， EBRAHIMI T. Point cloud quality assessment metric based on angular similarity[C]//2018 IEEE International Conference on Multimedia and Expo （ICME）， San Diego， 2018： 1-6.

[7]MEKURIA R， BLOM K， CESAR P. Design， implementation， and evaluation of a point cloud codec for tele-immersive video[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2016， 27（4）： 828-842.

[8]MEKURIA R N， LI Z， TULVAN C， et al. Evaluation criteria for PCC （point cloud compression）[J]. ISO/IEC JTC1/SC29/WG11 MPEG，N16332， 2016.

[9]ALEXIOU E， EBRAHIMI T. Towards a point cloud structural similarity metric[C]//2020 IEEE International Conference on Multimedia & Expo Workshops （ICMEW）， London， 2020： 1-6.

[10] MEYNET G， NEHME Y， DIGNE J， et al. PCQM： A Full-Reference Quality Metric for Colored 3D point Clouds[C]//12th International Conference on Quality of Multimedia Experience （QoMEX 2020）， Athlone， 2020.

[11] HUA L， YU M， JIANG G， et al. VQA-CPC： a novel visual quality assessment metric of color point clouds[C]//Optoelectronic Imaging and Multimedia Technology VII. International Society for Optics and Photonics， 2020， 11550： 1155012.

[12] TORLIG E M， ALEXIOU E， FONSECA T A， et al. A novel methodology for quality assessment of voxelized point clouds[C]//Applications of Digital Image Processing XLI. International Society for Optics and Photonics， 2018， 10752： 107520I.

[13] ALEXIOU E， EBRAHIMI T. Exploiting user interactivity in quality assessment of point cloud imaging[C]//2019 Eleventh International Conference on Quality of Multimedia Experience （QoMEX）， Berlin， 2019： 1-6.

[14] ALEXIOU E， VIOLA I， BORGES T M， et al. A comprehensive study of the rate-distortion performance in MPEG point cloud compression[J]. APSIPA Transactions on Signal and Information Processing， 2019， 8：e27.

[15] SU H， DUANMU Z， LIU W， et al. Perceptual quality assessment of 3D point clouds[C]//2019 IEEE International Conference on Image Processing （ICIP）， Taiwan， 2019： 3182-3186.

[16] YANG Q， MA Z， XU Y， et al. Inferring point cloud quality via graph similarity[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020，doi：10.1109/TPAMI.2020.3047083.

[17] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： From error visibility to structural similarity[J]. IEEE transactions on image processing， 2004， 13（4）： 600-612.

[18] VIOLA I， CESAR P. A reduced reference metric for visual quality evaluation of point cloud contents[J]. IEEE Signal Processing Letters， 2020， 27： 1660-1664.

[19] CAO K， XU Y， COSMAN P. Visual quality of compressed mesh and point cloud sequences[J]. IEEE Access， 2020， 8： 171203-171217.

[20] 蘇洪磊. 基于碼流的網絡視頻無參考質量評估研究[D]. 西安：西安電子科技大學， 2014.

[21] WINKLER S， KUNT M， VAN DEN BRANDEN LAMBRECHT C J. Vision and video： Models and applications[M]. Springer， Boston， MA， 2001.

[22] RUSU R B， COUSINS S. 3D is here： Point cloud library （PCL）[C]//2011 IEEE international conference on robotics and automation， Shanghai， 2011： 1-4.

[23] ITU I. Parameter values for the hdtv standards for production and international programme exchange[J]. Recommendation ITU-R BT， 2002： 709-5.

[24] CORTES C， VAPNIK V. Support-vector networks[J]. Machine Learning， 1995， 20（3）： 273-297.

[25] HSU C W， CHANG C C， LIN C J. A practical guide to support vector classification[J].[2020-11-12] http：//www. csie. ntu. edu. tw/～ cjlin/papers/guide/guide. pdf.

[26] GUEDE C， RICARD J， LASSERRE S， et al. Technicolor point cloud renderer[J]. ISO/IEC JTC1/SC29/WG11 MPEG， M40229， 2017：18.

[27] SERIES B T. Methodology for the subjective assessment of the quality of television pictures[J]. Recommendation ITU-R BT， 2012： 500-13.

[28] CHANG C C. LIBSVM： a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology （TIST）， 2011， 2（3）： 1-27.

Abstract：

In order to effectively monitor the quality of 3D point clouds， a no-reference quality assessment model of 3D point clouds based on v-SVR is proposed. Firstly， the relationship between encoding parameters from the distorted point cloud and the subjective quality is analysed. Then the impact of the encoding settings on the subjective quality can be obtained. Secondly， the impact of content characteristic on the subjective quality can be determined under the same encoding settings. Then two models to estimate the geometric and textural characteristic factors respectively is proposed， both of which can characterize the point cloud content. Finally， quantization parameters， location quantization scales， texture feature factors， and geometric feature factors as the input parameters of v-SVR and the subjective quality scores as the output parameters. As a result， a no-reference quality assessment model of 3D point clouds is got which can reflect human visual characteristics. Experimental results show that compared with other typical point cloud quality evaluation models， Pointssim， PSNR-Y and PCMrr， the Pearson Correlation Coefficient of the proposed model is increased by 03265， 01855 and 01748 respectively， and the Root Mean Square Error is decreased by 63174， 38350， and 36050 respectively.

Keywords：

Point cloud quality assessment; G-PCC; No-reference; 3D point cloud; SVR