基于碼流的G-PCC壓縮點云無參考感知質(zhì)量評估

宋輝 蘇洪磊 呂劍雨 元輝

（1.青島大學(xué)電子信息學(xué)院，山東青島 266071；2.山東大學(xué)控制科學(xué)與工程學(xué)院，山東濟(jì)南 250061）

1 引言

隨著現(xiàn)代媒體技術(shù)的快速發(fā)展，越來越多的技術(shù)被用于呈現(xiàn)三維（3-dimension，3D）內(nèi)容，3D 數(shù)據(jù)也有了不同的格式，如全息圖［1］、光場［2］、點云（point cloud，PC）［3］等。其中，點云是當(dāng)前應(yīng)用較為廣泛的3D 媒體形式之一。點云是給定的坐標(biāo)空間下的點的數(shù)據(jù)集合，每個點包含了坐標(biāo)信息和屬性信息（如顏色、法向量等），這些點共同來呈現(xiàn)為3D內(nèi)容［4］。

由于原始點云數(shù)據(jù)量較大，因此在一定帶寬限制的網(wǎng)絡(luò)中傳輸點云時，需要對點云進(jìn)行壓縮［5］，導(dǎo)致點云失真，影響點云的感知質(zhì)量。如何對點云感知質(zhì)量進(jìn)行實時有效的評估，及時改變點云壓縮［6］和傳輸策略［7］，使用戶獲得更好的視覺體驗，成為當(dāng)前的研究難點。主觀質(zhì)量評估能準(zhǔn)確反映點云感知質(zhì)量，但其操作復(fù)雜，成本高，且無法鑲嵌在實際的應(yīng)用中對點云質(zhì)量進(jìn)行實時評估［8］。而客觀質(zhì)量評估能在點云系統(tǒng)中對點云進(jìn)行實時評估，因此有必要研究點云的客觀質(zhì)量評價方法。

從輸入信息的角度看，客觀質(zhì)量評估可分為參數(shù)規(guī)劃模型、包層模型、比特流層模型［9］、媒體層模型［10-22］和混合型模型。點云的媒體層模型的輸入信息是解碼后的點云數(shù)據(jù)，需要完全解碼獲得體素［23］信息，因此耗費時間較長，無法適用于對實時性要求較高的點云傳輸系統(tǒng)。而比特流層模型不需要對點云完全解碼，僅需從碼流中提取必要的信息，即可做出對點云的感知質(zhì)量評價。因此相對與媒體層模型來說，比特流層模型更適用于在實際應(yīng)用場景中對點云質(zhì)量進(jìn)行實時監(jiān)測。

目前，已有較多文獻(xiàn)對點云質(zhì)量評估（point cloud quality assessment，PCQA）進(jìn)行了研究，但多為媒體層模型。文獻(xiàn)［9］提出了一種簡單的基于碼流的PCQA 模型，對碼率與點云感知質(zhì)量的關(guān)系進(jìn)行了研究。在媒體層模型中，全參考（full reference，F(xiàn)R）模型是目前的主流類型［10-20］。全參考模型可以分為基于點的模型［10-17］和基于投影的模型［18-19］。文獻(xiàn)［9-11］中提出了Po2Point，Po2Plane 等利用幾何信息進(jìn)行點云感知質(zhì)量評估的模型，這些模型主要通過計算失真點云與參考點云幾何信息之間的差異對失真點云在幾何層面做出感知質(zhì)量評估，由于某些情況下點云的幾何信息的差異并不會影響到點云的感知質(zhì)量，故這些模型的性能不算理想。文獻(xiàn)［13］提出了PC-MSDM 模型，該模型是3D網(wǎng)格質(zhì)量評估算法的擴展利用了局部曲率信息，因此比單純的利用幾何距離差異的模型性能更好。除了基于點的模型外，文獻(xiàn)［17］提出了基于圖變換的GraphSIM 模型，該模型使用曲線圖信號梯度作為質(zhì)量指標(biāo)來評估點云失真，對于具有多種失真類型的點云數(shù)據(jù)庫具有良好的性能。另外，文獻(xiàn)［18-19］提出了基于投影的PCQA 方法，將點云以某投影在平面上，再使用經(jīng)典的圖像質(zhì)量評估算法進(jìn)行計算，該類算法有較為優(yōu)秀的性能表現(xiàn)。但是全參考PCQA 模型同時需要失真點云和參考點云，而參考點云在網(wǎng)絡(luò)節(jié)點中是不易獲取的，這就使得全參考PCQA 模型在實際的點云傳輸場景中無法使用。無參考（no reference，NR）模型不需要參考點云信息，文獻(xiàn)［21］提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的無參考PCQA 模型，該系統(tǒng)基于稀疏卷積層和殘差的堆棧，提取層次特征并對其全局池化，從而得到網(wǎng)絡(luò)的特征向量，由后續(xù)網(wǎng)絡(luò)將特征向量輸入到回歸模塊中預(yù)測最終客觀質(zhì)量分?jǐn)?shù)。深度學(xué)習(xí)網(wǎng)絡(luò)評估方法的高準(zhǔn)確性需要經(jīng)過大量的數(shù)據(jù)集訓(xùn)練來實現(xiàn)。對于小數(shù)據(jù)集的數(shù)據(jù)庫，可能存在由于訓(xùn)練集不足導(dǎo)致性能降低的缺陷。并且該模型需要點云的媒體層特征，無法在點云系統(tǒng)中實時監(jiān)測。

上述模型大部分為媒體層模型，需要對點云進(jìn)行完全解碼得到重建點云信息，故其計算復(fù)雜度較高，較難實現(xiàn)對網(wǎng)絡(luò)中點云質(zhì)量的實時監(jiān)控。

本文提出了一種基于碼流的G-PCC（geometrybased point cloud compression）壓縮點云無參考感知質(zhì)量評價模型。從壓縮點云的碼流中提取紋理量化參數(shù)（texture quantization parameter，TQP）、紋理比特率（texture bits per pixel，TBPP）和位置量化尺度（position quantization scale，PQS），本模型使用上述信息對點云進(jìn)行感知質(zhì)量評估。首先，在不考慮幾何損失的情況下，確定TQP 與感知質(zhì)量之間的關(guān)系。然后使用紋理量化參數(shù)和紋理比特率來預(yù)測紋理復(fù)雜度，并結(jié)合空域掩蓋效應(yīng)建立幾何無損時的點云質(zhì)量評估模型。然后結(jié)合位置量化尺度對點云下采樣質(zhì)量的影響，確定了紋理量化參數(shù)與位置量化尺度對點云質(zhì)量的影響相互獨立，并最終得到完整的點云質(zhì)量評估模型。

2 基于碼流的PCQA模型

G-PCC 是國際標(biāo)準(zhǔn)動態(tài)圖像專家組（Moving Picture Experts Group，MPEG）提出多種3D 點云壓縮（Point Cloud Compression，PCC）技術(shù)之一，主要應(yīng)用于靜態(tài)點云的壓縮。點云在經(jīng)過體素化后，進(jìn)行幾何和紋理編碼，其中幾何編碼有八叉樹（Octree）和Trisoup 兩種方式，紋理編碼有l(wèi)ifting 和區(qū)域自適應(yīng)分層變換（Region Adaptive Hierarchical Transform，RAHT）兩種方式。Octree 編碼的程度可以在PQS 上體現(xiàn)，決定了點云的稀疏程度。紋理量化通過輸入的參數(shù)對lifting 變換殘差系數(shù)進(jìn)行量化，TQP決定紋理上的量化誤差。G-PCC點云壓縮會進(jìn)行紋理和幾何的量化，而量化是G-PCC 壓縮點云失真最主要的原因，分別對紋理編碼和幾何編碼對點云感知質(zhì)量的影響進(jìn)行研究建立模型，并將他們結(jié)合形成一個整體的模型，圖1 為基于碼流的PCQA模型流程圖。

圖1 模型流程圖Fig.1 Flowchart of the model

2.1 紋理編碼參數(shù)與點云感知質(zhì)量之間的關(guān)系

幾何無損的點云壓縮會出現(xiàn)紋理失真，不同的紋理量化步長（texture quantization step，TQS）或其對應(yīng)的TQP 會導(dǎo)致不同程度的紋理失真。為了研究TQP 與點云感知質(zhì)量的關(guān)系，從WPC4 數(shù)據(jù)庫1https://github.com/qdushl/Waterloo-Point-Cloud-Database-4.0中選取不同內(nèi)容的點云（cake、cauliflower、glasses_case、litchi、pineapple、pumpkin、tool_box），在固定位置量化尺度的情況下（PQS=0.5），研究不同點云的主觀質(zhì)量分?jǐn)?shù)（Mean Opinion Score，MOS）隨TQS 的變化情況。WPC4數(shù)據(jù)集是在WPC［22］數(shù)據(jù)集基礎(chǔ)上，選取其中的部分點云內(nèi)容（bag、cake、cauliflower、glasses_case、honeydew_melon、litchi、mushroom、pen_container、pineapple、ping-pong_bat、pumpkin、ship、statue、tool_box），進(jìn)行了G-PCC中的‘Octree+lifting’編碼，PQS有三種不同的量化，分別為0.125、0.25、0.5，TQP 有四種不同的量化，分別為28、34、40、46，其余參數(shù)使用缺省配置。皮爾遜線性相關(guān)系數(shù)（Pearson linear correlation coefficient，PLCC）是衡量兩數(shù)據(jù)集合線性相關(guān)程度的指標(biāo)，其絕對值的取值范圍為［0，1］，PLCC的絕對值越大，兩數(shù)據(jù)集合線性相關(guān)程度越強。從表1 和圖2 可以看出，對于特定的點云內(nèi)容，其MOS值與TQS 有近似線性的關(guān)系，并且隨著TQS 的變大，MOS 值變小。而對于不同點云內(nèi)容來說，各曲線擬合直線的斜率有較大區(qū)別。比如，紋理復(fù)雜度高的點云（圖3（a），cake），在相同的TQS 下具有更高的MOS值，也就是說它對應(yīng)的斜率更大，相應(yīng)的，紋理簡單的點云（圖3（b），tool_box），在相同的TQS下的MOS值較低，對應(yīng)的斜率更小。

圖3 原始點云：cake和tool_boxFig.3 Original PCs：cake and tool_box

表1 不同點云的MOS與TQS之間的PLCCTab.1 PLCC between MOS and TQS of different point clouds

圖2 MOS與TQS之間的關(guān)系Fig.2 The relationship between MOS and TQS

造成這種現(xiàn)象的原因是人類視覺系統(tǒng)（human visual system，HVS）依賴于點云內(nèi)容的紋理掩蔽效應(yīng)在紋理失真評估中發(fā)揮了重要作用。因此，在建立點云的紋理失真模型中也需要考慮與點云內(nèi)容相關(guān)的參數(shù)，即紋理復(fù)雜度（texture complexity，TC）［24］。

2.2 紋理復(fù)雜度估計

點云的紋理復(fù)雜度可以用原始點云局部塊的像素值的平均標(biāo)準(zhǔn)差來表征。然而對于無參考PCQA 模型來說，原始點云不可獲取。為了克服這個問題，使用來自壓縮點云的碼流信息（如TQP 和TBPP）來估計TC。選用14 個不同內(nèi)容的點云（bag、cake、cauliflower、glasses_case、honeydew_melon、litchi、mushroom、pen_container、pineapple、ping-pong_bat、pumpkin、ship、statue、tool_box），在固定TQP 的情況下TBPP 與TC 的關(guān)系如圖4 所示，當(dāng)TQP 固定時，TBPP 和TC 之間的關(guān)系是近似線性的，并且這個線性函數(shù)的斜率和截距是TQP的函數(shù)：

圖4 不同TQP下TBPP與TC的關(guān)系Fig.4 The relationship between TBPP and TC under different TQP

k和d是TQP的函數(shù)。為了研究k和d與TQP的具體關(guān)系，將圖4 中擬合直線的斜率和截距隨TQP 的變化在圖5 中表示。可以看出，k（TQP）與d（TQP）可以用線性函數(shù)表示。

其中a1、a2、b1、b2是在最小二乘誤差準(zhǔn)則下通過使用圖5中的數(shù)據(jù)進(jìn)行訓(xùn)練而獲得的常數(shù)。

圖5 不同TQP下的斜率和截距Fig.5 Slope and intercept of fitting line in Figure 3 below for different TQP

2.3 紋理失真評估模型

正如圖2 中那樣，不同內(nèi)容點云的MOS 值與TQS具有線性關(guān)系：

其中α和β是實驗參數(shù)，MOST代表紋理失真點云的MOS值，并且

可以看出β是MOST的最大值，不同點云之間的β差別不大，可以設(shè)為一個常數(shù)。同時可以觀察到，點云內(nèi)容不同，α也不同。圖6 示出了α和TC 的散點圖，其中較高的α值通常對應(yīng)于較高TC 的點云（例如cake），反之亦然（例如tool_box）。因此，可以采用以下函數(shù)對α進(jìn)行估計：

圖6 α和TC的散點圖Fig.6 Scatter plots of α and TC

其中c和d是通過使用最小二乘法擬合訓(xùn)練獲得。結(jié)合式（4）～（6），可以得到：

該模型可用于評估G-PCC 紋理失真點云的感知質(zhì)量，也可作為同時具有紋理和幾何失真的PCQA 的關(guān)鍵的一部分。

2.4 包含幾何失真的PCQA模型

G-PCC 編碼不僅在紋理上對點云進(jìn)行了編碼，也在幾何上對點云進(jìn)行了下采樣，從圖7 中可以看出，對于所有點云來說，在相同的PQS 條件下，MOS隨著TQP 的增大而減小，而在同樣的TQP 條件下，PQS 越小，MOS 值越小。圖中圓形表示PQS=0.5 的數(shù)據(jù)值，方形表示PQS=0.25 的數(shù)據(jù)值，三角形表示PQS=0.125的數(shù)據(jù)值。

圖7 不同PQS下TQP與MOS的關(guān)系Fig.7 MOS vs.TQP at different PQS

為了研究TQP 和PQS 的對點云感知質(zhì)量的影響是否獨立，用每個點云在不同PQS 下TQP 與歸一化MOS 值（NMOS）的關(guān)系進(jìn)行研究如圖8 所示，NMOS定義如下：

圖8 不同PQS下TQP與歸一化MOS的關(guān)系Fig.8 Normalized MOS vs.TQP at different PQS

其中TQPmin為TQP 的最小值（28），圖中圓形表示PQS=0.5 的數(shù)據(jù)值，方形表示PQS=0.25 的數(shù)據(jù)值，三角形表示PQS=0.125的數(shù)據(jù)值。

可以看出，與圖7 相比，圖8 中的曲線有很大程度的重合，這表明TQP 和PQS 之間具有顯著的獨立性，這也意味著點云的紋理和幾何失真對點云質(zhì)量的影響是獨立的［25］。因此可以在前面紋理失真模型（PQS=0.5）的基礎(chǔ)上，研究點云感知質(zhì)量隨PQS的減小而減小的程度。

因為是在PQS=0.5的紋理失真模型的基礎(chǔ)上研究PQS是如何影響點云感知質(zhì)量的，所以先求出同一PQS下所有點云的MOS的均值，并除以PQS=0.5時的MOS均值進(jìn)行歸一化，稱為歸一化的MOS均值，它可以表示PQS 對MOS 的影響程度，研究其與PQS 的關(guān)系，如圖9所示，采用以下模型來預(yù)測隨PQS的變化歸一化的MOS均值的下降比例：

圖9 PQS與歸一化MOS均值的關(guān)系Fig.9 Relationship between PQS and Normalized MOS Mean

f1和f2是經(jīng)過數(shù)據(jù)擬合后得到的參數(shù)，DG（PQS）是歸一化的MOS均值隨PQS的減小衰減的程度。

由于可以認(rèn)為紋理失真與幾何失真對點云的MOS 的影響幾乎是不相關(guān)的，因此，本文提出了基于碼流的G-PCC 編碼點云的無參考感知質(zhì)量評價模型：

3 實驗結(jié)果與討論

本文實驗所用的數(shù)據(jù)集為WPC4點云數(shù)據(jù)庫，選用了其中14個不同內(nèi)容總計168個失真點云。

通過訓(xùn)練得出模型中各個參數(shù)的值在表2中給出，具體來說，β是點云MOS值的最大值；參數(shù)a1、a2、b1、b2通過公式（2）、（3）得出；參數(shù)c、d通過公式（6）得出；參數(shù)f1和f2通過公式（9）得出。這些參數(shù)在本模型中固定。

表2 參數(shù)值Tab.2 Parameter values

為了驗證本模型的性能，采用傳統(tǒng)的三個指標(biāo)，也就是PLCC、斯皮爾曼秩相關(guān)系數(shù)（Spearman rankorder correlation coefficient，SRCC）、均方根誤差（root mean square error，RMSE）進(jìn)行評估。PLCC 和SRCC越接近1，預(yù)測MOS 值與實際的MOS 值的相關(guān)性越好，RMSE 越小，預(yù)測MOS 值與實際的MOS 值之間的誤差越小。

進(jìn)行了消融測試以驗證紋理失真模型和幾何失真模型分別對總體模型的貢獻(xiàn)，使用上述所說的三個指標(biāo)（PLCC、SRCC、RMSE）分別對紋理失真模型和幾何失真模型進(jìn)行檢測，測試結(jié)果如表3所示，可以看出，紋理失真模型和幾何失真下降率都對質(zhì)量評估產(chǎn)生了積極的影響。

表3 消融測試Tab.3 Ablation test results

為了評估該模型的泛化能力且為了防止數(shù)據(jù)的過度擬合，本文模型在WPC4 數(shù)據(jù)庫進(jìn)行留一法測試，測試的結(jié)果在表4中呈現(xiàn)。

在測試數(shù)據(jù)中的三個統(tǒng)計指標(biāo)方面評估了所提出模型的性能，從表4中可以看出，該模型對于每一個點云的性能都是優(yōu)異的，并且平均值和標(biāo)準(zhǔn)差值都能夠表示該模型具有強大的泛化能力和較好的魯棒性。

表4 留一法測試Tab.4 Performance of the LOOCV results

另外，為了進(jìn)一步驗證本文模型的性能，將本文模型與其余先進(jìn)的PCQA 模型進(jìn)行了性能參數(shù)比較，結(jié)果表5所示。

表5 中最佳結(jié)果以粗體顯示，次佳結(jié)果用斜體顯示。從表中可以看出，以WPC4 點云數(shù)據(jù)中G-PCC 編碼數(shù)據(jù)集為評估對象時，本文模型與其他PCQA 模型相比具有明顯的優(yōu)勢，本文模型的PLCC和SRCC 均達(dá)到了0.94 以上，說明該模型所得客觀分?jǐn)?shù)與主觀質(zhì)量分?jǐn)?shù)之間有優(yōu)異的相關(guān)性。其次是GraphSIM 指標(biāo)，其PLCC 與SRCC 分別為0.9224和0.9227，與本文模型相比略差，其余PCQA 指標(biāo)，相關(guān)性均在0.8 以下。圖10 展示了各算法所得客觀質(zhì)量分?jǐn)?shù)與主觀質(zhì)量分?jǐn)?shù)的散點圖。

圖10 各算法所得客觀質(zhì)量分?jǐn)?shù)與主觀質(zhì)量分?jǐn)?shù)的散點圖Fig.10 Scatter chart of objective quality score and subjective quality score obtained by each algorithm

表5 與其他PCQA模型的對比Tab.5 Comparison with other PCQA modes

為了驗證本文模型只需要較低的計算成本，選取了兩個具有代表性的點云，他們具有不同的內(nèi)容復(fù)雜度，將本文模型在表6 中與其他PCQA 模型的時間復(fù)雜度進(jìn)行比較。其中不包括mseF（p2point），mseF，PSNR（p2point），mseF（p2plane），mseF，PSNR（p2plane），它們的執(zhí)行時間與PSNR-Y 相當(dāng)。本測試在該測試在配備3.6 GHz Intel（R）Xeon（R）W-2123 處理器和32 GB RAM 的戴爾Precision 5820 Tower上進(jìn)行。

表6 PCQA模型的時間復(fù)雜度Tab.6 Time complexity of PCQA models

本文模型的執(zhí)行時間明顯低于其他模型，其他模型隨著點云中點的個數(shù)的增加執(zhí)行時間會明顯增加，而本文模型則沒有，可以說明本文模型具有較低的時間復(fù)雜度，節(jié)省計算成本。

4 結(jié)論

本文提出了一種基于碼流的G-PCC 壓縮點云無參考感知質(zhì)量評估模型。通過分析紋理編碼參數(shù)與點云感知質(zhì)量的關(guān)系，發(fā)現(xiàn)不同內(nèi)容點云的在相同編碼條件下的感知質(zhì)量是不同的，并且紋理參數(shù)與感知質(zhì)量呈線性關(guān)系。通過研究碼流中TBPP 信息與TC 的關(guān)系，建立TBPP 對TC 的預(yù)測模型并建立G-PCC 編碼點云的紋理失真模型。通過分析位置量化尺度與MOS 的關(guān)系建立幾何下降率模型并結(jié)合紋理失真模型建立基于碼流的G-PCC壓縮點云無參考感知質(zhì)量評估模型。實驗結(jié)果表明，本文模型所得的客觀分?jǐn)?shù)與MOS 有較好的一致性。