VR全景視頻渲染輸出安全性自動(dòng)評(píng)價(jià)模型

孫璇

(西安美術(shù)學(xué)院 影視動(dòng)畫系，陜西 西安 710065）

1 引言

VR全景視頻是現(xiàn)階段虛擬現(xiàn)實(shí)技術(shù)主要的實(shí)現(xiàn)形式之一，采用多個(gè)攝像頭拍攝然后進(jìn)行拼接形成在同一時(shí)刻獲取周圍360度的全景圖像，在虛擬現(xiàn)實(shí)平臺(tái)中占據(jù)十分重要的位置[1-3]。但是在實(shí)際應(yīng)用的過(guò)程中，由于渲染需要連接外部素材庫(kù)，導(dǎo)致素材庫(kù)易崩潰，視頻無(wú)法展示，因此需要對(duì)VR全景視頻渲染輸出安全性自動(dòng)評(píng)估。國(guó)內(nèi)專家也針對(duì)該方面的內(nèi)容進(jìn)行了研究，例如姚晨昊[4]針對(duì)VR 全景視頻技術(shù)鏈路的視覺(jué)體驗(yàn)，從渲染顯示流程、顯示屏的渲染性能、軟件處理能力三方面入手，分析全景視頻終端渲染顯示特點(diǎn)，研究良好觀看體驗(yàn)所需要的技術(shù)條件模型以實(shí)現(xiàn)視頻渲染輸出安全性自動(dòng)評(píng)價(jià)的目的；王圣等人[5]提出基于非下采樣輪廓波變換(NSCT)與加權(quán)引導(dǎo)濾波的增強(qiáng)方法來(lái)改善圖像質(zhì)量的圖像增強(qiáng)算法模型，保留細(xì)節(jié)特征，明顯提高視覺(jué)效果以有效實(shí)現(xiàn)視頻安全性自動(dòng)評(píng)價(jià)。

國(guó)外專家則致力于解決應(yīng)用程序擴(kuò)展的技術(shù)性問(wèn)題，提出一種PVRV流傳輸系統(tǒng)模型，借助于MEC服務(wù)器，尋求在鏈路自適應(yīng)，基于轉(zhuǎn)碼的塊質(zhì)量自適應(yīng)和視口渲染卸載之間進(jìn)行權(quán)衡，以提高能效和接收視口質(zhì)量。

以上模型現(xiàn)階段雖然取得了十分顯著的研究成果，但是由于未考慮評(píng)價(jià)模型的訓(xùn)練問(wèn)題，導(dǎo)致評(píng)價(jià)耗時(shí)較長(zhǎng)，相對(duì)誤差較高。為此，提出一種VR全景視頻渲染輸出安全性自動(dòng)評(píng)價(jià)模型。仿真實(shí)驗(yàn)結(jié)果表明，所提模型能夠有效降低相對(duì)誤差以及評(píng)價(jià)耗時(shí)。

2 VR全景視頻渲染輸出安全性自動(dòng)評(píng)價(jià)模型

2.1 VR全景視頻特征提取

一直以來(lái)，根據(jù)對(duì)人類的某些視覺(jué)現(xiàn)象的觀察，同時(shí)結(jié)合視覺(jué)心理以及生理學(xué)方面的研究成果，發(fā)現(xiàn)在VR全景視頻中存在大量的特性，部分特性的存在會(huì)導(dǎo)致視頻在傳輸?shù)倪^(guò)程中發(fā)生故障，具體的表現(xiàn)為掩蔽各種不同視覺(jué)效應(yīng)。

VR全景視頻在處理的過(guò)程中需要參考一些較為常見的心理學(xué)和物理效應(yīng)，具體地處理流程如圖1所示。

圖1 VR全景視頻處理中的人類視覺(jué)模型(HVS)

HVS模型在整個(gè)處理的過(guò)程中就是將視頻中的圖像變換到一個(gè)完備的感官色彩空間。通過(guò)以上步驟，視頻中的圖像就采用三個(gè)通道的信號(hào)進(jìn)行表示，其中主要包含一個(gè)無(wú)色的通道，兩個(gè)反映色彩信息的色彩通道。在這個(gè)處理階段，視頻會(huì)產(chǎn)生亮度掩蔽效應(yīng)，即亮度非線性效應(yīng)。這種非線性效應(yīng)是色彩復(fù)雜的空間固有的。其中人眼能夠辨別全景視頻的能力被稱為視覺(jué)銳度或者視覺(jué)空間分辨率，通過(guò)人眼能夠準(zhǔn)確區(qū)分出視頻中相鄰兩個(gè)點(diǎn)的最小視覺(jué)的倒數(shù)。由于人眼的視錐細(xì)胞在黃斑區(qū)分布最為密集，所以人眼對(duì)圖像中部分細(xì)節(jié)的分辨能力明顯大于邊緣部分。

通常情況下，VR 全景視頻在渲染輸出的過(guò)程中，視頻的處理結(jié)果需要通過(guò)人眼進(jìn)行檢驗(yàn)。在這種情況下，需要針對(duì)VR 全景視頻渲染輸出進(jìn)行特征提取。其中輸入視頻以及輸出視頻的均方根誤差需要進(jìn)行如下定義：設(shè)定輸入視頻是由T幀組成，各幀圖像由M×N個(gè)像素組成，將其表示為f(x，y)。當(dāng)視頻在經(jīng)過(guò)壓縮編碼處理之后，直接發(fā)送至接收端，通過(guò)解碼處理，進(jìn)行視頻重新組建。其中每幀的輸入像素f(x，y)和對(duì)應(yīng)輸出視頻g(x，y)之間的誤差e(x，y)能夠表示為：

含有M×N像素的幀圖像的均方誤差為：

最終獲取VR全景視頻的均方根誤差RMSEvideo為：

作為MSE的派生算法，一般情況下選取信噪比SNR，SNR'以及峰值信噪比PSNR，PSNR'對(duì)視頻渲染輸出過(guò)程中的安全性評(píng)價(jià)指標(biāo)，具體的計(jì)算式為：

從技術(shù)層面上講，MSE主要用于衡量VR全景視頻中不同像素的區(qū)別，而PSNR主要用于衡量的是視頻在渲染傳輸過(guò)程中各個(gè)特征的近似程度。

在后續(xù)操作的過(guò)程中，將VR 全景視頻劃分為三個(gè)部分，分別為亮度、對(duì)比度以及結(jié)構(gòu)。設(shè)定X={xi，i=1，2，…，N}為原始視頻；Y={yi，i=1，2，…，N}代表失真視頻，其中平均亮度μ計(jì)算式為：

VR全景視頻的對(duì)比度能夠采用標(biāo)準(zhǔn)差σ表示：

將以上部分進(jìn)行結(jié)合，組成整體的相似性亮度S(x，y)，即：

其中比較函數(shù)的定義為：

對(duì)比度的掩蔽特性為：

其中：

將以上函數(shù)進(jìn)行聯(lián)合得到SSIM(x，y)，則有：

通過(guò)參數(shù)α、γ調(diào)整對(duì)應(yīng)部分的比重，同時(shí)簡(jiǎn)化計(jì)算公式，則：

設(shè)定源視頻通過(guò)對(duì)應(yīng)空間中的向量表示，則VR全景視頻中的失真能夠表示為源視頻向量上添加失真向量，當(dāng)失真視頻向量的長(zhǎng)度和源視頻向量的長(zhǎng)度一致時(shí)，則需要考慮將亮度以及對(duì)比度在視頻的結(jié)構(gòu)信息進(jìn)行分離，以實(shí)現(xiàn)VR全景視頻特征提取。

2.2 模型組建

圖2 VR全景視頻渲染輸出安全性自動(dòng)評(píng)價(jià)模型組建

從圖2中能夠看出，特征提取在整個(gè)評(píng)價(jià)過(guò)程中占據(jù)十分重要的地位，一個(gè)較好的VR全景視頻特征主要具有以下特征，分別為：

(1) 包含有效概括參考視頻；

(2) 對(duì)視頻失真變化十分敏感；

(3) 和整個(gè)視頻渲染輸出過(guò)程中的視覺(jué)感知存在一定的關(guān)聯(lián)。

在進(jìn)行VR 全景視頻渲染輸出安全性自動(dòng)評(píng)價(jià)的過(guò)程中，不需要使用原始視頻序列，通常情況下，VR全景視頻在渲染傳輸?shù)倪^(guò)程中，會(huì)存在失真、振鈴效應(yīng)以及模糊等效應(yīng)。整個(gè)評(píng)價(jià)過(guò)程大致需要通過(guò)三個(gè)步驟獲取對(duì)應(yīng)的視頻度量，分別為：

(1) 度量；

(2) 幀率的獲??；

現(xiàn)場(chǎng)監(jiān)測(cè)數(shù)據(jù)和Midas/GTS模擬結(jié)果進(jìn)行分析.分別分析四個(gè)不同開挖關(guān)鍵節(jié)點(diǎn)時(shí)盾構(gòu)井和標(biāo)準(zhǔn)段的三個(gè)樁體位移變化.

(3) 碼率。

隨著VR全景技術(shù)的飛速發(fā)展，越來(lái)越多的人喜歡通過(guò)CR 進(jìn)行視頻觀賞以及游戲。一般情況，人類所觀看的VR全景視頻分辨率大約在4K，在該分辨率下的全景視頻占用內(nèi)存較大且耗時(shí)較長(zhǎng)。由于受到存儲(chǔ)以及傳輸帶寬的限制，需要對(duì)其進(jìn)行壓縮編碼處理，有效降低對(duì)內(nèi)存的消耗。視頻在經(jīng)過(guò)壓縮后，整個(gè)視頻的質(zhì)量一定會(huì)下降，同時(shí)在傳輸?shù)倪^(guò)程中，由于受到時(shí)延以及卡頓等因素的影響，導(dǎo)致視頻在渲染傳輸?shù)倪^(guò)程中安全性容易受到影響。

當(dāng)視頻傳輸?shù)娇蛻舳撕?，需要?duì)其進(jìn)行解碼處理，然后再進(jìn)行顯示播放。為了提升視頻渲染傳輸過(guò)程中的安全性，需要將像素點(diǎn)(m，n)從平面坐標(biāo)系映射到笛卡爾坐標(biāo)系中，同時(shí)針對(duì)全部坐標(biāo)進(jìn)行歸一化處理[6-7]，將坐標(biāo)值按映射函數(shù)h映射到[0，1]區(qū)間內(nèi)，其中坐標(biāo)(u，v)的計(jì)算步驟能夠表示為：

接著，將坐標(biāo)(u，v)代入到公式(18)和公式(19)中，則能夠獲取球體上像素點(diǎn)對(duì)應(yīng)的角度φ和θ，即：

通過(guò)重要性排列結(jié)果獲取VR 全景視頻的感知信息以及重要性度量，具體的計(jì)算式為：

在計(jì)算失真視頻以及參考感知視頻的差異，獲取VR全景視頻渲染輸出過(guò)程中的失真度量以及質(zhì)量值MV(i，j)，即：

結(jié)合公式(21)，能夠組建VR 全景視頻渲染輸出安全性自動(dòng)評(píng)價(jià)模型：

在VR全景視頻渲染輸出安全性自動(dòng)評(píng)價(jià)模型中，首先需要針對(duì)原始視頻以及失真視頻進(jìn)行預(yù)處理，在進(jìn)行渲染傳輸?shù)倪^(guò)程中，會(huì)存在校正、亮度變換等操作。將經(jīng)過(guò)處理之后的原始視頻以及失真視頻進(jìn)行通道劃分[8]，獲取兩組不同通道經(jīng)過(guò)變換后的信號(hào)。通過(guò)人類視覺(jué)對(duì)特征通道的視覺(jué)敏感度，不同信號(hào)進(jìn)行分解的通道是不同的。針對(duì)于各個(gè)通道中的兩個(gè)信號(hào)誤差進(jìn)行計(jì)算和加權(quán)，通常情況下函數(shù)采用CSF，其中累加函數(shù)能夠表示為：

其中假設(shè)神經(jīng)元i釋放一個(gè)信號(hào)被傳遞到神經(jīng)元j的概率為Pij，隨機(jī)神經(jīng)網(wǎng)絡(luò)是一個(gè)由n個(gè)神經(jīng)元組成的開放隨機(jī)網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)中，神經(jīng)元i的狀態(tài)主要是由時(shí)刻的興奮水平表示，它為一個(gè)非負(fù)整數(shù)，將其稱之為“勢(shì)”。當(dāng)隨機(jī)網(wǎng)絡(luò)的正信號(hào)(+1)則代表興奮；負(fù)信號(hào)(-1)表示抑制。另外，假設(shè)一個(gè)神經(jīng)元j的勢(shì)為正值，它將不斷地釋放信號(hào)，其中釋放信號(hào)的時(shí)間間隔需要服從對(duì)應(yīng)的指數(shù)分布。

假設(shè)神經(jīng)元i釋放一個(gè)信號(hào)，將其作為正、負(fù)信號(hào)被傳遞到神經(jīng)元j的概率分別為和，其中信號(hào)也能夠離開網(wǎng)絡(luò)，概率為d(i)。神經(jīng)元根據(jù)彼此發(fā)送以及接收正、負(fù)信號(hào)來(lái)實(shí)現(xiàn)信息交換，同時(shí)自身不進(jìn)行信號(hào)傳遞，其中VR 全景視頻在渲染傳輸?shù)倪^(guò)程中，會(huì)存在一定的威脅，導(dǎo)致其無(wú)法進(jìn)行安全傳輸，所以，在實(shí)際傳輸?shù)倪^(guò)程中，信號(hào)損耗應(yīng)該滿足以下約束條件：

隨機(jī)神經(jīng)網(wǎng)絡(luò)是由一個(gè)非負(fù)整數(shù)組成的矢量k，即：

其中網(wǎng)狀態(tài)的概率分布[x]能夠通過(guò)以下公式進(jìn)行推導(dǎo)，則有：

為了分析其穩(wěn)定性，設(shè)定p(k)代表靜態(tài)概率分布，當(dāng)其存在時(shí)，需要滿足一組全局的平衡方程。在上述分析的基礎(chǔ)上，通過(guò)隨機(jī)神經(jīng)網(wǎng)絡(luò)對(duì)模型進(jìn)行訓(xùn)練。進(jìn)行訓(xùn)練的主要目的是為了獲取一個(gè)合適的權(quán)值矩陣，使得輸入為一對(duì)興奮和抑制的信號(hào)流速率的矢量時(shí)，網(wǎng)絡(luò)輸出為期望值。隨機(jī)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的過(guò)程中，需要n×n調(diào)整的權(quán)值矩陣規(guī)則，具體的表達(dá)式為：

其中固定的學(xué)習(xí)參數(shù)能夠表示為：

在上述分析的基礎(chǔ)上，利用隨機(jī)神經(jīng)網(wǎng)絡(luò)對(duì)模型進(jìn)行訓(xùn)練，以達(dá)到最終視頻輸出安全性自動(dòng)評(píng)價(jià)的目的S，t為時(shí)刻，即：

3 仿真實(shí)驗(yàn)

為了驗(yàn)證所設(shè)計(jì)VR全景視頻渲染輸出安全性自動(dòng)評(píng)價(jià)模型的綜合有效性，在Windows7操作系統(tǒng)，CPU2．4GHz，內(nèi)存6GB，仿真軟件MATLAB2016b環(huán)境下進(jìn)行仿真實(shí)驗(yàn)測(cè)試。

(1) 評(píng)價(jià)耗時(shí)/(min)：

實(shí)驗(yàn)選取文獻(xiàn)[4]和文獻(xiàn)[5]兩個(gè)模型作為對(duì)比模型，實(shí)驗(yàn)將評(píng)價(jià)耗時(shí)作為測(cè)試指標(biāo)。其中耗時(shí)越長(zhǎng)，則說(shuō)明整個(gè)模型的工作效率越低；反之，則說(shuō)明整個(gè)模型的工作效率越高。利用圖3給出三種不同評(píng)價(jià)模型的評(píng)價(jià)耗時(shí)對(duì)比結(jié)果。

分析圖3 中的實(shí)驗(yàn)數(shù)據(jù)可知，在相同的實(shí)驗(yàn)次數(shù)下，所提模型的評(píng)價(jià)耗時(shí)明顯更低。主要原因是所提模型通過(guò)隨機(jī)神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行訓(xùn)練，有效解決了模型訓(xùn)練問(wèn)題，促使整個(gè)評(píng)價(jià)過(guò)程得到有效簡(jiǎn)化，評(píng)價(jià)耗時(shí)也隨之減少。

圖3 不同評(píng)價(jià)模型的評(píng)價(jià)耗時(shí)對(duì)比結(jié)果

(2) 相對(duì)誤差/(%)：

為了更進(jìn)一步驗(yàn)證所提模型的有效性，以下實(shí)驗(yàn)測(cè)試對(duì)比不同評(píng)價(jià)模型的相對(duì)誤差，具體的實(shí)驗(yàn)對(duì)比結(jié)果如表1所示。

表1 不同評(píng)價(jià)模型的相對(duì)誤差對(duì)比

分析表1中的實(shí)驗(yàn)數(shù)據(jù)可知，所提方法的相對(duì)誤差在三種模型中為最低。這主要是由于所提模型有效解決了評(píng)價(jià)模型的訓(xùn)練問(wèn)題，簡(jiǎn)化評(píng)價(jià)過(guò)程，促使整個(gè)模型的相對(duì)誤差得到有效降低。

4 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)模型存在的一系列問(wèn)題，設(shè)計(jì)并提出一種VR全景視頻渲染輸出安全性自動(dòng)評(píng)價(jià)模型。仿真實(shí)驗(yàn)結(jié)果表明，所提模型能夠有效降低評(píng)價(jià)耗時(shí)以及相對(duì)誤差。所提模型在實(shí)際應(yīng)用的過(guò)程中，由于受到環(huán)境以及人為等多方面因素的影響，導(dǎo)致所提模型仍然存在一定的不足，后續(xù)將對(duì)模型的綜合性能進(jìn)行進(jìn)一步完善。