基于內(nèi)容感知的視頻流媒體漸進(jìn)式流傳輸方式分析模型

馮九龍

（對(duì)外經(jīng)貿(mào)大學(xué)統(tǒng)計(jì)學(xué)院 北京市 100048）

網(wǎng)絡(luò)傳輸?shù)男畔⒅饕婕拔谋拘畔⑦€有不同類型的圖像以及視音頻與三維動(dòng)畫等多媒體數(shù)據(jù)。用戶在使用的過程中不僅對(duì)視聽節(jié)目的音質(zhì)與畫質(zhì)有著相對(duì)較高的要求同時(shí)還對(duì)網(wǎng)絡(luò)帶寬有著相對(duì)較高的要求，基于內(nèi)容感知的視頻流媒體漸進(jìn)式流傳輸方式從而有效處理傳輸網(wǎng)絡(luò)帶寬以及平衡播出視頻質(zhì)量還有用戶等待時(shí)間之間的沖突。

1 視頻幀重要性分析

視頻傳輸?shù)馁Y源分配一般是以一組視頻幀作為對(duì)象的，在圖像組中的視頻幀展開資源的有效分配，所以進(jìn)行對(duì)視頻幀重要性的準(zhǔn)確度量便于展開資源的合理分配，進(jìn)行對(duì)重要視頻幀的有效保護(hù)。在H.264 編碼算法中，編碼模式可以對(duì)視頻內(nèi)容方面的有關(guān)特性進(jìn)行有效地反映，在該算法中運(yùn)動(dòng)矢量還有參考幀的選擇等方面的參數(shù)能夠進(jìn)行對(duì)相鄰幀間場(chǎng)景方面的變化的劇烈程度進(jìn)行有效地反映。

本文主要是通過進(jìn)行對(duì)視頻幀內(nèi)的重要的參數(shù)進(jìn)行有效地提取進(jìn)行對(duì)數(shù)據(jù)丟失所造成的失真程度的合理判斷，并且對(duì)視頻幀內(nèi)的GOP 中的位置予以充分地考慮對(duì)視頻幀的丟失從而對(duì)GOP 內(nèi)的其他幀的失真所產(chǎn)生的相關(guān)影響，以此為基礎(chǔ)進(jìn)行對(duì)GOP 內(nèi)視頻幀的重要性函數(shù)予以有效地確定。在視頻序列內(nèi)，結(jié)合幀的編碼信息，如：將幀類型設(shè)定為K，將鏡頭代表幀設(shè)為W 場(chǎng)景切換幀設(shè)定為P 從而對(duì)視頻流內(nèi)的各類型的幀重要性進(jìn)行合理的計(jì)算，其公示為：

在此公式內(nèi)，Ii 所代表的主要為第i 幀的重要性的度量，而Wi所代表的為第i 幀碼率分配的權(quán)重，KI 所代表的為通過有效調(diào)整以后第i 幀分配的碼率，H 所代表的則是視頻幀的重要性的函數(shù)。除此之外，Kgop所代表的未GOP 所具體需要的具體碼率。

2 片層數(shù)據(jù)重要性

對(duì)于MGS 編碼來講其各個(gè)子塊的數(shù)據(jù)單元內(nèi)的16 個(gè)系數(shù)屬于4*4 子塊數(shù)據(jù)經(jīng)過證書變換以后從而取得的，所以每個(gè)系數(shù)的重要性也存在著一定程度的差異。結(jié)合片層所涵蓋的系數(shù)的個(gè)數(shù)對(duì)片層自重藥性的權(quán)重矢量進(jìn)行有效地定義。對(duì)于片層數(shù)據(jù)重要性的分析不僅需要對(duì)每層的自重要性系數(shù)同時(shí)片層的參考度矢量也是其中較為重要的一項(xiàng)評(píng)價(jià)因素。

并且將片層參考度矢量C=(c0,c1,…,cn-1)，將F={f0,f1,…,fn-1}代表有N 幀所構(gòu)成的編碼圖像組，假如N=4 時(shí)，f2幀的圖像因?yàn)榻?jīng)過雙向預(yù)測(cè)獲得所以可以被視為屬于f0還有f4幀圖像的子幀。以此類推從而了解到f0和f2的子幀為f1，f3屬于f2和f4的子幀。因?yàn)閹g預(yù)測(cè)的作用，所以父幀相關(guān)數(shù)據(jù)若是出現(xiàn)一定的丟失將會(huì)使得子幀出現(xiàn)失真的情況。

3 漸進(jìn)式流傳方式

想要使得網(wǎng)絡(luò)高并發(fā)利用率作用得到充分地發(fā)揮，同時(shí)科學(xué)合理地處理視頻質(zhì)量還有用戶實(shí)時(shí)性請(qǐng)求方面的沖突，在具體視頻編碼還有傳輸?shù)碾A段呃逆，首先應(yīng)當(dāng)對(duì)低分辨率的流媒體數(shù)據(jù)的傳送、接收還有顯示，從而在進(jìn)行對(duì)更為精細(xì)化的數(shù)據(jù)還有重要性相對(duì)較高的數(shù)據(jù)以及保護(hù)性較高的數(shù)據(jù)進(jìn)行傳送還有接收以及顯示，最終進(jìn)行對(duì)其他數(shù)據(jù)的有效傳送。結(jié)合幀的重要性進(jìn)行對(duì)最優(yōu)碼率分配的有效排序，結(jié)合幀內(nèi)所有片層的具體重要程度進(jìn)行科學(xué)合理的有效排列，及所有重要的編碼的具體范圍能夠經(jīng)過帶寬還有具體需求展開有效地確定。視頻的漸進(jìn)式流傳輸方式在展開編碼重要數(shù)據(jù)的有效保護(hù)過程中，利用冗余備份的方式把此部分重要編碼數(shù)據(jù)轉(zhuǎn)入基本層內(nèi)展開有效地處理。根據(jù)數(shù)據(jù)重要性估計(jì)分析作為基礎(chǔ)，采用合理的計(jì)算方式進(jìn)行對(duì)視頻序列質(zhì)量的整體重要性的有效計(jì)算，從而對(duì)數(shù)據(jù)的丟棄排序策略予以有效地確定，令在目標(biāo)碼率下視頻序列質(zhì)量保持最優(yōu)的狀態(tài)。

根據(jù)MGS 編解碼進(jìn)行分析可以了解到，進(jìn)行對(duì)中間增強(qiáng)層數(shù)據(jù)的有效提取，因?yàn)閷娱g預(yù)測(cè)方面的因素進(jìn)而造成了中間增強(qiáng)層數(shù)據(jù)無法取得有效地利用。想要使得層間預(yù)測(cè)保持合理的一致性，該方面能夠利用進(jìn)行對(duì)MGS 層間的依賴性結(jié)構(gòu)調(diào)整的方法進(jìn)行有效地處理。

4 失真模型預(yù)測(cè)

通過以錯(cuò)誤擴(kuò)散的失真建模還有對(duì)視頻數(shù)據(jù)負(fù)載對(duì)丟包方面的影響，根據(jù)失真模式進(jìn)行分析，網(wǎng)絡(luò)的丟包事件的發(fā)生率還有平均連續(xù)丟包長度、視頻傳輸?shù)呢?fù)載方式還有編碼參數(shù)以及視頻本身的內(nèi)容特性均對(duì)最終的視頻失真具有極大程度地影響。以H2.6overRTP 傳輸為例因?yàn)槠渚幋a解碼還有負(fù)載方式方面的特性，丟包情況的存在僅僅是會(huì)對(duì)現(xiàn)階段GOB 的解碼方面造成一定程度地影響，在傳輸方面具有相對(duì)較為良好的魯棒性。借助仿真實(shí)驗(yàn)進(jìn)行對(duì)視頻失真度量模型的準(zhǔn)確性的有效驗(yàn)證，通過對(duì)編碼器的有效修改從而令編碼器在進(jìn)行編碼的過程中同時(shí)還能夠進(jìn)行對(duì)沒整的GOB 的初始失真值的有效計(jì)算。首先若視頻編碼器實(shí)現(xiàn)了對(duì)一個(gè)宏塊的編碼的編制，結(jié)合此宏塊所屬的GOB 的編號(hào)，從而進(jìn)行對(duì)此宏塊所屬的GOB 進(jìn)行記錄。由于編碼器會(huì)展開重構(gòu)編碼，完成重構(gòu)編碼以后所獲得的宏塊便是在解碼器段能夠進(jìn)行解碼予以數(shù)據(jù)的恢復(fù)，同時(shí)由編碼器中的幀緩存內(nèi)取得的此宏塊預(yù)測(cè)編碼的參考幀數(shù)據(jù)，在編碼器端模擬解碼器端的錯(cuò)誤進(jìn)行機(jī)制的有效恢復(fù)，再取得經(jīng)過錯(cuò)誤隱藏算法后的宏塊，同時(shí)把數(shù)據(jù)還有重構(gòu)編碼以后的宏塊數(shù)據(jù)進(jìn)行與計(jì)算，取得此宏塊的初始失真的有效比較。

表1：Foreman 序列MGS 對(duì)各片層的影響

除此之外，結(jié)合GOB 編號(hào)對(duì)一個(gè)GOB 內(nèi)的各個(gè)宏塊的初始失真進(jìn)行求和從而獲得一個(gè)GOB 的初始失真。然而一個(gè)GOP 中的GOB 的初始失真的平均值便是各個(gè)GOB 的初始失真，通過進(jìn)行平均值的計(jì)算便可以。對(duì)視頻傳輸跟蹤文件來講其作用在于把MPEG-2 或H.264 的視頻碼借助NS-2 的接口向仿真網(wǎng)絡(luò)內(nèi)進(jìn)行注入，進(jìn)行對(duì)視頻流發(fā)送的具體數(shù)據(jù)的相關(guān)特性進(jìn)行有效地模擬。

本文主要結(jié)合H.264 編碼視頻所生產(chǎn)的兩個(gè)TrafficTracefile 為例，其中一方面涉及較為詳細(xì)的相關(guān)信息，另一個(gè)則只涉及在進(jìn)行模擬過程中所需要的最為核心的幾個(gè)參數(shù)，對(duì)于詳細(xì)信息來講其主要涉及RTP 頭部信息還有NALU 頭信息和Slice 的一些頭信息。對(duì)于簡單信息來講其通常所涉及的信息有序列號(hào)還有發(fā)送的具體時(shí)間以及GOB 大小和數(shù)據(jù)的實(shí)際類型等方面。對(duì)于傳輸協(xié)議仿真其主要是在NS-2 的網(wǎng)絡(luò)協(xié)議框架為基礎(chǔ)進(jìn)行建設(shè)的，雖然傳輸協(xié)議具有一定的標(biāo)準(zhǔn)，然而在擁塞控制還有錯(cuò)誤控制方面一般是為應(yīng)用層進(jìn)行預(yù)留的，在進(jìn)行模擬的過程中主要對(duì)發(fā)送端的速率控制以及錯(cuò)誤重傳進(jìn)行有效地簡化。在展開對(duì)發(fā)送端速率方面的控制過程中若是發(fā)送端采用擁塞控制機(jī)制，則部分?jǐn)?shù)據(jù)包有可能會(huì)被發(fā)送端直接拋棄，不進(jìn)行發(fā)送從而實(shí)現(xiàn)對(duì)發(fā)送速率的有效控制。在進(jìn)行模擬的過程中假設(shè)發(fā)送端將所有的數(shù)據(jù)進(jìn)行發(fā)送，不對(duì)任何數(shù)據(jù)進(jìn)行主動(dòng)性的拋棄，在此情況下所造成的數(shù)據(jù)方面的丟失均是因?yàn)榫W(wǎng)絡(luò)丟包所引起的。若是發(fā)送端其傳輸控制機(jī)制內(nèi)具有錯(cuò)誤重傳，在此環(huán)境下，一些數(shù)據(jù)包均有可能會(huì)被傳輸多次。在進(jìn)行仿真模擬的過程中，若是發(fā)送端沒有使用錯(cuò)誤重發(fā)機(jī)制，全部的數(shù)據(jù)包在發(fā)送端在傳輸?shù)倪^程中只會(huì)進(jìn)行發(fā)送一次。

5 實(shí)驗(yàn)與結(jié)果分析

因?yàn)镸GS 編碼可以在相對(duì)較為明顯的進(jìn)行對(duì)計(jì)算復(fù)雜程度的有效下降的基礎(chǔ)上提供同F(xiàn)GS 失真結(jié)果相似，所以其成為現(xiàn)階段使用相對(duì)較為廣泛的視頻編碼技術(shù)。本文主要是利用ITU 的視頻質(zhì)量轉(zhuǎn)專家組所提供的標(biāo)準(zhǔn)測(cè)試序列作為數(shù)據(jù)源，在ITU-T 標(biāo)準(zhǔn)提案itu-tvcegp206d0 內(nèi)進(jìn)行了對(duì)SVC 測(cè)試環(huán)境的有效定義，通過借助Mobolelp 模擬測(cè)試平臺(tái)展開有效的實(shí)驗(yàn)研究，對(duì)于視頻質(zhì)量方面的評(píng)價(jià)能夠視為對(duì)視頻每幀圖像質(zhì)量方面的有效評(píng)價(jià)，其主要是把原視頻圖像作為參考展開對(duì)度量解碼完成以后視頻圖像還有失真程度方面的有效度量。筆者主要是借助解碼視頻還有原視頻每幀圖像的PSNR 的預(yù)想值評(píng)價(jià)視頻質(zhì)量。

關(guān)于數(shù)據(jù)重要性漸進(jìn)式流傳輸測(cè)試實(shí)驗(yàn)，在進(jìn)行實(shí)驗(yàn)的過程中主要采用的為Foreman 序列，對(duì)于Foreman 序列來講其主要是采用的QCIF 視頻格式并且其幀率主要是保持在每秒15 幀，可以分為8個(gè)圖像組，MGS 堆棧涉及5 個(gè)片層，其系數(shù)矢量為{01384}。對(duì)于基本層量化參數(shù)還有質(zhì)量增強(qiáng)層量化參數(shù)分別是42 還有32，其所輸出的編碼數(shù)據(jù)流為32 幀。因?yàn)樵鰪?qiáng)運(yùn)動(dòng)矢量信息通常情況下是存在在MGS 堆棧的受片層內(nèi)，所以筆者在進(jìn)行此次實(shí)驗(yàn)的過程中對(duì)于增進(jìn)層運(yùn)行矢量相關(guān)因素對(duì)于視頻流所產(chǎn)生的影響不予考慮，從而在此基礎(chǔ)上將首片層的系數(shù)設(shè)置為0。此次試驗(yàn)中主要內(nèi)容為進(jìn)行對(duì)編碼數(shù)據(jù)圖像組內(nèi)視頻幀每個(gè)片層展開丟棄解碼影響方面的測(cè)試。表1 是Foreman 序列圖像組內(nèi)視頻幀每一片層對(duì)視對(duì)視頻流質(zhì)量所在成的具體影響程度進(jìn)行了有效地測(cè)試統(tǒng)計(jì)，從中可以了解到：不同片層的數(shù)據(jù)對(duì)于視頻質(zhì)量所產(chǎn)生的影響存在一定程度的差異，針對(duì)此種情況漸進(jìn)式流傳輸方式可以使得視頻質(zhì)量得到一定程度地提高。

關(guān)于漸進(jìn)式流傳輸方式發(fā)送端方面的性能測(cè)試實(shí)驗(yàn)，對(duì)于此次實(shí)驗(yàn)所需要條件主要為，其借助Foreman 還有Bus 序列。同時(shí)此次實(shí)驗(yàn)所采用的序列所使用的視頻格式為CIF，其幀率保持在每秒30幀的狀態(tài)，8 個(gè)圖像組，MGS 堆棧涉及片層為5 個(gè)，其系數(shù)矢量為{13624}。對(duì)于基本層量化數(shù)據(jù)為45 同時(shí)質(zhì)量增強(qiáng)層量化參數(shù)為30，輸出編碼數(shù)據(jù)流為32 幀。性能測(cè)試結(jié)果如圖1 所示。

圖1：傳輸性能測(cè)試

根據(jù)圖1 可以了解到通過采用基于內(nèi)容感知的漸進(jìn)式流傳輸方式以后，從而實(shí)現(xiàn)了視頻質(zhì)量的有效地提高。在同樣的碼率情況下，同一本碼流傳輸方式進(jìn)行有效地對(duì)比，其最高能夠?qū)崿F(xiàn)1.5bB 的性能方面的有效提升。對(duì)于采用模擬信號(hào)接收端性能測(cè)試方面的實(shí)驗(yàn)，對(duì)于碼流數(shù)據(jù)經(jīng)過模擬信道出現(xiàn)丟包的階段中，對(duì)涉及視覺敏感范圍編碼數(shù)據(jù)的最重要MGS 片層展開有效的冗余保護(hù)。在具體的測(cè)試階段，展開了對(duì)基本層數(shù)據(jù)還有增強(qiáng)層數(shù)劇分離，主要是通過低差錯(cuò)率同時(shí)還用過了高差錯(cuò)率信道展開了有效的模擬。此次實(shí)驗(yàn)的主要采用的為Foreman 序列，該序列所采用的視頻格式為CIF，其幀率保持在每秒30 幀，具有8 個(gè)圖像組，除此之外，MGS 堆棧主要涉及的片層在3 個(gè)，系數(shù)矢量主要為{583}?；緦恿炕瘏?shù)為50 同時(shí)質(zhì)量增強(qiáng)層量化參數(shù)為25，通過MobileIP 模擬進(jìn)行對(duì)環(huán)境差錯(cuò)的有效模擬。經(jīng)過對(duì)信道過程中所產(chǎn)生的57 個(gè)數(shù)據(jù)包單元的丟失，在此過程中涉及兩個(gè)關(guān)鍵幀重要數(shù)據(jù)首片層數(shù)據(jù)包單元，丟包率達(dá)到2.7e-001。其所通過信道前碼率為每秒1251Kb，冗余數(shù)據(jù)為每秒53Kb，通過該此實(shí)驗(yàn)可以了解到此方法一方面能夠進(jìn)行對(duì)重要數(shù)據(jù)的保護(hù)，另一方面還能夠有效促進(jìn)視頻質(zhì)量的提高。

6 面向未來發(fā)展的趨勢(shì)性分析

近些年來，視頻傳輸技術(shù)發(fā)展相對(duì)較快，并且其在網(wǎng)絡(luò)視頻、視頻直播得到了相對(duì)較為廣泛地應(yīng)用已成為當(dāng)前互聯(lián)網(wǎng)上最具有發(fā)展前景的應(yīng)用之一，因?yàn)楝F(xiàn)階段互聯(lián)網(wǎng)在管理上還有控制機(jī)制上相對(duì)較為復(fù)雜，該種情況無法有效滿足實(shí)時(shí)視頻傳輸?shù)南嚓P(guān)要求。根據(jù)視頻編碼的特性借助視頻數(shù)據(jù)間數(shù)據(jù)重要性中所存在的差異，展開非平等性的資源優(yōu)化分配，從而取得最小的端到端傳輸屬于現(xiàn)階段研究的熱點(diǎn)。筆者在研究過程中主要由視頻內(nèi)容進(jìn)行了對(duì)視頻數(shù)據(jù)內(nèi)所具有的重要性展開了有效地區(qū)分，然而采用的度量手段仍然是以客觀食品質(zhì)量評(píng)價(jià)為基礎(chǔ)的，此類型的方法在度量視頻內(nèi)容對(duì)于人們的視覺影響還是具有一定程度的缺陷。根據(jù)視頻序列來講，亮度相對(duì)較高還有運(yùn)動(dòng)劇烈以及場(chǎng)景的中間位置等范圍通常情況下更能夠抓住人們的眼球，此部分的數(shù)據(jù)出現(xiàn)丟失或者失真將會(huì)引起較為嚴(yán)重的視覺市政。通過客觀視頻質(zhì)量評(píng)價(jià)的手段通常不能夠取得此類信息數(shù)據(jù)。以視頻特性作為切入點(diǎn)進(jìn)行對(duì)ROI 區(qū)域的檢測(cè)、劃分、編碼以及傳輸優(yōu)化可以使得視頻傳輸質(zhì)量得到有效地提升?，F(xiàn)階段大多數(shù)視頻傳輸資源分配方面的算法主要是針對(duì)協(xié)議層進(jìn)行的。此類型的算法存在一定程度的局限性。因?yàn)闊o線網(wǎng)絡(luò)資源存在一定程度的限制，傳輸信道因?yàn)闆_突、干擾還有衰退等方面的影響從而會(huì)出現(xiàn)一定程度的誤碼，只由單個(gè)協(xié)議層展開資源分配通常情況下無法取得有效的效果，因此應(yīng)當(dāng)由多個(gè)協(xié)議出發(fā)對(duì)各協(xié)議層內(nèi)的可控資源的關(guān)系進(jìn)行有效地分析構(gòu)建跨層資源優(yōu)化分配的框架，同時(shí)設(shè)計(jì)可操性較強(qiáng)的尋優(yōu)算法。

7 結(jié)束語

為了使得傳輸網(wǎng)絡(luò)帶寬還有平衡播出視頻的質(zhì)量以及用戶等待時(shí)間件的沖突進(jìn)行合理有效地應(yīng)用，筆者主要基于內(nèi)容感知的視頻流媒體漸進(jìn)式流傳輸方式進(jìn)行了有效地分析。結(jié)合編碼信息進(jìn)行對(duì)視頻序列內(nèi)各幀的重要性予以有效地確定性同時(shí)進(jìn)行度幀內(nèi)片層數(shù)據(jù)的重要性進(jìn)行計(jì)算。借助MGS 編碼，在模擬測(cè)試平臺(tái)展開對(duì)數(shù)據(jù)重要性漸進(jìn)式流傳輸測(cè)試還有漸進(jìn)式流傳輸方式發(fā)送端性能進(jìn)行了測(cè)試。