結(jié)合網(wǎng)絡視頻傳輸特性的參數(shù)規(guī)劃模型

宋佳潤,徐子強,楊付正

(西安電子科技大學綜合業(yè)務網(wǎng)理論及關鍵技術國家重點實驗室,陜西西安 710071)

?

結(jié)合網(wǎng)絡視頻傳輸特性的參數(shù)規(guī)劃模型

宋佳潤,徐子強,楊付正

(西安電子科技大學綜合業(yè)務網(wǎng)理論及關鍵技術國家重點實驗室,陜西西安 710071)

摘要:為評價網(wǎng)絡視頻的質(zhì)量,提出了一種參數(shù)規(guī)劃模型.該模型結(jié)合信道和視頻特性,對網(wǎng)絡丟包引起的視頻質(zhì)量失真進行評價,在保證網(wǎng)絡視頻業(yè)務質(zhì)量的前提下對網(wǎng)絡進行設計和優(yōu)化.首先,根據(jù)網(wǎng)絡中的丟包行為和視頻的編碼特性,從序列受損和幀受損角度分析視頻因丟包引起的失真,并結(jié)合丟包的概率分布推導出相應的序列損傷因子和幀損傷因子.利用這些因子預測網(wǎng)絡視頻因丟包引起的失真,并最終構建參數(shù)規(guī)劃模型.實驗結(jié)果表明,相比于國際標準G.1070模型和T-V模型中的視頻質(zhì)量評價方法,通過該模型計算得到的客觀視頻質(zhì)量和通過主觀評價得到的主觀視頻質(zhì)量的皮爾森相關系數(shù)平均提高0.042 和0.064,同時,均方根誤差分別降低了0.043和0.055.

關鍵詞:視頻質(zhì)量評價;規(guī)劃模型;網(wǎng)絡規(guī)劃;網(wǎng)絡丟包

近年來,網(wǎng)絡電視(Internet Protocol Tele Vision,IPTV)、視頻電話等網(wǎng)絡視頻業(yè)務飛速發(fā)展,已成為人們?nèi)粘Ｉ詈凸ぷ髦兄匾慕M成部分.網(wǎng)絡視頻業(yè)務的質(zhì)量直接影響到用戶的使用感受,并最終決定產(chǎn)業(yè)的發(fā)展[1].因此,對網(wǎng)絡視頻質(zhì)量進行客觀評價具有重要的意義.

針對網(wǎng)絡視頻業(yè)務,視頻質(zhì)量評價模型被廣泛應用于網(wǎng)絡規(guī)劃和視頻質(zhì)量監(jiān)控中[2-4].規(guī)劃模型根據(jù)網(wǎng)絡及承載視頻的參數(shù)預測傳輸視頻的質(zhì)量,在已知視頻質(zhì)量的前提下配置網(wǎng)絡參數(shù),從而避免網(wǎng)絡資源的過度浪費.這類模型通常無法獲得實際的視頻流,只是利用網(wǎng)絡運營商和服務提供商提供的一些視頻及網(wǎng)絡的參數(shù)信息來評價視頻質(zhì)量[5],如編碼比特率、幀率和丟包率等.因此,這類模型也稱作參數(shù)規(guī)劃模型.對于網(wǎng)絡視頻質(zhì)量監(jiān)控業(yè)務,視頻質(zhì)量評估模型通過獲取傳輸視頻流中不同層次(包層、比特流層、媒體層等)的信息對視頻質(zhì)量進行實時和準確監(jiān)控,并及時調(diào)整視頻編碼以及傳輸策略來降低網(wǎng)絡干擾對用戶體驗的影響.

由于參數(shù)規(guī)劃模型對視頻業(yè)務的網(wǎng)絡規(guī)劃和部署具有指導作用,因此,該類模型受到廣泛關注.例如,國際標準G.1070模型針對視頻電話業(yè)務提出了一種參數(shù)規(guī)劃模型[6],該模型使用編碼比特率、最優(yōu)幀率以及網(wǎng)絡丟包強健性因子等參數(shù)對視頻質(zhì)量進行評價.文獻[7]提出了一種基于參數(shù)的T-V模型,該模型利用網(wǎng)絡和應用參數(shù)對視頻質(zhì)量進行評價,如編碼比特率、丟包率等.目前,針對IPTV等網(wǎng)絡視頻業(yè)務,國際電信聯(lián)盟第12研究組正在制訂其相應的視頻質(zhì)量評估標準G.OMVS[8].由于參數(shù)規(guī)劃模型只能利用服務商和運營商提供的極少的參數(shù)對視頻質(zhì)量進行評價,這類模型的研究進展相對比較緩慢.另外,現(xiàn)有的規(guī)劃模型都沒有充分考慮視頻傳輸特性對視頻質(zhì)量造成的影響,其性能也有待進一步提升.因此,如何利用有限的參數(shù)更準確地評價視頻質(zhì)量是參數(shù)規(guī)劃模型的重點和難點.

筆者結(jié)合視頻的傳輸特性提出了一種用于評價網(wǎng)絡視頻質(zhì)量的參數(shù)規(guī)劃模型,其框架如圖1所示.不同于已有的規(guī)劃模型只是單純利用統(tǒng)計上的網(wǎng)絡服務質(zhì)量(Quality of Service,QoS)參數(shù)(如帶寬、丟包率等)對視頻質(zhì)量進行評價,該模型結(jié)合視頻編碼和信道傳輸?shù)奶匦?從序列受損和幀受損的角度分析視頻因丟包引起的失真,并結(jié)合丟包概率分布推導出相應的序列損傷因子和幀損傷因子.利用該損傷因子預測網(wǎng)絡視頻因丟包引起的失真并構建參數(shù)規(guī)劃模型.該模型可較好地反映由直接丟包和錯誤傳播等因素造成的視頻失真.

圖1 參數(shù)規(guī)劃模型框架圖

1 網(wǎng)絡視頻傳輸特性分析

由于網(wǎng)絡的時變不穩(wěn)定性,視頻數(shù)據(jù)在網(wǎng)絡傳輸中會遭受到丟包、時延和抖動等網(wǎng)絡因素的影響,而時延和抖動在某種程度上也可等效為丟包[9].因此,準確評價丟包對視頻質(zhì)量的影響對網(wǎng)絡規(guī)劃和部署具有重要的意義.目前視頻壓縮過程中常采用預測編碼技術,當視頻遭受數(shù)據(jù)包丟失時,不僅會對其所在的視頻幀造成失真,還會通過錯誤傳播影響其后續(xù)的幀.特別是在實時網(wǎng)絡視頻業(yè)務中,為保證網(wǎng)絡傳輸?shù)膶崟r性,常采用“IPPP”的編碼方式.在這種情況下,視頻幀的失真會使當前圖像組(Group of Picture,GoP)中后續(xù)的所有幀產(chǎn)生失真.已有的參數(shù)規(guī)劃模型大多采用丟包率或丟包頻率等統(tǒng)計參數(shù)對丟包引起的失真進行評價,然而這些參數(shù)無法準確反映丟包對視頻序列的影響.如圖2所示,當丟包頻率相同時,受損幀的數(shù)目隨著丟包位置不同而發(fā)生變化,不同的丟包模式會導致視頻質(zhì)量上的差異.因此,為更準確評價視頻因丟包引起的失真,需分析不同丟包模式下視頻的損傷情況.下面將對每一種丟包模式中視頻序列和幀的受損情況進行預測,并以此為基礎,建立網(wǎng)絡視頻質(zhì)量評價模型.

圖2 網(wǎng)絡視頻的不同丟包模式

2 融合視頻和信道特性的參數(shù)計算

為量化視頻因丟包引起的失真,文中提出了序列損傷因子和幀損傷因子,其中,序列損傷因子用來反映序列的受損情況,主要由丟幀頻率和丟幀位置所決定;幀損傷因子用來反映視頻幀的受損情況,主要由幀內(nèi)丟包數(shù)目決定.這些因子能夠更準確地反映由直接丟包以及錯誤傳播等因素引起的視頻失真.對于參數(shù)規(guī)劃模型,已知的信息只包括編碼比特率、幀率、丟包率、數(shù)據(jù)包大小和GoP長度.接下來將利用以上信息,結(jié)合丟包概率分布計算各損傷因子.

2.1 序列損傷因子計算

為方便說明,定義丟包幀為序列中直接遭受丟包的幀.通常情況下,序列中丟包幀的數(shù)目越高,視頻的損傷就會越嚴重.因此,丟包幀頻率是反映視頻序列損傷的重要指標.視頻序列單位時間內(nèi)的平均丟包幀頻率可表示為

其中,VAFLF_T是單位時間內(nèi)的平均丟包幀頻率,T為某一時間段,NF為T時間內(nèi)視頻的總幀數(shù),PF為丟包幀的概率,FR為視頻的幀率.當丟包事件符合獨立同分布時[10],每個數(shù)據(jù)包丟失的概率都相同,即等于丟包率.在這種情況下,PF可通過丟包率PP和平均每幀包含包數(shù)VP p F計算獲得,即

其中,NP為T時間內(nèi)視頻的總包數(shù),Psize為數(shù)據(jù)包大小,BR為編碼比特率.

其中,LE為每次丟包造成的序列受損長度,PES為序列中丟幀模式的條件概率.根據(jù)洛必達法則[11],當PF趨近于0時,VEIFL接近于0;當PF趨近于1時,VEIFL接近于L.將平均丟幀頻率和序列的期望受損長度的乘積記為序列損傷因子FS,即

2.2 幀損傷因子計算

除了在序列層面上考慮視頻的整體受損情況,還要進一步考慮每個受損幀的損傷程度.一般來說,幀損傷可用幀內(nèi)丟失數(shù)據(jù)量來衡量,幀內(nèi)丟失數(shù)據(jù)越多,幀損傷越嚴重.目前,常用的編碼器在視頻壓縮過程中往往引入幀內(nèi)預測以及變長編碼等技術,當幀內(nèi)的某個數(shù)據(jù)包發(fā)生丟失時,其后續(xù)屬于該視頻幀的數(shù)據(jù)包的內(nèi)容通常也無法正常解碼,此時幀受損的數(shù)據(jù)量為丟失包和其后續(xù)包的數(shù)據(jù)總和.對于因錯誤傳播而受到影響的幀的受損數(shù)據(jù)量,為方便起見,也可近似等于丟包幀的受損數(shù)據(jù)量.文中定義幀損傷因子FF來反映丟包對視頻幀的損傷程度,該因子可用幀受損數(shù)據(jù)量占其所在幀數(shù)據(jù)總量的比例的期望值來表示,即

其中,RE為受損幀損傷比例,PE為幀內(nèi)各丟包模式的概率.根據(jù)洛必達法則,當PP=0時,FF=0;當PP趨于1時,FF=1.特別的,當VP p F=1時,即平均每幀只有1個包,PF=PP,FF=1.

3 視頻質(zhì)量評價模型

當視頻經(jīng)過網(wǎng)絡傳輸后,其歸一化的視頻質(zhì)量下降值DL可表示為

其中,QL是經(jīng)過網(wǎng)絡傳輸后的視頻質(zhì)量,QC是視頻的編碼質(zhì)量.DL主要反映由網(wǎng)絡丟包而造成的視頻失真.考慮到規(guī)劃模型中可用的編碼信息只有編碼碼率和視頻幀率,因此,采用文獻[12]所提的方法來計算QC,即

其中,BF為視頻的平均每幀編碼比特數(shù);v1、v2和v3為實驗參數(shù).為能夠客觀評價視頻的質(zhì)量QL,必須首先確定DL值.文中選取4個分辨率為640×480的公用視頻測試序列Crowd_run、Ducks_take_off、Old_town_ cross和Basketball_drive進行測試,對各個序列在恒定碼率下按“IPPP”形式進行編碼,設置編碼碼率為384 kb/s、512 kb/s、768 kb/s和1 280 kb/s,幀率為30幀/s,GoP長度為60幀.然后對編碼數(shù)據(jù)進行打包,并以0.5%、1.0%和3.0%的丟包率進行隨機丟包.對丟包后的視頻數(shù)據(jù)進行解碼,參照ITU-T建議給出的測試條件,對各個解碼序列進行主觀測試實驗[13].由25名非專業(yè)人員使用單刺激評估法(Single Stimulus Methods,SSM)進行5分制主觀評估實驗,得到平均主觀分值.利用視頻質(zhì)量的主觀分值,根據(jù)式(7)獲得DL值.利用已知參數(shù)計算視頻的FS和FF.圖3從不同視角給出了DL與FS、FF之間的關系.當網(wǎng)絡條件較差時,視頻的FS和FF值相對較高,相應的DL值也較大,并接近于1;當網(wǎng)絡條件較好時,FS和FF的值相對較低,DL值也較小,并接近于0.根據(jù)以上分析并結(jié)合圖3中的擬合曲線,DL與FS、FF的關系可表示為

其中,v4、v5和v6為實驗參數(shù),可通過最小二乘擬合獲得;v5和v6分別反映FS、FF對DL的影響程度.將式(10)代入式(7),可獲得視頻質(zhì)量為

圖3 DL與FS、FF的關系圖

4 實驗結(jié)果

表1 模型參數(shù)

為驗證模型性能,選取8個分辨率均為640×480的Crowd_run、Ducks_take_off、Old_town_cross、Basketball_drive、In_to_tree、Park_joy、Riverbed和Rush_field_cuts序列進行測試.采用目前較常用的x.264編碼器[14]對各個序列在恒定碼率為256 kb/s、576 kb/s、1 024 kb/s和1 536 kb/s下進行編碼,其編碼形式為“IPPP”,幀率為30幀/s,GoP長度為60幀.為模擬網(wǎng)絡丟包,采用RTP/UDP/IP協(xié)議棧對壓縮后的視頻流進行打包封裝處理,每包最大負載長度為1500 B.對打包數(shù)據(jù)進行隨機丟包,丟包率分別為0.2%、0.5%、 1.0%、2.0%、3.0%和5.0%.另外,對各序列用ffmpeg解碼器進行解碼,對丟包后的視頻采用零運動誤碼掩蓋方法(Zero Motion Error Concealment,ZMEC)進行處理.采用SSM評估法進行5分制主觀評估實驗,得到視頻的平均主觀分值.表1給出該模型各參數(shù)的值,其中,v1、v2和v3通過參考文獻[12]的方法獲得,v4、v5和v6利用圖3中的數(shù)據(jù)通過最小二乘擬合獲得.針對采用不同編碼器、編碼方式及分辨率的視頻,模型的系數(shù)可能需要重新訓練.

通過計算主觀質(zhì)量分數(shù)和模型所得的客觀質(zhì)量分數(shù)的皮爾森相關系數(shù)(Pearson Correlation Coefficient,PCC)和均方根誤差(Root Mean Square Error,RMSE)來對模型性能進行評價.將文中提出的模型與已有的G.1070模型[6]和T-V模型[7]進行比較,各個模型的性能在表2中列出.由表2可知,文中提出的模型的評價性能要優(yōu)于G.1070模型和T-V模型的性能.其中,PCC值分別提高了0.042和0.064,RMSE值分別下降了0.043和0.055.說明文中提出的模型能夠更準確地反映丟包對視頻質(zhì)量造成的影響.圖4分別給出了各個模型預測的客觀質(zhì)量與主觀質(zhì)量之間的散點圖.通過比較可直觀地驗證上述結(jié)論.

表2 模型評價性能比較

圖4 模型主客觀質(zhì)量散點圖

5 結(jié)束語

結(jié)合網(wǎng)絡視頻的傳輸特性,提出了一種新的網(wǎng)絡視頻參數(shù)規(guī)劃模型.不同于已有的規(guī)劃模型只是單純考慮統(tǒng)計意義上的網(wǎng)絡和應用參數(shù),文中結(jié)合信道的丟包特性和視頻的編碼特性,分析丟包引起的視頻序列受損和幀受損情況,在此基礎上結(jié)合信道丟包概率分布推導出相應的序列損傷因子和幀損傷因子,并利用這些因子預測視頻因丟包引起的失真,從而構建參數(shù)規(guī)劃模型.實驗結(jié)果表明,文中提出的模型能夠更有效地預測由直接丟包和錯誤傳播等因素造成的視頻質(zhì)量失真.利用該模型,可以在給定預期視頻質(zhì)量的前提下對網(wǎng)絡進行更好的設計和優(yōu)化.

參考文獻:

[1]楊付正,萬帥.網(wǎng)絡視頻質(zhì)量評估技術研究現(xiàn)狀及發(fā)展動向[J].通信學報,2012,33(4):107-114.YANG Fuzheng,WAN Shuai.Overview of State-of-the-art and Future of Networked Video Quality Assessment[J].Journal on Communications,2012,33(4):107-114.

[2]吳煒,陳健,宋彬.一種新的H.264/AVC視頻編碼失真估計算法[J].西安電子科技大學學報,2013,40(3):1-6.WU Wei,CHEN Jian,SONG Bin.Novel Video Coding Distortion Estimation Algorithm for H.264/AVC[J].Journal of Xidian University,2013,40(3):1-6.

[3]宋佳潤,蘇洪磊,楊付正.網(wǎng)絡視頻質(zhì)量包層評估模型研究[J].西安交通大學學報,2013,47(6):37-43.SONG Jiarun,SU Honglei,YANG Fuzheng.Packet Layer Assessment Model for Networked Video Quality[J].Journal of Xi’an Jiaotong University,2013,47(6):37-43.

[4]余春艷,吳麗麗,陳國龍,等.基于運動劇烈程度的無參考視頻質(zhì)量評價模型[J].光子學報,2013,42(7):864-871.YU Chunyan,WU Lili,CHEN Guolong,et al.A No-reference Assessment Model for Video Quality Based on Movement Activity[J].Acta Photonica Sinica,2013,42(7):864-871.

[5]YANG F,WAN S.Bitstream-based Quality Assessment for Networked Video:a Review[J].IEEE Communications Magazine,2012,50(11):203-209.

[6]TELECOMMUNICATION STANDARDIZATION SECTOR.Opinion Model for Video-Telephony Applications:ITU-T Recommendation G.1070[S].Geneva:ITU,2007.

[7]RAAKE A,GARCIA M,BERGER J,et al.T-V-model:Parameter-based Prediction of IPTV Quality[C]// Proceedings of the IEEE International Conference on Acoustics,Speech,and Signal Processing.Piscataway:IEEE,2008:1149-1152.

[8]TELECOMMUNICATION STANDARDIZATION SECTOR.2 Used as Planning Model:ITU-T contribution 65.P.1201[S].Geneva:ITU,2013.

[9]LI Z,CHAKARESKI J,NIU X,et al.Modeling and Analysis of Distortion Caused by Markov-model Burst Packet Losses in Video Transmission[J].IEEE Transactions on Circuits and Systems for Video Technology,2009,19(7):917-931.

[10]GNEDENKO B,SECKLER B,TEICHMANN T.The Theory of Probability[J].Physics Today,2009,15(10):62-64.

[11]TAYLOR A.L’Hospital’s Rule[J].American Mathematical Monthly,1952,59(1):20-24.

[12]YANG F,SONG J,WAN S,et al.Content-adaptive Packet-layer Model for Quality Assessment of Networked Video Services[J].IEEE Journal of Selected Topics in Signal Processing,2012,6(6):672-683.

[13]TELECOMMUNICATION STANDARDIZATION SECTOR.Methodology for the Subjective Assessment of the Quality of Television Pictures:ITU-R BT.500-11[S].Geneva:ITU,2002.

[14]AIMAR L,MERRITT L,PETIT E,et al.x264-a free h264/AVC encoder[EB/OL].[2013-08-23].http://www.videolan.org/developers/x264.html.

(編輯:齊淑娟)

簡 訊

日前,一款由計算機學院劉志鏡教授團隊設計開發(fā)的“農(nóng)掌門”惠農(nóng)服務平臺,已經(jīng)走進陜西蒲城縣的田間地頭,成為當?shù)剞r(nóng)民進行農(nóng)業(yè)生產(chǎn)的好幫手.這一新型的農(nóng)業(yè)服務平臺,有效解決了農(nóng)業(yè)科技信息服務與推廣“最后一公里”的問題,有望成為“互聯(lián)網(wǎng)+現(xiàn)代農(nóng)業(yè)”的新模式.據(jù)介紹,目前“農(nóng)掌門”惠農(nóng)服務平臺分為用戶端和專家端,其中用戶端有互聯(lián)網(wǎng)版、手機版和手機APP(有安卓平臺和IOS平臺)三個版本,通過任何一臺能上網(wǎng)的普通手機即可登錄,用戶使用永遠免費;專家端專供農(nóng)業(yè)專家使用,需使用定制手機登錄.目前,該系統(tǒng)數(shù)據(jù)存儲在陜西工業(yè)云中心.從功能上講,“農(nóng)掌門”不僅可以為農(nóng)民提供豐富的種養(yǎng)殖技術服務、病蟲害遠程互動診斷和農(nóng)業(yè)大棚種植可視化監(jiān)控等,還可以通過大數(shù)據(jù)挖掘分析,及時、準確地判斷出病蟲害地理位置分布與災情漂移趨勢.

摘自《西電科大報》2015.11.28

Parametric-planning model combining the transmission characteristics of network video service

SONG Jiarun,XU Ziqiang,YANG Fuzheng
(State Key Lab.of Integrated Service Networks,Xidian Univ.,Xi’an 710071,China)

Abstract:To evaluate the network video quality,a parametric-planning model is presented.Combining the characteristics of the channel and video sequence,the proposed model evaluates the video distortion caused by packet loss.It can be applied to effective network design and optimization on the premise of the quality of the video services.Firstly,by a detailed analysis of the packet loss behaviors and the characteristics of the video coding,a sequence distortion factor and a frame distortion factor are derived by combining the probability distributions of the packet loss event,which can reflect the video distortion from the perspective of the sequence impairment and frame impairment.Utilizing these factors,the video distortion caused by packet loss is evaluated and finally the parametric planning model is established.Experimental results show that compared with G.1070 and T-V models,the proposed model gets an increment of about 0.042 and 0.064 in Pearson Correlation Coefficient(PCC)and a decrement of about 0.043 and 0.055 in Root Mean Squared Error(RMSE).

Key Words:video quality estimation;planning model;network planning;packet loss

作者簡介:宋佳潤(1987-),男,西安電子科技大學博士研究生,E-mail:jrsong@stu.xidian.edu.cn.

基金項目:國家自然科學基金資助項目(613710896)

收稿日期:2014-10-21

doi:10.3969/j.issn.1001-2400.2016.02.029

中圖分類號:TN919.8

文獻標識碼:A

文章編號:1001-2400(2016)02-0168-06