基于主觀評(píng)價(jià)的視頻通信應(yīng)用中編碼策略研究*

李 瑤 周澤華

（合肥學(xué)院先進(jìn)制造工程學(xué)院 安徽合肥 230601）

網(wǎng)絡(luò)視頻通信系統(tǒng)是互聯(lián)網(wǎng)技術(shù)與數(shù)字視頻技術(shù)相結(jié)合最顯著的應(yīng)用之一。網(wǎng)絡(luò)視頻通信使身處不同區(qū)域的用戶(hù)通過(guò)網(wǎng)絡(luò)實(shí)時(shí)傳遞聲音和圖像信息，在虛擬空間中完成信息交流，極大突破了地理位置限制、增加了信息傳遞量、提高了效率，降低了交流成本［1］。

網(wǎng)絡(luò)視頻通信系統(tǒng)實(shí)現(xiàn)的一個(gè)重要問(wèn)題是保證視覺(jué)效果，即在使用者角度，追求畫(huà)質(zhì)清晰、信息傳遞流暢的高品質(zhì)播放效果和觀看舒適度、以及視頻信息傳遞的實(shí)時(shí)性，在數(shù)字視頻業(yè)務(wù)中獲得更高質(zhì)、高效的用戶(hù)體驗(yàn)質(zhì)量。然而，原始視頻圖像需經(jīng)過(guò)采集、編碼、傳輸、解碼、顯示等多個(gè)處理環(huán)節(jié)，其處理過(guò)程中采用的方法及性能的優(yōu)劣對(duì)接收端恢復(fù)的圖像質(zhì)量有很大影響。人們一方面希望接收端恢復(fù)的視頻圖像具有用戶(hù)能夠接受的觀看質(zhì)量，另一方面又希望占用盡可能窄的傳輸帶寬。在網(wǎng)絡(luò)帶寬足夠充分的條件下，系統(tǒng)采用盡可能大的傳輸碼率，可以保證視頻質(zhì)量。但在實(shí)際網(wǎng)絡(luò)環(huán)境中，常會(huì)出現(xiàn)帶寬受限的情況，導(dǎo)致視頻畫(huà)面出現(xiàn)卡頓和延時(shí)現(xiàn)象［2］。為避免這一現(xiàn)象的出現(xiàn)，通常會(huì)采取一定壓縮編碼權(quán)衡，將視頻編碼碼率控制在一定范圍內(nèi)，以降低視頻編碼質(zhì)量的做法保證收端視頻播放的基本流暢性［3］。因此，保證一定視頻質(zhì)量時(shí)的視頻編碼參數(shù)權(quán)衡成為網(wǎng)絡(luò)視頻通信系統(tǒng)技術(shù)研究的重點(diǎn)之一。數(shù)字視頻的處理過(guò)程中編碼方式的選擇和編碼器參數(shù)配置成為數(shù)字視頻處理技術(shù)中的關(guān)鍵研究問(wèn)題。

壓縮視頻的質(zhì)量評(píng)價(jià)分為兩種方式：主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)［4］。客觀評(píng)價(jià)是利用數(shù)學(xué)統(tǒng)計(jì)模型、人類(lèi)視覺(jué)模型、視頻圖像結(jié)構(gòu)模型等工具，通過(guò)對(duì)壓縮視頻序列的計(jì)算分析，給出量化的評(píng)價(jià)數(shù)值?？陀^評(píng)價(jià)具有可重復(fù)性、計(jì)算速度快、評(píng)價(jià)成本低等優(yōu)點(diǎn)，但常與人的主觀感知有一定偏差，出現(xiàn)不符合實(shí)際觀看效果反饋的情況。主觀評(píng)價(jià)不以量化形式呈現(xiàn)，而是用人的主觀感知直接測(cè)試，即在特定環(huán)境下組織一定人員以某種方式觀看特定視頻序列，并按事先制定的分?jǐn)?shù)標(biāo)準(zhǔn)進(jìn)行打分，然后對(duì)所有受測(cè)者打分情況進(jìn)行統(tǒng)計(jì)得出結(jié)論。主觀評(píng)價(jià)測(cè)量代價(jià)較高，且會(huì)受不確定因素影響，具有不可重復(fù)性。但由于人是最終的視頻接收者，主觀評(píng)價(jià)結(jié)果準(zhǔn)確性高，是最可靠的評(píng)價(jià)方式。大量樣本數(shù)據(jù)下的主觀評(píng)價(jià)結(jié)果仍具有有效借鑒性甚至決定性意義。

1 測(cè)試視頻選擇和生成

1.1 視頻源選擇

實(shí)時(shí)視頻通信系統(tǒng)中的視頻圖像可分為近景、中景和遠(yuǎn)景，其中近景圖像特點(diǎn)多為以人物近景甚至人臉為主要內(nèi)容，用戶(hù)多關(guān)注頭部細(xì)節(jié)動(dòng)作變化；中景圖像中的人物以全身像為主，主要體現(xiàn)肢體運(yùn)動(dòng)變化；遠(yuǎn)景圖像多為包含多個(gè)人物的室內(nèi)全景，室內(nèi)環(huán)境基本無(wú)變化，人物劇烈、快速動(dòng)作較少，用戶(hù)主要關(guān)注畫(huà)面中不同位置人物身份的識(shí)別。因此，在選取視頻樣本進(jìn)行編碼及測(cè)試時(shí)，應(yīng)在空間和時(shí)間復(fù)雜度上體現(xiàn)差別。

根據(jù)網(wǎng)絡(luò)視頻通信應(yīng)用領(lǐng)域和視頻通信場(chǎng)景特點(diǎn)，可選擇視頻會(huì)議、遠(yuǎn)程醫(yī)療診斷、遠(yuǎn)程教育場(chǎng)景下的視頻序列作為源視頻。文章選取了3段體現(xiàn)不同應(yīng)用場(chǎng)景的視頻，分別為：①視頻A：視頻會(huì)議場(chǎng)景室內(nèi)單人參會(huì)視頻；②視頻B：視頻會(huì)議場(chǎng)景多人參會(huì)視頻；③視頻C：遠(yuǎn)程教育場(chǎng)景室內(nèi)運(yùn)動(dòng)視頻。圖1為各視頻播放截圖。

圖1 視頻源播放截圖

1.2 編碼參數(shù)配置方案設(shè)計(jì)

視頻會(huì)議和流媒體應(yīng)用，應(yīng)當(dāng)優(yōu)先保證視頻碼率不超過(guò)端到端的有效帶寬。在保證通信服務(wù)質(zhì)量基礎(chǔ)上，開(kāi)展高清視頻會(huì)議商用級(jí)業(yè)務(wù)帶寬為2 Mbit／s［5］。以此數(shù)據(jù)作為參考，并考慮實(shí)際網(wǎng)絡(luò)環(huán)境區(qū)域性差異，可設(shè)置300kbps、600kbps、1Mbps、1.5Mbps、2Mbps等網(wǎng)絡(luò)帶寬值，在不同帶寬限制下設(shè)計(jì)編碼參數(shù)配置方案。

在視頻分辨率參數(shù)選擇上，參考主流視頻通信應(yīng)用中視頻顯示窗口大小，可選擇360p、480p、720p、1080p等分辨率作為視頻編碼參數(shù)設(shè)置選項(xiàng)。更高分辨率雖對(duì)應(yīng)更高圖像清晰程度，但同時(shí)也會(huì)造成編碼復(fù)雜度的增加以及碼率的增大，在實(shí)際視頻通信系統(tǒng)中較少采用，故更高分辨率選項(xiàng)不被納入編碼方案。

在視頻通信系統(tǒng)中，30幀／秒的幀率已經(jīng)能夠滿(mǎn)足視頻通信時(shí)的流暢要求，過(guò)高的幀率會(huì)導(dǎo)致編碼時(shí)碼率的大幅度增大。低于15幀／秒的幀率顯示視頻序列會(huì)出現(xiàn)不連貫感?？紤]用戶(hù)對(duì)實(shí)時(shí)視頻通信系統(tǒng)畫(huà)面質(zhì)量的需求，可以選擇10幀／秒、15幀／秒、25幀／秒、30幀／秒等幀率設(shè)置。

注意，當(dāng)碼率限制較低時(shí)，分辨率和幀率的選擇就不可避免同時(shí)受到限制，以及在編碼過(guò)程中產(chǎn)生較大量化步長(zhǎng)而引起視頻的較嚴(yán)重失真。根據(jù)碼率限制情況選擇合適的分辨率和幀率，制定適合實(shí)際編碼條件和視頻質(zhì)量要求的編碼參數(shù)配置方案，可以表1編碼參數(shù)配置方案作為參考或從中選擇。

表1 編碼參數(shù)配置方案

1.3 測(cè)試視頻的生成

對(duì)采集到的視頻數(shù)據(jù)進(jìn)行壓縮編碼，可使用FFmpeg實(shí)現(xiàn)。FFmpeg是一套可以用來(lái)記錄、轉(zhuǎn)換數(shù)字音頻、視頻，并能將其轉(zhuǎn)化為流的開(kāi)源計(jì)算機(jī)程序?？梢栽赪indows、Linux、Mac OS等多種操作系統(tǒng)中進(jìn)行安裝和使用［6］。FFmpeg包含了libx264、libvpx、libaom等多種視頻編解碼庫(kù)，支持H.264、H.265、VP8、VP9、AV1等多種格式的視頻編碼和解碼。

使用FFmpege命令對(duì)源視頻做不同參數(shù)設(shè)置條件下的編碼，如：

ffmpeg-i input.mp4-vf scale＝1280：720-r 15-b：v 2000k-bufsize 2000k output.mp4

即對(duì)源視頻input.mp4進(jìn)行編碼，使輸出視頻output.mp4碼率限制為2Mbit／s，分辨率720p，幀率15幀／秒，默認(rèn)使用x264編碼器。

2 主觀質(zhì)量評(píng)價(jià)方案設(shè)計(jì)

2.1 測(cè)試方法

ITU-T P.910建議書(shū)提供了針對(duì)多媒體應(yīng)用中的數(shù)字視頻圖像質(zhì)量的非交互式主觀評(píng)價(jià)方法［7］。主要有絕對(duì)分類(lèi)評(píng)級(jí)法（absolute category rating，ACR）、具有隱藏參考的絕對(duì)分類(lèi)評(píng)級(jí)法（absolute category rating with hidden reference，ACR-HR）、損傷分類(lèi)評(píng)級(jí)（degradation category rating，DCR）、成對(duì)比較法（pair comparison method，PC）等。ACR方法中，測(cè)試者每次觀看一個(gè)視頻并對(duì)其進(jìn)行打分，之后繼續(xù)觀看下一視頻并打分。ACR-HR方法與ACR類(lèi)似，區(qū)別在于測(cè)試視頻序列中必須包含一個(gè)源參考視頻。DCR方法中，測(cè)試者先觀看源參考視頻隨即再觀看測(cè)試視頻，測(cè)試者比較后一個(gè)視頻相較于前一個(gè)視頻的差別并打分。PC方法中視頻成對(duì)連續(xù)播放，測(cè)試者對(duì)兩者進(jìn)行比較并打分。

即時(shí)視頻通信系統(tǒng)中對(duì)采集的原始視頻圖像進(jìn)行壓縮編碼，必然導(dǎo)致視頻質(zhì)量的下降，但失真視頻質(zhì)量只要處于觀看者能接受的范圍內(nèi)，其編碼策略都是可以納入編碼權(quán)衡策略選擇范圍。且對(duì)于不同特征視頻圖像，一種編碼策略的適用性也可能不同。ACR方法實(shí)現(xiàn)簡(jiǎn)單，而PC法其優(yōu)點(diǎn)在于對(duì)在質(zhì)量上相近的測(cè)試視頻具有較強(qiáng)的區(qū)分能力。因此，根據(jù)測(cè)試目的，可參考PC方法，對(duì)運(yùn)用不同編碼策略生成的測(cè)試視頻進(jìn)行主觀評(píng)價(jià)測(cè)試，如圖2所示。

圖2 主觀評(píng)價(jià)方案中的視頻激勵(lì)示意圖

具體方法設(shè)計(jì)如下（以視頻A為例，對(duì)視頻B和C的編碼和測(cè)試方法同A）。

（1）對(duì)源視頻A，經(jīng)三種不同編碼策略編碼后得到三段測(cè)試視頻A1、A2、A3；

（2）將三個(gè)測(cè)試視頻兩兩組合并分組獨(dú)立播放。每組的兩個(gè)測(cè)試視頻播放間隔2，每組測(cè)試視頻播放結(jié)束后設(shè)置10s之內(nèi)的打分時(shí)間；

（3）之后播放下一組兩個(gè)測(cè)試視頻。播放方式和打分方式同上。

測(cè)試者在不被告知序列順序的前提下對(duì)每組兩個(gè)測(cè)試視頻進(jìn)行打分，判斷一組內(nèi)兩個(gè)視頻在觀看清晰度、流暢性或者綜合可接受度等方面的優(yōu)劣。

2.2 評(píng)價(jià)方法

帶寬受限條件下的視頻編碼不可避免以降低圖像質(zhì)量或播放流暢性為代價(jià)，但在視頻通信應(yīng)用的不同場(chǎng)合或場(chǎng)景下，用戶(hù)在不同角度或不同目標(biāo)下的觀看體驗(yàn)追求標(biāo)準(zhǔn)不盡相同。因此需要考慮用戶(hù)在觀看時(shí)對(duì)視頻綜合效果的接受程度。參照ITU-TP.910建議書(shū)中對(duì)視頻質(zhì)量的主觀評(píng)價(jià)評(píng)分的五級(jí)制標(biāo)準(zhǔn)，設(shè)計(jì)了針對(duì)視頻通信應(yīng)用下的視頻觀看綜合效果接受度五級(jí)制評(píng)分標(biāo)準(zhǔn)，即：①1級(jí)：很差，不能接受；②2級(jí)：效果較差，有不適感；③3級(jí)：一般；④4級(jí)：基本舒適，可以接受；⑤5級(jí)：舒適，完全接受。

3 數(shù)據(jù)統(tǒng)計(jì)和分析

利用高校實(shí)驗(yàn)室環(huán)境，光照、播放設(shè)備等均統(tǒng)一配置，從學(xué)生群體中篩選符合測(cè)試條件的人員，組成20人的測(cè)試小組，開(kāi)展壓縮視頻的主觀質(zhì)量評(píng)價(jià)測(cè)試。評(píng)分?jǐn)?shù)據(jù)經(jīng)有效性篩查后計(jì)算平均分即可得到該測(cè)試視頻的最終得分。表2為部分測(cè)試結(jié)果展示，并結(jié)合視頻體現(xiàn)的場(chǎng)景特點(diǎn)進(jìn)行分析。

表2 部分主觀質(zhì)量評(píng)價(jià)得分

對(duì)于A測(cè)試視頻序列，在300kpbs較低碼率限制下，10fps的幀率比25fps幀率方案得分高，分辨率由360p提升至720p，得分明顯降低。碼率提升至1500kbps時(shí)，兩種方案得分均很高。

A視頻為視頻會(huì)議應(yīng)用場(chǎng)景的室內(nèi)單人參會(huì)視頻，畫(huà)面內(nèi)容主要為單人半身像，人物一直處于鏡頭前說(shuō)話狀態(tài)，無(wú)快速、大幅動(dòng)作，背景幾乎無(wú)變化。觀看者較為關(guān)注人物的面部表情細(xì)節(jié)變化，注重畫(huà)面清晰程度，對(duì)畫(huà)面連貫性要求不高，無(wú)明顯卡頓感即可。由評(píng)價(jià)得分可見(jiàn)，無(wú)論是低碼率還是高碼率情況下，觀看者都可接受10fps的幀率。尤其當(dāng)碼率為300kbps時(shí)，選擇25fps較高的幀率編碼會(huì)導(dǎo)致量化步長(zhǎng)的增大，使畫(huà)面出現(xiàn)塊狀效應(yīng)。低碼率下，360p的分辨率在實(shí)際窗口大小下播放，用戶(hù)評(píng)價(jià)很好，而當(dāng)分辨率提升至720p時(shí)，播放窗口（分辨率）雖然增大了，但是成倍增大的分辨率要求使得編碼中量化步長(zhǎng)增大，畫(huà)面精細(xì)程度明顯下降，用戶(hù)接受程度明顯降低。

因此，對(duì)于A類(lèi)場(chǎng)景視頻，當(dāng)碼率較低時(shí)，應(yīng)選擇小分辨率小窗播放，并降低幀率，以保證畫(huà)面質(zhì)量。當(dāng)碼率較大時(shí)，幀率高低引起的連貫性差異感受不明顯，可以側(cè)重于提高分辨率以增強(qiáng)觀看體驗(yàn)。

對(duì)于B測(cè)試視頻序列，在300kpbs較低碼率限制下，10fps的幀率方案得分稍高于25fps幀率方案；720p較大的分辨率方案得分明顯高于360p較低分辨率方案。碼率提升至1500kbps時(shí)，兩種方案得分均較高。

B視頻為視頻會(huì)議應(yīng)用場(chǎng)景的室內(nèi)多人參會(huì)視頻，畫(huà)面內(nèi)容為多人半身像，人物之間通過(guò)語(yǔ)言交流，偶爾出現(xiàn)頭部轉(zhuǎn)向和上肢小幅動(dòng)作，背景幾乎無(wú)變化。因此，觀看者對(duì)畫(huà)面連貫性要求稍高于A視頻。由于畫(huà)面內(nèi)容主要體現(xiàn)會(huì)議整體場(chǎng)景，畫(huà)面中人物較多，觀看者普遍傾向于大窗口觀看，并且對(duì)人物的面部表情細(xì)節(jié)變化的要放放寬，稍低于對(duì)A視頻的畫(huà)面細(xì)節(jié)要求。因此無(wú)論是低碼率還是高碼率情況下，用戶(hù)都基本可接受10fps的幀率。而在300kbps較低碼率限制下，720p的用戶(hù)評(píng)價(jià)要高于360p。

對(duì)于B類(lèi)場(chǎng)景視頻，無(wú)論是處于低碼率還是高碼率的條件下，分辨率和幀率的選擇都取綜合考量。傾向于選擇較高的分辨率播放，即使存在由于量化步長(zhǎng)的增大而引起的畫(huà)面質(zhì)量的一定程度降低，但依然可以獲得較高的用戶(hù)接受度。

對(duì)于C測(cè)試視頻序列，300kpbs較低碼率的編碼方案得分明顯較低，尤其360p的分辨率方案得分最低。300kpbs和1500kbps的碼率條件下，均是25fps方案得分明顯高于10fps方案。

C視頻為遠(yuǎn)程教育應(yīng)用場(chǎng)景的室內(nèi)三人運(yùn)動(dòng)視頻，畫(huà)面內(nèi)容為三人全身像，背景簡(jiǎn)單無(wú)變化，但人物動(dòng)作速度快、幅度大、變化劇烈。觀看者關(guān)注焦點(diǎn)為人物的運(yùn)動(dòng)軌跡，對(duì)人物表情等細(xì)節(jié)并不在意。由評(píng)價(jià)結(jié)果可判斷，10fps幀率導(dǎo)致每?jī)蓭曨l畫(huà)面播放時(shí)間間隔的增加以及部分畫(huà)面的丟失，視頻播放時(shí)出現(xiàn)明顯不連貫現(xiàn)象和卡頓效果，即動(dòng)作軌跡不流暢，觀看體驗(yàn)明顯變差。取25fps幀率時(shí)，畫(huà)面播放流暢，用戶(hù)體驗(yàn)增強(qiáng)。而幀率的明顯提升會(huì)導(dǎo)致畫(huà)面質(zhì)量的降低，但得分情況說(shuō)明在滿(mǎn)足畫(huà)面流暢性的要求下，觀看者對(duì)稍模糊的畫(huà)面具有較高包容性。360p的分辨率編碼得到的視頻播放窗口很小，不利于充分展現(xiàn)全身運(yùn)動(dòng)的畫(huà)面內(nèi)容，觀看者傾向于大窗口觀看運(yùn)動(dòng)視頻。當(dāng)碼率提升至1500kbps時(shí)，較高的碼率能夠滿(mǎn)足720p、25fps的編碼方案需求，視頻播放窗口較大，畫(huà)面流暢，用戶(hù)評(píng)價(jià)大幅提高。

因此，對(duì)于C類(lèi)場(chǎng)景視頻，需要較高的幀率以保證視頻播放流暢性，同時(shí)由于觀看者傾向于較大分辨率下觀看，所以總體需要較高的碼率支持。

4 結(jié)論

當(dāng)碼率收到限制時(shí)，視頻在進(jìn)行壓縮編碼過(guò)程中不可避免會(huì)以降低分辨率或者降低幀率為代價(jià)。如何選擇合適的分辨率和幀率制定編碼策略是視頻編碼研究的重要問(wèn)題。隨著視頻通信應(yīng)用場(chǎng)景特點(diǎn)的不同，觀看者對(duì)視頻信息的主觀需求也存在差別。運(yùn)用主觀質(zhì)量評(píng)價(jià)方法，根據(jù)人的主觀感受判斷碼率受限條件下不同編碼策略生成視頻的優(yōu)劣，并分析不同編碼策略相對(duì)于不同類(lèi)別視頻的適用性，作為實(shí)際視頻通信應(yīng)用中編碼技術(shù)研究的參考和借鑒。