音視頻數(shù)據(jù)通信中自適應(yīng)多碼流網(wǎng)絡(luò)傳輸控制技術(shù)研究

摘 要 要保障音視頻數(shù)據(jù)通信過程中的圖像與音頻質(zhì)量，應(yīng)當(dāng)基于實(shí)際傳輸寬帶變化合理應(yīng)用自適應(yīng)多碼流網(wǎng)絡(luò)傳輸控制技術(shù)。本文闡述了音視頻數(shù)據(jù)通信的概念，分析了音視頻通信中的網(wǎng)絡(luò)傳輸狀況，并介紹了自適應(yīng)多碼流的基本內(nèi)容，以供諸位參考。

關(guān)鍵詞 音視頻數(shù)據(jù)通信;自適應(yīng)多碼流;網(wǎng)絡(luò)傳輸控制技術(shù)

音視頻是利用人眼視覺暫留原理，通過播放一系列圖片讓人眼產(chǎn)生運(yùn)動(dòng)的感覺。傳統(tǒng)網(wǎng)絡(luò)傳輸技術(shù)下，音視頻數(shù)據(jù)通信單純傳輸視頻畫面，視頻量較大，已經(jīng)不再適應(yīng)當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)傳輸與數(shù)據(jù)存儲(chǔ)。為了使視頻便于傳輸和存儲(chǔ)，人們開始深入研究網(wǎng)絡(luò)傳輸控制技術(shù)，并發(fā)現(xiàn)了將重復(fù)信息在發(fā)送端去掉、在接收端恢復(fù)可大大減少視頻數(shù)據(jù)文件規(guī)模。由此，誕生了自適應(yīng)多碼流網(wǎng)絡(luò)傳輸控制技術(shù)。下文主要對(duì)此進(jìn)行分析與論述。

1 音視頻數(shù)據(jù)通信概念

音視頻數(shù)據(jù)通信技術(shù)是一種集封裝技術(shù)、視頻音頻壓縮編碼技術(shù)、流媒體協(xié)議技術(shù)為一體的綜合性視頻數(shù)據(jù)技術(shù)，主要應(yīng)用于網(wǎng)絡(luò)教學(xué)、遠(yuǎn)程視頻會(huì)議、遠(yuǎn)程會(huì)診等領(lǐng)域。音視頻編輯可行性開源方案包括ffmpeg、MediaCodec、ijkplayer、mp4parser以及Vitamio等，其推送、傳輸與解析遵循RTMP、HLS、Web RTC協(xié)議[1]。

2 音視頻數(shù)據(jù)通信網(wǎng)絡(luò)狀況分析

2.1 網(wǎng)絡(luò)平均帶寬

網(wǎng)絡(luò)平均帶寬又稱頻寬，指的是固定時(shí)間內(nèi)可傳輸?shù)臄?shù)據(jù)數(shù)量，又指在傳輸管道中可以傳遞數(shù)據(jù)的能力。它反應(yīng)的是網(wǎng)絡(luò)數(shù)據(jù)通信最大承載量，無論是何種類型的通信，都可用點(diǎn)對(duì)點(diǎn)通信模型來表示。網(wǎng)絡(luò)平均帶寬表示參數(shù)是相對(duì)恒定的，也是可以測(cè)量的。倘若網(wǎng)絡(luò)平均帶寬對(duì)網(wǎng)絡(luò)數(shù)據(jù)傳輸產(chǎn)生了阻礙作用，則需要根據(jù)寬帶變化對(duì)音視頻多碼流做出有效調(diào)整。

2.2 網(wǎng)絡(luò)噪聲

音視頻數(shù)據(jù)通信本身的特點(diǎn)就決定了傳播不可能在絕對(duì)真空、封閉的環(huán)境下進(jìn)行，必然會(huì)在產(chǎn)生網(wǎng)絡(luò)噪聲。網(wǎng)絡(luò)噪聲是不可測(cè)量的，也不具有穩(wěn)定性。在音視頻數(shù)據(jù)通信中，可根據(jù)實(shí)際噪聲構(gòu)建噪聲模型，并充分考慮各種噪聲類型，采用盲卷積算法做去噪聲處理，處理過后仍舊存在噪聲時(shí)，選擇立即增加緩沖或者是重新發(fā)送等方式去除噪聲。

3 自適應(yīng)多碼流

3.1 碼率轉(zhuǎn)換

自適應(yīng)碼率轉(zhuǎn)換是解決在線音視頻播放卡頓的重要解決方法，其工作原理為基于對(duì)實(shí)際寬帶傳輸變化的估計(jì)選擇對(duì)應(yīng)碼率的碼流播放，使當(dāng)前播放碼流與當(dāng)前的網(wǎng)絡(luò)狀況相適應(yīng)，從而有效避免卡頓現(xiàn)象的發(fā)生。對(duì)用戶而言，由于音視頻是連續(xù)播放的，所以幾乎感知不到碼率切換，只能夠看到圖像質(zhì)量的高低變化。

自適應(yīng)碼率轉(zhuǎn)換需要服務(wù)器端和客戶端同時(shí)支持，一方面，服務(wù)器端要提供多碼率的碼流，如HLS就需要服務(wù)器端提供master m3u3 playlist，也就是嵌套m3u3 ，而DASH中manifest文件Adaptation Set里面會(huì)包含多個(gè)Representation，每個(gè)Representation對(duì)應(yīng)某一個(gè)碼率的流的描述。另一方面，播放器要在服務(wù)器滿足上述條件的基礎(chǔ)上，通過寬帶估計(jì)、切換時(shí)機(jī)和條件、Buffer數(shù)據(jù)切換以及無縫切換四個(gè)步驟完成自適應(yīng)碼率的切換。寬帶估計(jì)算法多涉及數(shù)學(xué)和統(tǒng)計(jì)學(xué)理論，比如說ExoPlayer算法，每下載一次數(shù)據(jù)，生成一個(gè)Sample，權(quán)重weight為每次下載到的數(shù)據(jù)的Bytes數(shù)的平方根，value為每次下載數(shù)據(jù)的bps。自適應(yīng)數(shù)據(jù)切換不需要同時(shí)下載兩個(gè)碼率的碼流數(shù)據(jù)，前一個(gè)碼流的最后一個(gè)Chunk下載完成后，如果滿足相關(guān)切換條件，再去下載新碼流的數(shù)據(jù)，此時(shí)數(shù)據(jù)是串行的，所以播放器自始至終只需要維護(hù)一套Data Queue即可。播放器從服務(wù)器讀回來的音視頻ES數(shù)據(jù)只需在Data Queue后面Add就好，其他Meta data信息由Info Queue管理，在切換到新碼流并開始下載之后，sample Meta data會(huì)調(diào)用attempt Splice嘗試拼接，video和audio各自處理。

3.2 自適應(yīng)流網(wǎng)絡(luò)傳輸

（1）DASH媒體內(nèi)容的生成。自適應(yīng)多碼流網(wǎng)絡(luò)傳輸可簡(jiǎn)稱為DASH。簡(jiǎn)單來說，就是在服務(wù)器端提前存好同一個(gè)內(nèi)容的不同碼率、不同分辨率的多個(gè)分片以及相應(yīng)的描述文件MPD，客戶端在播放時(shí)可根據(jù)自身性能與具體的網(wǎng)絡(luò)環(huán)境選擇最適宜的版本。DASH媒體內(nèi)容的生成流程為“輸入——編碼——分片——組織MPD”，以DASHEncoder項(xiàng)目工程為例，此項(xiàng)目可通過讀入配置文件或者是命令行來完成DASH媒體內(nèi)容和MPD文件的生成，并且支持計(jì)算PSNR值并存入MYAQL數(shù)據(jù)庫，其實(shí)現(xiàn)方法一般為調(diào)用MP4 box或者是ffmpeg。

（2）應(yīng)用fragmented MP4。DASH中，一般推薦使用fragmented MP4（fMP4）格式，它包含一系列segments，而這些segments可以被獨(dú)立的request，這有利于在不同質(zhì)量級(jí)別的碼流之間做碼率切換操作。倘若使用regular MP4，要在兩個(gè)碼流之間做碼率轉(zhuǎn)換，就需要找到兩個(gè)碼流中對(duì)應(yīng)時(shí)間點(diǎn)的byte position。由于mdat box數(shù)據(jù)龐大，很難找到一個(gè)具體的byte position。而且，在regular MP4中，有時(shí)MOOV會(huì)在巨大的mdat box之后，從而影響播的速度。但使用fMP4就簡(jiǎn)單得多，fMP4中有一個(gè)sidx box，它記錄了各個(gè)moof加mdat組成的segment的精確byte position，如果要進(jìn)行碼率轉(zhuǎn)換，只需Load一個(gè)很小的sidx box即可。另外，fMP4中各個(gè)segment的duration可由用戶自己指定，從而保證不同碼流的各個(gè)segment是time aligned且一定start with關(guān)鍵幀。

4 結(jié)束語

綜上所述，自適應(yīng)多碼流網(wǎng)絡(luò)傳輸技術(shù)對(duì)音視頻數(shù)據(jù)通信發(fā)展有重要作用?，F(xiàn)階段，我們應(yīng)當(dāng)持續(xù)深入研究自適應(yīng)多碼流數(shù)據(jù)傳輸技術(shù)，充分發(fā)揮其功能與作用，使之更好地服務(wù)于大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)技術(shù)的發(fā)展，并不斷對(duì)其配套技術(shù)進(jìn)行開發(fā)設(shè)計(jì)與創(chuàng)新，從而提高整體網(wǎng)絡(luò)技術(shù)水平。

參考文獻(xiàn)

[1] 張林，全偉，羅信海，等.基于EMR平臺(tái)設(shè)計(jì)的綜合業(yè)務(wù)多碼流分發(fā)傳輸系統(tǒng)[J].廣播電視信息，2018，（11）：92-96.

作者簡(jiǎn)介

劉霽宇（1980-），男，陜西清澗人;學(xué)歷：本科，工程師，現(xiàn)就職單位：92493部隊(duì)13分隊(duì)，研究方向：音視頻及通信相關(guān)專業(yè)的研究。