基于互聯(lián)網(wǎng)的多路實(shí)時(shí)流媒體同步合成技術(shù)

李觀勝

（珠海城市職業(yè)技術(shù)學(xué)院 廣東 珠海 519090）

1 引言

網(wǎng)絡(luò)寬帶不斷提升和音視頻壓縮技術(shù)進(jìn)步，也使得流媒體技術(shù)得到發(fā)展，并且得到廣泛的應(yīng)用。在全球流媒體市場(chǎng)下，而且提供交流媒體的公司和服務(wù)受眾也比較多。與此同時(shí)，在實(shí)時(shí)傳輸技術(shù)不斷發(fā)展的背景下，對(duì)于網(wǎng)絡(luò)流媒體直播業(yè)務(wù)來說，也逐漸廣泛化，如開展監(jiān)控和視頻會(huì)議等業(yè)務(wù)。基于互聯(lián)網(wǎng)媒體同步應(yīng)用，受到了人們的關(guān)注，從虛擬樂隊(duì)直播系統(tǒng)的角度上來看，對(duì)于不同的地理位置等能起到支持的作用，而且通過網(wǎng)絡(luò)的應(yīng)用，可實(shí)現(xiàn)線上直播，進(jìn)而獲得良好的效果。在以往傳統(tǒng)流媒體系統(tǒng)中，從多路實(shí)施流媒體直播系統(tǒng)的角度上看，在多媒體內(nèi)，要同步維持，在其他同類型媒體間實(shí)現(xiàn)基于同步合成等方面還無法實(shí)現(xiàn)。

2 流媒體技術(shù)

所謂流媒體指的是在網(wǎng)絡(luò)上，主要就是通過對(duì)多媒體文件等流式傳輸技術(shù)進(jìn)行使用。在流媒體傳輸方式系統(tǒng)中，從用戶的角度上來看，其文件下載上不必將其都下載完就能看到文件中的內(nèi)容，只是經(jīng)過幾秒的啟動(dòng)延時(shí)，在用戶計(jì)算機(jī)上，通過相關(guān)硬件的運(yùn)用來解壓流媒體文件，如動(dòng)畫和音視頻等，并進(jìn)行播放進(jìn)而觀看，而且在后臺(tái)中，還能繼續(xù)下載多媒體文件剩余的部分。這與以往下載的方式相比，其多媒體文件通過邊下載邊播放的流媒體傳輸方式，具有一定的優(yōu)點(diǎn)而且體現(xiàn)得較為明顯：一方面，在啟動(dòng)延時(shí)等方面，時(shí)間比較短；另一方面，在系統(tǒng)容量等方面，對(duì)其需求不高，僅需要特定的實(shí)時(shí)傳輸協(xié)議。

3 多路實(shí)時(shí)流媒體系統(tǒng)架構(gòu)

對(duì)于多路實(shí)時(shí)流媒體系統(tǒng)進(jìn)行分析，此系統(tǒng)的構(gòu)成，主要包括采集端、流媒體服務(wù)、客戶端、合成服務(wù)器和控制管理平臺(tái)等。在不同地理位置下，多路實(shí)時(shí)流媒體系統(tǒng)會(huì)有多個(gè)采集端。對(duì)于流媒體服務(wù)來說，能使得實(shí)時(shí)流式更好地實(shí)現(xiàn)，并提供這項(xiàng)服務(wù)。在合成服務(wù)器中，主要有多個(gè)采集端合成，并展開發(fā)送，其中主要發(fā)送音視頻，還可實(shí)現(xiàn)同步。從客戶端的角度上來看，為了使播放軟件順利的完成，還離不開音視頻，在解碼上，實(shí)現(xiàn)同步，并將其顯示出來，這在用戶對(duì)流媒體觀看上，也帶來一定的便利。在控制管理平臺(tái)中，主要將用戶作為核心，開展相應(yīng)的管理，其網(wǎng)絡(luò)環(huán)境等方面開展相應(yīng)的監(jiān)測(cè)；控制好合成資源等，以上這些也是平臺(tái)主要負(fù)責(zé)的。

4 多路實(shí)時(shí)流媒體同步合成機(jī)制與實(shí)現(xiàn)

在音視頻數(shù)據(jù)流處理的采集和發(fā)送以及接收等環(huán)節(jié)中，其同步機(jī)制等方面，需要將其貫穿其中，在系統(tǒng)的各個(gè)環(huán)節(jié)中，其同步控制必須要實(shí)現(xiàn)。在控制管理平臺(tái)中，通過TCP套接字傳輸命令的應(yīng)用下，在系統(tǒng)各個(gè)組件中，使其組件之間的通信更好地實(shí)現(xiàn)，而且在對(duì)待同步媒體數(shù)據(jù)采集時(shí)，在對(duì)網(wǎng)絡(luò)狀態(tài)監(jiān)聽時(shí)就已經(jīng)開始。采集端將指令發(fā)送給控制管理平臺(tái)，而且還是具有權(quán)限的，如果效驗(yàn)成功的話，針對(duì)此通知對(duì)于其他采集端而言就能接收到，進(jìn)行倒計(jì)時(shí)，其同步合成處理等方面開始相應(yīng)的啟動(dòng)。當(dāng)啟動(dòng)同步合成后，對(duì)于每一個(gè)RTMP音頻包裝來說，各采集端會(huì)給額外時(shí)間戳。合成服務(wù)器開展容錯(cuò)處理時(shí)，主要就是通過媒體加載的初始化時(shí)延的實(shí)現(xiàn)，還有就是差錯(cuò)控制機(jī)制恢復(fù)流內(nèi)，而且來對(duì)其合成多路媒體時(shí)，主要就是在RTMP下，基于改進(jìn)的時(shí)間戳同步機(jī)制[1]。對(duì)于合成的音視頻信號(hào)來說，其對(duì)音視頻實(shí)時(shí)同步機(jī)制合成流媒體等方面，主要就是各自編碼器在各自編碼后，對(duì)于時(shí)間戳重新安排，并推流直播。而且在整個(gè)多路實(shí)時(shí)流媒體系統(tǒng)中，從流媒體合成器的角度上來看是非常重要的，其具有重要的意義。在多路實(shí)時(shí)流媒體等方面，其主要負(fù)責(zé)三個(gè)方面，為同步、合成以及轉(zhuǎn)發(fā)。

4.1 基于RTMP改進(jìn)時(shí)戳同步機(jī)制

在其多路實(shí)時(shí)流媒體直播系統(tǒng)等方面，對(duì)于有同步需求的直播系統(tǒng)來說，在線直播應(yīng)用中是最合適的。從這類應(yīng)用等方面，其業(yè)務(wù)特點(diǎn)上有相同之處，在伴奏等方面，可通過對(duì)基準(zhǔn)音頻文件進(jìn)行運(yùn)用，其視頻旋律和節(jié)奏等方面，使其能做到相統(tǒng)一。從采集端用戶的角度上來看，登錄之后，對(duì)于合成服務(wù)器來說，針對(duì)多路流數(shù)據(jù)開始合成，并推進(jìn)流之后。針對(duì)同步合成，當(dāng)啟動(dòng)之后，在同類媒體同步操作等方面，使其不斷增加[2]。

通常情況下，在流媒體編碼機(jī)制中，其參數(shù)上，都是以一個(gè)參數(shù)為時(shí)間基參數(shù)，在視頻幀和音頻幀播放時(shí)間等方面可用進(jìn)行計(jì)量。對(duì)于這種戳來說，其生成主要根據(jù)的是采樣頻率，與幀是有直接關(guān)系的，在按照順利的編排下，為視頻的順序提供重要的保障。在多路實(shí)施流媒體同步的過程中，對(duì)于某個(gè)采集端而言，如果一旦發(fā)生了故障，或者是網(wǎng)絡(luò)發(fā)生了中斷的現(xiàn)象，基于同步合成等方面，在重新參與合成的過程中，從這種時(shí)間戳的角度上來看，在其重新接入點(diǎn)上，是難以將其確定下來的，這與采樣是有直接關(guān)系的。

在其音頻間和視頻間等方面，文本在兩者之間同步實(shí)現(xiàn)等方面，主要利用實(shí)踐戳同步技術(shù)，將其不斷地改進(jìn)，而且在信道和全網(wǎng)同步化實(shí)現(xiàn)上，省去了附加這一步。從采集端用戶的角度上來看，當(dāng)?shù)卿洺晒χ?，在控制管理平臺(tái)中，下載基準(zhǔn)音頻文件，并下載到本地，當(dāng)加載完之后，其合成方面基于同步。之前對(duì)于多路數(shù)據(jù)流來說，只能使其合成處理更好地實(shí)現(xiàn)[3]。

在各采集端啟動(dòng)同步合成之后，在其本地基準(zhǔn)音頻相關(guān)文件等方面，開展相應(yīng)的播放。各端對(duì)于字節(jié)數(shù)生成時(shí)間戳已經(jīng)播放，這主要結(jié)合的是基準(zhǔn)音頻文件[4]。對(duì)于音頻來說，其編碼完成之后將其進(jìn)行包封，裝成RTMP，并將額外時(shí)間戳附加在RTMP音頻包尾部分。在自定義時(shí)間戳數(shù)值等方面，在實(shí)際開始時(shí)，主要從0開始，對(duì)于單調(diào)線來說，其不斷增長(zhǎng)，其主要的原因與音頻采樣有直接的關(guān)系。在各路媒體流的音頻中，為了使得采樣率能相一致，對(duì)于多路音頻流來說，在音頻包等方面，其自定時(shí)間戳上，能為其提供保障。隨著時(shí)間不斷流失，在各路時(shí)間戳中，會(huì)產(chǎn)生一定的誤差?；诖耍诓杉酥性O(shè)置參數(shù)時(shí)，一定要聯(lián)想起基準(zhǔn)音頻文件，而且此文件主要包括的是此文件已播的字節(jié)數(shù)。所以，當(dāng)時(shí)對(duì)此字節(jié)數(shù)播放之后，從0開始，從已播放字節(jié)數(shù)入手，展開相應(yīng)的計(jì)算，并生成時(shí)間戳。通過基準(zhǔn)音頻文件生成與內(nèi)容相關(guān)的實(shí)踐戳運(yùn)用，對(duì)于已合成的階段來說，可以將其判斷出來，在同步情況下，其恢復(fù)直播數(shù)據(jù)流等方面可以準(zhǔn)確接入，在各路音和視頻間等方面，為實(shí)現(xiàn)同步提供重要的保障。

4.2 基于同步容限的媒體流合成機(jī)制

在流媒體系統(tǒng)中，其聲音失步等方面，從人們的角度來看，是非常敏感的?；诖?，在音頻處理模塊中，其音頻合成等方面需要為合成的同步性提供重要的保障。在性能和質(zhì)量上，確保兩者能實(shí)現(xiàn)平衡，在對(duì)系統(tǒng)的實(shí)時(shí)性需求滿足的基礎(chǔ)之上，使其合成質(zhì)量獲得提高。在同步閥值設(shè)置上，要結(jié)合實(shí)驗(yàn)結(jié)果動(dòng)態(tài)，在閥值范圍中，對(duì)于多路音頻對(duì)應(yīng)的音頻包的額外時(shí)間來說如果在此范圍內(nèi)，其音頻包在同一時(shí)刻合成。

4.3 音視頻實(shí)時(shí)同步機(jī)制

在流媒體播放的過程中，對(duì)于視頻和音頻來說，兩者的傳輸通道具有一定的獨(dú)立性，而且在發(fā)送和接收時(shí)，主要采取的是穿插方式。在音視頻同步處理的過程中，通常情況下，以發(fā)送模塊和接收模塊為主。而且在媒體同步實(shí)現(xiàn)等方面，多路復(fù)用技術(shù)是最有效的方式，其媒體流間的同步上能將其簡(jiǎn)化，將額外信息道來對(duì)同步進(jìn)行傳輸這一步省略。

5 互聯(lián)網(wǎng)的多路實(shí)時(shí)流媒體同步合成技術(shù)應(yīng)用

5.1 視頻會(huì)議

對(duì)于視頻會(huì)議來說，省去了人們到某一地方聚集事件，充分利用網(wǎng)絡(luò)實(shí)現(xiàn)面對(duì)面溝通?；诖?，對(duì)于有的學(xué)校來說，為了節(jié)省開支，使得工作的效果獲得提高，逐漸運(yùn)用了視頻會(huì)議。尤其是在流媒體技術(shù)不斷發(fā)展下，其視頻會(huì)議組播技術(shù)方面的難題通過此技術(shù)進(jìn)一步得到解決，其中主要的難題為安全等?？梢月牭蕉鄠€(gè)發(fā)言者的聲音，且對(duì)于會(huì)場(chǎng)的視頻和圖像等省去了傳送時(shí)間，實(shí)現(xiàn)實(shí)時(shí)接收，一定程度上，促使視頻會(huì)議系統(tǒng)更好地發(fā)展。

5.2 視頻點(diǎn)播

在互聯(lián)網(wǎng)中，對(duì)于視頻點(diǎn)播來說，是非常重要的應(yīng)用，在VOD視頻點(diǎn)播要求下，其播放視頻節(jié)目的過程中，可結(jié)合用戶的實(shí)際要求。但是對(duì)于以往傳統(tǒng)的技術(shù)來說，其音視頻信息等方面，相對(duì)而言比較大，服務(wù)器終端離不開大量的存儲(chǔ)系統(tǒng)。與此同時(shí)，在大量數(shù)據(jù)源傳輸?shù)确矫?，出現(xiàn)了超過負(fù)荷的現(xiàn)象，服務(wù)器在點(diǎn)播上，使其不能做到大規(guī)模點(diǎn)播。在當(dāng)今社會(huì)，隨著寬帶不斷發(fā)展，在視頻點(diǎn)播系統(tǒng)中，也逐漸應(yīng)用了流媒體技術(shù)。對(duì)于流媒體來說，其對(duì)互聯(lián)網(wǎng)運(yùn)輸適合主要原因就是經(jīng)過了編碼壓縮，而且此編碼還具有一定的特殊性。并通過先進(jìn)的機(jī)群技術(shù)，可發(fā)點(diǎn)播要求，而且還是大規(guī)模的，在大規(guī)模的點(diǎn)播環(huán)境下，能夠更好地適應(yīng)。所以，充分運(yùn)用流媒體技術(shù)，在家中或者是學(xué)校對(duì)于自己的喜愛的視頻等，通過寬帶網(wǎng)交互式個(gè)性服務(wù)，可進(jìn)行點(diǎn)播。

5.3 遠(yuǎn)程教育

在當(dāng)今社會(huì)，隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，也使得遠(yuǎn)程教育得到了發(fā)展，這其中離不開流媒體技術(shù)的應(yīng)用。對(duì)于遠(yuǎn)程教育來說，不受時(shí)間和空間的限制，促進(jìn)學(xué)生自主學(xué)習(xí)，充分發(fā)揮出學(xué)生的主觀能動(dòng)性，其教育資源方面，實(shí)現(xiàn)共享，促使學(xué)生更好地接受。在遠(yuǎn)程教育中，主要由教師開展相應(yīng)的設(shè)計(jì)，將優(yōu)秀的網(wǎng)絡(luò)課程設(shè)計(jì)出來，而且還是文本和圖片以及視頻等為一體的，通過流媒體技術(shù)的應(yīng)用，使得寬帶限制性有所突破，通過在線的方式，教師就可為學(xué)生傳授相關(guān)的知識(shí)，結(jié)合信息反饋，便于對(duì)教學(xué)內(nèi)容進(jìn)行相應(yīng)的調(diào)整，便于學(xué)生更好地學(xué)習(xí)，促進(jìn)師生之間的溝通。