混合架構(gòu)轉(zhuǎn)碼云平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

劉春光

【摘要】本文敘述了在廣播電視臺(tái)融媒體技術(shù)體系中轉(zhuǎn)碼云平臺(tái)的定位、構(gòu)成和實(shí)現(xiàn)方式，闡明了基于混合云概念的轉(zhuǎn)碼平臺(tái)的設(shè)計(jì)原理和采用的關(guān)鍵技術(shù)。

【關(guān)鍵詞】轉(zhuǎn)碼云 混合云 服務(wù)抽象化 SDI/IP統(tǒng)一調(diào)度 N+M備份

引言

在廣播電視臺(tái)的融合媒體構(gòu)架中，轉(zhuǎn)碼平臺(tái)是起到核心作用的基礎(chǔ)平臺(tái)。無論是傳統(tǒng)媒體信源轉(zhuǎn)換成新媒體資源，還是新媒體各應(yīng)用系統(tǒng)之間的素材交換都離不開一個(gè)穩(wěn)健、強(qiáng)大的轉(zhuǎn)碼系統(tǒng)。可以說轉(zhuǎn)碼系統(tǒng)是媒體資源融合生產(chǎn)和發(fā)布的前提條件，如何高效實(shí)現(xiàn)轉(zhuǎn)碼系統(tǒng)也是融媒體系統(tǒng)能否高效運(yùn)行的前提條件。

在黑龍江廣播電視臺(tái)融媒體技術(shù)架構(gòu)中，我們將轉(zhuǎn)碼平臺(tái)定位為基礎(chǔ)技術(shù)支撐平臺(tái)的核心業(yè)務(wù)平臺(tái)。在融媒體架構(gòu)下，業(yè)務(wù)種類非常豐富，既有網(wǎng)臺(tái)、手機(jī)電視等新媒體應(yīng)用，又有IPTV等準(zhǔn)新媒體應(yīng)用，更包含非編網(wǎng)、媒資系統(tǒng)等傳統(tǒng)媒體業(yè)務(wù)平臺(tái)，在這種場(chǎng)景下，要求轉(zhuǎn)碼平臺(tái)具備很強(qiáng)的性能彈性和良好的擴(kuò)展性能才能與融合生產(chǎn)機(jī)制適配。為此，我們采用了云系統(tǒng)體系結(jié)構(gòu)來實(shí)現(xiàn)轉(zhuǎn)碼平臺(tái)，我們對(duì)整個(gè)轉(zhuǎn)碼平臺(tái)進(jìn)行了硬件的透明化和服務(wù)抽象化的設(shè)計(jì)和實(shí)現(xiàn)，保證了底層熱擴(kuò)展和隨意伸縮及性能調(diào)配的自由度，同時(shí)通過服務(wù)抽象化大大簡(jiǎn)化了各業(yè)務(wù)系統(tǒng)使用轉(zhuǎn)碼平臺(tái)的復(fù)雜度。另外，為了保證新媒體直播和轉(zhuǎn)播的效率，我們對(duì)外場(chǎng)直播需求的實(shí)時(shí)編碼采用了公有云方案，保證了外場(chǎng)轉(zhuǎn)播最快速地發(fā)往同樣位于公有云的直播服務(wù)器，減少傳輸環(huán)節(jié)，最大限度保證了直播的低延遲和流暢性。通過這種私有云和公有云結(jié)合的混合云架構(gòu)轉(zhuǎn)碼系統(tǒng)，我們最大限度實(shí)現(xiàn)了融媒體平臺(tái)高效流暢的基礎(chǔ)編碼支撐服務(wù)。

一.轉(zhuǎn)碼平臺(tái)的云體系架構(gòu)設(shè)計(jì)

1.混合云架構(gòu)設(shè)計(jì)

黑龍江廣播電視臺(tái)的轉(zhuǎn)碼平臺(tái)采用混合云架構(gòu)實(shí)現(xiàn)。一般來說，采用混合云架構(gòu)一般都是企業(yè)出于安全性考慮，將私有數(shù)據(jù)放置于私有云中，同時(shí)可以充分利用公有云的強(qiáng)大計(jì)算資源而采取的折中方案?；旌显频募軜?gòu)如圖1所示：

在黑龍江廣播電視臺(tái)的轉(zhuǎn)碼體系中，采用混合云架構(gòu)首要考慮的因素是效率。為了保證訪問的流暢和對(duì)大規(guī)模用戶的支持，我臺(tái)的新媒體直播服務(wù)器大都部署在公有云上，如果編碼采用私有云，則直播時(shí)需要將信號(hào)傳輸回臺(tái)內(nèi)，轉(zhuǎn)碼后再通過臺(tái)內(nèi)平臺(tái)發(fā)布到公有云平臺(tái)，這種方式會(huì)造成轉(zhuǎn)播信號(hào)延遲增大，傳輸故障增加，卡頓現(xiàn)象增多。所以針對(duì)外場(chǎng)新媒體直播信號(hào)，我們均采用公有云編碼方案，直接將信號(hào)編碼后推送給公有云上的直播平臺(tái)。

另一方面，對(duì)于臺(tái)內(nèi)的各種直播信號(hào)以及臺(tái)外電視轉(zhuǎn)播信號(hào)，我們?cè)谂_(tái)內(nèi)構(gòu)建來強(qiáng)大的私有云轉(zhuǎn)碼平臺(tái)，能夠?yàn)榕_(tái)內(nèi)的各種直播信號(hào)、視音頻制作文件等提供強(qiáng)大的轉(zhuǎn)碼服務(wù)，并智能推送到各個(gè)發(fā)布平臺(tái)，完成融媒體系統(tǒng)內(nèi)的文件交換過程。

2.公有云轉(zhuǎn)碼服務(wù)系統(tǒng)

公有云轉(zhuǎn)碼系統(tǒng)主要用于新媒體網(wǎng)絡(luò)直播場(chǎng)景，如圖2所示：

公有云轉(zhuǎn)碼平臺(tái)提供基于單個(gè)直播流業(yè)務(wù)粒度的線路質(zhì)量智能監(jiān)控及實(shí)時(shí)動(dòng)態(tài)的數(shù)據(jù)統(tǒng)計(jì)，提供自動(dòng)容錯(cuò)及全方位的數(shù)據(jù)分析，定位并優(yōu)化直播卡頓率，并實(shí)現(xiàn)了超低的延時(shí)。采用全新網(wǎng)格編碼算法，實(shí)時(shí)計(jì)算全鏈路狀態(tài)，按需智能配置最佳節(jié)點(diǎn)，實(shí)現(xiàn)了首頁秒開、千萬級(jí)并發(fā)等直播保障功能。

公有云轉(zhuǎn)碼平臺(tái)提供了多種類采集SDK和播放SDK，并開放云端API實(shí)現(xiàn)透明播控管理，助力平臺(tái)快速構(gòu)建直播平臺(tái)的核心業(yè)務(wù)，提高開發(fā)效率。轉(zhuǎn)碼系統(tǒng)還具備了實(shí)時(shí)錄制、實(shí)時(shí)水印、實(shí)時(shí)截圖、美顏濾鏡等眾多與網(wǎng)絡(luò)直播緊密結(jié)合的服務(wù)模塊。

公有云轉(zhuǎn)碼平臺(tái)具備多重安全措施，如推流、播放認(rèn)證、防盜鏈及鑒黃服務(wù)等，有效保障直播的安全。公有云提供的安全保障能力也是我們采用公有云編碼服務(wù)的重要原因。

3.私有云架構(gòu)設(shè)計(jì)

與公有云轉(zhuǎn)碼系統(tǒng)定位于新媒體直播的補(bǔ)充平臺(tái)不同，私有云轉(zhuǎn)碼平臺(tái)是融媒體轉(zhuǎn)碼平臺(tái)的核心部分。我們的私有轉(zhuǎn)碼云平臺(tái)實(shí)現(xiàn)了三層架構(gòu)的云平臺(tái)系統(tǒng)，如圖3所示：

私有云轉(zhuǎn)碼系統(tǒng)邏輯上由硬件層、邏輯抽象層和應(yīng)用層三個(gè)層面構(gòu)成。硬件層主要由編碼器硬件集群構(gòu)成，通過離線編碼集群和在線編碼集群及調(diào)度服務(wù)器等構(gòu)成了云編碼系統(tǒng)的IaaS層。所不同的是，我們的云編碼系統(tǒng)不對(duì)外提供IaaS層服務(wù)，這個(gè)硬件層純粹是為了上層服務(wù)提供支持。

邏輯抽象層把底層的編碼集群抽象成單一的編碼服務(wù)，本系統(tǒng)中，我們并沒有采用硬件虛擬技術(shù)，但依然實(shí)現(xiàn)了硬件的抽象化，我們可以按性能需求將物理編碼集群分割成若干邏輯編碼器，用戶可見的是系統(tǒng)可分配的邏輯編碼器的數(shù)量，而無需關(guān)心物理硬件構(gòu)成。在這個(gè)層面，用戶可見的是流編碼接口和文件編碼接口兩類開發(fā)工具，通過該P(yáng)aaS層工具，我們可以向系統(tǒng)申請(qǐng)一個(gè)流編碼資源或文件編碼資源，而無需了解底層的硬件構(gòu)成和編碼能力。

應(yīng)用層（SaaS層）把編碼服務(wù)封裝成了應(yīng)用，用戶通過任務(wù)管理應(yīng)用可以創(chuàng)建、修改、撤銷一個(gè)流編碼任務(wù)或文件編碼任務(wù)，通過填寫工單的形式就可以創(chuàng)建一個(gè)所需的編碼任務(wù)，然后通過文件調(diào)度或者碼流調(diào)度應(yīng)用模塊，將編碼任務(wù)的輸出調(diào)度到自己所需的目的地。

從圖3還可以看出，將編碼系統(tǒng)分成三個(gè)層次加以實(shí)現(xiàn)，底層的任何變化，不會(huì)影響上層原有功能，底層熱擴(kuò)展帶來的性能擴(kuò)充可以透明傳導(dǎo)到上層，上層自動(dòng)獲得了能力的提升，此外，上層還可以根據(jù)需要不斷擴(kuò)充功能模塊而無需對(duì)底層直接操控。

二.轉(zhuǎn)碼云平臺(tái)的構(gòu)成與實(shí)現(xiàn)

在黑龍江廣播電視臺(tái)的融媒體平臺(tái)中，編碼源有IP流、SDI流和文件三種，對(duì)應(yīng)的編碼后需求有IP流、文件兩種。轉(zhuǎn)碼云平臺(tái)的系統(tǒng)圖如圖4所示。

轉(zhuǎn)碼云系統(tǒng)包含離線編碼器集群、在線編碼器集群、編碼器集群備份、集群管理服務(wù)器、SDI矩陣、管理工作站及主備信源交換機(jī)和主備輸出交換機(jī)構(gòu)成。

SDI信源通過跳線盤連入矩陣，每臺(tái)物理編碼器提供4路SDI輸入，矩陣輸出4*N路接入編碼器集群，矩陣信號(hào)由管理服務(wù)器和工作站與IP信號(hào)實(shí)現(xiàn)了統(tǒng)一調(diào)度，矩陣僅在應(yīng)急時(shí)手動(dòng)操作，其余一律由調(diào)度服務(wù)器自動(dòng)調(diào)度信號(hào)。

IP流信號(hào)經(jīng)萬兆鏈路分主備分別接入主備信源交換機(jī)，編碼集群能夠自動(dòng)偵測(cè)主備信源狀態(tài)并實(shí)現(xiàn)自動(dòng)切換，轉(zhuǎn)碼后的IP流經(jīng)主備輸出交換機(jī)分別傳輸?shù)侥康牡卮a流服務(wù)器。轉(zhuǎn)碼后如果生成文件也自動(dòng)根據(jù)配置信息推送至目標(biāo)存儲(chǔ)位置，并自動(dòng)生成元數(shù)據(jù)信息。視頻源文件會(huì)被編碼集群按工單參數(shù)自動(dòng)讀取，完成轉(zhuǎn)碼過程。以上闡述的是編碼云底層的物理構(gòu)成和基礎(chǔ)工作方式，需要強(qiáng)調(diào)的是，在用戶端不允許直接訪問硬件層，所以編碼云的底層工作方式對(duì)用戶透明，用戶只需調(diào)用PaaS或SaaS層工具即可完成轉(zhuǎn)碼任務(wù)并監(jiān)控工作流程和進(jìn)度。

三.轉(zhuǎn)碼云平臺(tái)的保障機(jī)制

切換機(jī)制、主備信源輸出機(jī)制、N+M備份機(jī)制

與一般系統(tǒng)平臺(tái)不同，云系統(tǒng)在帶給用戶便捷的同時(shí)，也更加難以維護(hù)，為了確保云系統(tǒng)無故障運(yùn)行和系統(tǒng)的健壯性，我們?cè)谠妻D(zhuǎn)碼系統(tǒng)中設(shè)計(jì)了多重安全保障措施，確保云系統(tǒng)7*24小時(shí)流暢運(yùn)行。

1.物理單設(shè)備級(jí)安全保障

單機(jī)設(shè)備安全是系統(tǒng)安全的基礎(chǔ)，我們?yōu)槊颗_(tái)物理設(shè)備配備了雙電源冗余，并支持熱插拔；提供多個(gè)千兆以太網(wǎng)口，輸入、輸出、通訊獨(dú)立網(wǎng)口均采用雙路聚合配置，每對(duì)網(wǎng)口采用冗余綁定，并能夠?qū)崿F(xiàn)故障網(wǎng)口自動(dòng)漂移；物理設(shè)備均采用Linux操作系統(tǒng)，防止病毒入侵；設(shè)備本身提供聲光報(bào)警和聯(lián)網(wǎng)管控軟件；

2.信號(hào)級(jí)安全保障

該云平臺(tái)的一大特色是支持主備異構(gòu)信號(hào)源同時(shí)接入系統(tǒng)，主/備路信號(hào)的音視頻編碼格式甚至可以不一致，例如雙路衛(wèi)星信號(hào)就可以同時(shí)接入AVS+和H.264的主備信號(hào)；系統(tǒng)會(huì)根據(jù)信號(hào)質(zhì)量自動(dòng)選擇信號(hào)源。同時(shí)支持主備異構(gòu)信號(hào)流協(xié)議，方便從不同來源獲取信號(hào)；當(dāng)主、備信源均失效時(shí)，系統(tǒng)能夠自動(dòng)加載墊片輸出；支持手動(dòng)啟用主/備/墊片信源編碼輸出；支持不同網(wǎng)口雙路鏡像輸出。通過一系列的信號(hào)保障措施，我們的云編碼系統(tǒng)實(shí)現(xiàn)了廣播級(jí)的信號(hào)轉(zhuǎn)換和調(diào)度。集群對(duì)信號(hào)的切換設(shè)置如圖5所示：

可以看出當(dāng)信源中斷，超過N秒、信源目標(biāo)不可達(dá)、網(wǎng)卡處于link狀態(tài)，但是信源目標(biāo)不可達(dá)、信源目標(biāo)可達(dá)，無數(shù)據(jù)或數(shù)據(jù)包數(shù)量為0、Program ID變化、視頻流丟失、音頻流丟失、信源丟包，連續(xù)計(jì)數(shù)器錯(cuò)誤等等情況下，都可以觸發(fā)系統(tǒng)的信源切換操作。SDI信號(hào)主備的切換通過服務(wù)器對(duì)主備信號(hào)的監(jiān)測(cè)，對(duì)矩陣直接操控完成。

3.系統(tǒng)級(jí)安全保障

云轉(zhuǎn)碼系統(tǒng)采用集群網(wǎng)管控制器，對(duì)多個(gè)在線編轉(zhuǎn)碼設(shè)備實(shí)時(shí)集群管理；支持N+M安全備份策略，備份策略可在線熱調(diào)整；集群控制器采用1+1主備，雙機(jī)心跳監(jiān)測(cè)與接管倒換；即使集群控制器失效宕機(jī)，在維護(hù)時(shí)間范圍內(nèi)也不影響編轉(zhuǎn)碼設(shè)備工作；在N+M模式下，針對(duì)每臺(tái)設(shè)備上的4路SDI信號(hào)，當(dāng)該設(shè)備故障需將任務(wù)漂移到其他機(jī)器時(shí)，4路SDI輸出會(huì)自動(dòng)按漂移策略，由控制服務(wù)器操作矩陣將SDI輸出調(diào)整到新設(shè)備上。通過系統(tǒng)級(jí)的保障手段，打造了一個(gè)安全健壯，完全適配融媒體應(yīng)用的轉(zhuǎn)碼云系統(tǒng)。

四.結(jié)束語

黑龍江廣播電視臺(tái)轉(zhuǎn)碼云平臺(tái)作為我臺(tái)融媒體技術(shù)平臺(tái)的重要組成部分和基礎(chǔ)支撐平臺(tái)，已經(jīng)正式上線投入使用，該平臺(tái)支持專業(yè)高清格式如MPEG2 I幀、M X F等，同時(shí)支持H.264、H.265以及AVS+等編碼方式，支持UDP、RTP、HTTP、HLS等協(xié)議，使得這套轉(zhuǎn)碼云平臺(tái)在IPTV業(yè)務(wù)、手機(jī)電視業(yè)務(wù)、網(wǎng)臺(tái)業(yè)務(wù)以及傳統(tǒng)高清制播業(yè)務(wù)都得到了廣泛的應(yīng)用，隨著融合媒體的建設(shè)推進(jìn)，轉(zhuǎn)碼云平臺(tái)也必將發(fā)揮出越來越大的作用。B&P