千兆以太高清非編網(wǎng)建設(shè)實(shí)踐

胡明志 徐州廣播電視臺(tái)

千兆以太高清非編網(wǎng)建設(shè)實(shí)踐

胡明志 徐州廣播電視臺(tái)

根據(jù)徐州臺(tái)高清節(jié)目制作播出的需求，采用基于千兆以太網(wǎng)的單網(wǎng)架構(gòu)，利用臺(tái)內(nèi)原標(biāo)清非編網(wǎng)的存儲(chǔ)設(shè)備，完成了安全、高效、實(shí)用、低成本的高清非編網(wǎng)建設(shè)。

IP-SAN ISCSI 非編網(wǎng)絡(luò) CPU+GPU

一、背景介紹

非編制作網(wǎng)是電視節(jié)目制作的重要系統(tǒng)，承擔(dān)了臺(tái)內(nèi)大量節(jié)目的制作任務(wù)。隨著電視技術(shù)突飛猛進(jìn)的發(fā)展，制作系統(tǒng)的設(shè)備也隨之不斷升級(jí)換代。高清制播設(shè)備從種類、功能、價(jià)格等方面越來越接近標(biāo)清設(shè)備。在高清技術(shù)與應(yīng)用越來越成熟普及的情況下，電視節(jié)目高清非編制作網(wǎng)的建設(shè)也更加高效與便利。

二、技術(shù)方案

徐州電視臺(tái)高清制作網(wǎng)絡(luò)系統(tǒng)，是一個(gè)全流程化的高清節(jié)目后期制作網(wǎng)絡(luò)系統(tǒng)。系統(tǒng)采用網(wǎng)絡(luò)化的工作模式完成高清節(jié)目的制作，并且可以與高清制播體系內(nèi)的其他系統(tǒng)配合，實(shí)現(xiàn)高清節(jié)目備播、資料歸檔、資料調(diào)用、演播室播出等。根據(jù)本系統(tǒng)的使用性質(zhì)，我們?cè)谙到y(tǒng)建設(shè)時(shí)確定了以下總體要求 ：

（1）系統(tǒng)全流程支持高清；

（2）高標(biāo)清兼容、支持多格式節(jié)目的混編；

（3）構(gòu)建制作網(wǎng)平臺(tái)，實(shí)現(xiàn)資源共享；

（4）通過制作網(wǎng)平臺(tái)實(shí)現(xiàn)節(jié)目制作網(wǎng)絡(luò)系統(tǒng)與臺(tái)內(nèi)其他系統(tǒng)平臺(tái)的互聯(lián)互通；

（5）根據(jù)節(jié)目形式需要，可自由定制系統(tǒng)流程，并可對(duì)各流程狀態(tài)信息進(jìn)行實(shí)時(shí)監(jiān)控；

（6）高效穩(wěn)定的節(jié)目合成系統(tǒng)，可實(shí)現(xiàn)高清節(jié)目后臺(tái)快速打包；

（7）在網(wǎng)絡(luò)出現(xiàn)重大故障的情況下，能保證將所有站點(diǎn)快速切換為本地單機(jī)模式以保證節(jié)目繼續(xù)生產(chǎn)；

（8）系統(tǒng)具備先進(jìn)性和可擴(kuò)展性，并且支持無縫擴(kuò)容升級(jí)。

三、系統(tǒng)具體方案

本著簡(jiǎn)單實(shí)用、節(jié)約成本的原則，我臺(tái)決定在高清非編網(wǎng)的具體搭建中分步分層實(shí)施。該非編制作系統(tǒng)按其功能可分為：

（1）節(jié)目制作平臺(tái)。該平臺(tái)主要實(shí)現(xiàn)節(jié)目的制作、配音、演播室回采及播放等功能，包括：18臺(tái)無卡編輯工作站，4臺(tái)有卡編輯工作站（其中兩臺(tái)有卡工作站接入演播室系統(tǒng)，一臺(tái)用于節(jié)目回采，一臺(tái)用于應(yīng)急播出），2臺(tái)配音工作站。

圖1 系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D

該系統(tǒng)的技術(shù)主要包括基于64位開發(fā)平臺(tái)開發(fā)的以CPU+GPU技術(shù)為核心的有卡、無卡非編工作站，以ISCSI協(xié)議為核心的IP-SAN千兆以太網(wǎng)絡(luò)。由于以上技術(shù)的應(yīng)用，整個(gè)系統(tǒng)既具備了極高的性能，又大幅降低了采購和運(yùn)營成本，完全滿足了我臺(tái)高清節(jié)目制作的需求。系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D見圖1。

1節(jié)目制作系統(tǒng)

該高清非編系統(tǒng)，采用了基于CPU+GPU技術(shù)的大洋公司高清非編工作站，該技術(shù)架構(gòu)的非編系統(tǒng)，是目前標(biāo)清非編系統(tǒng)應(yīng)用比較廣泛，技術(shù)已經(jīng)相對(duì)成熟的系統(tǒng)。隨著計(jì)算機(jī)性能的快速提高，CPU+GPU構(gòu)架技術(shù)成為了AV/IT技術(shù)的完美結(jié)合。它采用計(jì)算機(jī)CPU純軟件方式超實(shí)時(shí)完成視頻數(shù)據(jù)的壓縮和解壓縮運(yùn)算，采用顯示卡上的圖形處理單元GPU完成視頻特技效果和多層畫面合成運(yùn)算，利用通用的硬件系統(tǒng)資源，實(shí)現(xiàn)了視頻高性能編輯和處理。通過軟件升級(jí)，幾乎無限制地對(duì)各種編解碼技術(shù)、新設(shè)備的支持，與傳統(tǒng)的利用非編專用板卡的非編系統(tǒng)相比，價(jià)格更為便宜，性價(jià)比尤為突出。在這一系統(tǒng)架構(gòu)的具體應(yīng)用中，又分為有卡（CPU+GPU+IO）工作站與無卡（CPU+GPU）工作站兩種方式。

所謂有卡CPU+GPU+I/O，就是利用PC平臺(tái)系統(tǒng)中的通用CPU、顯示卡上的通用GPU以及復(fù)雜度相對(duì)較低的視音頻I/O板卡共同組合，完成原來由一個(gè)或一套專用板卡所完成的功能。原來由專用板卡完成的大部分功能都通過CPU和GPU運(yùn)算，以軟件的方式實(shí)現(xiàn)。在這種架構(gòu)下，系統(tǒng)首先通過CPU將經(jīng)過I/O卡輸入的基帶信號(hào)編碼成指定格式的數(shù)據(jù)存放到存儲(chǔ)介質(zhì)中，系統(tǒng)從存儲(chǔ)介質(zhì)中讀取已編碼的視頻數(shù)據(jù)，由軟件編解碼引擎通過CPU運(yùn)算解碼成為基帶視頻數(shù)據(jù)，然后通過主機(jī)內(nèi)部總線發(fā)送到顯示卡上的GPU圖形處理器。軟件合成器利用GPU運(yùn)算完成二維、三維特技處理和視頻數(shù)據(jù)的合成。合成后的數(shù)據(jù)再次通過主機(jī)內(nèi)部總線回傳給CPU。 CPU將數(shù)據(jù)通過主機(jī)內(nèi)部總線傳輸給I/O板卡轉(zhuǎn)換成基帶信號(hào)輸出?？傊褪荂PU負(fù)責(zé)完成視頻數(shù)據(jù)的編解碼運(yùn)算，GPU負(fù)責(zé)實(shí)現(xiàn)視頻特技和合成運(yùn)算，I/O板卡完成基帶信號(hào)的輸入輸出。

隨著電腦硬件接口技術(shù)的發(fā)展，尤其是高速USB3接口的普及，再加上視頻拍攝記錄載體以及記錄方式的變化，現(xiàn)在非編中的視頻輸入輸出方式也發(fā)生了相應(yīng)的變化，由原來需要IO板卡進(jìn)行轉(zhuǎn)換為基帶信號(hào)進(jìn)行方式，逐漸轉(zhuǎn)變成了以視頻文件方式為主的導(dǎo)入導(dǎo)出方式，CPU+GPU+IO這一非編架構(gòu)，正在逐漸被無IO卡的CPU+GPU方式所替代。而有卡非編工作站，大多被應(yīng)用在演播室系統(tǒng)的節(jié)目回采與應(yīng)急播放環(huán)節(jié)。

我臺(tái)高清非編系統(tǒng)采用大洋公司最新一代D3-Edit系列的高清非編產(chǎn)品，該產(chǎn)品基于64位操作系統(tǒng)，支持海量內(nèi)存，對(duì)復(fù)雜節(jié)目和長節(jié)目的操作響應(yīng)速度大幅提升。CPU+GPU技術(shù)應(yīng)用，保證了編輯實(shí)時(shí)性，并提供后臺(tái)智能打包，具有豐富的、開放的、可擴(kuò)充的視音頻特技。字幕的靈活應(yīng)用，以及與視頻精確對(duì)位的制作手段，使得視頻、字幕合成一次完成。齊全的視音頻接口支持，包括對(duì)IEEE1394（DV/HDV）、P2/P2 HD以及 XDCAM/ XDCAM HD/XDCAM EX等的支持，隨著軟件系統(tǒng)的升級(jí)，隨時(shí)可以支持更多新的接口設(shè)備。

2 網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)

2.1 采用ISCSI協(xié)議的IP-SAN架構(gòu)

現(xiàn)在中大型非編網(wǎng)的建設(shè)，F(xiàn)C-SAN的結(jié)構(gòu)基本還是首要選擇。在這種光纖加以太網(wǎng)的雙網(wǎng)結(jié)構(gòu)中，F(xiàn)C在高碼率、大數(shù)據(jù)量的視音頻文件的實(shí)時(shí)讀寫運(yùn)用中能提供穩(wěn)定的網(wǎng)絡(luò)帶寬。保證非編網(wǎng)絡(luò)實(shí)時(shí)編輯的穩(wěn)定運(yùn)行。以太網(wǎng)則用于傳輸非編網(wǎng)絡(luò)的控制信息和元數(shù)據(jù)信息，提供FC SAN的帶外管理功能。這種雙網(wǎng)架構(gòu)的非編網(wǎng)絡(luò)需要FC磁盤陣列，F(xiàn)C交換機(jī)，F(xiàn)C HBA卡。而且隨著網(wǎng)絡(luò)規(guī)模的增加，要保證每臺(tái)編輯站點(diǎn)的讀寫帶寬，必須采用吞吐帶寬很高的高端FC磁盤陣，同時(shí)還要使用端口數(shù)更多的FC交換機(jī)。這些網(wǎng)絡(luò)設(shè)備將導(dǎo)致網(wǎng)絡(luò)的成本劇增。

隨著千兆以太網(wǎng)技術(shù)的成熟運(yùn)用，新一代CPU+ GPU的非編工作站具有更大的緩存調(diào)用機(jī)制，有效降低了網(wǎng)絡(luò)吞吐帶寬的約束。在此基礎(chǔ)上通過靈活的組網(wǎng)，使得千兆以太網(wǎng)能夠承載高碼率，大數(shù)據(jù)量的視音頻文件，并能提供實(shí)時(shí)編輯的讀寫帶寬。而且具備完善的網(wǎng)絡(luò)管理能力。純千兆以太網(wǎng)在性能上已經(jīng)接近FC+以太的雙網(wǎng)結(jié)構(gòu)的性能。

表1 FC-SAN與IP-SAN技術(shù)簡(jiǎn)單對(duì)比分析

我臺(tái)基于純千兆以太網(wǎng)結(jié)構(gòu)的高清非編網(wǎng)絡(luò)，采用了使用ISCSI協(xié)議的IP-SAN結(jié)構(gòu)的千兆網(wǎng)絡(luò)。iSCSI是Internet SCSI，也叫SCSI over TCP/IP。它是建立在TCP/ IP協(xié)議上的互聯(lián)網(wǎng)協(xié)議。iSCSI建立在兩個(gè)使用最廣泛的協(xié)議之上。在存儲(chǔ)方面，iSCSI采用的是SCSI的命令設(shè)置。SCSI協(xié)議是一個(gè)用于同I/O設(shè)備進(jìn)行通信的流行協(xié)議，SCSI體系結(jié)構(gòu)是基于客戶端/服務(wù)器（C/S）模型的，和SAN的架構(gòu)恰好吻合。在網(wǎng)絡(luò)協(xié)議方面，iSCSI基于TCP/IP這個(gè)最基礎(chǔ)、最普遍的協(xié)議。它的工作模式是將SCSI命令嵌入到TCP/IP數(shù)據(jù)包中，然后通過LAN連接存儲(chǔ)設(shè)備，該協(xié)議負(fù)責(zé)將傳輸?shù)木W(wǎng)絡(luò)數(shù)據(jù)包中的TCP/IP和SCSI命令分離或合并，效率很高?？傊@一協(xié)議的目的是允許使用現(xiàn)有的以太網(wǎng)網(wǎng)絡(luò)傳輸SCSI指令和數(shù)據(jù)。利用iSCSI技術(shù)，可以很方便的搭建基于SAN架構(gòu)的存儲(chǔ)網(wǎng)絡(luò)，在提高存取性能的同時(shí)也可以實(shí)現(xiàn)存儲(chǔ)的共享，這一點(diǎn)對(duì)視頻非線性編輯尤為重要。

2.2 核心存儲(chǔ)

我臺(tái)高清非編存儲(chǔ)系統(tǒng)使用了DELL公司的EqualLogic PS6100E磁盤陣列，該盤陣采用虛擬化對(duì)等擴(kuò)展體系結(jié)構(gòu)，簡(jiǎn)單的管理功能可使其快速加入網(wǎng)絡(luò)，而且可以智能感知網(wǎng)絡(luò)連接，并在數(shù)據(jù)傳速端口間自動(dòng)負(fù)載平衡，可在使用中無縫擴(kuò)展存儲(chǔ)池。兩個(gè)全冗余的熱插拔控制器，每個(gè)控制器配備 4 GB內(nèi)存。每個(gè)控制器具有一個(gè) 100BASE-TX 專用管理端口，四個(gè) 1000BASE-T數(shù)據(jù)傳輸端口。磁盤柜具有24 個(gè)可熱插拔NL-SAS磁盤接口。支持RAID 5、 RAID 6、RAID 10 和 RAID 50。具有兩個(gè)全冗余的熱插拔電源。

我們配置了1TB的SAS硬盤，能提供24TB的存儲(chǔ)容量。兩個(gè)盤陣共提供48TB容量。安全方面采用RAID50和Hot-Spare熱備盤的方式，做到了空間利用、性能與安全的平衡。即當(dāng)磁盤出現(xiàn)故障時(shí)熱備盤自動(dòng)實(shí)現(xiàn)在線替換，進(jìn)行數(shù)據(jù)重建，具有較高的安全性。利用PS6100自帶的虛擬IP GROUP技術(shù)，把兩臺(tái)盤陣納入一個(gè)GROUP內(nèi)，該技術(shù)可實(shí)時(shí)監(jiān)測(cè)盤陣端口數(shù)據(jù)流量，并實(shí)現(xiàn)組內(nèi)成員自動(dòng)負(fù)載均衡，兩臺(tái)盤陣以同一GROUP IP接入網(wǎng)絡(luò)，便于設(shè)備在網(wǎng)絡(luò)中的接入與管理。根據(jù)節(jié)目制作要求以及該非編系統(tǒng)的特點(diǎn)，設(shè)計(jì)要求24臺(tái)站點(diǎn)能夠?qū)崟r(shí)編輯2層以上 100Mbps 碼率的高清視頻，總帶寬需求約4800MbPS。我們配備的兩臺(tái)PS6100盤陣，八個(gè)千兆端口接入網(wǎng)絡(luò)，帶寬完全能夠滿足日常節(jié)目的制作要求。

3.業(yè)務(wù)支撐系統(tǒng)

該業(yè)務(wù)支撐系統(tǒng)，主要分為以下幾部分：

（1）MDS服務(wù)器

該系統(tǒng)使用了一主一備兩臺(tái)MDS服務(wù)器，用于控制系統(tǒng)內(nèi)工作站對(duì)中心存儲(chǔ)體的共享訪問，主要用于管理存儲(chǔ)管理軟件StorNext，該軟件目前在廣電行業(yè)內(nèi)應(yīng)用廣泛而且比較成熟可靠。SNFS最大的特點(diǎn)就是文件系統(tǒng)與操作系統(tǒng)平臺(tái)無關(guān)，它使用了自行設(shè)計(jì)的專用文件系統(tǒng)，這樣就避免了異構(gòu)環(huán)境下的性能劣化。在本項(xiàng)目中，我們選擇SNFS存儲(chǔ)管理軟件主要有以下幾個(gè)原因：

具有大卷的管理能力：突破單卷不能超過2TB的限制，能夠達(dá)到4096TB單卷，可以滿足將來海量存儲(chǔ)的管理。

異構(gòu)操作系統(tǒng)站點(diǎn)的支撐能力：無論是Windows操作系統(tǒng)，還是Linux操作系統(tǒng)，還是Unix操作系統(tǒng)，都能夠支撐。

高可用性支持：雙MDS主機(jī)并行運(yùn)行，自動(dòng)接管，對(duì)前臺(tái)操作完全透明。

支持高效元數(shù)據(jù)傳輸、可支持100個(gè)以上站點(diǎn)同時(shí)訪問。

提供方便的管理功能，能實(shí)現(xiàn)對(duì)卷劃分、存儲(chǔ)容量、訪問權(quán)限等進(jìn)行動(dòng)態(tài)調(diào)整，可對(duì)站點(diǎn)的訪問帶寬進(jìn)行限制，以確保整體網(wǎng)絡(luò)安全。

考慮到電視臺(tái)制作網(wǎng)的實(shí)際情況，如果按照最大2TB的分區(qū)管理，這樣會(huì)占用較多的盤符，考慮到系統(tǒng)將來的升級(jí)擴(kuò)展，因此采用SNFS存儲(chǔ)共享管理軟件。

（2）高清打包服務(wù)器

高清打包服務(wù)器是處理打包任務(wù)的核心單元，負(fù)責(zé)接收打包任務(wù)，實(shí)現(xiàn)故事板合成、文件傳輸、元數(shù)據(jù)交換等工作。合成服務(wù)器獲得打包任務(wù)，對(duì)故事板按照格式要求進(jìn)行后臺(tái)打包?？梢允褂迷诖笱蟾鱾€(gè)系統(tǒng)的互聯(lián)互通中，也可以單獨(dú)使用在大洋的非線性編輯系統(tǒng)中。該系統(tǒng)根據(jù)實(shí)跟需要，配置了兩臺(tái)高清打包服務(wù)器。

（3）流程引擎服務(wù)器

采用了大洋全新推出的PPNE節(jié)目生產(chǎn)網(wǎng)絡(luò)流程引擎，用以實(shí)現(xiàn)文稿、非編、打包、內(nèi)審、技審、遷移、演播室之間的流程驅(qū)動(dòng)等。該系統(tǒng)配置了一臺(tái)流程引擎服務(wù)器。

（4）管控服務(wù)器

管控服務(wù)器主要實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)用戶定義、權(quán)限配置、空間分配、組織結(jié)構(gòu)定義、業(yè)務(wù)定義等功能，該系統(tǒng)配置了一臺(tái)管控服務(wù)器。

（5）數(shù)據(jù)庫服務(wù)器

數(shù)據(jù)庫服務(wù)器用于非編網(wǎng)內(nèi)所有信息和數(shù)據(jù)的管理，為了保證數(shù)據(jù)安全，數(shù)據(jù)庫服務(wù)器采用了先進(jìn)的一主一備雙機(jī)容錯(cuò)技術(shù)（即服務(wù)器集群技術(shù)），它保證了數(shù)據(jù)、應(yīng)用程序和通信資源的高可用性。這種應(yīng)用的主要優(yōu)點(diǎn)是：

兩臺(tái)服務(wù)器通過軟件建立一個(gè)虛擬服務(wù)器名，數(shù)據(jù)庫資源掛在虛擬的服務(wù)器下，客戶機(jī)訪問數(shù)據(jù)庫時(shí)直接訪問虛擬機(jī)，兩臺(tái)服務(wù)器一主一備，一旦工作機(jī)癱瘓，備份機(jī)可以在一分鐘之內(nèi)接管數(shù)據(jù)庫服務(wù)，接管過程對(duì)客戶機(jī)是透明的，這種技術(shù)作為成熟技術(shù)已經(jīng)得到廣泛的應(yīng)用并取得了較好的效果。

4.本地+網(wǎng)絡(luò)的安全解決方案

本系統(tǒng)建設(shè)為單存儲(chǔ)體，為了增加數(shù)據(jù)存儲(chǔ)的安全性，采用了高安全級(jí)別的“本地+網(wǎng)絡(luò)”安全解決方案。

本地+網(wǎng)絡(luò)相結(jié)合的安全解決方案，也就是所有的本地工作站都實(shí)現(xiàn)本地存儲(chǔ)使用，中心存儲(chǔ)體和本機(jī)存儲(chǔ)體實(shí)現(xiàn)冗余備份。這種模式充分利用了單機(jī)的穩(wěn)定性和安全性，同時(shí)網(wǎng)絡(luò)化的實(shí)時(shí)備份存儲(chǔ)又完全能實(shí)現(xiàn)網(wǎng)絡(luò)化的資源共享以及關(guān)鍵數(shù)據(jù)的多重備份。

這種解決方案不但解決了存儲(chǔ)體的安全問題，同時(shí)也解決了網(wǎng)絡(luò)故障給業(yè)務(wù)造成的不穩(wěn)定和不安全問題，如：網(wǎng)絡(luò)堵塞、交換機(jī)故障、病毒、數(shù)據(jù)庫故障，核心服務(wù)器故障等等，這些因素遠(yuǎn)不是備份一個(gè)存儲(chǔ)體可以解決的，因此該方案實(shí)際上同時(shí)解決了備網(wǎng)的問題，不但提高了存儲(chǔ)體的安全級(jí)別，同時(shí)更保證了在斷網(wǎng)情況下業(yè)務(wù)的延續(xù)性。

本地+雙網(wǎng)絡(luò)相結(jié)合的安全解決方案具體特點(diǎn)如下：

（1）節(jié)目上載時(shí)本地和網(wǎng)絡(luò)存儲(chǔ)同時(shí)寫入；

（2）采用后臺(tái)的資源同步策略，用戶可以在任何工作站進(jìn)行節(jié)目制作，資源（故事板、素材、CG字幕文件）自動(dòng)從網(wǎng)絡(luò)同步；

（3）網(wǎng)絡(luò)編輯模式和本地編輯模式切換簡(jiǎn)單、快速，保證制作業(yè)務(wù)不間斷工作。

四、總結(jié)

該項(xiàng)目利用原有存儲(chǔ)、純千兆以太模式高清非編網(wǎng)的建設(shè)，貫徹了安全、高效、實(shí)用、低成本的設(shè)計(jì)理念，為臺(tái)內(nèi)制作系統(tǒng)的高清改造節(jié)省了成本。

項(xiàng)目建成以來，系統(tǒng)整體運(yùn)行安全穩(wěn)定，編輯合成系統(tǒng)功能強(qiáng)大，達(dá)到了該項(xiàng)目設(shè)計(jì)要求，滿足了臺(tái)內(nèi)四個(gè)欄目每天126分鐘高清節(jié)目制作的需求。希望本項(xiàng)目的建設(shè)方案，能為地方電視臺(tái)中小規(guī)模高清非編網(wǎng)的建設(shè)提供一種參考。