廣電數(shù)據(jù)中心的研究與實踐

文 ｜ 李道航

前言

近年來，各家廣電單位和機構都在加快數(shù)字化建設的腳步和進程，并試圖采用先進信息技術武裝自己，以提高業(yè)務生產(chǎn)力和工作效率，從而增強本單位的競爭能力和發(fā)展能力。廣電機構的信息化建設，從初期的模擬轉數(shù)字，到后期的標清轉高清，從信息孤島走向面向對象的全臺互聯(lián)，業(yè)務系統(tǒng)的數(shù)字化程度越來越高，信息系統(tǒng)的建設也越來越龐大，數(shù)據(jù)中心的雛形初步顯現(xiàn)。但在數(shù)據(jù)中心的運營和維護中，我們也發(fā)現(xiàn)了一些問題，如果無法解決這些問題，不僅不會提高生產(chǎn)力，反而還會降低生產(chǎn)效率。本文分析了廣電數(shù)據(jù)中心運營中的問題，并討論如何采用時下先進的信息技術去解決這些問題。但是，建設新一代廣電數(shù)據(jù)中心并不是一蹴而就的事情，還需要不斷地思考，在實踐中摸索前進。

廣電數(shù)據(jù)中心運營中的問題

目前廣電業(yè)務系統(tǒng)，諸如：制作、新聞、播出、媒資等，全面地實現(xiàn)了數(shù)字化。但隨著數(shù)據(jù)中心的逐漸形成，系統(tǒng)建設和運營也暴露出了諸多的問題，這些問題越來越阻礙業(yè)務系統(tǒng)的發(fā)展，也困擾著系統(tǒng)運營部門。在運營廣電數(shù)據(jù)中心時，主要遇到的問題有：

1)信息系統(tǒng)趨于復雜，管理日趨繁瑣，要求越來越多的維護人員

廣電數(shù)據(jù)中心的建設主要分為兩方面：首先是信息基礎平臺的軟硬件集成，諸如：服務器的架設，以太網(wǎng)絡的設計實施、以及存儲網(wǎng)絡及設備的集成；其次是廣電業(yè)務軟件的邏輯實現(xiàn)和流程梳理。數(shù)據(jù)庫子系統(tǒng)，存儲共享子系統(tǒng)，中間件子系統(tǒng)等不同的信息基礎模塊，都有不同的管理方法，且對專業(yè)技術的要求很高，需要不同的專業(yè)技術人才進行管理，此外上層應用的接口和流程更是十分繁雜，需要專人梳理和維護。隨著數(shù)據(jù)中心的不斷升級改造，這種矛盾越來越凸顯，系統(tǒng)管理人員的工作壓力越來越大，很容易出現(xiàn)差錯，不利于安全生產(chǎn)。此外，隨著數(shù)據(jù)中心的發(fā)展，對管理人員的數(shù)量和水平要求越來越高，系統(tǒng)維護成本也在逐年增高。

2)數(shù)據(jù)中心的資源利用不均衡，資源閑置的問題時有發(fā)生

在廣電數(shù)據(jù)中心內(nèi)，服務器資源的利用并不十分均勻，諸如：消息服務器、接口服務器、域控服務器、系統(tǒng)管理服務器等，它們往往閑置了大量的計算及I/O資源 ，但考慮到業(yè)務隔離和安全生產(chǎn)，又需要將它們分隔部署在不同的主機上。此外，在系統(tǒng)運營中發(fā)現(xiàn)，部分主機的業(yè)務運行有明顯的忙時和閑時，諸如：轉碼服務器、渲染服務器和歸檔遷移服務器。它們業(yè)務特點是：業(yè)務分時段集中運行，當批量任務執(zhí)行完成后就會進入閑置狀態(tài)，每天這樣的高并發(fā)時間點并不多，故也會造成計算及I/O資源在個別時段的閑置浪費。

3)數(shù)據(jù)中心的軟硬件升級頻率較快，業(yè)務系統(tǒng)面臨著很大風險

不論是“摩爾定律”還是“鐘擺效應”，IT設備的更新?lián)Q代進入了一個高頻時代，業(yè)務系統(tǒng)升級擴容時，往往只能選擇最新設備，然而舊版操作系統(tǒng)可否和新硬件兼容，舊版業(yè)務軟件可否和新版操作系統(tǒng)兼容，這都是我們必須要面對的問題。這個現(xiàn)實制約著業(yè)務系統(tǒng)的可持續(xù)發(fā)展。系統(tǒng)固化、缺乏彈性，是傳統(tǒng)數(shù)據(jù)中心的一大缺陷。

4) 存儲雙網(wǎng)架構的使用困難重重

信息化建設初期，由于LAN+SAN的雙網(wǎng)架構可以提供無與倫比的高帶寬和低延遲性能，故深受廣電單位喜愛，廣泛應用于節(jié)目制作和媒資系統(tǒng)中。但隨著數(shù)據(jù)中心內(nèi)信息系統(tǒng)的增多，雙網(wǎng)架構的集成、設計、實施越來越復雜，不僅要解決LAN和SAN兩套網(wǎng)絡的路由問題，還要解決跨SAN島的文件系統(tǒng)互訪問題。此外，SAN文件系統(tǒng)的擴容也并不是輕而易舉且絕對安全的，近年來SAN文件系統(tǒng)擴容失敗導致數(shù)據(jù)丟失的問題也有發(fā)生。因此,LAN+SAN的方案雖然適合局部建設高性能業(yè)務系統(tǒng)，但卻不宜在數(shù)據(jù)中心內(nèi)實現(xiàn)全臺業(yè)務的整合。

5)分級存儲系統(tǒng)的隔代兼容問題開始凸顯

在廣電數(shù)據(jù)中心中，通常使用歸檔系統(tǒng)進行視音頻資料的長期存儲。傳統(tǒng)數(shù)據(jù)中心采用數(shù)據(jù)流磁帶庫作為近線存儲的主要設備。目前主流的磁帶機是LTO5類型的，其已經(jīng)無法讀取LTO2規(guī)格的磁帶了。隨著下一代LTO6磁帶機的出現(xiàn)，新帶機無法讀取老磁帶的問題將更加突出。部分信息化建設較早的單位存在較多的LTO3及LTO2磁帶，屆時老款磁帶機一旦損壞，那么老介質中的數(shù)據(jù)也將無法讀取。

傳統(tǒng)數(shù)據(jù)中心所存在問題還有很多，那么遇到問題后，如何去化解呢？新一代廣電數(shù)據(jù)中心該如何建設呢？這將是下面要討論的問題。

新一代廣電數(shù)據(jù)中心的建設要點

為了保證廣電業(yè)務系統(tǒng)的可持續(xù)發(fā)展，消除系統(tǒng)瓶頸，提升管理水平，需要設計全新一代的廣電數(shù)據(jù)中心。其和傳統(tǒng)數(shù)據(jù)中心相比，具有IT資源自由調(diào)度，業(yè)務系統(tǒng)靈活擴展，網(wǎng)絡融合高速通信，以及存儲統(tǒng)一管理和節(jié)能減排等特點。在具體實踐中需要考慮以下幾點：

建設動態(tài)數(shù)據(jù)中心

前文中提到，傳統(tǒng)數(shù)據(jù)中心面臨管理復雜，資源利用不充分，系統(tǒng)固化缺乏彈性等問題。那么新一代廣電數(shù)據(jù)中心的建設思想一定是動態(tài)靈活。

在當前的歷史時期下，“云計算”已經(jīng)成為信息技術中最為引人關注的焦點。然而，關于云計算到底是什么，卻是百家爭鳴眾說紛紜。這里我們不想給云計算下定義，而是想借助云計算的思想去解決廣電數(shù)據(jù)中心的問題。云計算的思想是：像用水用電一樣的使用計算資源、網(wǎng)絡資源和存儲資源。資源調(diào)用完全靈活且按需分配。為了實現(xiàn)資源的池化、以及靈活調(diào)度，需要借助虛擬化技術。虛擬化工具(Hypervisor)將硬件資源切分為成若干個區(qū)域，通過在小區(qū)域內(nèi)運行虛擬機（參見圖1）來實現(xiàn)不同業(yè)務在同一硬件平臺上的整合。

采用虛擬化技術后，業(yè)務與計算平臺得以分離，業(yè)務可以運行在指定的虛擬機上，虛擬機可以運行在指定的服務器上，這就實現(xiàn)了業(yè)務的靈活規(guī)劃和彈性部署。同時，計算資源的顆粒度較傳統(tǒng)數(shù)據(jù)中心更小，在一臺服務器上可以同時運行多個應用，既實現(xiàn)了業(yè)務隔離又提升了服務器及網(wǎng)絡資源的利用率，使得業(yè)務系統(tǒng)的運行更加高效，系統(tǒng)建設也簡單了很多。

同時，虛擬化技術可以解決軟件與硬件的版本兼容性問題。虛擬化工具可以鋪設在最新的服務器硬件平臺上，在其上可以運行舊版的操作系統(tǒng)和業(yè)務軟件。當業(yè)務系統(tǒng)需要升級到新硬件上時，可以將舊硬件上的虛擬機，在鋪設完虛擬化工具的新服務器硬件上啟動并運行，無須進行業(yè)務軟件的移植和升級，這使得業(yè)務系統(tǒng)的升級更加安全可靠，風險更低。

此外，利用虛擬化技術的動態(tài)遷移，高可用以及負載均衡等高級特性，可以改善數(shù)據(jù)中心的生態(tài)環(huán)境，使得資源的使用更具靈活性。同時虛擬化工具為不同的基礎模塊（如：數(shù)據(jù)庫、中間件、文件共享）提供了統(tǒng)一的系統(tǒng)管理方法，減輕管理員的運維負擔，減少了運維人員的數(shù)量，大大降低了數(shù)據(jù)中心的管理成本。

動態(tài)遷移功能可以在不間斷業(yè)務的情況下，實現(xiàn)業(yè)務在不同服務器上的轉移，基本沒有計劃內(nèi)停機。虛擬化動態(tài)遷移功能為建設動態(tài)數(shù)據(jù)中心提供了很好的工具。如圖2所示。

圖2 操作系統(tǒng)動態(tài)遷移示意圖

圖3 虛擬化平臺高可用示意圖

同時，采用虛擬化的高可用特性后，當宿主服務器宕機后，高可用功能可以將已宕機服務器上的虛擬機自動在其他負載較低的服務器上啟動，實現(xiàn)業(yè)務的自動恢復。較強的系統(tǒng)自愈能力，也是動態(tài)數(shù)據(jù)中心的一大特性。如圖3所示。

使用虛擬化技術，可以整合非板卡類應用，如：輕量級數(shù)據(jù)庫、中間件服務，視音頻轉碼、技審服務，策略服務，全文檢索服務，編目檢索，新聞稿件，簡單音視頻剪輯等。而對于高清非編、有卡播出、GPU渲染，以及收錄采集等需要專業(yè)板卡支持的應用，仍然采用物理機進行部署。因此新一代的廣電數(shù)據(jù)中心不會是完全虛擬化的格局，而是一個虛實結合的信息系統(tǒng)。

綜上，在傳統(tǒng)系統(tǒng)架構中融入云計算思想和虛擬化技術，動態(tài)數(shù)據(jù)中心架構將初步形成，在該架構中虛擬化服務器主要完成大量無卡應用的整合，實現(xiàn)計算資源的最大化利用。同時，對于無法進入虛擬化環(huán)境的有卡應用，可以使用物理服務器集群和圖形工作站集群承載，形成對虛擬化環(huán)境的補充。如圖4所示。

網(wǎng)絡融合與高速通訊

傳統(tǒng)廣電數(shù)據(jù)中心的建設適逢千兆以太網(wǎng)普及的年代，單位內(nèi)已經(jīng)建立起了一套成熟的通訊網(wǎng)絡，部分單位還構建了匯聚層甚至核心層的多層網(wǎng)絡架構。但為了實現(xiàn)高清制播，業(yè)務系統(tǒng)仍然要采用LAN+SAN的雙網(wǎng)結構。雙網(wǎng)架構固然性能優(yōu)異，但日常運維卻十分復雜，前文也曾提到過。

圖4 動態(tài)勢據(jù)中心拓撲圖

新一代廣電數(shù)據(jù)中心的建設正處于以太網(wǎng)絡全面提速的歷史時期，隨著10Gb以太網(wǎng)標準的全面成熟和統(tǒng)一，萬兆網(wǎng)絡正在得到快速普及。由于萬兆以太網(wǎng)的速度提升明顯，且延時控制較好，故無需組建LAN+SAN的雙網(wǎng)結構，而采用LAN的單網(wǎng)結構即可滿足業(yè)務要求。雙網(wǎng)變單網(wǎng)，形成業(yè)務通訊、存儲訪問以及安全控制的融合網(wǎng)絡將是新一代廣電數(shù)據(jù)中心的又一建設要點。

1) 建設高速互聯(lián)的網(wǎng)絡基礎架構

為了適應廣電數(shù)據(jù)中心在今后5~10年的發(fā)展，主干及分支網(wǎng)絡的設計應具備一定的領先性。新一代廣電數(shù)據(jù)中心的總體架構按照網(wǎng)絡分層結構進行設計。如圖5所示。

接入層內(nèi)部的輕I/O主機依然采用性價比出色的千兆電纜作為接入方案，對于遷移服務器等對網(wǎng)絡I/O使用較多的主機，可嘗試采用10G-Base-T的萬兆電纜作為接入方案。對于接入層到匯聚層，匯聚層到核心層，則需要選擇萬兆光纜的高速通信方案?？紤]到全臺數(shù)據(jù)業(yè)務都需要納入骨干網(wǎng)絡進行交換，則核心層交換機應盡量支持40GE的高速互聯(lián)通道，保障高清視頻文件在不同業(yè)務系統(tǒng)間的高速遷移。上行鏈路的設計可采用ECMP等價路由技術實現(xiàn)網(wǎng)絡流量的全負載均衡，ECMP即為到達同一個目的IP或者目的網(wǎng)段存在多條Cost值相等的不同路由路徑，當設備支持等價路由時，發(fā)往該目的IP或者目的網(wǎng)段的三層轉發(fā)流量就可以通過不同的路徑分擔，實現(xiàn)網(wǎng)絡的負載均衡，并在其中某些路徑出現(xiàn)故障時，由其它路徑代替完成轉發(fā)處理，實現(xiàn)路由冗余備份功能。

2) 多協(xié)議的融合，多業(yè)務的融合

圖5 新一代廣電數(shù)據(jù)中心網(wǎng)絡架構圖

廣電數(shù)據(jù)中心是一個綜合網(wǎng)絡，其涵蓋了不同業(yè)務的通訊，如：控制信令、消息傳遞、設備管理、存儲訪問、數(shù)據(jù)遷移等。在新一代數(shù)據(jù)中心中，雙網(wǎng)變單網(wǎng)，業(yè)務邏輯與存儲訪問進行了融合，其全部在骨干網(wǎng)內(nèi)進行交換，其對網(wǎng)絡整體吞吐能力提出了苛刻要求。在這張大網(wǎng)中將運行TCP/UDP，iSCSI ，RDMA，F(xiàn)TP，http等多種協(xié)議。為了使業(yè)務網(wǎng)絡高效運轉，需要針對不同的業(yè)務及訪問協(xié)議，進行嚴格的IP地址規(guī)劃，避免相互間的干擾。

如圖5所示，雙網(wǎng)融合為單網(wǎng)后，中心存儲體將架設在核心層和匯聚層。為了不影響其他業(yè)務的正常通訊，對于IP存儲主機通道的接入網(wǎng)口應在以太交換機上劃分VLAN，以隔離廣播。同時，在主機訪問存儲時，最好采用獨立的以太網(wǎng)通道，避免和其他元數(shù)據(jù)通訊共用同一網(wǎng)口，以避免大流量文件訪問時，增加網(wǎng)絡端口延遲，造成數(shù)據(jù)庫及WEB通訊的卡滯。

新型存儲與統(tǒng)一存儲

傳統(tǒng)數(shù)據(jù)中心中采用數(shù)據(jù)流磁帶作為大規(guī)模數(shù)據(jù)存儲的高性價比解決方案，但正如前文所述，數(shù)據(jù)流磁帶的隔代支持不好，新設備無法讀取舊磁帶的問題已經(jīng)開始顯現(xiàn)。那么在新一代廣電數(shù)據(jù)中心的建設中，如何去化解此問題呢。

圖6 RDX存儲介質及驅動器

隨著存儲技術發(fā)展，一種新型存儲開始流行，被稱為可移動盤的存儲技術（RDX）。RDX的外觀和尺寸和傳統(tǒng)數(shù)據(jù)流磁帶相近。內(nèi)部采用低轉速硬盤作為存儲介質。RDX存儲體可以實現(xiàn)RDX介質的離線保管，這就意味著RDX存儲體內(nèi)可以不斷補充新的RDX介質。RDX磁盤匣采用耐磨性設計，具有防震功能，為數(shù)據(jù)和安全處理提供最大的保護。其向前與向后的兼容性允許用戶按照需求升級至更高的容量，這意味著今后推出更高容量的RDX磁盤匣也同樣能夠在現(xiàn)有的RDX系統(tǒng)中操作和使用。如圖6所示。

RDX存儲體的接口采用iSCSI，遷移服務器可以通過iSCSI initiator連接到RDX設備，像使用數(shù)據(jù)流磁帶機一樣使用RDX存儲體。因此，RDX和歸檔系統(tǒng)的對接也無需改變。

除了RDX可移動存儲技術外，統(tǒng)一存儲以及融合存儲的出現(xiàn)也在沖擊著傳統(tǒng)磁帶歸檔存儲系統(tǒng)。除了在同一存儲體上融合iSCSI，NAS和FCoE等多種文件訪問協(xié)議外，部分存儲廠家開始集成面向對象的存儲技術。這種面向對象的存儲技術，一方面具有NAS的文件共享機制，另一方面也兼顧了SAN的高效塊級訪問機制，同時它具有超大的統(tǒng)一命名空間十分適宜進行海量數(shù)據(jù)的存儲。隨著存儲技術的發(fā)展，硬盤容量越做越大，性價比越來越好，部分面向對象的存儲體還集成了數(shù)據(jù)流動功能和磁盤睡眠功能，長期歸檔的冷數(shù)據(jù)會流動到低轉速可睡眠的磁盤上，每GB的存儲成本大大降低，數(shù)據(jù)長期存儲的管理成本也大大下降。

在新一代廣電數(shù)據(jù)中心中采用新型存儲或統(tǒng)一存儲，不僅可以解決數(shù)據(jù)流磁帶隔代兼容的問題，同時，由于沒有機械部件的移動及磁帶卷帶等操作，存儲遷移的效率以及設備的使用壽命都將優(yōu)于傳統(tǒng)數(shù)據(jù)流磁帶庫。

結束語

新一代廣電數(shù)據(jù)中心具備動態(tài)靈活、網(wǎng)絡融合以及統(tǒng)一存儲的特點，它將為廣電業(yè)務系統(tǒng)提供更高效的基礎設施。在未來的工作中，我們將會不斷摸索和實踐，建設并利用好新一代廣電數(shù)據(jù)中心，將科學技術轉化為生產(chǎn)力，努力提升本單位的競爭力和可持續(xù)發(fā)展的能力。