鄭州電視臺高清制作網(wǎng)存儲架構(gòu)

鄭州電視臺 梁曉東

鄭州電視臺高清制作網(wǎng)存儲架構(gòu)

鄭州電視臺 梁曉東

一、存儲系統(tǒng)的沿革

早期的計算機(jī)主要采用的是串行存儲器存儲數(shù)據(jù)，隨后不久又使用磁鼓存儲器。到了20世紀(jì)50年代中期，主要使用磁芯存儲器作為主存儲器。在20世紀(jì)60年代中期以后，半導(dǎo)體存儲器取代了磁芯存儲器。在邏輯結(jié)構(gòu)上，并行存儲和從屬存儲器技術(shù)的采用提高了主存儲器的處理速度，緩和了主存和中央處理器速度不匹配的矛盾。1968年IBM-360/85最早采用了高速緩沖存儲器，高速緩沖存儲器的存取周期與中央處理器主頻的周期一樣，由硬件自動調(diào)度高速緩沖存儲器與主存儲器之間的信息傳遞，從而使中央處理器對主存儲器的絕大部分存取操作，可以在中央處理器和高速緩沖存儲器之間進(jìn)行。

二、存儲系統(tǒng)的結(jié)構(gòu)

1.存儲系統(tǒng)。存儲系統(tǒng)是硬件基礎(chǔ)平臺中一個十分重要的組成部分，尤其在電視臺節(jié)目制作系統(tǒng)中，存儲系統(tǒng)的重要性更是十分重要，一旦存儲系統(tǒng)出現(xiàn)問題，就會影響到電視節(jié)目的生產(chǎn)效率，甚至?xí)绊懙焦?jié)目的正常播出，所以存儲系統(tǒng)在整個系統(tǒng)中的地位可以說是重中之重。除了安全性方面考慮外，系統(tǒng)的可擴(kuò)展性，維護(hù)的難易程度，投入成本的高低，以及使用的方便程度都是在建網(wǎng)之初需要考慮的問題。

2.FC-SAN結(jié)構(gòu)。FC-SAN結(jié)構(gòu)從20世紀(jì)90年代發(fā)展到現(xiàn)在，其技術(shù)成熟度非常高，除了成本投入大這方面的劣勢以外，其在安全性、高效性、兼容性、可擴(kuò)展性和易維護(hù)性等方面均有著明顯的優(yōu)勢。但是，如果全網(wǎng)幾十個站點都使用FC-SAN接入的話，則成本投入太大，并且也不現(xiàn)實。為解決這一難題，筆者想到了使用NAS結(jié)構(gòu)，以太網(wǎng)下的NAS結(jié)構(gòu)可以省去昂貴的FC設(shè)備，從而解決了成本高的問題，但是隨之而來的情況是帶寬也降低了，使得大量的終端站點無法同時編輯高碼率的素材。編輯站點的任務(wù)是節(jié)目制作而非節(jié)目播出，節(jié)目制作人員只需瀏覽低碼率的素材即可達(dá)到節(jié)目制作的目的，因此，完全可以在節(jié)目制作完成之后再打包生成高碼率的節(jié)目成品。到這里，問題已經(jīng)迎刃而解了，整個存儲系統(tǒng)采用FC-SAN結(jié)構(gòu)，少量終端站點配置為FC-SAN終端（可直接訪問中心存儲進(jìn)行高碼率的編輯），而多數(shù)終端站點配置為NAS終端（通過NAS服務(wù)器訪問中心存儲，一般用低碼率編輯，NAS服務(wù)器相當(dāng)于FC-SAN終端，它把訪問到的中心存儲共享出來，供NAS終端來訪問），這樣就形成了SAN+NAS的存儲網(wǎng)絡(luò)架構(gòu)。存儲規(guī)劃如表1所示。

表1 存儲規(guī)劃

三、存儲系統(tǒng)的組成

1.存儲系統(tǒng)的整體特點。鄭州電視臺高清制作網(wǎng)是以在線存儲為核心的存儲體系。中央在線存儲器采用2臺EMC公司的CX480存儲系統(tǒng)，在2個控制器上配置8個FC主機(jī)通道分別連接在2個核心光纖交換機(jī)上，這樣，系統(tǒng)中各個站點通過連接任意1個FC通道都可以訪問到存儲系統(tǒng)，且系統(tǒng)不會引起單點故障，最大限度地保證了系統(tǒng)業(yè)務(wù)的不間斷運行。在數(shù)據(jù)安全方面，每臺CX480都做了Raid5處理，同時，為了使中心存儲上的素材多一層安全保障和最大限度地保護(hù)節(jié)目和素材，2臺CX480存儲器之間通過實時鏡像的方式來確保系統(tǒng)的安全性，當(dāng)任意1個存儲器出現(xiàn)故障時，另外1個存儲器可以支撐整個制作業(yè)務(wù)的正常運行，保障系統(tǒng)內(nèi)部不存在單點故障。

2.存儲盤陣具體規(guī)劃。系統(tǒng)采用的2臺EMC CX480具有完全相同的規(guī)劃結(jié)構(gòu)，使用的硬盤為容量450G的磁盤矩陣，每個盤柜共有43塊硬盤。具體規(guī)劃分為以下3個部分。

（1）1個1.8TB的Raid5組（Raid Group0），劃分為1個150G、1個100G和1個1.6TB的數(shù)據(jù)卷。

（2）4個3.6TB的Raid5組（Raid Group1～4），每9塊硬盤組成1個Raid組，采用Raid5級8+1的模式。采用每個盤箱3塊盤的方式充分利用盤箱磁盤通道帶寬。共劃分為8個1.8TB的邏輯卷。

（3）2塊全局熱備盤。每個Raid組的邏輯LUN創(chuàng)建在同1個StorNext數(shù)據(jù)條帶組中。Raid組共有2個文件系統(tǒng)，av-y共用Raid Group 0的1個條帶組，av-x共用Raid Group 1的4個條帶組。

四、存儲容量與帶寬

中央在線存儲系統(tǒng)主要承擔(dān)系統(tǒng)中所有的有卡站點與服務(wù)器對高碼率文件的訪問，是系統(tǒng)的核心設(shè)備。容量和帶寬是設(shè)計存儲網(wǎng)絡(luò)需要考慮的主要因素。

1.容量分析。在鄭州電視臺高清制作系統(tǒng)中，中心在線存儲部分采用雙控制器、雙電源、全冗余的光纖磁盤陣列，存儲緩存由帶電保護(hù)器和冗余散熱系統(tǒng)組成。使用的盤陣為EMC公司的原廠硬盤。雙控制器激活8個獨立的4G主機(jī)端口，采用16G的存儲緩存。物理有效存儲空間為17.1TB（可進(jìn)一步擴(kuò)展至480TB），按照每存儲1h的高清資料需要50G的空間來計算，17.1TB可以滿足超過340h的存儲需求。

2.帶寬分析。根據(jù)本網(wǎng)各種工作站、服務(wù)器數(shù)量、編輯碼率、視頻流數(shù)量以及其他的相關(guān)參數(shù)，對帶寬進(jìn)行分析。帶寬分析如表2所示。

表 2 系統(tǒng)帶寬分析

3.業(yè)務(wù)擴(kuò)展分析。通過對編輯合成站點以及有關(guān)服務(wù)器所需帶寬的累加得知，系統(tǒng)的極限并發(fā)讀寫總帶寬約為670MB/s，而我們本次的A，B存儲選型均為EMC CX480，通過測試，單個存儲可以提供700MB/s的混合讀寫帶寬，也就是說，1個存儲就完全可以承擔(dān)整個系統(tǒng)的業(yè)務(wù)需求，再通過索貝的FISEC安全技術(shù)，將A、B存儲完全實時鏡像，可以保證當(dāng)某個存儲出現(xiàn)問題后，業(yè)務(wù)可以無縫地切換到另1個存儲繼續(xù)進(jìn)行，同時通過性能的均衡負(fù)載，可以提供1400MB/S的混合讀寫帶寬，完全能夠保障高標(biāo)清制作業(yè)務(wù)的安全、穩(wěn)定開展。

五、存儲管理服務(wù)器

本系統(tǒng)中配置了2臺MDS存儲管理服務(wù)器，用于管理光纖磁盤陣列，主要為有卡工作站或者服務(wù)器提供光纖磁盤陣列訪問驗證，并且也為有卡工作站或者服務(wù)器讀寫存儲在光纖磁盤陣列的低碼率素材提供訪問通道。存儲管理服務(wù)器MDS是網(wǎng)絡(luò)存儲共享的核心，MDS服務(wù)器除了安裝StorNext文件共享軟件外，還安裝有StorNext Failover MDS備份軟件，一旦其中1臺MDS服務(wù)器發(fā)生故障，另外1臺MDS服務(wù)器可以自動接管共享的管理工作，切換在30s以內(nèi)完成。

六、存儲管理軟件

1.存儲管理軟件。目前主要的存儲管理軟件有Tivoli SANergyFS、SGI CXFS、ADIC Centravision、Veritas SANpoint direct、HP Transoft FibreNet、StorNext等，從軟件的穩(wěn)定性、可靠性以及實際運行環(huán)境的使用情況來看，StorNext在視音頻應(yīng)用領(lǐng)域的各種技術(shù)指標(biāo)表現(xiàn)均較好，且實用性更強(qiáng)。

2.StorNext。StorNext存儲管理軟件承擔(dān)了對共享磁盤陣列磁盤文件及元數(shù)據(jù)管理，監(jiān)控磁盤訪問的工作站和服務(wù)器的磁盤讀寫，并且具有2次共享的功能，即可以將安裝有StorNext客戶端軟件的服務(wù)器映射為IP網(wǎng)絡(luò)的文件服務(wù)器，以太網(wǎng)工作站即可通過該服務(wù)器實現(xiàn)對共享磁盤陣列的訪問。

3.StorNext File System。作為StorNext管理套件中的核心SAN文件系統(tǒng)，StorNext File System為異構(gòu)客戶端提供了對集中式磁盤存儲的高性能共享訪問。通過整合能夠被多個操作系統(tǒng)訪問的數(shù)據(jù)，StorNext File System極大降低了存儲設(shè)備的需求。而且，由于多個客戶端能夠同時共享相同的文件，因此消除了通過局域網(wǎng)移動大型文件和存儲重復(fù)文件副本的需求，提高了存儲效率，減少了網(wǎng)絡(luò)瓶頸。