Avid Unity ISIS網(wǎng)絡(luò)共享存儲系統(tǒng)在高清非編網(wǎng)中的應(yīng)用

李婉紅

(天津廣播電視臺 天津300072)

天津電視臺在全臺數(shù)字化、網(wǎng)絡(luò)化架構(gòu)下，為滿足高清節(jié)目的后期編輯制作要求，需要構(gòu)建一個以數(shù)字化、網(wǎng)絡(luò)化、高清化為基礎(chǔ)的生產(chǎn)業(yè)務(wù)處理平臺。后期編輯網(wǎng)絡(luò)的要求是高效、穩(wěn)定、高配置、大容量，能夠?qū)崿F(xiàn)對多軌DNxHD 120 Mbit/s格式素材1∶1無壓縮的實(shí)時編輯，以及便于日后對存儲體擴(kuò)容，而且在編輯中保持系統(tǒng)穩(wěn)定。Avid Unity ISIS網(wǎng)絡(luò)系統(tǒng)采用了可以支持分布式智能環(huán)境架構(gòu)的無限伸縮性智能存儲解決方案(Infinitely Scalable Intelligent Storage，即：ISIS)，意即：該系統(tǒng)是可以無限擴(kuò)充的，帶寬、容量線性增長，可以支持超大規(guī)模的存儲共享。該方案恰好滿足了我們的多種需求。

1 網(wǎng)絡(luò)架構(gòu)

Avid Unity ISIS是基于純以太網(wǎng)技術(shù)的媒體共享網(wǎng)絡(luò)，它應(yīng)用工業(yè)標(biāo)準(zhǔn)的萬兆以太網(wǎng)，采用開放式結(jié)構(gòu)，實(shí)現(xiàn)了網(wǎng)絡(luò)底層設(shè)備的模塊化設(shè)計。與光纖通道存儲區(qū)域網(wǎng)(FC SAN)相比，Avid Unity ISIS有許多不同。傳統(tǒng)的存儲區(qū)域網(wǎng)(SAN)采用雙網(wǎng)結(jié)構(gòu)，光纖通道用于數(shù)據(jù)傳輸，而以太網(wǎng)用于命令與控制通信。Avid Unity ISIS則僅利用以太網(wǎng)就傳輸了所有的數(shù)據(jù)。使用純以太網(wǎng)架構(gòu)的Avid Unity ISIS能大大簡化客戶端與共享存儲的連接。簡化網(wǎng)絡(luò)結(jié)構(gòu)，從而節(jié)約不少成本。

天津廣播電視臺Avid高清非編制作網(wǎng)采用萬兆核心/千兆邊緣以太網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)，硬件系統(tǒng)主要由ISIS中央存儲系統(tǒng)(5組ISIS存儲引擎，16,T×5＝80,TB)、2臺System Director文件管理服務(wù)器、2臺Interplay Engine非線性工作流引擎服務(wù)器、Interplay Media Indexer索引服務(wù)器、Lookup服務(wù)器、萬兆以太網(wǎng)交換機(jī)、高碼流精編工作站(Media Composer，Avid Symphony Nitris DX)組成。

在Avid網(wǎng)絡(luò)構(gòu)架下，高清實(shí)體文件數(shù)據(jù)存儲在Avid ISIS共享存儲上，通過System Director服務(wù)器進(jìn)行管理，而數(shù)據(jù)庫存儲在Interplay Engine集群服務(wù)器上，二者之間通過Media Indexer服務(wù)器提供指針服務(wù)，進(jìn)行索引，各個服務(wù)器分工明確，協(xié)調(diào)合作。系統(tǒng)拓樸結(jié)構(gòu)圖如圖1所示。

圖1 天津電視臺Avid高清網(wǎng)網(wǎng)絡(luò)拓?fù)鋱DFig.1 Network topology of Tianjin TV Station Avid HD Network

2 UnityISIS共享存儲構(gòu)造及數(shù)據(jù)存儲方式

高清節(jié)目的數(shù)據(jù)存儲直接影響著電視臺后期節(jié)目制作網(wǎng)的性能及工作效率，所以AVID的存儲方式在高清制作網(wǎng)絡(luò)系統(tǒng)中顯得尤為重要。

每個Avid Unity ISIS引擎包含16個存儲單元(ISIS Storage Blade，即ISB)，每個存儲單元由一對相同容量的SATA硬盤及中央處理器(CPU)構(gòu)成。每個存儲單元內(nèi)的電路板上固化了一個基于Linux的嵌入式微內(nèi)核。由此可見，每個ISB不僅僅是存儲單元，而且是小型刀片式存儲服務(wù)器，可通過Web形式直接控制每一個存儲單元進(jìn)行設(shè)置和故障排查。

Unity ISIS引擎交換背板分為ISS和IXS，每個ISS上有左右各8個網(wǎng)口，CX4接口用來連接2個盤箱，1個萬兆光口。IXS上有多個CX4接口，是級聯(lián)交換背板。

ISIS引擎實(shí)際上是圍繞一個真正的實(shí)時分布式64位文件系統(tǒng)來搭建的。該分布式系統(tǒng)的應(yīng)用，使網(wǎng)絡(luò)的存儲能力和管理系統(tǒng)的處理能力同時得到增強(qiáng)。

每個存儲引擎Avid ISIS Engine內(nèi)的16個存儲單元可以在各自處理媒體資源的同時實(shí)現(xiàn)數(shù)據(jù)共享，并且支持與存儲設(shè)備相連的全部工作組之間的聯(lián)合工作流程。而且數(shù)據(jù)的讀寫由每塊存儲單元(ISB)上的CPU控制完成，不再像傳統(tǒng)方式那樣，依靠MDC服務(wù)器或RAID控制器來完成。當(dāng)系統(tǒng)存儲量巨大，存儲硬盤很多的時候，MDC服務(wù)器和RAID控制器將成為數(shù)據(jù)讀取的瓶頸。Avid ISIS的智能分布式文件系統(tǒng)能消除大容量存儲時Medadata數(shù)據(jù)管理的瓶頸，使速度大大提高。

每個Avid ISIS引擎都能提供高達(dá)300,MB/s的可用帶寬，每一個Avid ISIS引擎直接連接到集成的以太網(wǎng)絡(luò)，增加ISIS引擎，帶寬和存儲量也都隨之線性增加，即可實(shí)現(xiàn)高效的帶寬和可用性能的線性擴(kuò)展。因此，Avid Unity ISIS網(wǎng)絡(luò)存儲設(shè)備不但完全滿足了目前天津電視臺高清節(jié)目后期制作的要求，而且為今后的系統(tǒng)升級擴(kuò)容提供了很大余地。

3 存儲系統(tǒng)的冗余保護(hù)和數(shù)據(jù)重建機(jī)制

Avid Unity ISIS采用一種改進(jìn)的鏡像級別用于媒體數(shù)據(jù)的保護(hù)。在ISIS存儲單元中，任何一個數(shù)字媒體文件都會被分散成數(shù)據(jù)塊(512,kbyte的chunk)，存儲在不同的存儲體和不同的存儲單元中。數(shù)據(jù)的鏡像拷貝也采用隨機(jī)形式，每份數(shù)據(jù)的副本隨機(jī)分發(fā)到ISIS內(nèi)的其他存儲單元中，而不是存儲到某一塊固定的鏡像硬盤，避免了傳統(tǒng)RAID-1中，系統(tǒng)集中訪問某塊硬盤的可能性。

在使用傳統(tǒng)RAID時，使用者需要對出現(xiàn)故障的硬盤立即進(jìn)行替換，但是如果沒有備用硬盤的話，這段時間內(nèi)，部分?jǐn)?shù)據(jù)要通過校驗(yàn)后產(chǎn)生，系統(tǒng)性能降低。為了解決這個問題，需要從所有硬盤中，預(yù)留一塊或幾塊硬盤作為Spare硬盤。傳統(tǒng)的RAID-5、RAID-3子系統(tǒng)執(zhí)行數(shù)據(jù)重建到一塊替換硬盤或一塊熱備份硬盤時，由于RAID系統(tǒng)沒有對文件系統(tǒng)的可見性，因此當(dāng)RAID系統(tǒng)在進(jìn)行數(shù)據(jù)重建時必須對硬盤當(dāng)中的每一個數(shù)據(jù)塊和讀寫區(qū)域進(jìn)行數(shù)據(jù)恢復(fù)，這將是一個漫長的數(shù)據(jù)恢復(fù)過程。并且對存儲系統(tǒng)數(shù)據(jù)的I/O負(fù)載是一個重大負(fù)擔(dān)，尤其是RAID-5和RAID-3系統(tǒng)，將取決于它的數(shù)據(jù)I/O通道數(shù)量。

而使用Avid Unity ISIS系統(tǒng)，當(dāng)一個Avid存儲刀片壞了，System Director就會馬上廣播重構(gòu)信息，每一個Avid ISIS的存儲刀片收到信息后獨(dú)立確定自己是否保存有壞刀片上的備份數(shù)據(jù)。如果有，存儲刀片就將這些數(shù)據(jù)復(fù)制到系統(tǒng)存儲的另一個地方，生成新的鏡像備份。這就是ISIS系統(tǒng)在剩余硬盤中重新分配數(shù)據(jù)的功能，它不再需要單獨(dú)將一塊或幾塊硬盤作為Spare磁盤備用，利于磁盤利用率的提高。

而且ISIS系統(tǒng)內(nèi)的客戶端在讀寫存儲單元上的數(shù)據(jù)時，系統(tǒng)會自動判斷出互為鏡像的兩個數(shù)據(jù)塊，哪個存儲單元上數(shù)據(jù)塊的讀寫速度快一些，然后選擇速度快的數(shù)據(jù)塊進(jìn)行讀寫，從而使系統(tǒng)在整體上獲得最佳的負(fù)載平衡。

這樣將安全隱患進(jìn)行分解，有效提高了安全等級(見圖2)。

圖2 路由器分發(fā)數(shù)據(jù)性能模型Fig.2 Data Distribution Performance Model

ISIS系統(tǒng)使用了一個智能的并行處理方式，同時可使參與數(shù)據(jù)鏡像的各個 ISB并發(fā)進(jìn)行數(shù)據(jù)恢復(fù)和重建，這樣將大大提高系統(tǒng)數(shù)據(jù)的重建效率。

ISIS的數(shù)據(jù)重新分配系統(tǒng)比傳統(tǒng)的Raid系統(tǒng)要快得多。ISB數(shù)據(jù)越多，數(shù)據(jù)重新分配處理越快，避免了傳統(tǒng)重建方式單塊硬盤的瓶頸。

4 存儲系統(tǒng)的管理與監(jiān)控

文件管理服務(wù)器(System Director)負(fù)責(zé)管理所有硬盤陣列，提供基于軟件的冗余保護(hù)(Avid Unity Raid)。對于數(shù)據(jù)I/O傳輸而言，SD僅僅參與文件系統(tǒng)的元數(shù)據(jù)在客戶端和存儲系統(tǒng)之間的傳輸，真正數(shù)據(jù)傳輸在客戶端與ISB之間直接進(jìn)行。System Director提供文件索引，客戶端讀取這個索引后就能獲得相關(guān)文件的訪問權(quán)，然后通過算法找到并讀取該文件。客戶端獲得訪問權(quán)后就不再反復(fù)與System Director進(jìn)行通信了。因此System Director與傳統(tǒng)光纖SAN結(jié)構(gòu)中的元數(shù)據(jù)服務(wù)器(MDC)是有很大區(qū)別的。

每臺System Director服務(wù)器設(shè)置2塊硬盤作為主存儲區(qū)域的冗余硬盤，采用RAID-1的方式，互為鏡像，在遇到數(shù)據(jù)硬盤壞損的情況下，以自動或手動方式進(jìn)行數(shù)據(jù)重建。兩臺服務(wù)器做成主備的雙機(jī)熱備模式(Active/Standby)，而且每臺System Director都是通過兩條千兆以太網(wǎng)線分別連接到ISIS Engine的分屬兩個不同VLAN的交換刀片上，使得ISIS系統(tǒng)完全不存在單點(diǎn)故障隱患(見圖3)。

圖3 雙機(jī)熱備模式圖Fig.3 Active/Standby

SystemDirector正常運(yùn)行時，兩臺SD其中一臺為Active狀態(tài)，另一臺為Standby狀態(tài)。兩臺System Director之間采用點(diǎn)對點(diǎn)的以太網(wǎng)心跳線互連，用以實(shí)時監(jiān)測系統(tǒng)的運(yùn)行狀態(tài)。一個正常工作，同時另一個在線熱備，如果Active SD出現(xiàn)故障，系統(tǒng)會在10,s內(nèi)切換到另一臺Standby SD上。

另外該心跳連接還被用來不斷地在工作一方和后備一方傳輸Avid Unity ISIS系統(tǒng)的元數(shù)據(jù)，使后備一方與工作一方的數(shù)據(jù)保持一致性，這些都大大提高了系統(tǒng)的安全性。

天津電視臺AVID高清非編制作網(wǎng)自投入使用以來，完成了各頻道多個自制欄目，如《藝品藏拍》《食全食美》《男人世界》《家居大變身》等等以及歷年春晚等大型晚會類節(jié)目的制作，這些節(jié)目的共同點(diǎn)是時長較長，素材量大，多軌無壓縮實(shí)時編輯，特技制作包裝復(fù)雜。從運(yùn)行情況來看，Avid Unity ISIS高清制作網(wǎng)確實(shí)高效、穩(wěn)定，并具備極高的數(shù)據(jù)安全性，管理系統(tǒng)操作方便，功能強(qiáng)大，為電視高清制作網(wǎng)絡(luò)提供了非常好的存儲解決方案。

[1]Avid Unity ISIS system suppo- 422 media services[EB/OL].[2011-01-15](2017-12-02). http://community.Avid.corn/forums/t/76184.aapx.

[2]毛敏. Avid Unity ISIS非編制作網(wǎng)絡(luò)系統(tǒng)建設(shè)[J]. 電視技術(shù)，2012，36(6)：62-63.

[3]陳鴻. 高清AVID網(wǎng)的ISIS存儲方式[J]. 科技傳播，2012(9)：201.