IP-SAN存儲在高清制作網(wǎng)升級改造中的應用

劉偉 龍廷波 王路 徐州廣播電視傳媒集團

?

IP-SAN存儲在高清制作網(wǎng)升級改造中的應用

劉偉 龍廷波 王路 徐州廣播電視傳媒集團

【摘要】本文分析了從標清向高清過渡時期制作網(wǎng)存儲的關鍵指標，分析了幾種組網(wǎng)方案，并且根據(jù)實測數(shù)據(jù)提出了高性價比的制作網(wǎng)存儲解決方案。

【關鍵詞】IP-SAN ISCSI 高清

一、前言

廣電數(shù)字化、網(wǎng)絡化建設已經(jīng)進入了高清時代。我臺的新聞頻道在2012年就已經(jīng)率先建設了高清非編網(wǎng)。為了盡一步推進高清化進程，我臺打算再建設兩個高清非編網(wǎng)，用于接替我臺原有的兩個標清非編網(wǎng)。從標清跨越到高清，伴隨而來的就是視音頻數(shù)據(jù)爆發(fā)式的增長。對承擔節(jié)目制作任務的非編網(wǎng)來講，則意味著存儲帶寬和容量的成倍增加。本文討論了高清環(huán)境應該選擇何種方式的存儲網(wǎng)絡架構及在高清環(huán)境下如何應對高企的存儲成本。

二、現(xiàn)有制作網(wǎng)絡架構及存儲需求分析

標清時代的非編網(wǎng)通常有兩種網(wǎng)絡架構。一種是IPSAN的網(wǎng)絡架構。這種架構通過ISCSI 協(xié)議，用千兆以太交換機連接存儲設備和工作站。

另一種是采用FC-SAN+以太的雙網(wǎng)結構。后端配置FC接口的存儲設備，以FC SAN交換機為連接方式，站點配置FC的HBA卡，通過8Gb或者16Gb的光纖通道，運行FC協(xié)議來進行數(shù)據(jù)傳輸，以太網(wǎng)主要用來傳輸管理協(xié)議。

對于大規(guī)模、高帶寬、多站點需求的非編網(wǎng)，以前都采用FC-SAN+以太的雙網(wǎng)結構。近兩年隨著萬兆網(wǎng)絡的成熟和成本降低，以萬兆接入為核心的新一代IP存儲的性能得到了大幅提升。這種架構后端采用集群存儲和高速NAS存儲結構，以以太網(wǎng)絡作為基礎數(shù)據(jù)交換通道，存儲和以太網(wǎng)交換機通過萬兆接口連接，工作站通過萬兆或者千兆網(wǎng)絡與交換機互連。這種架構也逐漸開始在較大規(guī)模的非編網(wǎng)中得到應用。

在確定采用哪種方式搭建高清網(wǎng)之前，先來分析一下我臺原來的標清非編網(wǎng)。原來的兩個標清網(wǎng)都建設于2007年，后來在2011年進行過擴容。這兩個網(wǎng)都采用了典型的IP-SAN 架構。編輯采用了DVCPRO25格式，25Mb碼流，要求每個站點支持4軌視頻，按照25個站點設計，極限情況共需要帶寬為25*4*25/8=312.5MB/S，再考慮20%左右的冗余，則存儲設備帶寬大致要求為400MB/S。綜合考慮到數(shù)據(jù)的存儲容量要求，我臺配置了兩臺DELL EQ6000存儲陣列。每臺陣列配置了16塊7200轉1T容量的SATA硬盤，實測每臺陣列的帶寬可達到250MB－280MB/S。

我臺擬建設的高清網(wǎng)采用SONY的XDCAM格式，碼流為50Mb。按照以上的計算方法，帶寬加倍，需要800MB/S的帶寬。如果保持節(jié)目存留周期不變，存儲容量也要加倍。

如果采用FC-SAN網(wǎng)絡架構或者集群NAS存儲來組網(wǎng)，就相當于搭建一個全新的系統(tǒng)。無論是交換機，還是存儲，都價值不菲。考慮到原有標清網(wǎng)的存儲和交換設備性能都尚好，在滿足性能要求的前提下如果能對舊設備充分加以利用，無疑可以保護投資、降低成本。我們決定論證中小規(guī)模的高清非編網(wǎng)能否也采用IP-SAN的架構，能否充分利用這些狀態(tài)尚佳的舊設備，把IP-SAN標清網(wǎng)升級到高清非編網(wǎng)。

三、高清制作網(wǎng)存儲方案

圖1　IP-SAN結構圖

我們通過理論分析和數(shù)據(jù)實測，充分利用原有設備，最后采取了在IP-SAN標清網(wǎng)基礎上升級的方案。因為我臺要建設高清播控系統(tǒng)，同樣需要升級播出整備系統(tǒng)的二級緩存。我們將原有的播出二級緩存配置的兩臺DELL EQ6100存儲分別配置到兩個高清網(wǎng)。將這些設備整合后每個高清網(wǎng)的配置如下：兩臺DELL EQ6000存儲陣列，一臺DELL EQ6100存儲陣列，兩臺DELL 7048交換機，服務器硬件設備也全部采用原有設備，只對管理軟件進行了升級。非編站工作站則全部更新為高清工作站。IPSAN結構圖見圖1。

性能分析如下：如前文所述，高清網(wǎng)對帶寬的理論需求為800MB/S。一臺DELL EQ6000能提供250-280MB/ S帶寬，一臺EQ6100配置24塊1T容量的SATA硬盤，實測帶寬達到350MB/S。3臺陣列的后端硬盤一共能提供接近900MB/S的帶寬。至于接口帶寬，每個EQ6000和EQ6100后端都提供4個IP千兆接口與交換機連接。每個IP接口可以提供120MB/S，采用端口聚合技術，每個陣列可以提供360MB/S的接口帶寬。3個陣列采用虛擬化技術，虛擬為一個“存儲池”，后端磁盤帶寬和接口帶寬都能提供800MB/S的理論要求帶寬。至于工作站的接口帶寬，以運行4軌視頻計算，需要25MB/S帶寬。交換機和網(wǎng)卡的千兆接口也能滿足要求?？梢姛o論后端的磁盤、接口，還是前端的工作站，都能支撐足夠的帶寬。存儲使用各環(huán)節(jié)帶寬計算見圖2。

圖2　存儲使用各環(huán)節(jié)帶寬計算

圖3　高清網(wǎng)存儲性能監(jiān)測圖

反映存儲設備性能的主要指標除了帶寬，還包括IOPS和響應時間。IOPS的概念是每秒進行讀寫（I/O）操作的次數(shù)，多用于數(shù)據(jù)庫等場合，衡量隨機訪問的性能。在Web、E-mail、數(shù)據(jù)庫等小文件、結構化數(shù)據(jù)頻繁讀寫的環(huán)境下，性能主要由IOPS決定。而視頻流由于大多是非結構數(shù)據(jù)的順序讀寫，隨機讀寫的數(shù)量不是很大，對IOPS的指標要求并不是很高，是典型的大帶寬、小IOPS應用環(huán)境。響應時間能保證視頻不中斷、連續(xù)即可。高清網(wǎng)的IOPS和響應時間的實測數(shù)據(jù)如圖3所示。

觀測期內存儲瞬間最高IOPS值為3159.9，平均IOPS為56.16。響應時間方面，工作時間的平均值在30ms以內，觀測期內的總平均值為5.14ms?？梢奍OPS和響應時間符合存儲的整體表現(xiàn)，沒有達到存儲的性能瓶頸。

我們實施升級方案時并不是只根據(jù)理論計算就貿然實施，實際上還參考了長期的數(shù)據(jù)監(jiān)測。根據(jù)我臺制作網(wǎng)長期的數(shù)據(jù)實測，發(fā)現(xiàn)帶寬的實際使用情況和理論計算相差很大。即使不增加一臺EQ6100，系統(tǒng)提供的帶寬也足夠實際使用。因為實際使用時所占用的帶寬遠遠低于理論計算的極限值！我臺標清網(wǎng)的實測帶寬數(shù)據(jù)如圖4所示。

經(jīng)分析，帶寬比預計的低很多有如下幾個原因：

圖4　標清網(wǎng)存儲帶寬監(jiān)測圖

1、新聞網(wǎng)中大多數(shù)工作站剪輯時只用到一軌視頻。即使包裝合成用機，長時間調用4軌視頻的情況也很少，更多的是使用多軌字幕。而多軌字幕并不占用多少視頻帶寬，只是耗費CPU、內存、顯存等單機資源。CPU+GPU技術在極大提升編輯系統(tǒng)的兼容性、穩(wěn)定性和性能價格比的同時，采用幀緩沖技術，減輕了帶寬傳輸?shù)膲毫Α?/p>

圖5　高清網(wǎng)存儲帶寬監(jiān)測圖

2、剪輯人員在剪輯時經(jīng)常會停頓，并間或拖動時間線。此時視頻流已經(jīng)讀入緩存，并非一直從存儲設備的硬盤陣列中直接讀出。通過在應用層使用大緩存機制，有效降低網(wǎng)絡吞吐帶寬的約束。每一次磁盤I/O操作都將經(jīng)過IP-SAN存儲內置的一個類似交換機的設備從前端眾多的主機端口中讀取或者寫入數(shù)據(jù)，而這些操作都是基于IP交換協(xié)議，其協(xié)議本身就要求每一個微處理芯片工作時需要大容量的緩存來支持數(shù)據(jù)包隊列的排隊操作，IP-SAN存儲都具有大緩存區(qū)。利用這個大的緩存區(qū)可以避免視頻流從硬盤陣列中讀出，提高存儲性能。

標清網(wǎng)存儲劃分為3個卷，由圖4可見在25Mb碼流的情況下，標清網(wǎng)一個卷的實際使用帶寬峰值只有70MB/S，整個存儲的帶寬峰值約為210MB/S，那么50Mb碼流高清網(wǎng)的實際使用帶寬峰值就是420MB/S。高清網(wǎng)的實測結果證實了這一點。

圖5是高清網(wǎng)的實測數(shù)據(jù)，一個卷的帶寬峰值為145MB/S，整個存儲帶寬峰值約為435MB/S?？梢娫写鎯Φ膸拰嶋H上就能夠滿足新建高清網(wǎng)的要求。當然，由于碼流的翻倍，如果不增加存儲，系統(tǒng)的素材保留周期就會縮短。高清網(wǎng)存儲帶寬監(jiān)測圖見圖5。

四、結論

數(shù)據(jù)實測和理論分析可以得出以下結論：

1、非編系統(tǒng)的實際使用帶寬一般都會遠遠低于系統(tǒng)設計的極限帶寬。

2、升級為高清網(wǎng)，也許根本就不需要更新存儲交換設備。

3、如果搭建的高清非編網(wǎng)規(guī)模不是很大，如果在標清時代使用的ISCSI存儲陣列依舊性能完好，那么，完全可以采用升級IP-SAN存儲架構的方式來建設高清非編網(wǎng)。

我臺充分利用原有設備，將IP-SAN結構的標清網(wǎng)的存儲和交換設備應用于高清非編網(wǎng)，整個系統(tǒng)只是增加了一臺原有的存儲，真正的新增成本只是更新了高清非編工作站。而系統(tǒng)性能完全滿足要求。此種升級方案性價比很高，為高清非編網(wǎng)的建設和升級改造提供了一種新的的解決思路。