統(tǒng)一存儲關(guān)鍵指標研究及在網(wǎng)絡制播中的應用

徐 旭

(建湖廣播電視臺 總工室，江蘇 建湖 224700)

統(tǒng)一存儲關(guān)鍵指標研究及在網(wǎng)絡制播中的應用

徐 旭

(建湖廣播電視臺 總工室，江蘇 建湖 224700)

針對網(wǎng)絡制播存儲系統(tǒng)的優(yōu)化與整合，結(jié)合目前存儲技術(shù)的快速發(fā)展，在綜合考慮數(shù)據(jù)訪問需求的基礎上，系統(tǒng)研究了統(tǒng)一存儲的關(guān)鍵指標?；诖搜芯?，可解決系統(tǒng)架構(gòu)設計和設備選型困難的問題，確保統(tǒng)一存儲在網(wǎng)絡制播中的高可用、高性能、高利用率及可擴展，最終實現(xiàn)集中管理下存儲資源的共享與高效利用。

統(tǒng)一存儲；網(wǎng)絡制播；指標；應用

網(wǎng)絡制播之所以能夠發(fā)揮其資源共享、并行工作的作用，關(guān)鍵在于網(wǎng)絡架構(gòu)，而存儲系統(tǒng)則是其中的關(guān)鍵部分。存儲系統(tǒng)在不同的時期滿足不同的需求，并隨著IT技術(shù)的不斷發(fā)展產(chǎn)生新的變化。當前隨著各級電視臺全臺網(wǎng)的建設及高清制播和新媒體業(yè)務的開展，網(wǎng)絡架構(gòu)日趨復雜，業(yè)務類型日益多元化，非結(jié)構(gòu)化數(shù)據(jù)迅速增長，單一分散的SAN或NAS系統(tǒng)已不能滿足多樣化的數(shù)據(jù)訪問需求，將其分步有序地遷移至集中的、按需分配的統(tǒng)一存儲[1]中實現(xiàn)存儲系統(tǒng)的優(yōu)化、整合已成為一種趨勢。

1 統(tǒng)一存儲關(guān)鍵指標研究

統(tǒng)一存儲通過對FC，ISCSI，NFS，CIFS，HTTP，F(xiàn)TP等協(xié)議的支持集中實現(xiàn)塊級別、文件級別的數(shù)據(jù)訪問，其有兩種實現(xiàn)方式：一種是通過在NAS服務器上集成FC、ISCSI等協(xié)議構(gòu)建統(tǒng)一存儲；另一種則是通過在FC磁盤陣列的基礎上增加NAS控制器來構(gòu)建統(tǒng)一存儲。相比而言，第二種方式性能更好也更為普遍。統(tǒng)一存儲有可用性、性能、利用率、擴展性[2]4個關(guān)鍵指標，通過對這4個指標的研究可為系統(tǒng)架構(gòu)設計和設備選型提供依據(jù)。

1.1 可用性指標研究

1.1.1 RAID+熱備用

目前普遍應用的RAID技術(shù)有RAID5和RAID6，兩者相比各有利弊：RAID5只能提供應對單盤失效的數(shù)據(jù)保護，需借助快速重構(gòu)技術(shù)降低雙盤失效概率；RAID6通過雙奇偶校驗提供應對雙盤失效的數(shù)據(jù)保護，但開銷及寫代價均高于RAID5。熱備用有自動和用戶發(fā)起兩種配置方式：對于自動熱備用，當某個磁盤的可修復錯誤率超過一個預定的閾值時，磁盤陣列會自動將數(shù)據(jù)從即將損壞的磁盤復制到熱備用磁盤中；對于用戶發(fā)起的熱備用，管理員能夠控制整個重構(gòu)流程，具有較大的靈活性，但在熱備用磁盤不可用的情況下系統(tǒng)很容易受到雙盤失效的影響。

1.1.2 控制器和通路冗余

主流的雙控冗余架構(gòu)[3]有三種：磁盤及控制器雙冗余的架構(gòu)可用性最高，可實現(xiàn)關(guān)鍵數(shù)據(jù)的鏡像備份，但開銷最高；磁盤共享背板一體的雙控冗余架構(gòu)由于磁盤及背板均存在單點故障風險，可用性最低；磁盤共享背板分離的雙控冗余架構(gòu)以較低的開銷實現(xiàn)較高的可用性，性價比最高。統(tǒng)一存儲的通路涉及前端通路與后端通路。后端通路主要采用雙FC-LOOP實現(xiàn)磁盤與控制器的冗余連接，前端通路略有不同，F(xiàn)C磁盤陣列要求提供MultiPath FC通路冗余功能，而NAS采用的則是IP通路的聚合或容錯。

1.2 性能指標研究

1.2.1 LUN分條

在控制器性能、緩存大小固定的情況下，統(tǒng)一存儲性能取決于磁盤類型和并行讀寫通道數(shù)，而分條通過將數(shù)據(jù)分布在多塊磁盤可實現(xiàn)磁盤的并行讀寫。傳統(tǒng)分條是在物理磁盤上實現(xiàn)的，由同一RAID集內(nèi)同質(zhì)磁盤上相同位置的條帶構(gòu)成，而LUN分條則能夠讓單個LUN上的數(shù)據(jù)分布到跨RAID集的異質(zhì)磁盤上，因參與分條的磁盤數(shù)大大增加，避免了磁盤熱點，使得磁盤性能得到了大幅提升。

1.2.2 自動存儲分層

存儲分層是在不同類型(層)存儲之間建立層級的技術(shù)，通過將大量不經(jīng)?；顒拥臄?shù)據(jù)遷移至低速、低成本的磁盤系統(tǒng)上，可直接提升存儲系統(tǒng)的性能并降低存儲的采購成本。自動存儲分層分為陣列間分層和陣列內(nèi)分層。

對于陣列間分層，數(shù)據(jù)在主存儲、二級存儲甚至多級存儲間分層，通常用于歸檔。

陣列內(nèi)分層有三種分層方式：LUN分層、子LUN分層及緩存分層。對于LUN分層，數(shù)據(jù)可在位于高速磁盤區(qū)的LUN和低速磁盤區(qū)的LUN之間流動，此方式的不足在于LUN粒度太粗，包括活躍和不活躍的數(shù)據(jù)都進行遷移；對于子LUN分層，一個LUN被打散成更小的片段，分層在這些片段級進行，在更好的粒度下遷移數(shù)據(jù)可以大大提高存儲自動分層的價值定位。對于緩存分層，通過配置固態(tài)硬盤充當大容量的二級緩存，分層在DRAM(主緩存)和固態(tài)硬盤(二級緩存)之間進行，實現(xiàn)了更高的存儲性能。

1.3 利用率指標研究

1.3.1 自動精簡配給

自動精簡配給是讓一個LUN的容量大于實際物理容量的技術(shù)。傳統(tǒng)配給基于預期的存儲需求一次性分配容量，很容易導致容量的過度配給，從而降低存儲利用率。自動精簡配給則根據(jù)實際所需少量多次的分配容量，當容量不夠時，系統(tǒng)會自動從后端存儲池補充一部分容量。自動精簡配給顯著減少已分配但未使用的存儲空間，在不降低性能的情況下簡化了存儲管理并大幅提高存儲利用率。

1.3.2 塊級存儲虛擬化

塊級存儲虛擬化是將塊存儲設備進行集合，實現(xiàn)獨立于底層物理存儲的虛擬卷配給。通過對物理存儲設備做抽象化處理，創(chuàng)建一個容納不同存儲設備資源的存儲池。虛擬卷從存儲池中創(chuàng)建，通過虛擬卷與LUN的透明映射，主機以訪問物理卷的方式訪問虛擬卷。塊級存儲虛擬化通過支持在線擴容及異構(gòu)接管實現(xiàn)了存儲的高效利用：在線擴容解決了系統(tǒng)對于存儲容量在線擴展的需求；異構(gòu)接管則實現(xiàn)了磁盤陣列之間存儲資源的聯(lián)合。

1.4 擴展性指標研究

統(tǒng)一存儲的擴展性主要體現(xiàn)在功能、性能的擴展兩方面。功能的擴展目前主要體現(xiàn)為對基于對象的存儲[4]和SSD盤的支持。基于對象的存儲以內(nèi)容為依據(jù)，以對象的形式存儲數(shù)據(jù)，其核心是將數(shù)據(jù)通路和控制通路分離，基于對象存儲設備(OSD)構(gòu)建存儲系統(tǒng)。對象存儲設備通常采用刀片式結(jié)構(gòu)，具有一定的智能，能夠自動管理其上的數(shù)據(jù)分布，通過分布元數(shù)據(jù)和并發(fā)數(shù)據(jù)訪問實現(xiàn)高性能存儲。SSD盤基于半導體的固態(tài)存儲來存取數(shù)據(jù)，不含移動部件，因此具有極高的磁盤性能。性能的擴展體現(xiàn)在控制器、緩存的橫向擴展上，具體表現(xiàn)為可擴展的控制器數(shù)量和緩存大小。

2 統(tǒng)一存儲在網(wǎng)絡制播中的應用

網(wǎng)絡制播制作、播出、收錄、媒資及新媒體等業(yè)務均存在大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)[5]，根據(jù)業(yè)務類型的不同，數(shù)據(jù)訪問需求也不盡相同，應用統(tǒng)一存儲可有效結(jié)合SAN系統(tǒng)高性能、高可靠與NAS系統(tǒng)低成本、易共享的特性，為不同類型的客戶端提供不同服務質(zhì)量的數(shù)據(jù)訪問服務，其網(wǎng)絡架構(gòu)如圖1所示。

圖1 網(wǎng)絡制播統(tǒng)一存儲架構(gòu)

統(tǒng)一存儲系統(tǒng)主要包括以下部件：存儲、控制器、NAS機頭，并可根據(jù)需求添加支持對象存儲的OSD節(jié)點。存儲由高性能FC磁盤陣列組成，它決定了系統(tǒng)的總體存儲容量和讀寫帶寬，通過支持RAID+熱備用、Snapshot、Mirror等數(shù)據(jù)保護技術(shù)可提高系統(tǒng)可用性；通過混合使用SAS盤、NL-SAS盤、SATA盤及SSD盤可實現(xiàn)數(shù)據(jù)的自動存儲分層；通過應用自動精簡配給和塊級存儲虛擬化可提高存儲利用率?？刂破鳛橄到y(tǒng)提供塊級別的數(shù)據(jù)訪問，并負責后端FC磁盤陣列的池化管理。NAS機頭是專用的文件服務器，通過塊協(xié)議與文件協(xié)議的相互轉(zhuǎn)換為系統(tǒng)提供文件級別的數(shù)據(jù)訪問。通過控制器、NAS機頭的冗余配置及通路的冗余連接，可實現(xiàn)負載均衡和故障切換，確?？蛻舳藢Υ鎯Φ臒o間斷數(shù)據(jù)訪問。

在統(tǒng)一存儲架構(gòu)下，客戶端既可以通過FC/ISCSI協(xié)議實現(xiàn)塊級別數(shù)據(jù)訪問，又可以通過NFS/CIFS協(xié)議實現(xiàn)文件級讀寫，還可以通過FTP協(xié)議進行文件訪問[6]。高清非編站點、節(jié)目復雜包裝站點、數(shù)據(jù)遷移服務器及一些關(guān)鍵業(yè)務服務器對傳輸帶寬有很高要求，可采用雙網(wǎng)結(jié)構(gòu)對存儲訪問，數(shù)據(jù)在FC通路上傳輸；對于普通的非線性編輯站點、轉(zhuǎn)碼服務器、打包合成服務器等可以通過ISCSI協(xié)議在IP通路上對存儲進行高效訪問；對于簡單編輯工作站、節(jié)目收錄服務器、低碼率編輯工作站等帶寬要求更低的站點，可以通過NFS/CIFS協(xié)議實現(xiàn)文件級數(shù)據(jù)共享；對于系統(tǒng)間需要松散耦合的情況，F(xiàn)TP方式的文件交換則是兼顧效率和安全的最佳選擇。

網(wǎng)絡制播應用統(tǒng)一存儲的優(yōu)勢在于通過對分散的存儲系統(tǒng)進行整合并實施統(tǒng)一管理，可確保系統(tǒng)的高可用、高性能、高安全、可擴展，最終實現(xiàn)資源的高效利用和整體開銷的降低。由于采用SAN和NAS混用模式，針對多種不同級別業(yè)務對統(tǒng)一存儲的計算資源、緩存資源、并發(fā)資源以及硬盤資源進行分配和調(diào)節(jié)至關(guān)重要，應為高級別的業(yè)務提供預留的資源，避免資源競爭而導致服務質(zhì)量下降或服務失效。隨著萬兆以太網(wǎng)(10 Gbit/s Ethernet，10GE)和以太網(wǎng)光纖通道(FCoE)[7]技術(shù)的成熟和普及，可以將FC+以太雙網(wǎng)進一步合并為10GE ISCSI或更高性能的FCOE單網(wǎng)，以實現(xiàn)真正意義上的統(tǒng)一存儲。

3 總結(jié)

統(tǒng)一存儲的出現(xiàn)已有不短的時間，但在網(wǎng)絡制播中的應用卻是全新的課題。本文從統(tǒng)一存儲的概念出發(fā)，通過對其可用性、性能、利用率、擴展性等關(guān)鍵指標的研究，為系統(tǒng)構(gòu)建建立一套適用的參考體系。網(wǎng)絡制播應用統(tǒng)一存儲，可在單一架構(gòu)中充分融合FC存儲技術(shù)和IP存儲技術(shù)[8]，有效解決多業(yè)務需求帶來的管理分散、共享困難問題，大大提高存儲資源利用率和整體性價比，這也將是未來電視臺網(wǎng)絡系統(tǒng)規(guī)劃建設的一個重要方向。

[1] SOMASUNDARAM G,SHRIVASTAVA A.信息存儲與管理[M].北京:人民郵電出版社,2013.

[2] 王紀奎.存儲從入門到精通[M].北京:清華大學出版社,2009.

[3] 張冬.網(wǎng)絡存儲系統(tǒng)原理精解與最佳實踐[M].北京:清華大學出版社,2008.

[4] 郭玉東,尹青.基于對象的網(wǎng)絡存儲[M].北京:電子工業(yè)出版社,2007.

[5] 楊傳輝.大規(guī)模分布式存儲系統(tǒng):原理解析與架構(gòu)實戰(zhàn)[M].北京:機械工業(yè)出版社,2013.

[6] 徐威.數(shù)字電視網(wǎng)絡制播技術(shù)[M].北京:中國廣播電視出版社,2008.

[7] 周宏飛.電視臺網(wǎng)絡化制播業(yè)務中的存儲選擇[J].現(xiàn)代電視技術(shù),2012,(S1):64-67.

[8] 韓德志,余順爭,謝長生.融合NAS和SAN的存儲網(wǎng)絡設計與實現(xiàn)[J].電子學報,2006,(11):2012-2017.

責任編輯：哈宏疆

Research of Key Specifications on Unified Storage & Application in Network Production and Broadcasting

XU Xu

(OfficeoftheChiefEngineer,JianhuRadioandTelevisionStation,JiangsuJianhu224700,China)

In view of the optimization and integration of storage systems in Network production and broadcasting, together with the rapid development of the storage technology, to cater to the requirement of data access, this essay systematically conducts a research of key specifications on unified storage. Based on the research, can solve the problems of architecture designing and equipment selection, to ensure that the unified storage applicated in Network production and broadcasting can be high availability, high performance, high utilization and high scalability, finally realize storage resources sharing and used efficiently under the centralized management.

unified storage; network production and broadcasting; specification; application

TN948.11

A

10.16280/j.videoe.2015.24.018

2015-07-16