廣西電視臺新聞非編網盤陣空間管理和應用方法探討

李海彬 楊 波 廣西電視臺

廣西電視臺新聞非編網盤陣空間管理和應用方法探討

李海彬 楊 波 廣西電視臺

本文介紹了我臺新聞頻道非編網盤陣空間的管理和應用。通過EMC雙盤陣、“單讀雙寫”、交叉存儲等軟硬件技術提高了數(shù)據(jù)冗余，保證了數(shù)據(jù)的安全性和可靠性；輔以使用NAS副盤陣分流EMC主盤陣的部分數(shù)據(jù)，使主盤陣的空間得到有效的利用，從而實現(xiàn)了安全性和空間利用率的雙贏。

FC-SAN LUN RAID5 NAS磁盤陣列

一、引言

隨著電視節(jié)目的高清化制作，非編系統(tǒng)對盤陣容量的需求也越來越多，但是受制于設備機房空間、硬件擴容成本等原因，一旦盤陣正式使用后，我們就難以對其容量進行大幅增加。在保證數(shù)據(jù)安全性的條件下，如何通過技術手段進行有效管理，從而提高盤陣空間的利用率是一個課題。在本文中，將以我臺新聞頻道為例，介紹我們目前的一些管理辦法。

二、廣西電視臺新聞頻道非編網簡介

我臺新聞頻道目前使用的非編網由北京中科大洋公司搭建，項目共分為兩期進行，從2013年開始一期建設，至2014年二期建成，投入使用至今將近4年。非編盤陣總容量312T，非編站點88臺，配音站點6臺，系統(tǒng)結構如圖1所示。非編網采用FC-SAN + LAN雙網結構，其中文件讀寫走FC-SAN通道，數(shù)據(jù)通信走LAN通道，這也是非編網最常見的結構。

圖1 新聞頻道非編網拓撲圖

三、非編制作網主盤陣的選用和配置

3.1 FC-SAN盤陣

主盤陣由2套FC-SAN結構的EMC盤陣組成，盤陣控制器型號為VNX5700，各獨自管理11個DAE。FC-SAN表示采用的是光纖通道（FC，F(xiàn)ibre Channel）技術，其側重于數(shù)據(jù)的快速、高效、可靠傳輸，在非編網絡系統(tǒng)中得到大規(guī)模的廣泛應用。

3.2 硬盤類型

EMC盤陣使用兩種類型的硬盤，一種是基于SAS接口的3.5寸硬盤，單個容量為600G，轉速15K，另一種是基于NL SAS接口的3.5寸硬盤，單個容量為2TB,轉速7200。

目前基于SCSI、IED接口的硬盤已經淘汰，新一代的硬盤主要以SATA、SAS、NL SAS接口為主。

SATA即串行ATA接口，它是ATA/IED接口的替代品，主要用于家用臺式電腦，優(yōu)點是硬盤容量大，價格便宜；缺點是接口速度和磁盤轉速偏慢，故障率高。

SAS即串行連接SCSI，是新一代的SCSI技術，此接口的設計是為了改善存儲系統(tǒng)的效能、可用性和擴充性，并且提供與SATA硬盤的兼容性。SAS主要應用于服務器和盤陣，優(yōu)點是接口速度、磁盤轉速、穩(wěn)定性更高；缺點硬盤容量小，價格昂貴。

NL SAS是介于SAS和SATA之間的一個產品，它同樣使用SAS接口，但轉速、容量與STAT相當，價格略高于STAT。我們可以這么簡單的理解：采用SATA硬盤的身軀，套了SAS的頭（接口）。

NL SAS更注重容量和價格,SAS更注重性能上的考慮，在選擇硬盤時，這里采用了這兩種類型的硬盤進行組合使用。

3.3 RAID配置

非編網的磁盤陣列選擇RAID5。RAID5沒有單獨指定的奇偶檢驗盤，而是交叉地存取數(shù)據(jù)及奇偶校驗信息于所有磁盤上，其最少由3塊硬盤組成，容量為單個硬盤容量×(N-1)，其中N表示組內硬盤總數(shù)。

RAID5等效的奇偶檢驗盤是1塊，損壞1塊硬盤并不會影響數(shù)據(jù)的完整性，但如果達到2塊以上時就是災難性的，這表示整個RAID5的數(shù)據(jù)將可能全部損壞，因此盤陣系統(tǒng)中需要預留一定的全局熱備盤，隨時替換各RAID損壞的硬盤。

采用SAS和NL SAS接口的兩種硬盤分類安裝在多個不同的磁盤托盤（DAE）中，每個DAE可裝載15個3.5寸硬盤，其分配圖2所示。

圖2 DAE硬盤分配

0-6號共7個硬盤組成一個RAID5，7-13號共7個硬盤組成另一個RAID5，即每個DAE創(chuàng)建兩個RAID5。14號硬盤則作為全局熱備盤使用，當任何一個DAE內的硬盤出現(xiàn)故障時，它都可以去接替工作。

3.4 MetaLUN配置

LUN的全稱是Logical Unit Number，也就是邏輯單元號，在基于Windows平臺的操作系統(tǒng)中，每個LUN可以當成一個“物理磁盤”使用。在盤陣管理中，LUN在RAID中劃分，每個RAID可以分為1至多個LUN，但全部LUN加起來的總容量不能大于這個RAID的容量。

當磁盤陣列采用RAID5時，由于其等效的數(shù)據(jù)校驗盤只有1塊，因此每個RAID5的硬盤數(shù)量不宜太多，一般不會超過10個。假設每個RAID5僅建立一個LUN，由于Windows操作系統(tǒng)的可用盤符僅26個，即A～Z，因此當一個盤陣中的LUN大于26個時，Windows系統(tǒng)將無法使用這些LUN。

為解決這個問題，EMC VNX5700提供了將現(xiàn)有LUN組合成MeatLUN的功能。在專業(yè)存儲領域，MeatLUN特指可以提供更大空間、更高性能、更安全的LUN，MetaLUN的總容量可以大于RAID組的容量。將SAS硬盤組成的RAID5組與NL SAS硬盤組成的RAID5組，分別組合成以下MetaLUN：

表1 EMC盤陣各MetaLUN配置

其中名稱中帶有“SAS”的表示這個MetaLUN的硬盤采用SAS接口，帶有“SATA”表示這個MetaLUN的硬盤采用NL SAS接口。在EMC盤陣二中，分配了一個很小的MetaLUN，其名稱為SAS3，容量只有3TB，這個LUN原設計作為外網向非編網上傳文件的臨時存儲區(qū)，因此當初分配的容量很小。3.5 文件系統(tǒng)

文件系統(tǒng)采用StroNext，它可以讓UNIX、Linux、Windows 和/或Macintosh操作系統(tǒng)中運行的應用程序并行訪問同一文件存儲區(qū)，輕松實現(xiàn)文件共享和投資保護。其開放式架構擁有極強的擴展能力，允許基于SAN和LAN的客戶端進行數(shù)據(jù)共享。

StroNext軟件分為Server版和Client版。Server版的軟件步署在2臺DELL R720服務器上作為主/備MDS服務器；Client版的軟件步署在大洋非編終端及一些業(yè)務服務器上（如遷移服務器、打包服務器），作為MDC使用。

四、基于“單讀雙寫”和交叉存儲的文件管理方案

這個高清非編網是按全網絡化制播的思路設計的，由于全部素材都存儲在盤陣中，除記者拍攝的原始素材外，不再將合成的視音頻文件下載到磁帶或藍光盤中，因此必須要有一個備份，因此引入了“單讀雙寫”和交叉存儲的文件管理方案。4.1單讀雙寫

在大洋非編終端上編輯節(jié)目時，根據(jù)系統(tǒng)管控平臺的配置，分別寫入主、備兩個存儲區(qū)，這樣一個文件就有兩份；在讀取時，首先讀取主存儲區(qū)的文件，如果讀取失敗自動去讀備存儲區(qū)的文件，這種方式稱為“單讀雙寫”。

這種方式與盤陣的RAID1有點類似，但RAID1是基于硬件實現(xiàn)的，而“單讀雙寫”則是通過軟件來實現(xiàn)的，傳輸效率會低一些。

4.2 交叉存儲

新聞頻道的兩臺EMC VNX5700盤陣控制器是相對獨立的，某一臺的故障并不會影響另一臺的使用，因此在對文件作“雙寫”時，采用交叉存儲的方式，如果欄目的主存儲建立在EMC盤陣一的，其備存儲區(qū)就建立在EMC盤陣二，如表2所示。

表2 EMC盤陣各欄目主/備空間分配

由于文件交叉存儲在兩個EMC盤陣中，當某一個盤陣出現(xiàn)故障而不能讀寫時，非編系統(tǒng)會將讀寫存儲在另一個盤陣里的文件，使系統(tǒng)得以正常運行。

五、利用NAS副盤陣減輕FC-SAN主盤陣壓力

為了緩解、減輕FC-SAN主盤陣的壓力和提高磁盤利用率，在非編網中部署了一臺小型的NAS盤陣系統(tǒng)，其由16個3TB 的SATA硬盤組成，每7個硬盤組成一個RAID5，保留2個熱備盤，實際可用容量為36T。

FC-SAN光纖網絡的盤陣系統(tǒng)與NAS相比具有傳輸效率高、時延小、占用主機資源少等優(yōu)點，其數(shù)據(jù)處理以block（塊）的方式進行，適合大文件的實時讀寫，是NAS盤陣無法達到和替代的，但是在非編網中并非所有的應用都是需要高速的磁盤讀寫能力的，在某些環(huán)節(jié)仍然可以使用NAS盤來替代FC-SAN，下面是我們應用的兩個例子。

5.1 作為外網向非編網上傳文件的臨時存儲區(qū)

在主盤陣系統(tǒng)初始化配置時，外網向非編網上傳文件的臨時存儲區(qū)只分配了3TB的空間，即前面提到的名為SAS3的LUN。當外網向非編網上傳文件時，基于安全和防病毒方面的考慮，采用了大洋的文件擺渡系統(tǒng)，其在結構上對兩端的網絡進行了物理上的隔離，僅允許指定的文件通過，如圖3大洋文件擺渡系統(tǒng)改造前/后的結構(改造前)所示。

圖3 大洋文件擺渡系統(tǒng)改造前/后的結構

在文件經過流程最終上傳到大洋非編網，要使用這些文件時，必須通過非編工作站軟件將其“導入”到指定的欄目存儲區(qū)才能使用。由于“導入”后的文件并不會自動刪除，而是需要網管人員定期刪除，因此會產生一定的積壓，使臨時存儲區(qū)的空間變小，從而可能影響后續(xù)的上傳。

在非編網絡系統(tǒng)正式啟用后，由于各個LUN已經分配使用，此時要對SAS3擴容比較困難，只能采用其它辦法。

經過分析發(fā)現(xiàn)，在整個文件上傳及“導入”過程中，對盤陣的讀寫速度要求并不高，可以簡單的理解為一個復制粘貼的過程，于是對此系統(tǒng)做了少量改造，大洋文件擺渡系統(tǒng)改造前/后的結構(改造后)所示。

在擺渡服務器和非編客戶端中將NAS盤陣通過域控映射為X：盤，并修改擺渡服務器傳輸參數(shù)，使上傳后的文件不再存儲到SAS3，而是存儲到X：盤即NAS盤陣中，這樣在非編客戶端就可以導入了。這種方法一方面解決了設計時SAS3容量分配不足的問題，另一方面減輕了主盤陣的負擔。

5.2 作為FC-SAN主盤陣“單讀雙寫”備存儲區(qū)的過渡存儲區(qū)

在采用“單讀雙寫”和交叉存儲的工作方式后，整個非編系統(tǒng)的文件安全性有了很大的提高，但是也產生了一個較大的問題，即如果全部的欄目都采用這樣的工作方式，則盤陣的實際可用容量將會大幅下降，理論上最多只有原來的一半，這就表示312T的容量只能當156T來使用。

使用非編軟件讀取盤陣文件時，如果欄目主存儲區(qū)正常時，并不會去讀取備存儲區(qū)的文件，即備存儲區(qū)的文件是用不上的，基于此我們作了一個測試，步驟如下：

（1）通過非編軟件導入1個視頻文件，由于設置了“單讀雙寫”，此時會在欄目主、備存儲區(qū)各產生一個同樣的視頻文件。

（2）新建一個大洋故事板，將此文件拖到視頻軌后，保存故事板并退出。

（3）不通過大洋非編軟件，直接進入欄目備存儲區(qū)的目錄并刪除此視頻文件。

（4）打開大洋非編軟件播放剛剛新建的故事板時，一切正常。

（5）退出大洋非編軟件后，將欄目主存儲區(qū)的這個視頻文件“剪切”到備存儲區(qū)，模擬主存儲區(qū)故障后，使用備存儲區(qū)進行恢復。

（6）再次使用非編軟件播放此故事板，仍然一切正常，沒有出現(xiàn)錯誤提示。

結論：大洋非編對文件進行讀取時，只根據(jù)數(shù)據(jù)庫中記錄下的目錄名+文件名對此文件進行讀取，對欄目設置了“單讀雙寫”功能后，主、備存儲區(qū)的文件如果損壞或丟失了，可以通過復制的方式還原回去。

根據(jù)測試結果制定了這個管理方法：定期將欄目備存儲區(qū)的一些文件（以創(chuàng)建日期為分割點），以剪切的方式遷移到NAS盤陣存儲，在這一期間如果欄目主存儲區(qū)出現(xiàn)問題，可以使用NAS盤陣備份的文件進行恢復；如果沒出現(xiàn)問題，在下一次遷移數(shù)據(jù)時刪除這批次文件，并將本期欄目備存儲區(qū)的文件剪切過來。通過這種方式，可以使備存儲區(qū)中近期創(chuàng)建的文件與主存儲區(qū)同步，而過期的文件將被遷移到NAS盤陣作一個過渡，直至最后被刪除。

在采用這種管理方式后，主、備存儲區(qū)不再需要按1:1的比例進行容量配置，目前大致按3:1的比例進行配置，這樣即解決了空間浪費的問題，安全性也沒有下降太多。

六、結束語

數(shù)據(jù)冗余是數(shù)據(jù)安全的關鍵，在冗余數(shù)據(jù)增加的同時，盤陣的有效空間也相應減少，這是一個兩難的問題。在本文中，通過分析非編系統(tǒng)使用盤陣的特點進行優(yōu)化和改造，使盤陣空間得到了合理利用，而安全性也有一定的保障，在某種程度上達到一個平衡點。