廣播電視監(jiān)測網(wǎng)絡(luò)存儲系統(tǒng)選型分析

■文/劉志遠

廣播電視監(jiān)測網(wǎng)絡(luò)存儲系統(tǒng)選型分析

■文/劉志遠

廣播電視與網(wǎng)絡(luò)視聽節(jié)目的快速發(fā)展以及高清技術(shù)的大規(guī)模應(yīng)用給廣電行業(yè)帶來了音視頻數(shù)據(jù)量的飛速提升。廣播電視監(jiān)測部門對全國廣播電視節(jié)目進行統(tǒng)一采集、存儲與處理，針對各級監(jiān)測技術(shù)系統(tǒng)的需求與特點，尋求技術(shù)先進性、適用性、可靠性、安全性、經(jīng)濟性兼具的存儲技術(shù)至關(guān)重要。本文比較了各類主流存儲技術(shù)的特點，給出了各級廣電監(jiān)測系統(tǒng)對存儲技術(shù)的選型分析，為未來系統(tǒng)建設(shè)提供了參考。

存儲系統(tǒng)；廣播電視監(jiān)測；SAN；NAS；分布式存儲

隨著廣播電視與網(wǎng)絡(luò)視聽節(jié)目的快速發(fā)展，節(jié)目類型、數(shù)量越來越多，清晰度從標清向高清快速發(fā)展，特別是4k技術(shù)帶來的超高清革命，給了觀眾全新的觀看體驗，同時也帶來了數(shù)據(jù)量的飛速提升。廣播電視監(jiān)測部門采集中央以及全國各省市衛(wèi)星、有線、無線廣播電視節(jié)目，集中存儲與分析處理。隨著監(jiān)測范圍的擴大與數(shù)據(jù)量的飛速提升，存儲系統(tǒng)的容量、穩(wěn)定性與安全性日益受到關(guān)注，針對不同業(yè)務(wù)范圍與需求，尋求技術(shù)先進性、適用性、可靠性、安全性、經(jīng)濟性兼具的存儲系統(tǒng)，已逐漸成為各級監(jiān)測技術(shù)系統(tǒng)建設(shè)的重中之重。

本文比較了DAS、NAS、SAN、SAN與NAS融合架構(gòu)、分布式存儲等主流存儲技術(shù)的特點以及適用范圍，給出了音視頻文件單點采集系統(tǒng)、區(qū)域節(jié)點、中心節(jié)點以及云存儲等系統(tǒng)對存儲技術(shù)的選型分析，為各級廣播電視監(jiān)測技術(shù)系統(tǒng)建設(shè)的存儲技術(shù)選型提供參考。

1.存儲技術(shù)的分類及特點

存儲介質(zhì)的發(fā)展歷經(jīng)磁帶、磁鼓、硬盤、軟盤、光盤、Flash芯片、磁盤陣列等，伴隨著磁盤陣列技術(shù)的發(fā)展和IT系統(tǒng)需求的不斷升級，大型網(wǎng)絡(luò)化磁盤陣列出現(xiàn)了。相比用于備份與歸檔的磁帶庫與光盤庫，磁盤陣列以其在存儲量、傳輸速率、可靠性等方面不可比擬的優(yōu)勢，通常作為一級在線存儲使用，這也是本文討論的重點內(nèi)容。

網(wǎng)絡(luò)化的存儲技術(shù)發(fā)展至今，大致分為直接連接存儲（DAS）、網(wǎng)絡(luò)附加存儲（NAS）、存儲區(qū)域網(wǎng)絡(luò)（SAN）三個階段，而各種融合技術(shù)也應(yīng)運而生。

1.1DAS

直接連接存儲（DAS）是指存儲設(shè)備通過SCSI接口或者光纖接口，直接連接到一臺計算機上，其他主機不能共享這個存儲設(shè)備，例如個人PC或者服務(wù)器自帶的磁盤。分布在全國的音視頻信號采集系統(tǒng)對有線、無線廣播電視信號進行采集并進行預處理。在這些系統(tǒng)中，存儲通常為DAS結(jié)構(gòu)。由于帶寬所限不能全部傳回至遠端的音視頻文件在本地短期存儲，當位于遠端的用戶想要調(diào)用這些內(nèi)容時，需要訪問這個站點的服務(wù)器，以連接直連在服務(wù)器上的硬盤。

DAS具有成本低，部署簡單等優(yōu)點，適用于網(wǎng)絡(luò)遠端的末梢節(jié)點，但是也有共享能力差，連接距離短、備份能力低等缺點。一旦服務(wù)器出現(xiàn)故障，所有硬盤將無法訪問。

1.2NAS

網(wǎng)絡(luò)附加存儲（NAS）是一種含有文件系統(tǒng)，并且可以對外提供文件訪問的存儲。對外提供的接口通常包括用于Unix環(huán)境的NFS（網(wǎng)絡(luò)文件系統(tǒng)）協(xié)議和用于Windows環(huán)境的CIFS（公用Internet文件系統(tǒng)）協(xié)議等。NAS不一定是磁盤陣列，一臺普通的PC機或服務(wù)器也可以做成NAS，利用操作系統(tǒng)自帶的文件系統(tǒng)對外提供文件共享。在廣電監(jiān)測技術(shù)系統(tǒng)中NAS的地位很重要，大部分存儲的音視頻文件需要通過共享訪問的方式，提供給后臺做音視頻自動處理的各類計算服務(wù)器。NAS的性能、并發(fā)訪問能力、穩(wěn)定性成為音視頻處理軟件正常工作的保障。

1.3SAN

存儲區(qū)域網(wǎng)絡(luò)（SAN）是一種存儲網(wǎng)絡(luò)，通過光纖或以太網(wǎng)，將存儲陣列和服務(wù)器主機相連接，成為專用于數(shù)據(jù)存儲的區(qū)域網(wǎng)絡(luò)。與DAS不同，SAN提供了多存儲設(shè)備對應(yīng)多主機連接，理論上存儲容量可以無限擴展。在存儲容量達到PB量級的文件存儲網(wǎng)絡(luò)中，通常SAN是不可或缺的，它使集中存儲設(shè)備替代多個獨立存儲，支持容量共享并且具有很高的可擴展性與可靠性。

1.3.1FC SAN

傳統(tǒng)的SAN通常指FC SAN，即使用光纖（FC）作為其內(nèi)部傳輸通路，使用SCSI協(xié)議作為存儲訪問協(xié)議，將存儲子系統(tǒng)網(wǎng)絡(luò)化，實現(xiàn)高速共享。FC SAN效率高，速度快，常用單端口可達到8Gbps，是關(guān)鍵領(lǐng)域、高性能網(wǎng)絡(luò)、大規(guī)模存儲的不二選擇。但是FC SAN成本高，需要專用光纖交換機，服務(wù)器要配光纖存儲卡，在小規(guī)模應(yīng)用中性價比不高。

1.3.2IP SAN

IP SAN是近幾年新興的存儲技術(shù)，用以太網(wǎng)替代光纖作為SAN的內(nèi)部傳輸通路以降低成本。隨著以太網(wǎng)從千兆（1Gbps）發(fā)展到萬兆（10Gbps），傳輸速率已經(jīng)和FC SAN不相上下，但是在協(xié)議效率等方面還有一些差別。IP SAN的實質(zhì)是將SCSI指令封裝在IP包中，即iSCSI技術(shù)，利用IP網(wǎng)絡(luò)進行包的傳輸。這種方式可以更好地利用IP技術(shù)的廣泛性和普及性，成本低，易部署，小規(guī)模存儲系統(tǒng)中性價比較高。但是IP封裝的開銷大、效率低，每個IP包中要附加較高比例的包頭和包尾以進行校驗，相比而言，F(xiàn)C包的校驗則比例更低，傳輸效率更高。

1.4SAN與NAS的融合

SAN與NAS的融合架構(gòu)如圖1所示，和傳統(tǒng)結(jié)構(gòu)相比，NAS從存儲設(shè)備中分離出來，通過SAN和存儲設(shè)備相連，即成為NAS網(wǎng)關(guān)。這種架構(gòu)既保留了NAS數(shù)據(jù)共享的優(yōu)點，又發(fā)揮了SAN在結(jié)構(gòu)上和可擴充性上的優(yōu)勢。但這也使NAS網(wǎng)關(guān)成為系統(tǒng)潛在的瓶頸，所有用戶對存儲設(shè)備的訪問都必須經(jīng)過NAS網(wǎng)關(guān)，采用多NAS負載均衡的方式，可以在一定程度上提高系統(tǒng)的可靠性。

圖1　SAN與NAS的融合架構(gòu)

1.5分布式存儲系統(tǒng)

隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)量的飛速發(fā)展帶來了存儲系統(tǒng)規(guī)模的指數(shù)增長。專業(yè)性的集中存儲可擴展性有限，互聯(lián)網(wǎng)公司越來越多地選擇分布式系統(tǒng)用于數(shù)據(jù)的存儲、計算。與傳統(tǒng)的高端服務(wù)器、高端存儲器和高端處理器不同的是，分布式存儲系統(tǒng)通常由數(shù)量眾多低成本、高性價比的普通PC服務(wù)器組成，橫向擴展能力很強。先買小型機，不夠時再買中型機、大型機的縱向擴展模式已經(jīng)無法適應(yīng)當前信息爆炸的速度。云計算和大數(shù)據(jù)處理的核心，都是對海量數(shù)據(jù)進行存儲、計算，后端通常都應(yīng)用了分布式存儲系統(tǒng)。

分布式存儲解決了可擴展性和大規(guī)模部署成本的問題，但是普通PC服務(wù)器性價比高，故障率也高，需要在軟件層面實現(xiàn)自動容錯，保證數(shù)據(jù)的一致性。常用的多副本復制及故障恢復機制如圖2所示，數(shù)據(jù)塊A、B、C分別在3個節(jié)點存儲了3個副本，A1、B1、C1為主副本。復制保證了副本之間的一致性，發(fā)生寫請求時將沿圖中W1-W4的順序，客戶端將寫請求發(fā)給主副本、主副本同步給備副本，備副本更新后通知主副本，主副本再通知用戶。發(fā)生讀請求時，可按照R1-R2的順序直接訪問任何副本。當主副本發(fā)生故障，總控節(jié)點通過心跳檢測到，會選擇一個最新的備副本替代主副本。如果主副本在規(guī)定時間內(nèi)重新上線則不改變原有存儲內(nèi)容，如果規(guī)定時間未上線，則需要增加副本，在其他節(jié)點拷貝數(shù)據(jù)塊A成為新的備副本。

2.各級廣電監(jiān)測系統(tǒng)存儲技術(shù)選型分析

中央級廣播電視監(jiān)測網(wǎng)絡(luò)由分布全國的音視頻信號單點采集系統(tǒng)、區(qū)域處理節(jié)點以及中心節(jié)點組成，下面對這三種典型系統(tǒng)以及未來云平臺的存儲技術(shù)選型進行分析，為廣電監(jiān)測系統(tǒng)建設(shè)中存儲技術(shù)選型提供參考。

2.1單點采集系統(tǒng)

圖2　多副本分布式存儲系統(tǒng)的復制及故障恢復機制示意圖

通常單點采集系統(tǒng)位置分散，結(jié)構(gòu)簡單，一般為主機直連存儲（DAS）。以有線電視采集為例，假設(shè)某個單點采集系統(tǒng)需要對當?shù)厮械牡孛骐娨曨l道、調(diào)頻廣播頻道進行采集和短期存儲，其所需存儲量可以當?shù)氐念l道數(shù)量進行估算。普通地市設(shè)立的電視頻道一般為2個，廣播頻道2-3個。省會城市和計劃單列市一般為6-8個電視頻道及4-6個廣播頻道。省級一般為8-12個電視頻道及8-10個廣播頻道。保證內(nèi)容可辨識的標清視頻信號經(jīng)過壓縮后碼率最低為0.8-1Mbps，廣播信號為0.15-0.2Mbps。以保存7天為例，考慮碼率和頻道數(shù)的最大值，普通地市存儲需要約190GB的可用容量，使用RAID機制備份，可用容量按照實際容量60%計算，則需要320G的磁盤容量。計劃單列市需要約680GB的可用容量，約合1.1TB的磁盤容量。考慮省會電視臺與省級電視臺地面頻道，省會城市需要約1.7TB的可用容量，約合2.8TB的磁盤容量。單臺服務(wù)器的硬盤就可以滿足存儲量需求，考慮到位置分散等特點，DAS是目前較為經(jīng)濟合理的存儲方式，為了增加可靠性，可采用雙機備份。

2.2區(qū)域處理節(jié)點

區(qū)域處理節(jié)點可以對所在省及臨近省份的廣播電視音視頻文件進行存儲和處理，假設(shè)每個區(qū)域節(jié)點平均負責2個省的范圍，平均每個省約有41個電視頻道以及35個廣播頻道，按照每天保存省級衛(wèi)視頻道，其他頻道每個月抽樣一天，共保存半年為例，需要10TB的可用容量，約合17TB的實際容量。音視頻處理通常以文件為單位，因此需要存儲系統(tǒng)對外提供文件共享服務(wù)，此外對比IP SAN和FC SAN的特點及性價比，區(qū)域處理節(jié)點使用IP SAN與NAS的融合架構(gòu)建設(shè)可以滿足基本的存儲容量、訪問速度、并發(fā)量的要求，并且性價比較高。在一些對性能要求非常高的重點系統(tǒng)中，可以使用FC SAN代替IP SAN。

2.3中心節(jié)點

中心節(jié)點可以對全國廣播電視信號進行集中存儲處理。假設(shè)存儲內(nèi)容含全國重點的100個衛(wèi)星電視頻道、300個地面電視頻道及300個調(diào)頻廣播頻道，以保存一年為例，需要1.7PB的存儲容量，考慮冗余后約合2.8PB的磁盤容量。由于中心節(jié)點存儲容量大、并發(fā)訪問量大、訪問速度要求高，按照前文對各存儲系統(tǒng)的分析比較，F(xiàn)C SAN融合NAS的架構(gòu)，將具有更好的性能。

2.4廣電監(jiān)測云存儲系統(tǒng)

隨著三網(wǎng)融合的趨勢以及光纖通訊技術(shù)、云計算相關(guān)技術(shù)的發(fā)展，越來越多的廣播電視節(jié)目以及互聯(lián)網(wǎng)音視頻具備傳輸至云平臺進行統(tǒng)一存儲、統(tǒng)一計算的能力。截至2015年6月，根據(jù)國家新聞出版廣電總局公布的數(shù)據(jù)，地級以上共有電視頻道1191個，廣播頻道1104個，此外還有1998個縣級廣播電視播出機構(gòu)制播的地面頻道。根據(jù)廣播電視監(jiān)測的分級管理體系，考慮地市級以上的頻道，一年的實際存儲量將達到5.2PB，考慮冗余后，實際存儲量將更大。對于這個規(guī)模的存儲系統(tǒng)，1.4節(jié)介紹的傳統(tǒng)SAN 與NAS融合架構(gòu)，將使NAS網(wǎng)關(guān)成為系統(tǒng)的瓶頸，F(xiàn)C SAN的性能優(yōu)勢不能很好地體現(xiàn)出來，橫向擴展能力有限。在建設(shè)云平臺時，選擇分布式的存儲系統(tǒng)，將具有更高的性價比以及擴展能力。

3.結(jié)語

隨著大數(shù)據(jù)時代的到來，存儲系統(tǒng)成為各類云計算、大數(shù)據(jù)處理系統(tǒng)的底層核心。隨著廣播電視與互聯(lián)網(wǎng)音視頻的發(fā)展和高清技術(shù)的大規(guī)模應(yīng)用，各類技術(shù)系統(tǒng)存儲容量的需求增長很快，選擇技術(shù)先進性、適用性、可靠性、安全性、經(jīng)濟性兼具的存儲技術(shù)非常重要。本文根據(jù)各類監(jiān)測技術(shù)系統(tǒng)對存儲的要求，給出了存儲技術(shù)選型分析，為各級廣播電視監(jiān)測技術(shù)系統(tǒng)建設(shè)中的存儲技術(shù)選型提供了參考。

［1］張冬. 大話存儲II-存儲系統(tǒng)架構(gòu)與底層原理極限剖析［M］. 北京：清華大學出版社，2011.

［2］謝勝彬，陶洋，王國梁. DAS、NAS與SAN的研究與應(yīng)用［J］. 計算機與現(xiàn)代化，2003（7）：8-11.

［3］張繼征，楊波，陸體軍，賈惠波. NAS與SAN的融合［J］.計算機應(yīng)用研究，2005（8）：190-192.

［4］楊傳輝.大規(guī)模分布式存儲系統(tǒng)原理解析與架構(gòu)實戰(zhàn)［M］. 北京：機械工業(yè)出版社，2015.

［5］國家新聞出版廣電總局網(wǎng)站公布，“地級以上廣播電視播出機構(gòu)和頻道頻率名錄（截至2015年6月）”. ［6］國家新聞出版廣電總局網(wǎng)站公布，“縣級廣播電視播出機構(gòu)名錄（截至2015年6月）”.

（作者單位：國家新聞出版廣電總局二○三臺）

TU248.8

A