昆山電視臺(tái)制作網(wǎng)存儲(chǔ)擴(kuò)容方案

高 杰 顧文濤 昆山市廣播電視臺(tái)

昆山電視臺(tái)制作網(wǎng)存儲(chǔ)擴(kuò)容方案

高 杰 顧文濤 昆山市廣播電視臺(tái)

本分分析了昆山電視臺(tái)擴(kuò)容前的存儲(chǔ)情況，介紹了擴(kuò)容的具體利舊方案，擴(kuò)容后性能和存儲(chǔ)空間的提升，以及安全性方面的改善。該制作網(wǎng)存儲(chǔ)擴(kuò)容方案為昆山電視臺(tái)后續(xù)的高清升級(jí)改造奠定了良好基礎(chǔ)。

存儲(chǔ)擴(kuò)容 縱向擴(kuò)展 縱深擴(kuò)展 集群擴(kuò)展 安全性

一、引言

隨著信息技術(shù)的不斷發(fā)展，昆山市廣播電視臺(tái)已經(jīng)建立起了各種新聞采編、專題報(bào)道和媒資管理等信息化業(yè)務(wù)系統(tǒng)，這些業(yè)務(wù)系統(tǒng)支撐著昆山電視臺(tái)的各種核心業(yè)務(wù)，比如節(jié)目制作和編輯、演播室播出、媒資內(nèi)容管理等，為昆山電視臺(tái)的正常運(yùn)營(yíng)和業(yè)務(wù)發(fā)展打造了一個(gè)良好的開端。

圖1 系統(tǒng)的存儲(chǔ)拓?fù)涫疽鈭D

昆山電視臺(tái)的核心系統(tǒng)包括新聞網(wǎng)、專題網(wǎng)、媒資管理三個(gè)主要業(yè)務(wù)模塊，系統(tǒng)的存儲(chǔ)拓?fù)涫疽鈭D見圖1。新聞網(wǎng)存儲(chǔ)為主備模式， HDS AMS2500作為主存儲(chǔ)， DFT存儲(chǔ)作為備份存儲(chǔ)，由索貝FiSEC軟件實(shí)現(xiàn)存儲(chǔ)雙寫，主要承載新聞?lì)惞?jié)目，其中包括時(shí)政類的昆視新聞和民生類的新聞夜報(bào)，以及一些階段性的訪談?lì)惞?jié)目；專題網(wǎng)采用HDS AMS2300存儲(chǔ)，主要存儲(chǔ)專題節(jié)目制作的素材和節(jié)目；媒資系統(tǒng)采用DFT存儲(chǔ)做媒體資料庫(kù)的在線存儲(chǔ)。

二、系統(tǒng)存儲(chǔ)現(xiàn)狀

隨著各項(xiàng)新聞欄目和專題業(yè)務(wù)的不斷增加，業(yè)務(wù)部門對(duì)于制作網(wǎng)存儲(chǔ)空間的需求不斷增大，對(duì)于素材的讀取性能要求也不斷提高。需求在不斷增大，存儲(chǔ)面臨的挑戰(zhàn)也隨之增加。當(dāng)前這些業(yè)務(wù)系統(tǒng)面臨的最大問題是大部分存儲(chǔ)設(shè)備使用時(shí)間已經(jīng)有5年以上，已過(guò)了保修期限，其中媒資系統(tǒng)的DFT存儲(chǔ)更是已經(jīng)使用7年之久，市場(chǎng)上已無(wú)法采購(gòu)到該設(shè)備的核心配件，一旦發(fā)生故障停機(jī)，就會(huì)面臨數(shù)據(jù)丟失的巨大風(fēng)險(xiǎn)，影響全臺(tái)的業(yè)務(wù)運(yùn)行。

除新聞網(wǎng)有主備存儲(chǔ)之外，專題網(wǎng)和媒資系統(tǒng)的存儲(chǔ)都是單臺(tái)設(shè)備運(yùn)行，一旦設(shè)備發(fā)生故障，整個(gè)專題網(wǎng)和媒資業(yè)務(wù)將面臨停機(jī)風(fēng)險(xiǎn)，嚴(yán)重影響電視臺(tái)的制作播出安全，甚至?xí)?dǎo)致播出事故。

同時(shí)當(dāng)前非編媒資網(wǎng)存儲(chǔ)空間、存儲(chǔ)性能接近極限，已無(wú)法滿足目前業(yè)務(wù)數(shù)據(jù)的增長(zhǎng)需要，另外高清化的趨勢(shì)也要求極大的存儲(chǔ)空間，因此急需補(bǔ)充存儲(chǔ)空間并提升存儲(chǔ)性能，解決目前業(yè)務(wù)需求和滿足將來(lái)的高清化發(fā)展趨勢(shì)。

為了應(yīng)對(duì)這些挑戰(zhàn)，提升服務(wù)競(jìng)爭(zhēng)力，消除潛在風(fēng)險(xiǎn)，昆山電視臺(tái)提出了新聞網(wǎng)、專題網(wǎng)和媒資系統(tǒng)存儲(chǔ)統(tǒng)一改造計(jì)劃，并詳細(xì)規(guī)劃了系統(tǒng)改造建設(shè)方案，方案設(shè)計(jì)原則如下：

（1）具有不間斷的訪問能力——可靠性(7×24×365)

相比原存儲(chǔ)架構(gòu)，新存儲(chǔ)本身要求具有高度的可靠性、較強(qiáng)的容錯(cuò)能力和全冗余的結(jié)構(gòu)，包括：雙活控制器架構(gòu)、RAID保護(hù)、緩存鏡像、斷電保護(hù)、部件故障切換等缺一不可；

（2）高訪問速度和快響應(yīng)時(shí)間——性能

視音頻數(shù)據(jù)相較其他類型的數(shù)據(jù)來(lái)講一般碼流都比較大，尤其高清制播系統(tǒng)更使得存儲(chǔ)的帶寬面臨更大的挑戰(zhàn)。新聞及專題網(wǎng)制作系統(tǒng)由于前端有較多工作站的在線、并行讀寫，要求存儲(chǔ)系統(tǒng)必須滿足高帶寬、低延時(shí)的性能要求，保證在編輯處理的高峰期不能出現(xiàn)過(guò)大的性能波動(dòng)。

（3）數(shù)據(jù)和業(yè)務(wù)內(nèi)容的增長(zhǎng)速度快——可擴(kuò)展性

制作系統(tǒng)數(shù)據(jù)多以大量的視音頻內(nèi)容為主，而視音頻文件占用存儲(chǔ)空間較大的特點(diǎn)對(duì)存儲(chǔ)的容量提出了要求。隨著節(jié)目高清化的發(fā)展，數(shù)據(jù)量的增長(zhǎng)非?？?。因此，必須考慮系統(tǒng)能夠容納更多的節(jié)目數(shù)據(jù)。這就要求存儲(chǔ)系統(tǒng)能滿足更大的數(shù)據(jù)量，以及數(shù)據(jù)增加后統(tǒng)一管理、備份的需要。

三、方案設(shè)計(jì)

經(jīng)過(guò)同第三方系統(tǒng)集成公司充分溝通及和各個(gè)存儲(chǔ)廠商不斷討論，根據(jù)臺(tái)內(nèi)對(duì)存儲(chǔ)架構(gòu)的整體建設(shè)需求以及網(wǎng)絡(luò)環(huán)境等因素分析，在不改變?cè)芯W(wǎng)絡(luò)環(huán)境的前提下，為新聞網(wǎng)、專題網(wǎng)和媒資系統(tǒng)打造一個(gè)全新的存儲(chǔ)升級(jí)方案。新存儲(chǔ)升級(jí)方案架構(gòu)拓?fù)湟妶D2。

圖2 新存儲(chǔ)升級(jí)方案架構(gòu)拓?fù)?/p>

3.1 新聞網(wǎng)

新聞網(wǎng)升級(jí)成兩套高端存儲(chǔ)架構(gòu)，通過(guò)基于索貝的fisec實(shí)現(xiàn)兩臺(tái)存儲(chǔ)設(shè)備的鏡像復(fù)制，數(shù)據(jù)實(shí)時(shí)同步，任何一臺(tái)存儲(chǔ)設(shè)備損壞也不會(huì)造成節(jié)目制作中斷和數(shù)據(jù)丟失，新聞網(wǎng)系統(tǒng)數(shù)據(jù)安全可靠性達(dá)到99.999%。

3.2 專題網(wǎng)

由于專題網(wǎng)一直采用單存儲(chǔ)，原專題網(wǎng)架構(gòu)中沒有采用鏡像復(fù)制技術(shù)，容易形成單點(diǎn)故障。本次改造充分利用原有設(shè)備，采用了主--備鏡像模式的存儲(chǔ)架構(gòu)，如圖2所示。新磁盤陣列與專題網(wǎng)退下的AMS2300做1:1鏡像，既保證了數(shù)據(jù)安全，又利用了舊存儲(chǔ)設(shè)備，保護(hù)了原有投資。

3.3 媒資系統(tǒng)

考慮到充分利用原有設(shè)備，新聞網(wǎng)的AMS2500目前使用狀況良好，繼承給媒資系統(tǒng)使用，替換掉使用7年之久的DFT存儲(chǔ)，增加媒資在線存儲(chǔ)空間，增加存儲(chǔ)安全性。

四、如何實(shí)現(xiàn)建設(shè)目標(biāo)

昆山電視臺(tái)在需求分析和方案設(shè)計(jì)的過(guò)程中充分考慮到數(shù)據(jù)與業(yè)務(wù)增長(zhǎng)速度過(guò)快帶來(lái)的問題，提出了解決問題的三種方案：

（1）縱向擴(kuò)展（Scale UP） – 在存儲(chǔ)單元中動(dòng)態(tài)添加存儲(chǔ)空間資源，本方案中新存儲(chǔ)設(shè)備最大縱向擴(kuò)展能到2PB。

（2）縱深擴(kuò)展（Scale Deep）– 通過(guò)對(duì)新的以及現(xiàn)有的外部存儲(chǔ)系統(tǒng)進(jìn)行動(dòng)態(tài)虛擬化，構(gòu)建存儲(chǔ)資源池，擴(kuò)大存儲(chǔ)空間，這是新存儲(chǔ)必備的擴(kuò)展功能之一。（3）集群擴(kuò)展(Scale Cluster):集群擴(kuò)展功能，將2臺(tái)或者更多的存儲(chǔ)整合在一起，但從主機(jī)層面看起來(lái)，就是同一臺(tái)設(shè)備，任何一臺(tái)設(shè)備的故障，對(duì)主機(jī)業(yè)務(wù)無(wú)任何影響。

鑒于未來(lái)技術(shù)發(fā)展趨勢(shì)的多元性，本次改造中將這三種解決方案都集成在存儲(chǔ)中，預(yù)留功能，便于將來(lái)擴(kuò)展需要。

原有存儲(chǔ)在空間供給方面有一定短板，原來(lái)劃分空間是新聞網(wǎng)、專題網(wǎng)系統(tǒng)用戶提出多少空間，IT維護(hù)組就劃多少空間，即使這部分空間用不完也沒法回收回來(lái)。導(dǎo)致有些用戶分配的空間無(wú)法得到充分利用，有些用戶空間不足，在實(shí)際存儲(chǔ)容量上不夠均衡。新存儲(chǔ)系統(tǒng)在容量供給方面應(yīng)改變策略，此次改造我臺(tái)通過(guò)存儲(chǔ)的“瘦供給(Thin Provison)”技術(shù)劃分空間，實(shí)現(xiàn)了用戶申請(qǐng)的是一個(gè)額度，實(shí)際有多少數(shù)據(jù)就存儲(chǔ)多少數(shù)據(jù)，多余的部分重新回到存儲(chǔ)池中，提升存儲(chǔ)空間的使用效率。

對(duì)于新聞網(wǎng)和專題網(wǎng)的高帶寬要求，依然選擇高帶寬、低延時(shí)的光纖通訊方式，快速響應(yīng)，對(duì)原網(wǎng)絡(luò)改動(dòng)最小，風(fēng)險(xiǎn)最低。根據(jù)臺(tái)內(nèi)存儲(chǔ)數(shù)據(jù)的多樣性，方案中設(shè)計(jì)了存儲(chǔ)系統(tǒng)能夠使用不同性能介質(zhì)的硬盤，如高速閃存的flash盤，SSD固態(tài)硬盤，普通SAS機(jī)械硬盤，大容量低廉的SATA硬盤，不同類型的磁盤適用不同應(yīng)用子系統(tǒng)，能夠滿足各類應(yīng)用需求，同時(shí)兼顧了未來(lái)磁盤發(fā)展趨勢(shì)。

在數(shù)據(jù)安全和系統(tǒng)安全方面，新存儲(chǔ)方案的硬件架構(gòu)做到雙活控制架構(gòu)、多種RAID保護(hù)、緩存鏡像、斷電保護(hù)、部件故障切換等，實(shí)現(xiàn)了企業(yè)級(jí)產(chǎn)品的100%可靠性、高性能以及無(wú)瓶頸的整體優(yōu)化設(shè)計(jì)。

五、方案價(jià)值

新的存儲(chǔ)擴(kuò)容方案設(shè)計(jì)之初經(jīng)過(guò)了充分的理論研究和實(shí)踐調(diào)研。存儲(chǔ)的技術(shù)日新月異，發(fā)展迅速，技術(shù)新穎，本次擴(kuò)容改造方案的重點(diǎn)是讓存儲(chǔ)的前沿技術(shù)和我臺(tái)的實(shí)際需求相契合，在不影響專題新聞網(wǎng)系統(tǒng)安全、制作安全和播出安全的基礎(chǔ)上實(shí)現(xiàn)存儲(chǔ)的擴(kuò)容改造。同時(shí)解決臺(tái)里的老存儲(chǔ)系統(tǒng)面臨的問題，兼顧未來(lái)的技術(shù)發(fā)展趨勢(shì)。此次存儲(chǔ)擴(kuò)容的方案是經(jīng)過(guò)我方使用人員，各存儲(chǔ)廠商，我方技術(shù)人員以及第三方集成商的反復(fù)討論和實(shí)地調(diào)研后得出的存儲(chǔ)擴(kuò)容方案，在實(shí)際的應(yīng)用和系統(tǒng)實(shí)施方面有很大的價(jià)值，為我們積累了寶貴的系統(tǒng)擴(kuò)容經(jīng)驗(yàn)。