云媒資系統(tǒng)中的存儲(chǔ)設(shè)計(jì)與實(shí)現(xiàn)

孫 強(qiáng)

(太原廣播電視臺(tái)，山西 太原 030024)

媒資系統(tǒng)用于存儲(chǔ)臺(tái)內(nèi)節(jié)目素材，與云制作系統(tǒng)共同完成節(jié)目制作生產(chǎn)。云媒資系統(tǒng)與云制作系統(tǒng)統(tǒng)一技術(shù)架構(gòu)標(biāo)準(zhǔn)，媒資系統(tǒng)采用與云制作系統(tǒng)可互聯(lián)互通的私有云技術(shù)架構(gòu)替代解決，依靠云媒資系統(tǒng)來實(shí)現(xiàn)兩個(gè)系統(tǒng)之間的數(shù)據(jù)交互、流轉(zhuǎn)。

1 存儲(chǔ)方案設(shè)計(jì)原則

1) 高可靠性：對(duì)于存儲(chǔ)的高可靠性應(yīng)該從幾個(gè)方面來進(jìn)行考慮。首先，對(duì)于磁盤存儲(chǔ)進(jìn)行較高級(jí)別的RAID冗余。其次，磁盤陣列系統(tǒng)本身的設(shè)計(jì)中不能存在部件的單點(diǎn)故障。還有，磁盤陣列與應(yīng)用系統(tǒng)之間的連接上也不能存在單點(diǎn)故障。

2) 高性能：方案設(shè)計(jì)的集中存儲(chǔ)不能以犧牲性能為代價(jià)，這需要對(duì)數(shù)據(jù)傳輸?shù)母鱾€(gè)過程具體分析性能瓶頸。

3) 可擴(kuò)展性：方案的可擴(kuò)展性的要求表現(xiàn)在以下幾方面：

◆容量的可擴(kuò)展性：存儲(chǔ)系統(tǒng)可以在現(xiàn)有容量的基礎(chǔ)上，為未來的應(yīng)用提供足夠的擴(kuò)展空間。

◆接口的可擴(kuò)展性：隨著用戶業(yè)務(wù)的增長(zhǎng)，有更多的服務(wù)器可以很方便地使用存儲(chǔ)系統(tǒng)，以實(shí)現(xiàn)數(shù)據(jù)的集中存儲(chǔ)和備份。

◆新技術(shù)的可擴(kuò)展性：方案采用的硬件設(shè)備和軟件產(chǎn)品都是業(yè)界相關(guān)領(lǐng)域的開放型主流產(chǎn)品，采取開放性模塊化設(shè)計(jì)，當(dāng)新的存儲(chǔ)技術(shù)出現(xiàn)后，可以通過升級(jí)相應(yīng)的模塊實(shí)現(xiàn)向新技術(shù)的擴(kuò)展。

4) 兼容性：方案提供的磁盤陣列系統(tǒng)可以同時(shí)支持Windows、Linux、Unix等操作系統(tǒng)。

5) 高性價(jià)比：首先要從系統(tǒng)的實(shí)用性角度出發(fā)，滿足不同的業(yè)務(wù)系統(tǒng)的實(shí)際需要和前瞻性的同時(shí)，選擇最高性價(jià)比的設(shè)計(jì)方案。

2 存儲(chǔ)設(shè)計(jì)

系統(tǒng)建設(shè)完成后，所有節(jié)目生產(chǎn)都在此系統(tǒng)進(jìn)行，生產(chǎn)業(yè)務(wù)對(duì)存儲(chǔ)的需求主要為匯聚媒體的寫入、編輯工具的讀寫訪問、媒體處理轉(zhuǎn)換、媒體數(shù)據(jù)索引的讀寫等。網(wǎng)絡(luò)化建設(shè)后，非編的上下載、編輯、審片、送播等關(guān)鍵業(yè)務(wù)都依賴存儲(chǔ)系統(tǒng)的穩(wěn)定性，因此，采用分布式集群存儲(chǔ)架構(gòu)，為系統(tǒng)提供多種數(shù)據(jù)安全策略，保證了系統(tǒng)核心數(shù)據(jù)的安全和系統(tǒng)高穩(wěn)定性，同時(shí)滿足靈活的編輯、擴(kuò)展需求。

2.1 存儲(chǔ)總體設(shè)計(jì)

本次存儲(chǔ)架構(gòu)設(shè)計(jì)采用目前業(yè)內(nèi)成熟先進(jìn)的非編制作系統(tǒng)素材安全解決方案——單存儲(chǔ)架構(gòu)。單存儲(chǔ)采用IP分布式集群存儲(chǔ)，可進(jìn)行節(jié)點(diǎn)式擴(kuò)展，為后期系統(tǒng)擴(kuò)容提供線性增長(zhǎng)的帶寬及存儲(chǔ)容量。在線存儲(chǔ)支持對(duì)匯聚、生產(chǎn)、發(fā)布全流程的媒體訪問支持，針對(duì)不同業(yè)務(wù)應(yīng)用提供合適的存儲(chǔ)容量和帶寬訪問。存儲(chǔ)資源對(duì)可以為生產(chǎn)業(yè)務(wù)提供必要的容量和帶寬支撐，并根據(jù)安全性需求提供必要的備份和切換手段

本次分布式存儲(chǔ)采用現(xiàn)最先進(jìn)IP集群存儲(chǔ)，配置5個(gè)全對(duì)稱節(jié)點(diǎn)，可實(shí)現(xiàn)高安全性以及帶寬、容量的平滑擴(kuò)展。分布式存儲(chǔ)架構(gòu)采用Scale-out存儲(chǔ)架構(gòu)，將海量數(shù)據(jù)壓力分散到多個(gè)并發(fā)存儲(chǔ)節(jié)點(diǎn)，數(shù)據(jù)和元數(shù)據(jù)均勻分布于各個(gè)節(jié)點(diǎn)上，避免資源爭(zhēng)用，系統(tǒng)性能(吞吐量)按照比例擴(kuò)展，并且各個(gè)存儲(chǔ)節(jié)點(diǎn)之間負(fù)載均衡，有效避免單節(jié)點(diǎn)性能瓶頸。這種架構(gòu)，不僅保持了對(duì)象存儲(chǔ)系統(tǒng)高可靠、高性能的優(yōu)點(diǎn)，而且使得分布式存儲(chǔ)架構(gòu)系統(tǒng)具有更好的擴(kuò)展性。分布式存儲(chǔ)架構(gòu)通過Scale-out架構(gòu)，輕松實(shí)現(xiàn)容量擴(kuò)展，可實(shí)現(xiàn)從3節(jié)點(diǎn)到288節(jié)點(diǎn)的輕松擴(kuò)容。

圖1 分布式存儲(chǔ)系統(tǒng)圖

分布式存儲(chǔ)架構(gòu)能夠根據(jù)業(yè)務(wù)增長(zhǎng)進(jìn)行平滑擴(kuò)容，系統(tǒng)每增加一個(gè)存儲(chǔ)節(jié)點(diǎn)，都能夠自動(dòng)識(shí)別，并將該存儲(chǔ)空間加入到整系統(tǒng)中，并根據(jù)負(fù)載均衡的原則，優(yōu)先選擇新的節(jié)點(diǎn)存儲(chǔ)，從而簡(jiǎn)化了系統(tǒng)擴(kuò)容的管理，降低了操作成本。擴(kuò)容時(shí)容量和性能支持線性擴(kuò)展，最大可提供40PB規(guī)模的單一文件系統(tǒng)，真正實(shí)現(xiàn)“應(yīng)需而變”，為業(yè)務(wù)的長(zhǎng)期高性價(jià)比提供保障。

分布式存儲(chǔ)系統(tǒng)分為三層：分布式節(jié)點(diǎn)層，大數(shù)據(jù)處理層及應(yīng)用層。

◆分布式節(jié)點(diǎn)層：物理設(shè)備層，由集群存儲(chǔ)中的所有分布式節(jié)點(diǎn)組成，所有節(jié)點(diǎn)全部采用對(duì)稱式連接。

◆大數(shù)據(jù)處理層：文件系統(tǒng)層，實(shí)現(xiàn)對(duì)所有節(jié)點(diǎn)的元數(shù)據(jù)管理，物理數(shù)據(jù)管理，物理數(shù)據(jù)讀取，寫入，全部由分布式文件系統(tǒng)進(jìn)行管理；分布式文件系統(tǒng)通過對(duì)外輸出NFS或者CIFS文件系統(tǒng)，為各終端提供數(shù)據(jù)訪問。

◆應(yīng)用層：各個(gè)終端應(yīng)用通過存儲(chǔ)提供的NFS或CIFS文件系統(tǒng)對(duì)存儲(chǔ)進(jìn)行數(shù)據(jù)訪問。

2.2 分布式存儲(chǔ)邏輯架構(gòu)

本次系統(tǒng)建設(shè)采用的OceanStor 9000云存儲(chǔ)平臺(tái)架構(gòu)可分為硬件平臺(tái)和存儲(chǔ)軟件。

◆硬件平臺(tái)：包括網(wǎng)絡(luò)和物理節(jié)點(diǎn)及節(jié)點(diǎn)內(nèi)的硬盤、網(wǎng)卡、NVDIMM、內(nèi)存等；

◆軟件系統(tǒng)：主要是DFS分布式文件系統(tǒng)和多種增值特性、提供對(duì)外共享的NAS共享服務(wù)、性能負(fù)載均衡、多種策略管理、提供對(duì)整個(gè)系統(tǒng)統(tǒng)一管理的管理系統(tǒng)。

系統(tǒng)邏輯架構(gòu)如圖2所示。

圖2 系統(tǒng)邏輯架構(gòu)

OceanStor 9000存儲(chǔ)系統(tǒng)中的核心部件是分布式文件系統(tǒng)OceanStor DFS，DFS將系統(tǒng)中所有節(jié)點(diǎn)的硬盤整合成一個(gè)統(tǒng)一的資源池，對(duì)外提供統(tǒng)一命名空間。同時(shí)對(duì)用戶數(shù)據(jù)提供跨節(jié)點(diǎn)、跨機(jī)架、不同級(jí)別的數(shù)據(jù)冗余保護(hù)，可以兼顧高硬盤利用率和高可用的需求，避免了傳統(tǒng)存儲(chǔ)的煙囪式弊端。

OceanStor DFS支持節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)展，節(jié)點(diǎn)數(shù)目從3～288隨需而定，單一文件系統(tǒng)可擴(kuò)容至50PB，而且節(jié)點(diǎn)擴(kuò)展中業(yè)務(wù)不中斷。隨著節(jié)點(diǎn)數(shù)的增加，存儲(chǔ)容量和計(jì)算能力線性增加，最終給用戶提供呈線性遞增的帶寬、并發(fā)數(shù)。OceanStor DFS提供了全局一致的緩存，緩存容量隨著節(jié)點(diǎn)增加而線性增長(zhǎng)，隨著節(jié)點(diǎn)數(shù)目的增加，越來越多的熱點(diǎn)數(shù)據(jù)可以被緩存命中，大大減少硬盤隨機(jī)I/O，提高整系統(tǒng)性能。

OceanStor DFS使用了NVDIMM和RDMA等技術(shù)。NVDIMM使得數(shù)據(jù)即使在緩存中也可以得到持久化保護(hù)，而RDMA則有效減少了網(wǎng)絡(luò)傳輸過程中內(nèi)存拷貝次數(shù)。這樣在不降低可靠性的前提下，進(jìn)一步提升整系統(tǒng)響應(yīng)速度。

OceanStor DFS對(duì)外提供CIFS、NFS接入功能，并提供對(duì)CIFS、NFS的統(tǒng)一域名訪問機(jī)制，讓用戶業(yè)務(wù)輕松接入存儲(chǔ)系統(tǒng)。同時(shí)支持集群節(jié)點(diǎn)間負(fù)載均衡及管理功能。在這些功能特性基礎(chǔ)上，由于全對(duì)稱的架構(gòu)設(shè)計(jì)使得OceanStor 9000每個(gè)節(jié)點(diǎn)都可以對(duì)外提供全局的NAS業(yè)務(wù)訪問，且任何單節(jié)點(diǎn)故障時(shí)可自動(dòng)切換。

在權(quán)限管理方面，OceanStor DFS支持AD、LDAP、NIS多種權(quán)限管理方式，可直接與域控服務(wù)器對(duì)接，對(duì)域用戶訪問權(quán)限進(jìn)行控制。

方案組網(wǎng)示意圖如圖3。

華為OceanStor 9000存儲(chǔ)節(jié)點(diǎn)后端通過10GE交換機(jī)互聯(lián)，完成系統(tǒng)內(nèi)部的數(shù)據(jù)交互。

組網(wǎng)說明：

OceanStor 9000使用10GE組網(wǎng)時(shí)，前端網(wǎng)絡(luò)對(duì)接用戶10GE以太網(wǎng)交換機(jī)，后端網(wǎng)絡(luò)使用內(nèi)部10GE交換機(jī)。前后端交換機(jī)冗余配置。GE交換機(jī)通過網(wǎng)線連接各節(jié)點(diǎn)的IPMI網(wǎng)口，僅用于設(shè)備管理。

2.3 存儲(chǔ)容量規(guī)劃

本次項(xiàng)目采購(gòu)5個(gè)存儲(chǔ)節(jié)點(diǎn)，總物理容量為700TB。存儲(chǔ)節(jié)點(diǎn)之間采用N+1的數(shù)據(jù)保護(hù)設(shè)置，扣除節(jié)點(diǎn)間冗余，實(shí)際有效容量為460TB，在這種模式下，任何一臺(tái)存儲(chǔ)節(jié)點(diǎn)的故障都不會(huì)影響業(yè)務(wù)的停頓，也不會(huì)導(dǎo)致數(shù)據(jù)的丟失。后期可進(jìn)行節(jié)點(diǎn)式擴(kuò)展，節(jié)點(diǎn)擴(kuò)容將提供線性增長(zhǎng)的帶寬及存儲(chǔ)容量。

每節(jié)點(diǎn)提供700MB帶寬，總計(jì)提供帶寬3500MB。

2.4 存儲(chǔ)帶寬規(guī)劃

表1 系統(tǒng)碼率帶寬需求表

根據(jù)項(xiàng)目的規(guī)模、設(shè)備數(shù)量，得出在線存儲(chǔ)所需帶寬計(jì)算公式如下：

帶寬需求(MB/s)=工作站/服務(wù)器數(shù)量(臺(tái))×單臺(tái)該類型工作站單層視音頻所占用的帶寬(Mbps)×該類型工作站使用時(shí)所需要的平均視音頻層數(shù)。

通過以上分析，按照系統(tǒng)最大化存儲(chǔ)訪問計(jì)算，我們可以看出，按照系統(tǒng)大部分模塊滿配置、高負(fù)荷并行運(yùn)行計(jì)算，系統(tǒng)帶寬需求為1 825 MB。本方案設(shè)計(jì)采用5個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)可提供700 MB讀寫帶寬，共可提供3 500 MB的穩(wěn)定讀寫帶寬，完全滿足本項(xiàng)目所需帶寬要求，并且留有充分余量。綜上所述，該系統(tǒng)設(shè)計(jì)的帶寬完全滿足臺(tái)內(nèi)業(yè)務(wù)需求。

2.5 近線存儲(chǔ)文件存儲(chǔ)系統(tǒng)

本方案采用索尼公司ODA專業(yè)藍(lán)光光盤庫作為近線存儲(chǔ)。

采用最新一代專業(yè)驅(qū)動(dòng)器，單驅(qū)動(dòng)器讀性能：250 MB/s；單驅(qū)動(dòng)器寫性能：125 MB/s。

本次配備的單盒介質(zhì)ODC3300R具備3.3TB/單盒容量42U單機(jī)柜能夠疊加擴(kuò)展單元，按照1個(gè)基本柜+5個(gè)101槽位擴(kuò)展單元，最多可達(dá)535個(gè)光盤槽位，可實(shí)現(xiàn)1.7PB的大容量保存。

驅(qū)動(dòng)器指標(biāo)：本次項(xiàng)目配置，在單套42U單機(jī)柜光盤庫支持2個(gè)驅(qū)動(dòng)器，實(shí)現(xiàn)互為備份。具備后期擴(kuò)充能力，最多可擴(kuò)充至18個(gè)驅(qū)動(dòng)器并可同時(shí)對(duì)18個(gè)光盤盒進(jìn)行并發(fā)讀寫，且每個(gè)驅(qū)動(dòng)器均可以使用庫體內(nèi)任意位置藍(lán)光光盤盒。

支持驅(qū)動(dòng)器冗余，單驅(qū)動(dòng)器故障情況下，其余驅(qū)動(dòng)器均可支撐所有業(yè)務(wù)。機(jī)械手可將光盤放到任意驅(qū)動(dòng)器內(nèi)。

支持單驅(qū)動(dòng)器應(yīng)急模式，在額外配置USB驅(qū)動(dòng)器情況下，盤庫系統(tǒng)級(jí)故障時(shí)可以將藍(lán)光光盤盒直接放入外置USB單驅(qū)動(dòng)器進(jìn)行應(yīng)急讀取，且讀出速度依舊可達(dá)到250MB/s，保障業(yè)務(wù)不停止。

對(duì)寫入文件格式?jīng)]有限制，支持MXF、Matrox_Avi、Riff-Avi、ODML_AVI、WAV、MP3、MP4、H.264等主流視頻格式。

光盤盒具備防潮、防塵、耐高溫特性，可滿足讀取100萬次以上，室溫下保存周期可保存50年。

數(shù)據(jù)采用連續(xù)記錄方式，光盤盒內(nèi)單片或多片(包括3片以上)光盤損壞，其余盤片內(nèi)容依舊安全，可以正常讀取。

光盤支持循環(huán)冗余校驗(yàn)，可以將誤碼率降低到10-24。

光盤庫支持多個(gè)邏輯光盤庫的劃分，可對(duì)驅(qū)動(dòng)器和光盤設(shè)置邏輯地址。最多支持11個(gè)邏輯光盤庫的劃分。

加載光盤效率在50 s內(nèi)，包含機(jī)械臂抓取光盤盒效率和光盤加載到驅(qū)動(dòng)器的總時(shí)間。

3 結(jié)論

媒資系統(tǒng)要求存儲(chǔ)要高可靠、大容量、高帶寬、低成本，而分布式存儲(chǔ)的冗余校驗(yàn)可提高數(shù)據(jù)存儲(chǔ)的安全性；私有云對(duì)存儲(chǔ)的管理使存儲(chǔ)的容量具有良好的可擴(kuò)展性；堆疊式交換使存儲(chǔ)的吞吐帶寬大為提升；由磁盤在線存儲(chǔ)和藍(lán)光盤近線存儲(chǔ)構(gòu)成的兩層存儲(chǔ)構(gòu)架使高速大容量和經(jīng)濟(jì)性得以兼顧。私有云在媒資系統(tǒng)的開創(chuàng)性應(yīng)用，為節(jié)目生產(chǎn)和媒體融合發(fā)展注入了新的動(dòng)力。