基于云存儲的數(shù)據(jù)全臺網(wǎng)方案考慮

楊 勇

(浙江廣播電視集團，浙江 杭州 310005)

基于云存儲的數(shù)據(jù)全臺網(wǎng)方案考慮

楊 勇

(浙江廣播電視集團，浙江 杭州 310005)

從電視臺全臺網(wǎng)建設(shè)所面臨的實際困難和現(xiàn)狀出發(fā)，結(jié)合媒體融合發(fā)展環(huán)境下臺內(nèi)業(yè)務(wù)轉(zhuǎn)型所帶來的需求變化，提出了數(shù)據(jù)全臺網(wǎng)的概念，并在浙江廣電集團的項目建設(shè)中，利用云存儲構(gòu)建數(shù)據(jù)全臺網(wǎng)的基礎(chǔ)服務(wù)平臺，通過智能引擎驅(qū)動的業(yè)務(wù)流轉(zhuǎn)，實現(xiàn)在線匯聚收存分發(fā)海量媒體資源。

全臺網(wǎng)；分布式；云存儲；數(shù)據(jù)全臺網(wǎng)

自廣電總局下發(fā)了《電視臺數(shù)字化網(wǎng)絡(luò)化建設(shè)白皮書》指導(dǎo)意見以來，全臺網(wǎng)的建設(shè)就不斷在發(fā)展，很多兄弟單位電視臺都進行了有益的嘗試和探索。尤其是廣電行業(yè)各大系統(tǒng)集成商都從自身的經(jīng)驗和應(yīng)用系統(tǒng)出發(fā)，根據(jù)臺內(nèi)的需求變化和發(fā)展，提出了各種打通業(yè)務(wù)單元的理念和方法，不斷優(yōu)化電視臺的業(yè)務(wù)流程，提升運營效率，迎接新媒體時代的挑戰(zhàn)。

但在實際的建設(shè)過程中可以看到，全臺網(wǎng)業(yè)務(wù)開展非常困難，因為不同的應(yīng)用系統(tǒng)往往是由不同的廠家提供的，各自對于業(yè)務(wù)流程的理解不同，數(shù)據(jù)格式也不同，導(dǎo)致筆者需要將各個廠家的研發(fā)人員聚集在一起共同商討，才能定義出一套相對可行的接口方式，實現(xiàn)業(yè)務(wù)數(shù)據(jù)在各個業(yè)務(wù)系統(tǒng)之間的協(xié)作流轉(zhuǎn)。每個業(yè)務(wù)系統(tǒng)都建立了自己的數(shù)據(jù)存儲，數(shù)據(jù)的流轉(zhuǎn)基本采用拷貝的遷移方式[1]。

這種模式建立的全臺網(wǎng)基本是為了解決已有制作、播出網(wǎng)絡(luò)之間的互聯(lián)互通，在運行中很難解決全媒體高效融合生產(chǎn)發(fā)布所面臨的困難，考慮到這樣的現(xiàn)狀，筆者提出基于云存儲技術(shù)的全臺網(wǎng)解決方案。將全臺網(wǎng)分為兩部分建設(shè)，第一部分是數(shù)據(jù)全臺網(wǎng)，第二部分是能力系統(tǒng)(業(yè)務(wù)系統(tǒng))中的數(shù)據(jù)流轉(zhuǎn)。數(shù)據(jù)全臺網(wǎng)是一個核心基礎(chǔ)，如果沒有數(shù)據(jù)全臺網(wǎng)，數(shù)據(jù)不進行集中的管理，就沒有辦法將各個能力系統(tǒng)由數(shù)據(jù)來驅(qū)動工作，只有建立了數(shù)據(jù)全臺網(wǎng)，才能未來在這之上建立全新的自動流程系統(tǒng)，來將各個能力系統(tǒng)打通。

數(shù)據(jù)全臺網(wǎng)從建設(shè)上來說，就是在各個業(yè)務(wù)平臺之上建立一個集中的存儲資源平臺，采用服務(wù)型的理念來為各個業(yè)務(wù)系統(tǒng)提供支撐，在此存儲平臺上，包含了所有的全臺網(wǎng)數(shù)據(jù)。

1 現(xiàn)狀和挑戰(zhàn)

之前臺內(nèi)的數(shù)據(jù)存儲模式，主要采用分散建設(shè)的方式，每個業(yè)務(wù)網(wǎng)均根據(jù)自身的需要配備有存儲設(shè)備，為各個業(yè)務(wù)網(wǎng)的數(shù)據(jù)存儲和訪問提供能力。但這樣一來，出現(xiàn)了不少問題：

1)各個業(yè)務(wù)系統(tǒng)較為分散，之間沒有很好的交互能力，嚴(yán)重制約了素材的實時交互；

2)系統(tǒng)獨立也導(dǎo)致整個流程變緩，從上載、制作、播出到媒資整個過程非常漫長，業(yè)務(wù)帶寬被大量的業(yè)務(wù)流程傳輸占用；

3)人工參與工作量大，成本高；

4)資源無法集中管理，存儲和帶寬資源分配不均衡，不能根據(jù)業(yè)務(wù)系統(tǒng)的需要進行動態(tài)彈性調(diào)整。

以電視劇縮編網(wǎng)的建設(shè)為一個契機，將所有數(shù)據(jù)集中起來，按照數(shù)據(jù)全臺網(wǎng)的思路建設(shè)一個統(tǒng)一的集中云存儲平臺，將所有的業(yè)務(wù)數(shù)據(jù)集中存儲和管理，存儲(帶寬、容量)作為一種資源分配給各個業(yè)務(wù)系統(tǒng)，可根據(jù)需要進行隨時的調(diào)整，并且將數(shù)據(jù)統(tǒng)一后，可以設(shè)定更高級別的安全手段保障數(shù)據(jù)的安全性。

不過一旦實現(xiàn)數(shù)據(jù)全臺網(wǎng)，會面臨不小的挑戰(zhàn)，這方面的挑戰(zhàn)包括：

1)多個業(yè)務(wù)系統(tǒng)的并發(fā)使用，對于數(shù)據(jù)訪問的帶寬要求非常高；

2)數(shù)據(jù)安全性需要上升到一個更高的級別，不僅僅是做到硬盤的容錯，還必須做到設(shè)備故障的容錯能力；

3)存儲容量會隨著不斷納入新的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)而急劇增加，這種擴容需要在不影響業(yè)務(wù)的前提下進行。

2 云存儲的實際應(yīng)用

在項目建設(shè)中，采用新的解決方案來改變現(xiàn)有的狀態(tài)，在內(nèi)部建立數(shù)據(jù)全臺網(wǎng)，該網(wǎng)絡(luò)基于分布式集群存儲架構(gòu)建設(shè)，集成采集、非編和媒資業(yè)務(wù)，并有效地和播出、發(fā)布網(wǎng)絡(luò)互通，通過該網(wǎng)絡(luò)的集中存儲保證素材資源的集中管理和共享互通。

整個方案設(shè)計包括集中存儲、網(wǎng)絡(luò)建設(shè)和應(yīng)用系統(tǒng)，整個縮編系統(tǒng)的建設(shè)目標(biāo)具體體現(xiàn)在以下9個方面：

1)打造緊湊的工作流程，實現(xiàn)素材上載、素材高標(biāo)清編輯、素材媒資管理在同一個平臺實現(xiàn)，并且和離線歸檔系統(tǒng)、硬盤播出系統(tǒng)互通；

2)該系統(tǒng)既是非編系統(tǒng)，也是媒資系統(tǒng)，素材進入存儲系統(tǒng)，隨即可以針對素材進行編輯、媒資管理；

3)系統(tǒng)平臺同時作為備播系統(tǒng)，可以在播出系統(tǒng)出現(xiàn)故障后，直接將節(jié)目從該平臺播出；

4)平臺支持多個頻道的節(jié)目，每個頻道50 Mbit/s的數(shù)據(jù)量，70 Mbit/s的最大并發(fā)傳輸量到播出系統(tǒng)；

5)擬定的平臺存儲采用支持橫向擴展的集群存儲；

6)整個平臺的實際帶寬能力要超過2 Gbit/s，保證各個業(yè)務(wù)系統(tǒng)的有效運行；

7)平臺支持帶庫的近線歸檔；

8)平臺的安全性、實時性要求非常高；

9)跨平臺(Linux，Windows，Mac)、多應(yīng)用支持的解決方案。

廣電視頻存儲領(lǐng)域歷經(jīng)幾十年的發(fā)展，從最初的內(nèi)置硬盤存儲，到DAS磁盤陣列， 再到FC SAN結(jié)構(gòu)的存儲網(wǎng)絡(luò)、基于SAN架構(gòu)的集群存儲[2-3]。廣電領(lǐng)域?qū)τ诖鎯Φ氖褂酶P(guān)注高速的歸檔遷移帶寬和穩(wěn)定的視頻流讀寫能力，而高并發(fā)的I/O密集型應(yīng)用不是很多。特別是隨著高清時代的到來，視音頻文件的體量越來越大，1小時百兆碼率節(jié)目的文件大小在45 Gbyte左右。同時廣電視頻行業(yè)對于網(wǎng)絡(luò)設(shè)計方面的要求也發(fā)生了很多的變化，而目前主流應(yīng)用的SAN存儲架構(gòu)在實現(xiàn)系統(tǒng)互聯(lián)時，不光要打通FC網(wǎng)絡(luò)鏈路，各自SAN網(wǎng)間文件系統(tǒng)的互相訪問和文件共享也是棘手的問題，特別是異構(gòu)文件系統(tǒng)間的互訪，只能通過架設(shè)數(shù)據(jù)訪問網(wǎng)關(guān)(FTP網(wǎng)關(guān)或CIFS網(wǎng)關(guān))， 增加了系統(tǒng)的復(fù)雜性和維護成本，可靠性安全性也無法保障。原有的存儲方案越來越無法滿足需求，一個個的制作孤島、媒資孤島讓資源的共享和管理帶來很大困難， 實現(xiàn)不同業(yè)務(wù)子網(wǎng)的互聯(lián)互通，實現(xiàn)高效的自動化工作流迫在眉睫。

根據(jù)對目前廣電主流的存儲技術(shù)的分析，筆者認為隨著以太網(wǎng)技術(shù)的發(fā)展，IP集群存儲一定會成為日后廣電建設(shè)數(shù)據(jù)全臺網(wǎng)的重要方式。所以，數(shù)據(jù)全臺網(wǎng)考慮采用云存儲的方式來建設(shè)存儲平臺，拓樸結(jié)構(gòu)如圖1所示。

圖1 數(shù)據(jù)全臺網(wǎng)拓樸圖

云存儲的優(yōu)勢和特點包括：

單一架構(gòu)優(yōu)勢。整個云存儲平臺架構(gòu)在以太網(wǎng)架構(gòu)之上，充分利用現(xiàn)有的網(wǎng)絡(luò)(多千兆接入或萬兆接入)，無須像之前的FC存儲那樣采用雙網(wǎng)架構(gòu)，這樣對于本臺的統(tǒng)一規(guī)劃建設(shè)有很大的優(yōu)勢。

穩(wěn)定視頻讀寫性能優(yōu)勢。存儲節(jié)點采用的專業(yè)網(wǎng)絡(luò)存儲可保證非常高的穩(wěn)定視頻讀寫性能(讀430 Mbit/s，寫450 Mbit/s，該穩(wěn)定讀寫指視頻讀寫不會掉幀)極限帶寬更可達700 Mbit/s以上。考慮到整個架構(gòu)完全是線性擴展，增加存儲節(jié)點即可增加性能，在10個節(jié)點的情況下可以實現(xiàn)視頻穩(wěn)定讀4 Gbit/s以上。

不停機容量擴充。云存儲系統(tǒng)正如其存儲服務(wù)平臺理念一般，可以提供在線不停業(yè)務(wù)的擴容，僅需增加存儲節(jié)點就可以在增加訪問性能的同時增加存儲容量，最大可支持高達64 Pbyte以上的存儲容量。這種存儲容量的擴展對于前端的業(yè)務(wù)完全是透明化的，對于用戶感受而言，僅僅是發(fā)現(xiàn)空間容量增加了，業(yè)務(wù)無需中斷。并且可以在業(yè)務(wù)空閑時進行指定的動態(tài)負載均衡，保證整個系統(tǒng)的性能同步提升。

多種安全級別。和大多數(shù)互聯(lián)網(wǎng)式集群存儲不同，充分考慮了在異常處理時盡量減少恢復(fù)處理來保證類視頻文件讀寫的穩(wěn)定性，所以特地可支持傳統(tǒng)RAID作為底層。除了提供磁盤自動監(jiān)測和多種RAID級別來保障存儲節(jié)點的可靠外，整個安全從底層RAID、目錄1備1、網(wǎng)絡(luò)RAID到全局副本4種方式來解決安全、性能和投入的問題。最高L5級別的數(shù)據(jù)安全模式下，數(shù)據(jù)安全得到極大的保障。即便是存儲節(jié)點損壞也不影響數(shù)據(jù)的可靠。

統(tǒng)一文件視圖。安裝客戶端的服務(wù)器可看到一致文件系統(tǒng)視圖，系統(tǒng)通過客戶端提供本地硬盤的訪問方式，直接掛載為本地硬盤，所以對任何應(yīng)用系統(tǒng)都是透明的，對應(yīng)用服務(wù)器開銷非常小。

3 智能引擎驅(qū)動的業(yè)務(wù)流轉(zhuǎn)

在實現(xiàn)了數(shù)據(jù)全臺網(wǎng)之后，可以將各個能力系統(tǒng)不斷地部署上來，這時實現(xiàn)數(shù)據(jù)在底層的自動化流轉(zhuǎn)就成了下一個階段要考慮的問題。

既然數(shù)據(jù)已經(jīng)集中，能否在集中的數(shù)據(jù)上加上一層數(shù)據(jù)管理層，智能數(shù)據(jù)管理層是存儲層基礎(chǔ)之上開發(fā)的一種新型的應(yīng)用語義文件系統(tǒng)，其自身實現(xiàn)為分布式架構(gòu)，基于分布式文件系統(tǒng)開發(fā)整合實現(xiàn)，提供核心非結(jié)構(gòu)化數(shù)據(jù)管理功能，實現(xiàn)文件對象化抽象和安全訪問，虛擬盤、全文檢索、轉(zhuǎn)碼等數(shù)據(jù)應(yīng)用可建立在此智能語義系統(tǒng)之上?？梢岳谜Z義引擎實現(xiàn)數(shù)據(jù)在各個能力系統(tǒng)之間的自動化流轉(zhuǎn)。

實現(xiàn)非結(jié)構(gòu)化的媒體數(shù)據(jù)在后臺的各種處理及調(diào)用，這種調(diào)度主要是基于內(nèi)容信息的調(diào)度，和之前通常的工作流有很大的區(qū)別，是需要基于語義分析的調(diào)度方式。

該數(shù)據(jù)智能調(diào)度引擎是在私有文件系統(tǒng)基礎(chǔ)之上利用語義識別實現(xiàn)的，整個文件系統(tǒng)內(nèi)部長響應(yīng)一個監(jiān)聽進程，能夠識別簡單的語義，并能根據(jù)語義內(nèi)容做些相關(guān)工作。

例如：

If upload file success then do work1

If now() - file.lastmodifytime> 121212 then do work2

……

work1, work2 為預(yù)先定義好的操作

數(shù)據(jù)全臺網(wǎng)的業(yè)務(wù)流轉(zhuǎn)模型如圖2所示，此調(diào)度引擎工作于媒體數(shù)據(jù)引擎后臺，為數(shù)據(jù)匯集、圖像解析、文本提取、視頻轉(zhuǎn)碼、審核等工作流程提供有力支持。

圖2 數(shù)據(jù)全臺網(wǎng)業(yè)務(wù)流轉(zhuǎn)模型圖

總之，在利用云存儲實現(xiàn)了數(shù)據(jù)全臺網(wǎng)之后，就可以進一步利用集中數(shù)據(jù)的優(yōu)勢，創(chuàng)新地利用數(shù)據(jù)的自動化流轉(zhuǎn)推進智能全臺網(wǎng)的建設(shè)。

4 實施進展

浙江廣電集團目前已通過云存儲構(gòu)建了數(shù)據(jù)全臺網(wǎng)的基礎(chǔ)服務(wù)平臺，特別是在電視劇縮編的全流程業(yè)務(wù)開展中，發(fā)揮了重要的作用。在后臺計算、存儲資源高度集中池化的同時，把終端延伸到各電視頻道編輯人員的辦公桌面，通過智能引擎驅(qū)動的業(yè)務(wù)流轉(zhuǎn)，實現(xiàn)在線匯聚收存分發(fā)海量媒體資源，上載、編輯、審片、送播、發(fā)布、歸檔入庫各業(yè)務(wù)崗位實時共享節(jié)目資源，極大地提高制播效率，以適應(yīng)全媒體融合生產(chǎn)的發(fā)展需要。

[1] 范中磊. 網(wǎng)絡(luò)存儲技術(shù)漫談之三:集群存儲[J].記錄媒體技術(shù)，2010(3)：51-54.

[2] 張振慶. 集群存儲技術(shù)的分析與研究[J].中國傳媒科技，2011(7)：108-111.

[3] 冒衛(wèi)，田小馬. 集群存儲在全臺網(wǎng)系統(tǒng)中的使用[J].視聽界，2014(5)：40-43.

責(zé)任編輯：閆雯雯

TN948

B

10.16280/j.videoe.2015.22.017

2015-04-19

【本文獻信息】楊勇.基于云存儲的數(shù)據(jù)全臺網(wǎng)方案考慮[J].電視技術(shù),2015，39(22).