媒體融合發(fā)展的新架構(gòu)
——全融合基礎(chǔ)架構(gòu) 重報(bào)集團(tuán)打造私有云平臺的實(shí)踐

文｜戚永

媒體融合發(fā)展的新架構(gòu)
——全融合基礎(chǔ)架構(gòu) 重報(bào)集團(tuán)打造私有云平臺的實(shí)踐

文｜戚永

背景介紹

加快傳統(tǒng)媒體與新媒體的融合，促進(jìn)全媒體數(shù)字化轉(zhuǎn)型升級，是重慶日報(bào)報(bào)業(yè)集團(tuán)這兩年的重要戰(zhàn)略。集團(tuán)要求構(gòu)建全媒體采編、發(fā)布、經(jīng)營、管理為一體的綜合性技術(shù)支撐平臺。同時(shí)要求這個(gè)平臺能夠承載未來大數(shù)據(jù)應(yīng)用、移動互聯(lián)網(wǎng)的發(fā)展以及社會化計(jì)算，成為報(bào)業(yè)集團(tuán)真正的私有云平臺。

為此報(bào)業(yè)集團(tuán)技術(shù)處經(jīng)過歷時(shí)半年的考察、實(shí)驗(yàn)、論證，最終決定采用全融合基礎(chǔ)架構(gòu)（內(nèi)部產(chǎn)品代號eCLOUD）。這種架構(gòu)做到了從服務(wù)器計(jì)算資源、網(wǎng)絡(luò)資源、存儲資源、安全資源全部池化、虛擬化，實(shí)現(xiàn)資源的統(tǒng)一管理與調(diào)度，這樣全媒體平臺各種應(yīng)用可以靈活遷移，數(shù)據(jù)存儲通過采用分布式存儲、統(tǒng)一調(diào)度的結(jié)構(gòu)，完全融合，徹底打通信息孤島。

傳統(tǒng)基礎(chǔ)架構(gòu)的困擾

1、 隨著業(yè)務(wù)系統(tǒng)的發(fā)展，維護(hù)越來越復(fù)雜：隨著重慶日報(bào)報(bào)業(yè)集團(tuán)業(yè)務(wù)不斷的發(fā)展，可以預(yù)見會有越來越多的應(yīng)用被采用。重慶日報(bào)報(bào)業(yè)集團(tuán)未來建設(shè)的云數(shù)據(jù)中心從業(yè)務(wù)層面看，需要對集團(tuán)內(nèi)重慶日報(bào)、晚報(bào)、商報(bào)等提供全媒體及新業(yè)務(wù)的支撐服務(wù)，服務(wù)器數(shù)量和客戶端數(shù)量將大大增加，亟待解決提高服務(wù)器的利用率并提高服務(wù)質(zhì)量，并減少維護(hù)工作量、降低維護(hù)成本。同時(shí)，更要關(guān)注到硬件故障及系統(tǒng)故障后，業(yè)務(wù)是否具備高可用性并持續(xù)提供服務(wù)，以及在計(jì)劃時(shí)間內(nèi)的停機(jī)維護(hù)時(shí)的業(yè)務(wù)是否正常運(yùn)轉(zhuǎn)。

2、 信息孤島現(xiàn)象非常嚴(yán)重：

重報(bào)集團(tuán)有多個(gè)應(yīng)用，包括全媒體生產(chǎn)、全媒體運(yùn)營、內(nèi)網(wǎng)門戶、對外網(wǎng)站、財(cái)務(wù)系統(tǒng)等，這些系統(tǒng)硬件相對獨(dú)立，數(shù)據(jù)資源分別存儲，之間的打通只是靠軟件的接口，對于將來大規(guī)模數(shù)據(jù)運(yùn)營，特別是各個(gè)系統(tǒng)的數(shù)據(jù)之間頻繁交互會形成性能瓶頸，從而導(dǎo)致信息孤島的現(xiàn)象。

3、 IOPS（IO每秒）性能差：融合媒體帶來的新應(yīng)用類似搜索、輿情、大數(shù)據(jù)等，與數(shù)據(jù)交互的頻率非常高，并要求交互的時(shí)延非常小，這要求在整個(gè)架構(gòu)中不僅要保證吞吐量、更要降低時(shí)延。在傳統(tǒng)構(gòu)架里集中存儲的性能一直是個(gè)很大的瓶頸，這也是類似互聯(lián)網(wǎng)大佬們紛紛采取融合架構(gòu)的原因之一。全融合的存儲與計(jì)算架構(gòu)就是解決這些性能問題的最佳方案

4、 非結(jié)構(gòu)化的文件急劇膨脹：報(bào)業(yè)集團(tuán)隨著融合媒體的發(fā)展，視頻和圖片量激增，對存儲的要求也加大，但存儲的規(guī)劃一直是困擾技術(shù)部門的難題。規(guī)劃大了怕浪費(fèi)，規(guī)劃小了又不夠，同時(shí)傳統(tǒng)專業(yè)存儲價(jià)格居高不下，讓相應(yīng)的規(guī)劃更是捉襟見肘。在這樣的前提下分布式存儲的需求就變得越來越迫切

圖一

圖二

圖三

5、 系統(tǒng)的復(fù)雜性與安全隱患的矛盾：報(bào)業(yè)集團(tuán)用到的應(yīng)用系統(tǒng)將越來越多，但采用傳統(tǒng)構(gòu)架方式下，安全隱患理論上是隨著系統(tǒng)復(fù)雜度的增加而增加。要保證數(shù)據(jù)的容災(zāi)，應(yīng)用的高可用等在傳統(tǒng)構(gòu)架下的方案都非常昂貴，費(fèi)用問題往往導(dǎo)致最終不是每個(gè)系統(tǒng)都能夠享有高可用方案。

重報(bào)集團(tuán)融合構(gòu)架方案（eCLOUD）設(shè)計(jì)

eCLOUD將融合基礎(chǔ)設(shè)施、橫向擴(kuò)展架構(gòu)和軟件定義存儲的各種優(yōu)勢結(jié)合在一起，可提供極佳的服務(wù)器虛擬化體驗(yàn)。每一臺eCLOUD服務(wù)器均包含CPU、內(nèi)存、網(wǎng)絡(luò)、SSD閃存、以及HDD存儲功能。eCLOUD存儲控制器是一種虛擬化的分布式存儲控制器系統(tǒng)，運(yùn)行于每臺服務(wù)器上，并將本地存儲轉(zhuǎn)換成為共享存儲。eCLOUD完整集群中的所有可用存儲均作為統(tǒng)一的裸設(shè)備資源池提供支撐，并提供分布式文件系統(tǒng)的性能優(yōu)化（圖1）。

盡管沒有專門的SAN或NAS，eCLOUD仍然能夠無縫提供高可用性、DRS和容錯(cuò)等企業(yè)虛擬化功能。為了將性能最大化，eCLOUD存儲控制器將特定虛擬機(jī)的所有數(shù)據(jù)保存在同一服務(wù)器上，從而將時(shí)延最小化、網(wǎng)絡(luò)開銷最小化，并發(fā)揮SSD閃存的最大化優(yōu)勢（圖2）。

1、eCLOUD存儲容量規(guī)劃

通過分布式存儲軟件，將不同服務(wù)器節(jié)點(diǎn)的磁盤做統(tǒng)一管理。所以在用戶服務(wù)器上磁盤需要如下配置：

一套服務(wù)器配置4節(jié)點(diǎn)，每節(jié)點(diǎn)2塊400G SSD盤，4塊1T SATA盤，共8塊4 0 0 G S S D盤，1 6塊1TSATA盤，同時(shí)考慮一份冗余，實(shí)際可用容量為8TB。

通過如上配置，每個(gè)服務(wù)器配置2塊SSD 用于提供高IOPS性能，配置大容量1TB SATA硬盤用于存放非熱點(diǎn)數(shù)據(jù)。

2、重報(bào)融合架構(gòu)方案實(shí)現(xiàn)的亮點(diǎn)

1) 高性能：該系統(tǒng)高性能優(yōu)勢通過熱度優(yōu)化分層緩存實(shí)現(xiàn)。分層緩存是一種高性能的緩存，受到集群中每個(gè)節(jié)點(diǎn)的SSD的支持。虛擬機(jī)寫入數(shù)據(jù)時(shí)，數(shù)據(jù)寫入緩存盤后在后臺清空，在本地SSD上保留一個(gè)數(shù)據(jù)副本，并在不同的節(jié)點(diǎn)上保留另外一個(gè)數(shù)據(jù)副本。 采用的分布式元數(shù)據(jù)技術(shù)，元數(shù)據(jù)可在整個(gè)集群上進(jìn)行分布，實(shí)現(xiàn)可擴(kuò)展性；還可將數(shù)據(jù)復(fù)制到多個(gè)節(jié)點(diǎn)，高度可用，并能夠容忍多個(gè)模塊故障，保證重慶日報(bào)報(bào)業(yè)集團(tuán)的業(yè)務(wù)連續(xù)性。

2) 易擴(kuò)展：本次融合基礎(chǔ)架構(gòu)云數(shù)據(jù)平臺建設(shè)集群從4個(gè)節(jié)點(diǎn)起步，擴(kuò)展至8節(jié)點(diǎn)，集群以一次添加一個(gè)節(jié)點(diǎn)的方式逐步進(jìn)行擴(kuò)展。未來可隨業(yè)務(wù)的增長靈活擴(kuò)展至1000個(gè)節(jié)點(diǎn)以上。集群添加節(jié)點(diǎn)是一個(gè)完全動態(tài)的過程，無須停機(jī)即可在線完成。同時(shí)隨著節(jié)點(diǎn)數(shù)的增加，性能也將線性的提升（圖3）。

3) 成本低：省去了大量的前期投入（資金開銷），可隨增長擴(kuò)展（運(yùn)營開銷），能夠靈活選擇行業(yè)標(biāo)準(zhǔn)硬件。

4) 管理簡單自動：可以迅速創(chuàng)建出虛擬機(jī)以供新應(yīng)用使用,流程簡單、時(shí)間短,且不用再增加任何硬件投資,解決了之前為新應(yīng)用部署不能快速搭建計(jì)算環(huán)境、采購新設(shè)備流程復(fù)雜、時(shí)間長的難題。 節(jié)省管理成本。

5) 安全穩(wěn)定：借助基礎(chǔ)構(gòu)架軟件所提供的HA、容錯(cuò)等功能,可以為所有的虛擬機(jī)提供高可用性,使所有應(yīng)用得到保護(hù),提供不間斷服務(wù),通過策略配置，實(shí)現(xiàn)了數(shù)據(jù)冗余，即使集群中部分硬件故障，也不會造成宕機(jī)，最大化保證業(yè)務(wù)連續(xù)性。

6) 節(jié)能：該系統(tǒng)整合后機(jī)房中所有服務(wù)器、機(jī)房空調(diào)、UPS等所有硬件設(shè)備用電量與之前的減少百分比達(dá)到22%以上。

全融合基礎(chǔ)架構(gòu)對媒體融合的意義

1、 大數(shù)據(jù)業(yè)務(wù)：比如希望看到讀者（或未來讀者）的行為數(shù)據(jù)，希望看到網(wǎng)站（或移動終端）內(nèi)容的點(diǎn)擊分析，希望看到微博、微信的讀者偏好分析，希望看到用戶產(chǎn)生的UGC（信息、評論），準(zhǔn)備開展數(shù)據(jù)挖掘、文本挖掘、網(wǎng)絡(luò)挖掘，發(fā)現(xiàn)價(jià)值作預(yù)判，涉足電子商務(wù)的網(wǎng)站……類似以上需求，特別是“實(shí)時(shí)性”要求，融合構(gòu)架解決方案可以帶來成本與性能的最優(yōu)體驗(yàn)——徹底解決計(jì)算與存儲之間的瓶頸，

2、 桌面虛擬化平臺建設(shè)：VDI已經(jīng)成為媒體行業(yè)解決遠(yuǎn)程作業(yè)、內(nèi)外網(wǎng)隔離、數(shù)據(jù)安全的最佳解決方案，融合基礎(chǔ)架構(gòu)給VDI虛擬化環(huán)境帶來的重要差異化因素之一就是基礎(chǔ)設(shè)施在進(jìn)行擴(kuò)展時(shí)其性能也隨之增長，不會形成瓶頸問題。融合基礎(chǔ)構(gòu)架為客戶提供經(jīng)過實(shí)踐檢驗(yàn)的可靠參考架構(gòu)，一方面將創(chuàng)造價(jià)值的時(shí)間最大化，同時(shí)盡量降低風(fēng)險(xiǎn)。

3、 降低運(yùn)維管理成本：集中化管理，同時(shí)集群中所有虛擬存儲控制器不斷彼此通信。當(dāng)檢測到某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，集群便立即采取行動，自動恢復(fù)到節(jié)點(diǎn)故障發(fā)生之前的保護(hù)水平。減少管理和運(yùn)維成本，自動保障數(shù)據(jù)一致性及業(yè)務(wù)高可用性。

隨著重慶日報(bào)報(bào)業(yè)集團(tuán)全媒體業(yè)務(wù)的不斷發(fā)展，一定會有越來越多的新媒體、全媒體應(yīng)用需要部署或者調(diào)整到融合基礎(chǔ)構(gòu)架中。融合基礎(chǔ)構(gòu)架在軟件定義數(shù)據(jù)中心領(lǐng)域擁有十分廣泛的經(jīng)驗(yàn)，能夠提供極其詳細(xì)的指導(dǎo)，幫助客戶選擇適當(dāng)規(guī)模的虛擬化數(shù)據(jù)中心基礎(chǔ)設(shè)施，隨時(shí)進(jìn)行架構(gòu)改造與擴(kuò)展。

（作者單位：上海怡德依云信息技術(shù)有限公司）