基于沃云的中國聯(lián)通閱讀基地云化工程

周 巍 楊海云 楊 華

1 中國聯(lián)通研究院 北京 100032 2 中國聯(lián)通閱讀運營中心 長沙 410014

引言

伴隨著智能手機的普及,手機報、手機雜志、手機電子書等新媒體逐漸融入人們的生活中,人們的閱讀習慣也逐漸由傳統(tǒng)閱讀向移動化、數(shù)字化的手機閱讀轉變。為滿足人們對圖書、雜志、漫畫、報刊和多媒體讀物的閱讀需求,手機閱讀整合各類內容資源,通過手機、計算機、電視機、手持閱讀器等終端,以無線網(wǎng)絡、互聯(lián)網(wǎng)、彩信、短信、客戶端、電視互聯(lián)網(wǎng)等形式展現(xiàn),提供給用戶多媒體互動式閱讀服務及閱讀衍生服務。

截止到2012年底,中國手機閱讀用戶規(guī)模達到了2.91億,較2011年增長了34.1%,手機閱讀的市場規(guī)模達到了55.9億元,比2011年增長了33.7%。在市場規(guī)模方面,2010年是中國手機閱讀市場的爆發(fā)年,當年的市場規(guī)模為31.5億元,較2009年增長了70.3%。此后的兩年中市場都在穩(wěn)步增長,2011年的市場規(guī)模為42.1億元,同比增長33.7%,2012年則是55.9億元,同比增長32.8%[1]。

為適應移動閱讀市場的快速發(fā)展,更好地滿足手機閱讀用戶的閱讀需求,中國聯(lián)通在湖南設立了閱讀基地,建設全國統(tǒng)一的手機閱讀平臺。該平臺于2012年3月21日正式割接上線運營,支持全網(wǎng)CP接入,滿足用戶通過WAP網(wǎng)站、Web網(wǎng)站、客戶端等多種方式的書籍閱讀、下載和互動。

但是,隨著閱讀基地業(yè)務的不斷發(fā)展,一些問題也逐漸暴露出來。首先,物理服務器的整體負載普遍偏低,而且使用率不均衡,造成資源的浪費;同時,缺少服務器資源的管理和調控手段,無法最優(yōu)化利用現(xiàn)有資源能力。另一方面,閱讀基地目前沒有配置容災備份,其數(shù)據(jù)安全性存在隱患。上述閱讀基地平臺的技術需求,急需通過中國聯(lián)通沃云平臺相關技術來解決。

1 閱讀基地現(xiàn)狀

1.1 業(yè)務發(fā)展

經(jīng)過一年來的平臺建設及合作發(fā)展,閱讀基地不僅形成以電子圖書閱讀為主,兼顧雜志、聽書等相關業(yè)務形式,更自主開發(fā)了E家業(yè)務、輕閱讀、品牌專區(qū)等創(chuàng)新業(yè)務模式。手機閱讀業(yè)務是無線業(yè)務和閱讀業(yè)務的完美聯(lián)姻,她依托巨大的市場前景,已經(jīng)成為中國聯(lián)通發(fā)展最快的增值業(yè)務之一。

截至2012年底,閱讀基地累計注冊用戶達6 133萬戶,同比增長21.9%。目前閱讀基地累計注冊用戶情況詳見圖1所示。

閱讀基地2012年度累計訪問量29億次,同比增長23.5%。目前閱讀基地累計訪問量情況詳見圖2所示。

圖1 閱讀基地累計注冊用戶數(shù)量圖

圖2 閱讀基地累計訪問量統(tǒng)計圖

隨著閱讀用戶的不斷增長,閱讀業(yè)務正進入高速發(fā)展階段。閱讀業(yè)務不僅為閱讀基地帶來可觀的經(jīng)濟效益和良好的社會效益,也大大提升了閱讀基地在移動互聯(lián)網(wǎng)市場的競爭力。預計到2014年底,閱讀平臺的月均訪問用戶數(shù)(活躍用戶數(shù))將達930萬。

從2013年下半年開始,正陸續(xù)引入有實力的第三方互聯(lián)網(wǎng)公司合作運營,通過流量包月、特色專區(qū)、協(xié)作運營等合作模式,正不斷引入大量的新增訪問用戶。合作方主要包括:1)平臺合作方面有網(wǎng)易云閱讀、手機騰訊網(wǎng)、百度閱讀、貝瓦網(wǎng)、湖南衛(wèi)視、蜻蜓電臺。2)內容合作方面有盛大文學、天聞傳媒、龍源期刊、央廣之聲。

1.2 平臺架構介紹

閱讀基地于2011年開始建設數(shù)字閱讀平臺,目前已經(jīng)完成一期工程的建設。一期工程完成后,沃閱讀平臺可支持月均訪問用戶數(shù)為640萬。

手機閱讀平臺為總部一級架構,可以為全國手機閱讀用戶提供閱讀服務,真正實現(xiàn)了“一點建設,服務全國”。用戶可以通過手機WAP、手機客戶端、Web頁面等方式進行內容的閱讀、訂購、搜索及下載;內容運營商可以對閱讀內容進行轉換、上載、定價、發(fā)布及更新;運營人員可以對平臺用戶和平臺內容進行管理及營銷,對內容運營商進行管理,對平臺數(shù)據(jù)進行分析。平臺的系統(tǒng)架構如圖3所示。

圖3 閱讀平臺系統(tǒng)架構圖

閱讀平臺分為門戶展現(xiàn)層,業(yè)務應用管理層和能力支撐層。

門戶展現(xiàn)層包含用戶門戶、管理門戶和行業(yè)閱讀產品。用戶門戶包含WAP門戶(觸屏版門戶),Web門戶,客戶端門戶(PAD客戶端),各用戶門戶作為在線訪問入口,實現(xiàn)用戶的WAP、客戶端等界面入口的統(tǒng)一閱讀支持。管理門戶在邏輯上區(qū)分閱讀基地各級別管理員職能,提供運營管理、內容管理、運維管理、客服管理、營銷管理子系統(tǒng),形成清晰的管理結構,各管理子系統(tǒng)間實現(xiàn)單點登錄。行業(yè)閱讀產品以滿足企業(yè)、政府、校園等不同行業(yè)機構的差異化閱讀需要專屬打造,以Pad客戶端門戶、Web門戶和手機客戶端門戶為入口,實現(xiàn)行業(yè)閱讀的深度閱讀特點和專業(yè)閱讀的體驗要求。

業(yè)務應用管理層是用戶登錄站點后可以進行的一系列操作和應用的集合。包括多媒體閱讀、社交網(wǎng)絡、店中店、在線閱讀、用戶下載等業(yè)務應用功能;以及門戶管理、內容管理、產品管理、終端管理、系統(tǒng)管理、作家/CP管理、渠道管理、版權管理、報表、營銷推介等業(yè)務管理功能。閱讀平臺設計的開放系統(tǒng),向各合作伙伴提供了豐富的業(yè)務能力開放、調用和融合的手段,實現(xiàn)第三方平臺、平臺和渠道的多種合作,打造平臺的平臺。數(shù)據(jù)經(jīng)營對用戶行為數(shù)據(jù)的挖掘、分析、自動決策支持,為閱讀營銷提供最直接的數(shù)據(jù)依據(jù)和可行性分析。

能力支撐層主要是提供支撐能力如多媒體格式支持、下載、DRM、搜索等。

閱讀平臺對外與SMGW、MMSC、WAPGW/WebGw、VAC等接口,完成短/彩信、計費相關功能。

閱讀平臺總體系統(tǒng)功能架構如圖4所示。

圖4 閱讀平臺總體系統(tǒng)功能架構

1.3 云化需求分析

1.3.1 虛擬化改造

閱讀基地自建設以來,業(yè)務發(fā)展迅猛,規(guī)?？焖贁U大,系統(tǒng)復雜度不斷提升,各業(yè)務的硬件資源管理、應用管理難度日益突出;另一方面,由于業(yè)務發(fā)展的不均衡性,導致各個業(yè)務模塊的資源使用不均衡,部分應用分配的資源較空閑,部分應用分配的資源較繁忙,為合理利用資源,有必要逐步采用云計算架構對閱讀平臺進行云化改造。改造目標主要包括以下三點。

1) 提高IT資源利用率,減少投資。云計算整合現(xiàn)有的IT基礎設施建設,對服務器、存儲以及網(wǎng)絡等IT設備資源整合和虛擬化管理,實現(xiàn)系統(tǒng)間的錯峰使用,提高資源利用率,降低企業(yè)的IT基礎設施的投資成本。同時,相應的對機房、電力資源的占用也會減少,符合節(jié)能減排的要求。

2) 提高系統(tǒng)可靠性,降低投資。云計算技術基于虛擬化技術,目前應用較普遍的是基于X86架構的服務器搭建虛擬化平臺。即采用價格相對低廉的X86服務器+云計算技術達到高可用性的IT基礎設施,可以節(jié)約工程投資。

3) 提高IT資源管理效率。通過云計算技術可以實現(xiàn)批量創(chuàng)建虛擬機、批量部署軟件、批量進行虛擬機遷移等管理操作,不用對物理機進行操作,這可以大大提高系統(tǒng)部署速度,從而提高企業(yè)生產效率。

1.3.2 容災備份

目前閱讀基地缺少容災備份機制,為了提高存儲資源的利用率和數(shù)據(jù)保護的安全性,將數(shù)據(jù)與沃云平臺進行對接,將備份數(shù)據(jù)以文件形式存儲到沃云平臺。通過云存儲能提供大容量的存儲空間,用于數(shù)據(jù)庫文件、統(tǒng)計庫、計費話單、用戶日志、大量圖書和多媒體等文件形式的存儲,數(shù)據(jù)存儲安全有一定保障,便于維護和管理。

2 沃云平臺

中國聯(lián)通“沃云”平臺是由中國聯(lián)通研究院自主研發(fā)的云計算平臺,整合了計算、對象存儲、數(shù)據(jù)庫、中間件等能力,現(xiàn)已承載集團及外部共30多個業(yè)務系統(tǒng)。

2.1 云平臺簡介

2.1.1 平臺架構

沃云平臺整體架構分成四個層次:物理資源層、虛擬化層、云計算管理層和業(yè)務應用層[2],云計算平臺整體架構如圖5所示。

圖5 云計算平臺整體架構圖

1) 物理資源層。物理資源層是現(xiàn)有的常規(guī)IT硬件資源,包括服務器、存儲、網(wǎng)絡設備等。

2) 虛擬化層。虛擬化層將物理硬件資源進行虛擬化,以虛擬機、虛擬存儲、虛擬網(wǎng)絡、虛擬終端等形式提供給上層。

3) 云計算管理層。云計算管理層實現(xiàn)云計算的兩個核心功能——資源管理和運營管理,具體包括配置管理、容量管理、發(fā)布管理、時間管理、服務門戶、服務目錄、自動化、監(jiān)控及計量等方面。

4) 業(yè)務應用層。業(yè)務應用層是云計算平臺所承載的應用,業(yè)務應用層向云計算平臺申請計算資源,在此技術上部署上層應用軟件,開展業(yè)務應用。

2.1.2 功能特性

沃云平臺主要功能包括以下五點[3]。

1) 計算資源統(tǒng)一管理。能夠通過單一集中的管理系統(tǒng),管理平臺中所有軟硬件資源,包括服務器、存儲設備、網(wǎng)絡設備、操作系統(tǒng)、應用軟件、IP地址、子網(wǎng)等;可以將服務器分組管理、分類型管理;存儲容量、接口、與服務器的關聯(lián);VLAN與子網(wǎng)定義等。

2) 計算資源池化管理。將所有計算資源以資源池的方式進行管理,可以定義資源池,并將服務器、存儲添加到資源池中;可以按照預定義的模板自動安裝配置新加入的服務器;可以為資源池定義統(tǒng)一的策略。

3) 虛擬化管理。能夠統(tǒng)一管理各種虛擬化軟件及平臺;可在服務器上實現(xiàn)虛擬機的創(chuàng)建、刪除、遷移、啟停及更改配置;可展現(xiàn)虛擬機與服務器的關聯(lián);支持管理存儲虛擬化,可在存儲上創(chuàng)建虛擬磁盤,維護虛擬磁盤配置;支持管理網(wǎng)絡虛擬化,可進行VLAN的維護、VRF的管理。

4) 高可用性。當硬件服務器出現(xiàn)故障后,系統(tǒng)應該自動將上面運行的虛擬機遷移至其他服務器,迅速恢復服務;當需要對某服務器進行維護時,系統(tǒng)應對服務器上的虛擬機進行實時遷移,避免業(yè)務中斷。

5) 動態(tài)調整。客戶項目在運行期可以對資源需求進行動態(tài)調整,包括調整項目周期、服務器數(shù)目,以及單個服務器的cpu、內存、存儲空間等。

2.2 云存儲技術

2.2.1 技術架構

沃云云存儲是一套分布式統(tǒng)一存儲系統(tǒng),具有優(yōu)異的性能、可靠性、可擴展性、靈活性。沃云云存儲的底層是由多臺X86服務器組成的存儲節(jié)點通過分布式算法組成的一套分布式統(tǒng)一存儲文件系統(tǒng),可以通過底層訪問接口直接訪問到分布式統(tǒng)一存儲系統(tǒng)[4](支持C、JAVA、C++、python等主流開發(fā)語言),同時Client也可以通過上層的對象存儲服務、文件存儲服務、塊存儲服務進行相應的存儲服務訪問。

整個云存儲從上至下分為服務接入層、控制管理層和數(shù)據(jù)存儲層,如圖6所示。

圖6 沃云云存儲架構

1)服務接入層:客戶端身份驗證,負責響應來自客戶端的數(shù)據(jù)訪問請求。2)控制管理層:通過分布式隨機算法維護一張資源所在數(shù)據(jù)存儲節(jié)點的映射關系表,負責將來自服務接入層的數(shù)據(jù)訪問請求轉發(fā)到相應的數(shù)據(jù)存儲節(jié)點。3)數(shù)據(jù)存儲:負載最終的數(shù)據(jù)存儲,響應數(shù)據(jù)請求。

2.2.2 系統(tǒng)功能

沃云云存儲可提供對象存儲服務、文件存儲服務和塊存儲服務[5]。

1) 對象存儲服務實現(xiàn)對象、容器及用戶相關的具體功能。①對象相關功能:包括創(chuàng)建對象、刪除對象、獲取對象、設置對象屬性、 獲取對象屬性、獲取對象權限、設置對象權限、對象公開訪問URL設置等功能。②容器相關功能:包括創(chuàng)建容器、刪除容器、獲取用戶所有容器、獲取容器中對象、設置容器權限、獲取容器權限等功能。

2) 文件存儲服務實現(xiàn)基于文件的新建、刪除、修改、獲取文件權限、設置文件權限等功能,能夠兼容主流的Windows/Linux系統(tǒng),具有極大的跨平臺兼容性。

3) 塊存儲服務。塊存儲是一種基于存儲網(wǎng)絡的、可彈性擴展的、可由客戶端主機進行管理和使用的卷設備。塊存儲服務提供的塊存儲掛載進客戶端主機后的使用方式與現(xiàn)有普通硬盤的使用方式完全一致。塊存儲服務的主要功能有以下四點。①彈性擴展:支持對塊存儲設備存儲容量的擴容與收縮。②塊設備鏡像的導入/導出。③塊設備鏡像的鏡像復制與重命名。④基于塊設備的快照創(chuàng)建與回滾。

3 閱讀基地云化

3.1 虛擬化改造

為了提高資源利用率、降低運維成本、加速業(yè)務部署,閱讀基地需要對服務器資源進行云化改造,形成池化的服務器資源,滿足應用系統(tǒng)對底層計算資源即需即取的要求。部署云平臺管理系統(tǒng)對資源池進行統(tǒng)一管理、調度,并對上層應用系統(tǒng)提供統(tǒng)一的服務接口。為保證原有系統(tǒng)的穩(wěn)定運行、平滑過渡,云化改造采用先構建種子云的方式,后續(xù)把應用系統(tǒng)逐步遷移到云平臺的方式進行,其原則包括以下幾點。

1) 先易后難。資源池建設的最終目標是構建統(tǒng)一的全局共享唯一資源池,當前目標是先易后難,逐步過渡。

2) 前瞻考慮未來系統(tǒng)建設發(fā)展。需要前瞻性考慮應用系統(tǒng)發(fā)展對資源池的需求,探索和嘗試各類系統(tǒng)應用的資源池部署模式,先梳理一批輕量級、規(guī)模小、易改造的應用,將其部署到X86資源池。

3) 立足于當前應用系統(tǒng)的實際情況,以向應用系統(tǒng)提供便捷的基礎資源服務為建設目的。構建的資源池應對目前應用系統(tǒng)的改造影響盡量小。應用在未徹底進行分布式改造前,高端小型機在關鍵業(yè)務、高性能需求的應用場景下仍有不可替代的作用。

云化資源池建成后,為保證業(yè)務穩(wěn)定運行與平滑過渡,需要把原有應用逐步按順序遷移到云化資源池,如圖7所示。

云計算的本質是提高資源利用率,對于管理類應用來說(比如:OA系統(tǒng)、網(wǎng)管系統(tǒng)),由于其低并發(fā)、資源消耗小等特點,導致傳統(tǒng)的煙囪式建設方式資源利用率低下,大量計算資源閑置。此類應用遷移到云化資源池后,可以得到很好的整合比,資源利用率提高效果明顯。同時由于此類應用對可靠性要求較低,在使用云計算建設方式的初期可以有效驗證系統(tǒng)穩(wěn)定性,積累運維經(jīng)驗。

圖7 應用系統(tǒng)向云化資源池遷移原則

生產類應用系統(tǒng)(如:門戶服務器、業(yè)務管理系統(tǒng))面向最終用戶,系統(tǒng)并發(fā)量大,要求系統(tǒng)有高可用性,同時由于業(yè)務量大,要求使用低成本的X86系統(tǒng)。此類應用系統(tǒng)的遷移可以在管理類應用之后進行。

數(shù)據(jù)分析類應用系統(tǒng)(如:大型數(shù)據(jù)庫服務器)由于已經(jīng)有較高的資源利用率,遷移到云化資源池后可以得到較好的管理統(tǒng)一性、便利性,但系統(tǒng)整合比不高,資源利用率提高不明顯。建議根據(jù)應用的特點,后期遷移到云化資源池,或者不遷移。

閱讀基地現(xiàn)有X86架構的業(yè)務服務器三十余臺,其中主要的服務器其CPU、內存利用率都偏低,見下表1所示。

依據(jù)上文分析的遷移策略,將分步驟地把應用系統(tǒng)遷移到虛擬化平臺。計劃先遷移接口服務器、SLP業(yè)務服務器、OMM服務器;其次門戶服務器、DCACHE服務器、搜索引擎服務器、社區(qū)服務器等,而對數(shù)據(jù)庫服務器則根據(jù)虛擬化平臺運行情況在后期進行遷移,或者不遷移。同時,計劃在虛擬化平臺上實施閱讀基地的擴容工程,部署新的應用系統(tǒng),使平臺的整體CPU/內存利用率達到80%以上,實現(xiàn)資源利用的最大化,如表1所示。

表1 服務器利用率

3.2 云存儲異地容災

為保證閱讀基地數(shù)據(jù)的安全性,在中國聯(lián)通研究院沃云平臺內建立存儲節(jié)點,對閱讀基地內云存儲數(shù)據(jù)進行異地容災。系統(tǒng)架構如圖8所示。

圖8 異地容災備份架構

云存儲備份服務是基于底層的云存儲平臺所提供S3 RESful API接口或者SMB/CIFS通信協(xié)議,在此之上實現(xiàn)的文件備份服務,通過底層云存儲之間的異地數(shù)據(jù)同步,從而實現(xiàn)數(shù)據(jù)的異地容災備份。在閱讀基地新增2臺備份Server,安裝備份軟件和云存儲接口程序,通過接口程序接入云存儲,實現(xiàn)備份Server與云存儲的對接。 閱讀業(yè)務平臺服務器作為Client,安裝Agent代理程序,并根據(jù)實際備份需求定制文件備份策略,實現(xiàn)最終的文件備份。

異地容災備份支持多種不同的備份策略。

1) 完全備份(full backup),即按照備份計劃每次備份都對需要備份的數(shù)據(jù)進行完全備份。當發(fā)生數(shù)據(jù)丟失的災難時,只需要一份備份數(shù)據(jù)(即災難發(fā)生前最近一次的備份數(shù)據(jù)),就可以恢復所有丟失的數(shù)據(jù)。但由于每次都對整個系統(tǒng)進行完全備份,造成備份的數(shù)據(jù)大量重復,備份所需的時間也就較長。

2) 增量備份(incremental backup),即按照備份計劃,每次備份時都只針對當前數(shù)據(jù)與上一次備份相比變化過的數(shù)據(jù)進行備份。這種備份策略節(jié)省了磁帶空間,縮短了備份時間。但當災難發(fā)生時,數(shù)據(jù)的恢復比較麻煩?；謴蜁r需要將最近一次增量備份到最近一次全量備份之間的所有增量備份數(shù)據(jù)都恢復,同時可靠性也較差。

3) 差異備份(differential backup),即每次備份都只針對當前數(shù)據(jù)與上一次全量備份相比變化過的數(shù)據(jù)進行備份,與增量備份的主要區(qū)別就是變化數(shù)據(jù)的參照數(shù)據(jù),增量備份是跟前一次備份的數(shù)據(jù)相比,差異備份是跟上一次全量備份的數(shù)據(jù)相比。差異備份無需每次都對系統(tǒng)做完全備份,因此備份所需時間短,并節(jié)省了磁帶空間,其次,它的災難恢復也很方便,每次恢復只需要最近一次差異備份和最近一次全量備份的備份數(shù)據(jù)就可以將系統(tǒng)恢復。

4 結語

綜上所述,將沃云平臺的虛擬化和云存儲技術應用于閱讀基地平臺,一方面解決了閱讀基地服務器資源管理問題,提高了平臺服務器的資源利用率,加強了對資源的管理調控能力;另一方面,通過云存儲技術,將閱讀基地數(shù)據(jù)文件在沃云平臺中進行異地容災,提高了數(shù)據(jù)的安全性。

參考文獻

[1]2012-2013中國手機閱讀市場年度報告[R].艾媒咨詢,2013

[2]張云勇,李衛(wèi),陳清金.電信運營商云綜合管理平臺研發(fā)實踐探索[J].信息通信技術,2013,7(1):28-32

[3]房秉毅,張云勇.淺析云計算基礎資源池化在電信運營商業(yè)務支撐系統(tǒng)中的應用[J].中國電信建設,2013,25(1)

[4]李衛(wèi),李濟漢,張云勇,等.電信運營商云計算體系架構思考[J].電信科學,2013,29(3):123-127

[5]李衛(wèi),張云勇.2012年中國云計算發(fā)展研究[R].2012通信行業(yè)發(fā)展分析報告,2013