中國聯(lián)通音樂基地“云化”改造方案研究

楊紹光 鄒西山 趙爾康

1 中國聯(lián)通研究院 北京 100032 2 中國聯(lián)通音樂運營中心 廣州 510623

引言

傳統(tǒng)意義上,音樂發(fā)燒友在獲取、收藏、整理和收聽音樂時,首先要在浩瀚網(wǎng)絡空間中尋找、下載歌曲,再整理到移動終端上進行收聽。為此,很多消費者需要在電腦硬盤中存儲數(shù)十GB容量的數(shù)字音樂。這時,手機等移動設備可能會受制于容量空間而無法全盤拷貝。而即使能夠拷貝,也無法將這些音樂以最便捷、有效的方式和朋友共享。而“音樂云計算”的出現(xiàn)解決了上述問題,同時也對音樂平臺的系統(tǒng)建設提出新的要求,繼蘋果拉開“音樂云計算”的序幕之后,谷歌收購了Simplify Media,惠普收購了Melodeo公司,音樂平臺的云化已成必為然趨勢。

中國聯(lián)通音樂平臺隨著業(yè)務的迅猛發(fā)展、規(guī)模的快速擴大,系統(tǒng)復雜度不斷提升,各業(yè)務的硬件資源管理、應用管理難度日益突出,另外,由于業(yè)務發(fā)展的不均衡性,導致各個業(yè)務模塊的資源使用不均衡,部分應用分配的資源較空閑,部分應用分配的資源較繁忙,導致資源利用率低下、管理復雜、業(yè)務應用部署慢等一系列問題。

基于此,中國聯(lián)通啟動了音樂基地云化改造,建設音樂云的工程建設,不斷優(yōu)化現(xiàn)行系統(tǒng),滿足新的業(yè)務功能需求和市場形勢,以更好地為用戶提供個性化的音樂體驗,提高用戶黏性[1-2]。

1 系統(tǒng)功能需求

經(jīng)過兩期工程建設后,中國聯(lián)通音樂平臺形成了由業(yè)務平臺、業(yè)務門戶、管理支撐、客戶端等幾部分組成的總體架構(gòu),提供炫鈴、振鈴下載、整曲下載、整曲點播、MV下載、MV點播共6類主要業(yè)務。目前新的功能需求如下。

1) 擁有且兼容沃云平臺的現(xiàn)有功能點。

2) 垂直搜索:聚合互聯(lián)網(wǎng)音樂資源信息,提供基于智能搜索的站內(nèi)搜索引擎、基于聯(lián)通內(nèi)網(wǎng)正版音樂庫的智能搜索、基于開放互聯(lián)網(wǎng)音樂資訊的垂直搜索,為用戶提供更新、更全的音樂搜索。

3) CDN網(wǎng)絡加速:租用CDN節(jié)點,通過CDN網(wǎng)絡分發(fā)技術實現(xiàn)音樂門戶、流媒體點播、下載的加速,緩解業(yè)務高速發(fā)展對網(wǎng)絡帶來的壓力,同時通過雙線網(wǎng)接入以及智能DNS,解決異網(wǎng)訪問瓶頸,為“下載音樂”向“在線收聽音樂”的轉(zhuǎn)變提供優(yōu)質(zhì)服務支撐,全面提升用戶體驗。

4) 云音樂及三屏互動:用戶可將收藏、愛好、歌曲列表等個性化信息通過云服務,達到一次操作,多終端(手機、平板、PC)同步。實現(xiàn)多屏共享和互動,提供個性化的音樂體驗,提高用戶黏性。

5) HTML5門戶:利用新一代Web技術搭建基于HTML5的手機音樂門戶,免安裝、免下載,實現(xiàn)類似桌面的應用體驗,類似客戶端的互動效果,提供良好的用戶體驗。

6) 能力共享和開放:為開發(fā)者、互聯(lián)網(wǎng)合作企業(yè)提供炫鈴開通、音樂點播、下載等標準API接口,為WO+平臺提供音樂專輯、音樂收藏等接口,實現(xiàn)音樂能力的共享和開放,完成與合作企業(yè)的資源置換。

7) 資源分享和聚合:與總部能力共享、沃云等平臺的資源實時共享,與終端管理(DM)系統(tǒng)、電子渠道系統(tǒng)、NET取號模塊對接,整合聯(lián)通內(nèi)部系統(tǒng)資源,提升業(yè)務能力,實現(xiàn)聯(lián)通WO+體系戰(zhàn)略化部署。

8) 門戶一體化運營支撐:實現(xiàn)Web、WAP、10155語音平臺等音樂門戶的一體化運營支撐,音樂業(yè)務平臺統(tǒng)一,分省運營。

9) 炫鈴平臺集中管理:集中整合并升級炫鈴平臺管理功能,包括無線音樂推廣炫鈴(含系統(tǒng)默認炫鈴)、炫鈴DIY同步、炫鈴一鍵復制和下載、炫鈴訂退實時通知音樂平臺、免功能費開通炫鈴等功能的集中改造和數(shù)據(jù)上傳接口完善。

10) 統(tǒng)一數(shù)據(jù)中心:整合音樂平臺業(yè)務數(shù)據(jù)以及外部相關數(shù)據(jù),建立音樂中心的數(shù)據(jù)倉庫,形成統(tǒng)一數(shù)據(jù)中心,依托數(shù)據(jù)中心進行挖掘分析、數(shù)據(jù)展現(xiàn)、為各省提供統(tǒng)一的數(shù)據(jù)支撐以及智能營銷等。

11) 客服系統(tǒng)建設:建設統(tǒng)一音樂業(yè)務在線客服中心。

12) 外部曲庫建設:建設互聯(lián)網(wǎng)外部曲庫,提供海量音源的集中存儲,實現(xiàn)外部歌曲的快速引入,快速擴充聯(lián)通音源庫。

13) 產(chǎn)品形態(tài)完善:豐富客戶端產(chǎn)品形態(tài),提供炫鈴客戶端、卡拉ok客戶端、聽書客戶端等產(chǎn)品,建立完整的客戶端產(chǎn)品體系。

14) CP招募和自助服務:實現(xiàn)CP招募工作電子化、標準化,使招募工作更公平、公開、公正,提高招募效率,包括公告通知、自助查詢、招募管理、CP管理等模塊。

15) 門戶和客戶端優(yōu)化:完善現(xiàn)有門戶、客戶端、采用HTML5技術對手機門戶進行優(yōu)化改造,增強互動性、提供音樂DIY、卡拉OK、音樂達人、原創(chuàng)音樂上傳管理。

16) 業(yè)務平臺優(yōu)化:完善優(yōu)化流媒體點播、下載、話單處理、接口調(diào)度等基礎業(yè)務平臺能力。

根據(jù)以上功能需求分析,新的音樂平臺的功能邏輯層次結(jié)構(gòu)如圖1所示[3]。

圖1 音樂平臺功能邏輯層次結(jié)構(gòu)圖

2 系統(tǒng)設計與實現(xiàn)

基于以上功能需求,根據(jù)云計算平臺的總體功能架構(gòu),現(xiàn)對該音樂云的實現(xiàn)研究論述如下。

2.1 服務器云化改造

2.1.1 總體架構(gòu)

目前云計算平臺整體架構(gòu)可分成四層:物理資源層、虛擬化層、云計算管理層和業(yè)務應用層。物理資源及其上的虛擬化是整個云計算平臺的基礎,因而對于音樂云的實現(xiàn),首先需要實現(xiàn)對服務器和存儲資源的云化改造,形成池化的云計算資源,以滿足應用系統(tǒng)對底層資源的需求。云化資源池總體架構(gòu)如圖2所示。

圖2 服務器云化系統(tǒng)架構(gòu)

在圖2中,服務器云化系統(tǒng)由物理資源池、虛擬化層、云平臺管理、應用系統(tǒng)等層次組成。物理資源池由物理服務器組成,通過物理交換機連接形成;虛擬化層采用Xen、KVM等虛擬化技術,把底層的物理服務器虛擬化,形成虛擬化的資源池;云平臺管理層通過云平臺管理系統(tǒng),對虛擬資源池進行配置管理監(jiān)控,統(tǒng)一調(diào)度資源池,對上層應用系統(tǒng)提供服務;應用系統(tǒng)即云化資源池的服務對象,通過統(tǒng)一接口調(diào)用云化資源池內(nèi)的資源。

2.1.2 實現(xiàn)步驟

由于音樂基地首次采用云計算技術,為保證原有系統(tǒng)的穩(wěn)定運行、平滑過渡,云化改造采用先構(gòu)建種子云的方式,后續(xù)把應用系統(tǒng)逐步遷移到云平臺的方式進行,如圖3所示。

圖3 音樂基地服務器云化改造計劃

根據(jù)圖3,改造工作應分層分步進行,對于Web、中間件、小型應用,快速構(gòu)建統(tǒng)一的資源池;對于大型的后臺應用,督促軟件開發(fā)商進行分布式改造,使之可以支持云化的部署方式,然后逐步遷移到云化資源池;對于大型數(shù)據(jù)庫應用,繼續(xù)關注業(yè)內(nèi)分布式數(shù)據(jù)庫的發(fā)展,等待技術成熟的合適時機考慮數(shù)據(jù)庫的云化方案。

2.1.3 建設原則

云化資源池建設應遵循以下原則。

1) 先易后難。資源池建設的最終目標是構(gòu)建統(tǒng)一的全局共享的唯一資源池。當前的目標是先易后難,逐步過渡。

2) 前瞻考慮未來系統(tǒng)建設發(fā)展。需要前瞻性考慮應用系統(tǒng)發(fā)展對資源池的需求,目前積極探索和嘗試各類系統(tǒng)應用的資源池部署模式,建議先梳理一批輕量級、規(guī)模小、易改造的應用,將其部署到X86資源池。

3) 立足于當前應用系統(tǒng)的實際情況,以向應用系統(tǒng)提供便捷的基礎資源服務為建設目的。構(gòu)建的資源池應對目前應用系統(tǒng)的改造影響盡量小。應用在未徹底進行分布式改造前,高端小型機在關鍵業(yè)務、高性能需求的應用場景下仍有不可替代的作用。

2.2 云存儲建設

2.2.1 總體架構(gòu)

沃云對象存儲包括四個模塊:存儲層、業(yè)務層、接口層和系統(tǒng)管理。其中存儲層采用高度可彈性部署、透明管理的分布式存儲系統(tǒng),可以存儲海量的文件和索引信息;業(yè)務層主要是提供數(shù)據(jù)管理(權限、分類、狀態(tài))和存儲管理(容器、對象管理);接口層提供面向應用的接口,包括Web Service等,接口支持標準的S3面向?qū)ο蟮拇鎯涌?系統(tǒng)管理主要實現(xiàn)存儲平臺的節(jié)點管理、安裝部署、監(jiān)控配置及日志管理等功能[4]。

在音樂平臺內(nèi)部,云存儲通過存儲API為上層業(yè)務系統(tǒng)提供存儲服務;同時還通過管理接口與音樂平臺管理支撐系統(tǒng)對接,提供相應的運維管理、數(shù)據(jù)分析等功能,架構(gòu)圖如圖4所示。

圖4 云存儲系統(tǒng)架構(gòu)

2.2.2 接口

沃云存儲涉及與音樂平臺其他子系統(tǒng)的接口包括與音樂平臺業(yè)務系統(tǒng)的接口及與音樂平臺管理支撐系統(tǒng)的接口。

與音樂平臺業(yè)務系統(tǒng)的接口API層包括Web Services訪問接口、身份認證、權限控制、配額管理和對象管理。其中Web Services訪問接口提供Restful的基于HTTP協(xié)議的訪問形式,實現(xiàn)數(shù)據(jù)的寫入/讀取;身份管理、權限控制和配額管理對業(yè)務系統(tǒng)發(fā)出的每一個讀寫請求進行檢查,確保請求的合法性以及保護被請求對象的安全。對象管理則集中處理對象模型中的結(jié)構(gòu)化元數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),同時對數(shù)據(jù)的一致性進行保障。

與音樂平臺管理支撐系統(tǒng)的接口需依據(jù)支撐系統(tǒng)的接口要求和數(shù)據(jù)格式,可完成存儲節(jié)點管理、賬戶管理、監(jiān)控管理、日志管理、告警管理等功能。

2.2.3 部署

音樂平臺系統(tǒng)的云存儲部署方案如圖5所示。

圖5 云存儲部署方案

在圖5中,其管理節(jié)點負責云存儲的節(jié)點管理、監(jiān)控、日志、報警等功能;存儲節(jié)點負責數(shù)據(jù)的寫入/讀取以及內(nèi)部的同步備份功能。

云存儲通過匯聚交換機、核心交換機與音樂平臺系統(tǒng)連接。音樂平臺業(yè)務系統(tǒng)通過接口實現(xiàn)對存儲數(shù)據(jù)的寫入和讀取功能。音樂平臺運行維護系統(tǒng)通過接口實現(xiàn)對云存儲的管理功能。

3 系統(tǒng)遷移

音樂基地云平臺提供虛擬機并安裝操作系統(tǒng)后,業(yè)務系統(tǒng)就可以在其基礎上部署業(yè)務軟件。為了規(guī)范業(yè)務系統(tǒng)向云平臺的遷移,保證業(yè)務系統(tǒng)在云平臺上穩(wěn)定運行, 特對此遷移原則及流程說明如下。

3.1 遷移原則

云化資源池建成后,為保證業(yè)務穩(wěn)定運行與平滑過渡,需要把原有應用逐步按順序遷移到云化資源池。而不同的應用其遷移策略也不盡相同。

業(yè)務應用系統(tǒng)從可遷移的特點來說,可以分為3大類:管理類應用、生產(chǎn)類應用、數(shù)據(jù)分析類應用。

對于管理類應用來說(比如:OA系統(tǒng)、網(wǎng)管系統(tǒng)),由于此類應用的低并發(fā)、資源消耗小等特點,導致傳統(tǒng)的煙囪式建設方式資源利用率低下,大量計算資源閑置。對于此類應用遷移到云化資源池后,可以得到很好的整合比,資源利用率提高效果明顯。同時由于此類應用對可靠性要求較低,在使用云計算建設方式的初期可以有效驗證系統(tǒng)穩(wěn)定性,積累運維經(jīng)驗。

對于生產(chǎn)類應用系統(tǒng)(如:炫鈴、MV點播),面向最終用戶,系統(tǒng)并發(fā)量大,要求系統(tǒng)有高可用性,同時由于業(yè)務量大,要求使用低成本的X86系統(tǒng)。此類應用系統(tǒng)的遷移可以在管理類應用之后進行。

對于數(shù)據(jù)分析類應用系統(tǒng)(如:大型數(shù)據(jù)庫服務器)由于已經(jīng)有較高的資源利用率,遷移到云化資源池后可以得到較好的管理統(tǒng)一性、便利性,但系統(tǒng)整合比不高,資源利用率提高不明顯。建議根據(jù)應用的特點,后期遷移到云化資源池,或者不遷移[5-6]。

3.2 遷移流程

為了規(guī)范業(yè)務系統(tǒng)向云平臺遷移的流程,保證業(yè)務系統(tǒng)在云平臺上穩(wěn)定運行,特對系統(tǒng)遷移的流程進行規(guī)范,如圖6所示。

圖6 業(yè)務系統(tǒng)向云平臺遷移

提交業(yè)務系統(tǒng)信息:云平臺對計算服務器進行虛擬化處理,并提供虛擬機給業(yè)務系統(tǒng)使用。云平臺提供的虛擬機是否能夠滿足業(yè)務系統(tǒng)的使用需求,需要進行充分評估。如果虛擬機能夠滿足需求,可以在虛擬機中進行業(yè)務系統(tǒng)軟件部署,否則建議業(yè)務系統(tǒng)還使用傳統(tǒng)的物理機部署方式。

業(yè)務系統(tǒng)評估:根據(jù)業(yè)務系統(tǒng)相關信息,由音樂基地云平臺負責人組織研究院、設計院、總集成商、業(yè)務系統(tǒng)負責人共同對業(yè)務系統(tǒng)向云平臺的可遷移性進行評估。評估依據(jù)參考《中國聯(lián)通音樂基地服務器云化改造方案》中的“應用遷移的原則”章節(jié)以及云平臺資源使用情況,綜合確定業(yè)務系統(tǒng)的哪些服務器可以遷移到云平臺。對于不能使用虛擬機的業(yè)務系統(tǒng)服務器,需要業(yè)務系統(tǒng)負責人向音樂基地物理資源負責人申請物理服務器,走傳統(tǒng)的物理資源申請流程。

制定遷移方案:遷移服務器、虛擬機網(wǎng)絡結(jié)構(gòu)確定之后,廠商負責制定業(yè)務系統(tǒng)遷移方案,期間由總集成商協(xié)調(diào)研究院、音樂基地、業(yè)務系統(tǒng)負責人、廠商和協(xié)作單位給予協(xié)助支持。方案中需要給出虛擬機和物理機的數(shù)量、IP地址、VLAN、負載均衡策略、端口映射規(guī)則、網(wǎng)絡拓撲、遷移方式等信息。

評審遷移方案:遷移方案制定后,由音樂基地、研究院、設計院、總集成商、業(yè)務系統(tǒng)負責人、廠商對遷移方案進行評審。確認遷移方案是否可行以及對現(xiàn)網(wǎng)其他業(yè)務有無影響。

業(yè)務測試:業(yè)務遷移之前,業(yè)務系統(tǒng)負責人需要提交業(yè)務系統(tǒng)測試方案,根據(jù)測試方案對業(yè)務系統(tǒng)進行測試并提交業(yè)務測試報告。

業(yè)務遷移:遷移方案評審通過后,由研究院根據(jù)遷移方案創(chuàng)建虛擬機,音樂基地分配物理資源、進行網(wǎng)絡等相關配置、由業(yè)務系統(tǒng)負責人在虛擬機上進行業(yè)務部署。

業(yè)務驗證:遷移完成后,由業(yè)務系統(tǒng)負責人對遷移的業(yè)務系統(tǒng)進行驗證,由音樂基地驗證業(yè)務遷移對其他業(yè)務系統(tǒng)的影響。

4 總結(jié)

本文根據(jù)中國聯(lián)通音樂平臺業(yè)務發(fā)展需求,及音樂云計算的必然趨勢,以邏輯結(jié)構(gòu)功能圖的形式詳細描述了新的音樂平臺應具有的各種功能。在此基礎上,對“云化”改造的具體方案進行了研究,首先對服務器“云化”改造的總體架構(gòu)、實現(xiàn)步驟、建設原則進行了說明;其次,對音樂基地云存儲建設的總體架構(gòu)、接口和部署進行了論述;最后,為了使當前的業(yè)務系統(tǒng)能夠平穩(wěn)有序地遷移到構(gòu)建的音樂云平臺之上,并且平穩(wěn)運行,特對此遷移原則和流程規(guī)范進行了詳細說明。通過該方案,將音樂平臺部署到云平臺之上,使得云平臺能夠為音樂平臺各子系統(tǒng)提供彈性計算資源服務,可以解決當前音樂平臺資源利用率低下,管理復雜,業(yè)務應用部署慢等缺點。此外,該解決方案的提出,也對其他平臺的云化建設提供了一定的參考依據(jù)。

根據(jù)此方案進行的音樂基地云化改造實施了四期工程,逐步對音樂基地的48臺服務器進行了云化改造,其中4臺管理服務器、3臺存儲服務器、41臺計算服務器,形成了3個資源池,分別用于測試業(yè)務、內(nèi)網(wǎng)業(yè)務和外網(wǎng)業(yè)務,并對3個資源池進行統(tǒng)一管理。在3個資源池上承載了音樂基地28個業(yè)務的119個虛擬機。大大提高服務器資源的利用率,節(jié)省大量電力資源和使用空間,降低服務器的管理成本,體現(xiàn)了云計算的優(yōu)勢和特點。同時進一步驗證了“沃云”技術架構(gòu)的可實施性,對于“沃云”技術的推廣使用具有借鑒意義。

參考文獻

[1]AmazonElasticComputeCloud[EB/OL](2011-07).[2014-01-20].http//laws.amazon.com/ec2/

[2]Michael stephens ten trends & Technologies for 2009[EB/OL](2009-12-12).[2014-01-20].http://tametheweb.com/2009 /01 /12 /ten-trendstechnologies-for-2009.

[3]2012年中國聯(lián)通總部音樂平臺系統(tǒng)擴容工程可行性研究報告[R],2012

[4]中國聯(lián)通音樂基地云存儲建設方案[R],2012

[5]劉鵬.云計算[M].北京:電子工業(yè)出版杜,2010

[6]周平.張超.云計算及云存儲的管理技術[J].上海電力學院學報,2010,26(5):498-501