電信業(yè)務(wù)支撐系統(tǒng)基于大數(shù)據(jù)的云計(jì)算解決方案

中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司軟件研究院濟(jì)南分院 裴宏祥 杜 宇

電信業(yè)務(wù)支撐系統(tǒng)基于大數(shù)據(jù)的云計(jì)算解決方案

中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司軟件研究院濟(jì)南分院 裴宏祥 杜 宇

時(shí)至今日，海量數(shù)據(jù)時(shí)代的來(lái)臨已經(jīng)毋庸置疑，尤其是在互聯(lián)網(wǎng)、電信、金融等行業(yè)，幾乎已經(jīng)到了“數(shù)據(jù)就是生產(chǎn)力”的地步。這種趨勢(shì)已經(jīng)讓很多相信數(shù)據(jù)之力量的企業(yè)做出改變，隨之而來(lái)的，則是企業(yè)在IT架構(gòu)上的改變。本文針對(duì)在新的形勢(shì)下電信業(yè)務(wù)支撐系統(tǒng)如何采用云計(jì)算技術(shù)，X86及低端磁盤陣列等搭建一個(gè)低成本、全新系統(tǒng)架構(gòu)來(lái)解決大數(shù)據(jù)的處理、存儲(chǔ)、管理和查詢問(wèn)題。

大數(shù)據(jù)；云計(jì)算；X86；資源池；作業(yè)池；彈性計(jì)算

1 大數(shù)據(jù)時(shí)代的來(lái)臨

在過(guò)去，海量數(shù)據(jù)一直是互聯(lián)網(wǎng)行業(yè)Web搜索引擎的創(chuàng)建者們首當(dāng)其沖面對(duì)的問(wèn)題。而今天電信行業(yè)的業(yè)務(wù)支撐系統(tǒng)每天也創(chuàng)建著上PB的數(shù)據(jù)。

以往人們認(rèn)為，把企業(yè)的運(yùn)營(yíng)數(shù)據(jù)進(jìn)行深入分析后，就會(huì)有回報(bào)。但很多企業(yè)面臨的一個(gè)問(wèn)題是，數(shù)據(jù)處理不夠全面和及時(shí)。從道理上講，誰(shuí)掌握的數(shù)據(jù)越全面，得出的結(jié)論就越趨向于合理。企業(yè)只有構(gòu)建一個(gè)容納了足夠多信息的“數(shù)據(jù)倉(cāng)庫(kù)”，才更有可能做出正確的決策。企業(yè)需要找到更好的方法來(lái)應(yīng)對(duì)它們所產(chǎn)生的日益增加的大數(shù)據(jù)。擁有對(duì)大數(shù)據(jù)有效的數(shù)據(jù)管理、數(shù)據(jù)利用、快速響應(yīng)成為探索的焦點(diǎn)。

目前這種情況已經(jīng)讓很多企業(yè)做出改變，更加相信“數(shù)據(jù)的力量”，自然而然，企業(yè)會(huì)在IT系統(tǒng)架構(gòu)上做一些改變。海量數(shù)據(jù)的出現(xiàn)，數(shù)據(jù)結(jié)構(gòu)的改變，對(duì)數(shù)據(jù)管理及分析帶來(lái)挑戰(zhàn)。傳統(tǒng)的數(shù)據(jù)庫(kù)無(wú)法有效存儲(chǔ)不斷增長(zhǎng)的數(shù)據(jù)：隨著數(shù)據(jù)量的增加，隨著應(yīng)用復(fù)雜導(dǎo)致的數(shù)據(jù)量的增加，這些數(shù)據(jù)量導(dǎo)致了數(shù)據(jù)存儲(chǔ)和處理壓力；數(shù)據(jù)倉(cāng)庫(kù)無(wú)法線性擴(kuò)容，管理難度大，擴(kuò)容需求高，建設(shè)成本高，數(shù)據(jù)處理效率下降等一系列問(wèn)題。

在過(guò)去幾十年中，企業(yè)都是把自己的數(shù)據(jù)放在自己的服務(wù)器中，用一道道的防火墻和各種安全屏障嚴(yán)加看管。傳統(tǒng)的建設(shè)方案面臨著建設(shè)成本高、運(yùn)營(yíng)成本高、擴(kuò)展性有限等問(wèn)題。日益增大的數(shù)據(jù)流并不只是一個(gè)需要技術(shù)來(lái)解決的問(wèn)題，它同時(shí)還帶來(lái)了新的可能性。比如云計(jì)算，海量數(shù)據(jù)處理平臺(tái)等，現(xiàn)在已經(jīng)成為了部分競(jìng)爭(zhēng)力強(qiáng)的企業(yè)必需。尤其是云計(jì)算似乎成了低成本高效率IT系統(tǒng)的必然選擇。

2 傳統(tǒng)解決方案面臨的困惑及解決之道

對(duì)于大數(shù)據(jù)或者稱為海量數(shù)據(jù)的處理系統(tǒng)，如果按照小型機(jī)+高端存儲(chǔ)+商業(yè)化數(shù)據(jù)庫(kù)的傳統(tǒng)架構(gòu)進(jìn)行建設(shè)，一般系統(tǒng)建設(shè)初期根據(jù)業(yè)務(wù)量的預(yù)估對(duì)計(jì)算能力和存儲(chǔ)使用量測(cè)算，然后開始系統(tǒng)設(shè)計(jì)和軟硬件選型，最后在選定的基礎(chǔ)軟件和硬件平臺(tái)上進(jìn)行應(yīng)用軟件的開發(fā)，應(yīng)用軟件模塊間耦合度較高。系統(tǒng)的架構(gòu)、處理能力、軟件和硬件型號(hào)較為固定,軟件和操作系統(tǒng)耦合度較高。再者為了滿足系統(tǒng)的高可用性，一般會(huì)系統(tǒng)的每一個(gè)節(jié)點(diǎn)設(shè)置一個(gè)備份。傳統(tǒng)建設(shè)方案面臨以下問(wèn)題：（1）資源不能充分利用：在系統(tǒng)建成初期如果業(yè)務(wù)量較小，則會(huì)存在資源閑置或空轉(zhuǎn)的情況。再者為了滿足系統(tǒng)的高可用性，一般會(huì)系統(tǒng)的每一個(gè)節(jié)點(diǎn)設(shè)置一個(gè)備份,備份用資源一般處在“守候”狀態(tài)。（2）可擴(kuò)展性不足：因系統(tǒng)軟硬件間耦合度較高，擴(kuò)容較為困難。（3）實(shí)現(xiàn)高可用性的成本較高：對(duì)備份節(jié)點(diǎn)的投資基本與活動(dòng)節(jié)點(diǎn)相當(dāng)。

海量數(shù)據(jù)、低成本、易擴(kuò)展 、高可用、高效支撐等問(wèn)題對(duì)傳統(tǒng)解決方案帶來(lái)的挑戰(zhàn)，傳統(tǒng)的小型機(jī)+高端存儲(chǔ)+大型關(guān)系型數(shù)據(jù)庫(kù)的建設(shè)模式，已經(jīng)不能適應(yīng)要求。本文基于電信運(yùn)營(yíng)商間業(yè)務(wù)支撐系統(tǒng)的特點(diǎn)，提出了基于云計(jì)算的X86+低端磁盤陣列+開源數(shù)據(jù)庫(kù)的創(chuàng)新系統(tǒng)解決方案，在完成系統(tǒng)功能和節(jié)約投資方面取得了較好的效果，為其他類似系統(tǒng)的集中化建設(shè)提供參考。

3 云計(jì)算

3.1 何為云計(jì)算

云計(jì)算的核心思想，是將大量主機(jī)資源進(jìn)行統(tǒng)一管理和調(diào)度，構(gòu)成一個(gè)計(jì)算資源池向用戶按需服務(wù)?！霸啤敝械馁Y源是可以無(wú)限擴(kuò)展的，并且可以隨時(shí)獲取、按需使用、隨時(shí)擴(kuò)展、按使用付費(fèi)。云計(jì)算技術(shù)使整個(gè)IT產(chǎn)業(yè)發(fā)生了質(zhì)的變化，用戶從關(guān)注 軟硬件到關(guān)注服務(wù)。

云計(jì)算的諸多定義直接反映了提出者的理解角度和利益，以Google、Amazon、Salesforce.com、Yahoo、Facebook為代表互聯(lián)網(wǎng)企業(yè)極力推崇云計(jì)算是一種新的業(yè)務(wù)模式和用戶體驗(yàn)，力圖顛覆傳統(tǒng)的IT運(yùn)營(yíng)模式，借助云計(jì)算向IT領(lǐng)域拓展。這些互聯(lián)網(wǎng)企業(yè)自行開發(fā)或借鑒Google披露的技術(shù)，通過(guò)強(qiáng)大的分布式技術(shù)將上萬(wàn)臺(tái)(Google號(hào)稱百萬(wàn)臺(tái))服務(wù)器聚合為一臺(tái)邏輯上能夠提供強(qiáng)大的計(jì)算和存儲(chǔ)能力的“虛擬機(jī)”，并致力于開發(fā)一套互聯(lián)網(wǎng)“云操作系統(tǒng)”，用戶通過(guò)互聯(lián)網(wǎng)共享這臺(tái)“計(jì)算機(jī)”。互聯(lián)網(wǎng)企業(yè)通過(guò)相對(duì)低端服務(wù)器、開源的Linux操作系統(tǒng)、開源的MySQL數(shù)據(jù)庫(kù)、開源的Apache、開源的Java開發(fā)語(yǔ)言追求更大的性價(jià)比，從理念上講，用戶通過(guò)門戶(通常是WEB)直接使用應(yīng)用程序，云計(jì)算平臺(tái)由互聯(lián)網(wǎng)公司建設(shè)維護(hù)，傳統(tǒng)的IT巨頭們的利潤(rùn)空間大大縮水了。

3.2 適合云計(jì)算的典型場(chǎng)景

人們往往將云看做無(wú)所不能的技術(shù)，但目前在云技術(shù)發(fā)展的初級(jí)階段，并非所有的應(yīng)用都適合云計(jì)算的方式，根據(jù)云計(jì)算的特點(diǎn)，下面幾個(gè)應(yīng)用場(chǎng)景可以從云計(jì)算應(yīng)用中得到最為顯著的效果。

（1）間斷性應(yīng)用場(chǎng)景

間斷性應(yīng)用場(chǎng)景的特點(diǎn)是不需要連續(xù)的使用計(jì)算服務(wù)。典型的案例是測(cè)試環(huán)境的搭建，云計(jì)算通過(guò)按需分配的方式可以比較好地符合這類應(yīng)用場(chǎng)景。

（2）快速增長(zhǎng)應(yīng)用場(chǎng)景

快速增長(zhǎng)應(yīng)用場(chǎng)景指的是應(yīng)用需求量增長(zhǎng)比較迅速的情況，傳統(tǒng)的升級(jí)很難快速滿足。云計(jì)算可以通過(guò)動(dòng)態(tài)分配資源的方式來(lái)滿足這類應(yīng)用場(chǎng)景。

（3）需求突增性應(yīng)用場(chǎng)景

需求突增性應(yīng)用場(chǎng)景是指應(yīng)用的使用量短時(shí)間內(nèi)快速增加又很快回落的情況。比如話費(fèi)查詢的訪問(wèn)在月初出賬后突增，月中回落，10010客服系統(tǒng)話務(wù)量月末月初會(huì)達(dá)到頂峰，過(guò)后自然回落。

4 系統(tǒng)云化關(guān)鍵實(shí)現(xiàn)技術(shù)

在系統(tǒng)設(shè)計(jì)中引入云計(jì)算的思想，通過(guò)主機(jī)資源自適應(yīng)管理、分布式并行處理、數(shù)據(jù)庫(kù)網(wǎng)關(guān)等關(guān)鍵技術(shù)的實(shí)現(xiàn)，實(shí)現(xiàn)了系統(tǒng)自動(dòng)平滑伸縮功能，提升了系統(tǒng)的可擴(kuò)展性、低成本、負(fù)載均衡、高可用性及分布式、高性能計(jì)算。

4.1 主機(jī)資源自適應(yīng)管理

根據(jù)系統(tǒng)監(jiān)控對(duì)系統(tǒng)中的主機(jī)資源收集的數(shù)據(jù)和事件，對(duì)主機(jī)資源統(tǒng)一透明管理，實(shí)現(xiàn)資源可加入、移除及容錯(cuò)，提高系統(tǒng)的可擴(kuò)展性、高可用性和系統(tǒng)資源的利用率。系統(tǒng)通過(guò)智能監(jiān)控實(shí)現(xiàn)對(duì)每臺(tái)加入系統(tǒng)設(shè)備和系統(tǒng)軟件的監(jiān)控。

4.2 分布式并行批處理作業(yè)調(diào)度

系統(tǒng)處理核心為“作業(yè)調(diào)度+業(yè)務(wù)原語(yǔ)”， 將應(yīng)用拆解抽象為若干個(gè)相互獨(dú)立的原語(yǔ)操作，原語(yǔ)實(shí)例化為作業(yè)。作業(yè)生成負(fù)責(zé)將作業(yè)生成到作業(yè)池，作業(yè)調(diào)度按照預(yù)定的路由策略實(shí)現(xiàn)對(duì)作業(yè)的調(diào)度，各節(jié)點(diǎn)則通過(guò)管理節(jié)點(diǎn)的作業(yè)調(diào)度來(lái)進(jìn)行負(fù)載均衡。目前設(shè)計(jì)的調(diào)度策略有：計(jì)算能力算法（Capacity Scheduler）、計(jì)數(shù)法、輪詢法（Round Robin）。

4.3 數(shù)據(jù)庫(kù)網(wǎng)關(guān)

通過(guò)數(shù)據(jù)庫(kù)網(wǎng)關(guān)來(lái)實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)性能可以根據(jù)主機(jī)節(jié)點(diǎn)的增加而線性提高。利用分布式計(jì)算來(lái)實(shí)現(xiàn)大數(shù)據(jù)量計(jì)算需求。主要功能特點(diǎn)如下：（1）統(tǒng)一管理：提供統(tǒng)一的表模式管理、數(shù)據(jù)分布及主機(jī)資源的監(jiān)控管理。（2）統(tǒng)一訪問(wèn)：將現(xiàn)在不同數(shù)據(jù)的存儲(chǔ)方式整合在一起，實(shí)現(xiàn)在線數(shù)據(jù)，歷史數(shù)據(jù)的統(tǒng)一訪問(wèn)。（3）高度透明：用戶可以通過(guò)數(shù)據(jù)庫(kù)網(wǎng)關(guān)使用自己的數(shù)據(jù)庫(kù)用戶，查詢各自的數(shù)據(jù)，無(wú)需關(guān)心數(shù)據(jù)的具體位置。

5 結(jié)束語(yǔ)

本文以電信運(yùn)營(yíng)商間的業(yè)務(wù)支撐系統(tǒng)為例，對(duì)電信業(yè)務(wù)支撐系統(tǒng)基于海量數(shù)據(jù)的云計(jì)算解決方案進(jìn)行了較為全面的分析。通過(guò)“主機(jī)資源負(fù)載均衡管理”實(shí)現(xiàn)了資源的動(dòng)態(tài)、按需自動(dòng)服務(wù)；通過(guò)“分布式并行批處理作業(yè)調(diào)度”實(shí)現(xiàn)了計(jì)算的云化；通過(guò)“數(shù)據(jù)庫(kù)網(wǎng)關(guān)”實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)的云化。