Hadoop技術(shù)在聯(lián)機采集系統(tǒng)改造中的應(yīng)用研究

【摘要】 本文論述主要是圍繞湖北電信聯(lián)機采集系統(tǒng)直采改造項目的應(yīng)用展開，其中Hadoop系統(tǒng)技術(shù)作為關(guān)鍵技術(shù)提出并進行重點分析，不僅僅是本文的一個特色，也在改造后的聯(lián)機采集系統(tǒng)運行中發(fā)揮了重大的作用。

【關(guān)鍵詞】 聯(lián)機采集 Hadoop

一、聯(lián)機計費采集系統(tǒng)發(fā)展趨勢介紹

隨著湖北電信業(yè)務(wù)的不斷發(fā)展和管理水平的提高，聯(lián)機采集系統(tǒng)呈現(xiàn)了從本地網(wǎng)聯(lián)機計費采集模式，向全省集中聯(lián)機采集模式的發(fā)展趨勢。聯(lián)機采集系統(tǒng)正逐漸從交換機前置采集，本地網(wǎng)匯聚，省中心上傳三級模式，發(fā)展到全省集中采集的一級半模式。“一級半模式”就是對于具備可以直接采集的交換機，實施省中心直接一級采集，對于不具備條件的交換機，可以保留前置采集機，實現(xiàn)省中心的二次采集，兩種模式的混合可以成為“一級半模式”。

二、關(guān)于湖北電信聯(lián)機采集系統(tǒng)直采改造的需求分析

目前以湖北電信聯(lián)機采集系統(tǒng)建設(shè)為例，聯(lián)采系統(tǒng)完全根據(jù)中國電信集團公司《本地網(wǎng)聯(lián)集計費采集技術(shù)規(guī)范》[1]的要求，采用各本地網(wǎng)集中、全省分散的混合組網(wǎng)模式，也就是計費數(shù)據(jù)先匯聚到本地網(wǎng)，再上傳至省中心。隨著網(wǎng)絡(luò)條件的飛躍以及技術(shù)能力的發(fā)展，上述架構(gòu)中計費數(shù)據(jù)需要采集經(jīng)過的環(huán)節(jié)較多。計費數(shù)據(jù)從交換機到帳務(wù)主機的采集過程時間較長，無法滿足計費的實時性要求，系統(tǒng)提速的需求比較迫切。根據(jù)上述分析，聯(lián)采系統(tǒng)云平臺建設(shè)的目標(biāo)如下：全省集中采集，將原來的二級架構(gòu)[2]改造為全省一級架構(gòu)，節(jié)省維護成本；提高采集實時性，將采集頻率由原來的15分鐘提高到5分鐘；增強管理能力，包括業(yè)務(wù)性能實時監(jiān)控、Flex告警面板、WebReport網(wǎng)頁報表等重要管理功能。

三、集中模式和云計算系統(tǒng)對于解決聯(lián)采系統(tǒng)改造問題的幫助

目前以湖北電信為例，其全省的網(wǎng)關(guān)、NGN交換機采用二級架構(gòu)：網(wǎng)關(guān)交換機采用各本地網(wǎng)集中采集，再上傳至省計費集中處理；NGN交換機采用各本地網(wǎng)集中，再上傳至省計費集中處理。全省集中后的一級架構(gòu)中，聯(lián)采系統(tǒng)通過3個環(huán)節(jié)完成計費采集，大大提高業(yè)務(wù)效率。具體流程如下：云采集平臺采集文件；云采集平臺校驗&存儲；生成數(shù)據(jù)分發(fā)索引&目錄。由于系統(tǒng)改造中采集加速的目標(biāo)要求，系統(tǒng)處理能力面臨三重挑戰(zhàn)，云平臺是超強性能的最佳選擇，有效提升系統(tǒng)處理能力。

四、云平臺—Hadoop系統(tǒng)技術(shù)介紹

1、Hadoop系統(tǒng)是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。其中，HDFS是一個分布式文件系統(tǒng)（Hadoop Distributed File System），有著高容錯性的特點，并且設(shè)計用來部署在低廉的硬件上。MapReduce是一個分布式計算模型。與分布式文件系統(tǒng)相結(jié)合，它可以為程序員提供一個定義良好的用于描述計算任務(wù)的 API，從而幫助他們簡化并行化問題的任務(wù)。MapReduce將應(yīng)用程序的工作分解成很多小的工作小塊。HDFS為了做到可靠性創(chuàng)建了多份數(shù)據(jù)塊的復(fù)制，并將它們放置在服務(wù)器群的計算節(jié)點中，MapReduce就可以在它們所在的節(jié)點上處理這些數(shù)據(jù)了。

2、Hadoop系統(tǒng)主要特點：能可靠地（reliably）存儲和處理千兆字節(jié)（PB）數(shù)據(jù)?？梢酝ㄟ^普通機器組成的服務(wù)器群來分發(fā)以及處理數(shù)據(jù)。這些服務(wù)器群總計可達數(shù)千個節(jié)點。通過分發(fā)數(shù)據(jù)，hadoop可以在數(shù)據(jù)所在的節(jié)點上并行地（parallel）處理它們，這使得處理非常的快速。hadoop能自動地維護數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動地重新部署（redeploy）計算任務(wù)。

五、集中式云平臺聯(lián)機計費采集系統(tǒng)特點介紹

1、分發(fā)存儲并行。云采集平臺采用多主機的模式，可以在數(shù)十臺數(shù)據(jù)節(jié)點上，配置高達數(shù)百G的ramdisk用于緩存數(shù)據(jù)；同時云計算采用作業(yè)均衡調(diào)度機制，可以動態(tài)檢查ramdisk的使用情況，然后再進行作業(yè)分配；系統(tǒng)采用完整的稽查機制，可以保證計費文件100%準(zhǔn)確地采集以及分發(fā)。

2、有效解決磁盤I/O瓶頸。全省集中采集模式，所有近百個節(jié)點的數(shù)據(jù)需要集中存儲，而且并發(fā)訪問，將導(dǎo)致磁盤訪問瓶頸。云平臺利用HDFS技術(shù)，實現(xiàn)多節(jié)點分散存儲模式，每塊磁盤保證獨立訪問，從而避免了磁盤I/O瓶頸，同時整個系統(tǒng)的I/O帶寬擴展到數(shù)十G。

六、聯(lián)采系統(tǒng)改造順應(yīng)發(fā)展需求

1、 符合業(yè)務(wù)發(fā)展的需求。聯(lián)機采集云計算平臺采用業(yè)務(wù)動態(tài)加載模式，同時提供強大的并行計算能力，可以滿足電信業(yè)務(wù)不斷發(fā)展的需求。2、 符合技術(shù)發(fā)展的需求。聯(lián)機采集云計算平臺符合云技術(shù)的發(fā)展趨勢和層次定義。3、 符合節(jié)能減排的需求。以湖北省為例，采用聯(lián)機采集云計算平臺可以節(jié)省77臺設(shè)備，節(jié)省能耗高達80%，完全符合國家倡導(dǎo)節(jié)能減排目標(biāo)。4、 符合電信投資策略的需求。采用聯(lián)機采集云計算平臺可以獲得低價格/高性能的性價比。

結(jié)束語：湖北電信通過對聯(lián)機計費采集系統(tǒng)的升級改造，特別是采用集中模式和云計算平臺等技術(shù)，能夠充分提升系統(tǒng)性能，加快電信業(yè)務(wù)處理能力，滿足用戶及時了解自身費用情況的服務(wù)需求，從而有針對性的提高服務(wù)質(zhì)量，提高企業(yè)核心競爭力。

簡介：葉進，男，1976年9月出生，1998年6月畢業(yè)于中南民族學(xué)院，工程碩士，現(xiàn)就職于湖北電信公司業(yè)務(wù)支撐中心，工程師

通信地址：武漢市江漢區(qū)常青路158號湖北省電信公司業(yè)務(wù)支撐中心，主要研究方向是電信企業(yè)計費系統(tǒng)的解決方案、應(yīng)用等。 聯(lián)系電話：18907181367

參 考 文 獻

[1]中國電信運維[2000]5號文件

[2]中國電信網(wǎng)絡(luò)[2001]164號文參考文獻