本刊記者 | 李璐
“大云產(chǎn)品在提供以主流商用軟件同等服務(wù)能力的情況下,能夠大幅地降低建設(shè)成本,可以有效地提升運(yùn)營(yíng)商的競(jìng)爭(zhēng)優(yōu)勢(shì)?!?/p>
三大電信運(yùn)營(yíng)商作為市場(chǎng)競(jìng)爭(zhēng)主體各自鉚勁的日子已逐漸遠(yuǎn)去,在移動(dòng)互聯(lián)網(wǎng)為王的時(shí)代,運(yùn)營(yíng)商間的內(nèi)斗已被與外部騰訊等OTT廠商的競(jìng)爭(zhēng)所替代,而且在這次持久戰(zhàn)役初期,運(yùn)營(yíng)商頗顯老態(tài),市場(chǎng)競(jìng)爭(zhēng)力不敵OTT。雖然工信部已正式發(fā)放4G牌照,有助于運(yùn)營(yíng)商特別是中國(guó)移動(dòng)發(fā)展無(wú)線數(shù)據(jù)業(yè)務(wù)鞏固其市場(chǎng)地位,但要發(fā)揮移動(dòng)互聯(lián)網(wǎng)的“快”、“新”、“開(kāi)放”等特征,運(yùn)營(yíng)商依然任重道遠(yuǎn)。
對(duì)于中國(guó)移動(dòng),“大云”項(xiàng)目正是其為助力移動(dòng)互聯(lián)網(wǎng)轉(zhuǎn)型、實(shí)現(xiàn)IT支撐系統(tǒng)變革而實(shí)施的云計(jì)算創(chuàng)新研發(fā)計(jì)劃。項(xiàng)目研發(fā)將滿足中國(guó)移動(dòng)IT系統(tǒng)高性能、高擴(kuò)展性、高可靠性、高安全性、低成本的需求,推動(dòng)IT支撐系統(tǒng)集中化的實(shí)現(xiàn),增強(qiáng)大數(shù)據(jù)處理能力,打造移動(dòng)互聯(lián)網(wǎng)時(shí)代核心競(jìng)爭(zhēng)能力。
作為國(guó)內(nèi)最早啟動(dòng)的云計(jì)算研發(fā)項(xiàng)目之一,“大云”項(xiàng)目從2007年3月啟動(dòng),由中國(guó)移動(dòng)研究院打造,是為中國(guó)移動(dòng)云計(jì)算基礎(chǔ)設(shè)施而實(shí)施的關(guān)鍵技術(shù)研究、現(xiàn)網(wǎng)技術(shù)支撐及產(chǎn)品開(kāi)發(fā)計(jì)劃。
“大云”2.5產(chǎn)品體系主要包括:提供彈性計(jì)算和云存儲(chǔ)等資源池服務(wù)的IaaS產(chǎn)品線,提供大數(shù)據(jù)解決方案的PaaS產(chǎn)品線,提供集群運(yùn)維的系統(tǒng)監(jiān)控和管理工具,以及全面的安全解決方案。
中國(guó)移動(dòng)通信研究院云計(jì)算系統(tǒng)部總經(jīng)理孫少陵介紹,針對(duì)現(xiàn)網(wǎng)需求,“大云”2.5針對(duì)2.0已有產(chǎn)品進(jìn)行了深度優(yōu)化,主要包括功能完善、性能優(yōu)化、易用性優(yōu)化、可管理性優(yōu)化等工作。同時(shí)“大云”2.5產(chǎn)品還實(shí)現(xiàn)了對(duì)各企標(biāo)、規(guī)范的支持,形成中國(guó)移動(dòng)云計(jì)算示范產(chǎn)品。
另外,新的2.5版本還增加了三項(xiàng)新產(chǎn)品:分布式關(guān)系數(shù)據(jù)庫(kù)BC-RDB、分布式塊存儲(chǔ)BC-EBS、“大云”商務(wù)智能平臺(tái)BI-PaaS。
BC-RDB作為一款分布式關(guān)系數(shù)據(jù)庫(kù),具有關(guān)系數(shù)據(jù)庫(kù)的特性,同時(shí)具備高擴(kuò)展、高可用性,主要應(yīng)用于海量數(shù)據(jù)的實(shí)時(shí)在線交易處理系統(tǒng)。BCRDB支持SQL92,傳統(tǒng)交易型應(yīng)用可實(shí)現(xiàn)平滑遷移。據(jù)了解,目前該產(chǎn)品在江西移動(dòng)BOSS綜合查詢系統(tǒng)正式上線,提高了系統(tǒng)擴(kuò)展性和查詢效率,并大大降低了建設(shè)和維護(hù)成本 。
分布式塊存儲(chǔ)BC-EBS以低成本的方式提供彈性塊設(shè)備服務(wù),用戶可按需動(dòng)態(tài)申請(qǐng)高可靠的塊存儲(chǔ)資源,塊存儲(chǔ)空間以標(biāo)準(zhǔn)的iSCSI協(xié)議提供,可用于彈性計(jì)算系統(tǒng)的鏡像啟動(dòng)和應(yīng)用數(shù)據(jù)的持久化保存。
BI-PaaS作為 “大云” 的商務(wù)智能分析平臺(tái),能夠?yàn)閼?yīng)用開(kāi)發(fā)者提供關(guān)系數(shù)據(jù)庫(kù)(RDS)、彈性MapReduce (EMR) 、ETL、數(shù)據(jù)挖掘、多維分析、統(tǒng)計(jì)報(bào)表、第三方應(yīng)用的托管以及應(yīng)用的監(jiān)控和告警等服務(wù)。
實(shí)際上,中國(guó)移動(dòng)大云產(chǎn)品已經(jīng)在公眾服務(wù)云、一級(jí)私有云、教育云、省級(jí)ETL、省級(jí)賬詳單、政務(wù)云等系統(tǒng)中實(shí)現(xiàn)超過(guò)100次應(yīng)用試點(diǎn)和商用。在生產(chǎn)系統(tǒng)中,大云產(chǎn)品已部署了超過(guò)3000臺(tái)服務(wù)器,裸存儲(chǔ)容量超過(guò)17PB。2013年大云分布式數(shù)據(jù)庫(kù)系統(tǒng)首次在BOSS系統(tǒng)中實(shí)現(xiàn)商用,取代傳統(tǒng)RDBMS。
而南方基地作為中國(guó)移動(dòng)云計(jì)算工作的重要踐行者,所以大云產(chǎn)品也成為了南方基地云計(jì)算系統(tǒng)中的重要組件進(jìn)行部署與應(yīng)用。其中公眾服務(wù)云已部署兩項(xiàng)大云產(chǎn)品BC-EC、BC-oNest,并考慮引入大云2.5的新產(chǎn)品BC-EBS。
“大云產(chǎn)品在提供以主流商用軟件同等服務(wù)能力的情況下能夠大幅地降低建設(shè)成本,可以有效的提升運(yùn)營(yíng)商的競(jìng)爭(zhēng)優(yōu)勢(shì)?!?林表示,大云產(chǎn)品不僅實(shí)現(xiàn)了對(duì)云計(jì)算資源的統(tǒng)一管理,滿足了運(yùn)營(yíng)支撐,系統(tǒng)管理等生產(chǎn)實(shí)踐的迫切需求,有效地支撐了云計(jì)算時(shí)代下運(yùn)維工作,同時(shí)大云擁有自主的知識(shí)產(chǎn)權(quán),并能提供整體的解決方案,還能夠?qū)崿F(xiàn)按需定制開(kāi)發(fā),持續(xù)優(yōu)化上線這種能力。
Facebook大數(shù)據(jù)
Facebook以Hadoop為基礎(chǔ)建設(shè)了包括流計(jì)算、實(shí)時(shí)計(jì)算、離線分析在內(nèi)的各種大數(shù)據(jù)系統(tǒng)。2012年每天要處理25億條消息、用戶點(diǎn)擊Like按鈕的次數(shù)達(dá)到27億次、上傳3億張照片。Graph Search可以檢索10億用戶、2400億圖片和1萬(wàn)億次訪問(wèn)。目前已經(jīng)支持多區(qū)域數(shù)據(jù)同步。Facebook Puma每天處理超過(guò)200億事件,延遲小于30秒。
數(shù)據(jù)顯示,全球移動(dòng)互聯(lián)網(wǎng)用戶數(shù)量激增,已3倍于固定互聯(lián)網(wǎng)用戶數(shù)量。中國(guó)移動(dòng)互聯(lián)網(wǎng)發(fā)展有類似的趨勢(shì),截至2013年6月,中國(guó)手機(jī)網(wǎng)民已達(dá)4.6億,上半年移動(dòng)互聯(lián)網(wǎng)接入流量同比增長(zhǎng)62.6%。隨著4G發(fā)展的步伐加快,移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)業(yè)務(wù)和流量將進(jìn)一步增長(zhǎng),而伴隨巨大流量,運(yùn)營(yíng)商也面臨著巨大的壓力,對(duì)于中國(guó)移動(dòng)更是如此。
“大云”2.5產(chǎn)品體系中十分重要的一部分就是其提供大數(shù)據(jù)解決方案的PaaS產(chǎn)品線,中國(guó)移動(dòng)期望通過(guò)大數(shù)據(jù)解決方案幫助其化解移動(dòng)互聯(lián)網(wǎng)時(shí)代的挑戰(zhàn)。
在電信領(lǐng)域大數(shù)據(jù)能做什么?“首先是網(wǎng)絡(luò)優(yōu)化,對(duì)于移動(dòng)運(yùn)營(yíng)商來(lái)說(shuō),它的終端客戶的用戶體驗(yàn),包括通話質(zhì)量,通話是不是能夠持續(xù),有沒(méi)有延遲等,這些網(wǎng)絡(luò)的優(yōu)化是服務(wù)好全國(guó)眾多用戶的一個(gè)重要依據(jù)。電信運(yùn)營(yíng)商大數(shù)據(jù)主要應(yīng)用需求,第一個(gè)就是網(wǎng)絡(luò)優(yōu)化?!敝袊?guó)移動(dòng)研究院云計(jì)算系統(tǒng)部首席技術(shù)架構(gòu)師錢(qián)嶺表示,其次大數(shù)據(jù)對(duì)運(yùn)營(yíng)商決策分析、精準(zhǔn)營(yíng)銷、業(yè)務(wù)創(chuàng)新等有積極作用。同時(shí)目前在產(chǎn)業(yè)環(huán)境方面,包括華為等廠商也推出了相應(yīng)的大數(shù)據(jù)解決方案,來(lái)幫助電信運(yùn)營(yíng)商搭建基于云計(jì)算的大數(shù)據(jù)平臺(tái)。
中國(guó)移動(dòng)“大云2.5”大數(shù)據(jù)PaaS產(chǎn)品,其架構(gòu)包括BC-Hadoop 數(shù)據(jù)存儲(chǔ)和分析平臺(tái)、BC-BSP 數(shù)據(jù)并行框架、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)BCHugeTable以及商務(wù)智能平臺(tái)BI-PaaS。目前,中國(guó)移動(dòng)已著手開(kāi)展大數(shù)據(jù)三項(xiàng)業(yè)務(wù),一個(gè)是ETL業(yè)務(wù),通過(guò)分布式架構(gòu)完成所有的KPI計(jì)算;第二項(xiàng)是大數(shù)據(jù)查詢業(yè)務(wù);第三個(gè)就是大數(shù)據(jù)挖掘業(yè)務(wù),例如通過(guò)客戶細(xì)分與手機(jī)報(bào)業(yè)務(wù)匹配,實(shí)現(xiàn)精確營(yíng)銷。
Google大數(shù)據(jù)
Google在全球多個(gè)數(shù)據(jù)中心大規(guī)?;旌喜渴鸷驼{(diào)度數(shù)據(jù)處理能力,系統(tǒng)利用率高達(dá)80%+,2011年MapReduce系統(tǒng)每天處理1000PB左右輸入數(shù)據(jù),支撐其核心業(yè)務(wù),包括搜索、廣告、地圖、郵件、社區(qū)等業(yè)務(wù)。針對(duì)不同的數(shù)據(jù)處理需求提供多種數(shù)據(jù)處理系統(tǒng)。隨著技術(shù)能力提高,將大數(shù)據(jù)處理能力服務(wù)化。
中移研究院部署“大云”私有云
中國(guó)移動(dòng)也將大云運(yùn)用到研究院系統(tǒng)中。今年其對(duì)中國(guó)移動(dòng)大規(guī)模實(shí)驗(yàn)室超1000臺(tái)服務(wù)器作了重新的改造,并劃分為3個(gè)區(qū),模擬現(xiàn)網(wǎng)生產(chǎn)系統(tǒng)進(jìn)行管理,包括生產(chǎn)區(qū)、研發(fā)區(qū)、測(cè)試區(qū)。
生產(chǎn)區(qū)部署了BC-EC、BC-oNest、BC-EBS、BC-Hadoop系統(tǒng),以多租戶方式為內(nèi)部生產(chǎn)系統(tǒng)提供服務(wù);研發(fā)區(qū)、測(cè)試區(qū)主要為研發(fā)、測(cè)試分配物理機(jī)資源。同時(shí) 通過(guò)BC-CloudMaster提供運(yùn)營(yíng)和運(yùn)維功能,支持自助服務(wù)和自動(dòng)化部署 ,并實(shí)時(shí)進(jìn)行能耗監(jiān)控,通過(guò)冷熱通道分離、提高進(jìn)風(fēng)口溫度等措施使全年P(guān)UE在1.5左右。
實(shí)際上在云計(jì)算時(shí)代,單純的軟件發(fā)展已不那么重要,最終需要更多的是“服務(wù)+軟件”?!八?,通過(guò)開(kāi)源的方式可以讓業(yè)界幫我們共同開(kāi)發(fā)軟件產(chǎn)品,快速地實(shí)現(xiàn)對(duì)最終服務(wù)的一個(gè)交付?!敝袊?guó)移動(dòng)通信研究院云計(jì)算系統(tǒng)部總經(jīng)理孫少陵表示,今年中國(guó)移動(dòng)與很多合作伙伴,包括華為、亞聯(lián)等建立了一個(gè)大云的開(kāi)源聯(lián)盟。
“首先我們需要定制一個(gè)中國(guó)移動(dòng)的BCHadoop版本。”孫少陵說(shuō)道。其主要的目標(biāo)在于快速滿足業(yè)務(wù)的需求,既能根據(jù)中國(guó)移動(dòng)業(yè)務(wù),快速地開(kāi)發(fā)Hadoop的需求,并推動(dòng)代碼進(jìn)入主線。同時(shí),促進(jìn)版本的統(tǒng)一?!拔磥?lái)我們會(huì)基于BC-Hadoop推動(dòng)使用Hadoop,以大幅降低成本。”孫少陵表示。另外可以充分地利用產(chǎn)業(yè)的力量,合作共同進(jìn)行Hadoop系統(tǒng)優(yōu)化、應(yīng)用開(kāi)發(fā)和現(xiàn)網(wǎng)系統(tǒng)運(yùn)維支撐。
據(jù)悉,現(xiàn)在中國(guó)移動(dòng)大云實(shí)驗(yàn)室已經(jīng)搭建了一個(gè)開(kāi)源站點(diǎn),針對(duì)國(guó)內(nèi)目前還沒(méi)有一個(gè)比較成熟的開(kāi)源系統(tǒng)的托管的網(wǎng)站,中國(guó)移動(dòng)選擇在國(guó)內(nèi)自己搭建一個(gè)開(kāi)源站點(diǎn),同時(shí)把國(guó)際上最主要的開(kāi)源網(wǎng)站系統(tǒng)作為中國(guó)移動(dòng)的進(jìn)場(chǎng)站點(diǎn),會(huì)同時(shí)在兩個(gè)站點(diǎn)進(jìn)行系統(tǒng)的開(kāi)源。