田熙清,邢豫,王海霞
(中國電信股份有限公司廣州研究院,廣州 510630)
下一代IT系統(tǒng)架構(gòu)及實施策略探析
田熙清,邢豫,王海霞
(中國電信股份有限公司廣州研究院,廣州510630)
下一代;系統(tǒng)架構(gòu);集約化;服務(wù)化;平臺化;組件化;自主化
隨著市場的發(fā)展和改革的推進,運營商面臨一些內(nèi)外部環(huán)境的巨大變化。外部來講,電信、媒體和信息、互聯(lián)網(wǎng)內(nèi)容和應(yīng)用、終端制造、電子商務(wù)等行業(yè)“花園圍墻”的倒塌,對手相互滲透進入對方的領(lǐng)域。移動互聯(lián)網(wǎng)的發(fā)展模糊了行業(yè)之間邊界,終端引領(lǐng),端云整合,運營商面臨被管道化的危機。內(nèi)部來說,三家運營商在展開激烈全方位競爭的同時,虛擬運營商正在摩拳擦掌。運營商之間的競爭已從網(wǎng)絡(luò)規(guī)模的競爭、業(yè)務(wù)種類的競爭,延伸至品牌的競爭,合作共贏生態(tài)鏈的構(gòu)建,是否能有效的提升服務(wù)水平、運營效率和管理能力。
運營商要突破困境,必須考慮“去電信化[1]”,業(yè)務(wù)模式從傳統(tǒng)的話音經(jīng)營轉(zhuǎn)向流量經(jīng)營,實現(xiàn)從單業(yè)務(wù)到全業(yè)務(wù)的融合,從自營到批發(fā)和代理,從單邊商業(yè)模式到多邊商業(yè)模式的轉(zhuǎn)變,打造開放、合作共贏的生態(tài)環(huán)境。
目前IT支撐系統(tǒng)(以下簡稱IT系統(tǒng))采用“總部+分省”建設(shè)模式,各專業(yè)M/B/O/E煙囪式構(gòu)建[2],總部系統(tǒng)主要負責(zé)各省系統(tǒng)間的路由以及極少數(shù)統(tǒng)一建設(shè)的系統(tǒng);31個省級公司以及海外公司按照MSS(管理支撐系統(tǒng))、BSS(業(yè)務(wù)支撐系統(tǒng))、OSS(運營支撐系統(tǒng))和EDA(企業(yè)數(shù)據(jù)應(yīng)用)四大域獨自建設(shè)IT支撐系統(tǒng)。
目前IT系統(tǒng),各省級公司內(nèi)部各專業(yè)數(shù)據(jù)不一致,數(shù)據(jù)難以共享,無法對外提供統(tǒng)一、一致的服務(wù);對外服務(wù)接口復(fù)雜和不標(biāo)準(zhǔn),難以快速響應(yīng)對外開放、合作的業(yè)務(wù)需求,支撐業(yè)務(wù)轉(zhuǎn)型。另外從技術(shù)層面來講,目前各省采用IOE架構(gòu),存在 “基礎(chǔ)設(shè)施重復(fù)建設(shè)嚴(yán)重,各系統(tǒng)耦合度高,功能重復(fù)開發(fā),系統(tǒng)的橫向擴展能力受到極大制約,系統(tǒng)建設(shè)周期長,后期維護成本(OPEX)居高不下”等問題。因此亟需IT系統(tǒng)做出改變,構(gòu)建下一代IT系統(tǒng),支撐企業(yè)“去電信化”的戰(zhàn)略發(fā)展和實現(xiàn)IT系統(tǒng)的自我救贖。
不管是對外來說,提供開放、合作的生態(tài)環(huán)境,還是內(nèi)部集約化的業(yè)務(wù)發(fā)展、劃小核算的精確化管理以及精確營銷的智慧運營,都提出了對下一代IT系統(tǒng)的要求:
(1)集約化:打破各省,各專業(yè)的獨立建設(shè)模式,實現(xiàn)主要IT系統(tǒng)的集約化建設(shè),形成合力,快速滿足對外對內(nèi)需求,集約化是下一代IT系統(tǒng)建設(shè)的基本原則。
(2)服務(wù)化:下一代IT系統(tǒng)能夠?qū)ν馓峁㊣T能力,快速實現(xiàn)合作共贏生態(tài)鏈的對接和整合。對內(nèi)來說,通過服務(wù)化,能夠使內(nèi)部各模塊進行解耦,使整個系統(tǒng)更加靈活。
(3)平臺化:在基礎(chǔ)設(shè)施層、數(shù)據(jù)層、數(shù)據(jù)服務(wù)層、公共組件和應(yīng)用托管引擎進行統(tǒng)一建設(shè),向上層應(yīng)用提供統(tǒng)一的計算、存儲、網(wǎng)絡(luò)、安全、基礎(chǔ)服務(wù)、數(shù)據(jù)訪問、公共組件以及應(yīng)用托管的能力,形成私有的IaaS (Infrastructure as a Service)和PaaS(Platform as a Service),可以減少以往在基礎(chǔ)設(shè)施的重復(fù)建設(shè),同時可以快速啟動新應(yīng)用開發(fā)以及使規(guī)?;\維成為可能。
(4)組件化:依照新的業(yè)務(wù)要求,重新梳理M/B/O/E各專業(yè)的業(yè)務(wù)模塊,形成業(yè)務(wù)組件。組件基于平臺提供的能力,根據(jù)業(yè)務(wù)流程進行業(yè)務(wù)邏輯的編排和開發(fā),提供業(yè)務(wù)能力,并托管在平臺上管理和運行。組件化使系統(tǒng)更加靈活,可以快速加載和響應(yīng)業(yè)務(wù)需求,相當(dāng)于IT系統(tǒng)的SaaS(Software as a Service)。
(5)自主化:平臺化是下一代IT系統(tǒng)核心,如果還像10年前一樣,放棄自主研發(fā),交由軟件開發(fā)商開發(fā),難以做到技術(shù)可控和成本可控。但在過去10年中,軟件開發(fā)商為IT系統(tǒng)建設(shè)貢獻巨大,對業(yè)務(wù)邏輯非常熟悉,因此上層的應(yīng)用組件開發(fā)可以交給開發(fā)商開發(fā),自己專心做好系統(tǒng)的平臺化工作。平臺的自主研發(fā)和應(yīng)用組件的外包開發(fā)相輔相成,缺一不可。
集約化是下一代IT系統(tǒng)建設(shè)的原則,服務(wù)化是企業(yè)轉(zhuǎn)型的要求,平臺化是下一代IT系統(tǒng)的核心,組件化是系統(tǒng)能否滿足業(yè)務(wù)發(fā)展的基石,自主化是下一代系統(tǒng)能夠成功的保證。
下一代IT系統(tǒng)根據(jù)自身的需求及目標(biāo),以及借鑒互聯(lián)網(wǎng)公司的最佳實踐,建議采用一步到位的技術(shù)架構(gòu),分步驟去實施。由于OLAP(聯(lián)機分析處理)系統(tǒng)采用大數(shù)據(jù)處理技術(shù)比較成熟[3-5],不再贅述,本文主要描述OLTP(聯(lián)機事務(wù)處理系統(tǒng))系統(tǒng)的技術(shù)架構(gòu),目標(biāo)架構(gòu)如圖1所示。
圖1 下一代IT系統(tǒng)目標(biāo)架構(gòu)
系統(tǒng)目標(biāo)架構(gòu)為去IOE的分布式架構(gòu),即采用x86工業(yè)標(biāo)準(zhǔn)硬件+開源軟件,具有柔性可擴展、高性能、能快速響應(yīng)業(yè)務(wù)需求、穩(wěn)定、低成本和核心系統(tǒng)自主控制的現(xiàn)代化新型企業(yè)IT架構(gòu)。
目標(biāo)架構(gòu)由下三層的平臺化和上層應(yīng)用的組件化組成。平臺化,即由基礎(chǔ)設(shè)施層、基礎(chǔ)構(gòu)件層和服務(wù)層組成?;A(chǔ)設(shè)施層由x86服務(wù)器集群、存儲、網(wǎng)絡(luò)、安全等組成,并通過虛擬化軟件對集群進行虛擬化管理和規(guī)?;\營,基礎(chǔ)設(shè)施層相當(dāng)于下一代IT系統(tǒng)的I-aaS。
基礎(chǔ)構(gòu)件層由分布式MySQL數(shù)據(jù)庫集群、NoSQL數(shù)據(jù)庫集群、分布式文件系統(tǒng)和中間件組成,是平臺的基礎(chǔ)開源構(gòu)件,不直接對外服務(wù),同時也是下一代IT系統(tǒng)能夠可擴展,彈性伸縮的保證。分布式MySQLl數(shù)據(jù)庫集群存放結(jié)構(gòu)化的持久化數(shù)據(jù),NoSQL數(shù)據(jù)庫集群(如Redis,HBase,Mongodb)在內(nèi)存中存放熱點數(shù)據(jù),提高熱點數(shù)據(jù)的讀取速度,這兩者通過分布式數(shù)據(jù)訪問層(Data Access Layer)對外提供數(shù)據(jù)的存取服務(wù)。分布式數(shù)據(jù)訪問層實現(xiàn)數(shù)據(jù)分片(shared)、SQL語句請求路由功能、支持JDBC規(guī)范、主從庫負載均衡及復(fù)制、讀寫分離、連接池管理、MySQL集群的數(shù)據(jù)庫節(jié)點無縫增加和替換等功能,實現(xiàn)分布式構(gòu)件對上層應(yīng)用的透明。分布式文件系統(tǒng)包含HDFS,MooseFS,搜索引擎(Solr/ Lucence)等,前兩者存放歷史數(shù)據(jù)或離線數(shù)據(jù),搜索引擎應(yīng)對大量多條件查詢的非實時數(shù)據(jù)。中間件包含Java的應(yīng)用服務(wù)器(如JBoss)等,消息中間件(如ActiveMQ)、四層負載均衡器(如LVS)和七層負載均衡器(如Nginx)等。
服務(wù)層包含數(shù)據(jù)共享服務(wù),公共組件服務(wù)和應(yīng)用托管環(huán)境(App Engine)組成,服務(wù)層以O(shè)pen API或管理界面方式直接對上層應(yīng)用開放,應(yīng)用層基于平臺的服務(wù)能力進行應(yīng)用組件開發(fā)。數(shù)據(jù)共享服務(wù)基于分布式基礎(chǔ)構(gòu)件,實現(xiàn)業(yè)務(wù)數(shù)據(jù)模型統(tǒng)一、集中和數(shù)據(jù)的一致性,并對外通過企業(yè)服務(wù)總線(ESB)提供統(tǒng)一的數(shù)據(jù)共享訪問。公共組件服務(wù),包含統(tǒng)一認證、規(guī)則引擎、流程引擎、日志中心、定時任務(wù)(Cron)、驗證碼等,為應(yīng)用層提供公共的組件服務(wù),無需每一個應(yīng)用自己單獨開發(fā)和運維。應(yīng)用托管環(huán)境包含應(yīng)用注冊、發(fā)布部署、負載均衡訪問、資源分配、運行環(huán)境隔離和監(jiān)控等功能,應(yīng)用開發(fā)商開發(fā)完應(yīng)用后,能夠快速在App Engine中加載和運行。
組件化,即打破目前M/B/O/E專業(yè)系統(tǒng)的煙囪式構(gòu)建,重新構(gòu)建業(yè)務(wù)流程和定義業(yè)務(wù)組件,使系統(tǒng)更加靈活和快速響應(yīng)業(yè)務(wù)需求。由目前系統(tǒng)開發(fā)商基于平臺開放的能力進行開發(fā),充分發(fā)揮這么多年在業(yè)務(wù)上的理解和積累,保證能快速完成系統(tǒng)遷移。
在目標(biāo)架構(gòu)下,省級節(jié)點和集團節(jié)點處于平等地位,都是基于平臺數(shù)據(jù)服務(wù)能力和公共組件構(gòu)建,旨在解決目前采用集團樞紐+31省互聯(lián),業(yè)務(wù)流程繁瑣,需要大量的協(xié)調(diào)工作,業(yè)務(wù)需求響應(yīng)慢等問題。在新的架構(gòu)下,采用SOA(Service-Oriented Architecture)理念,應(yīng)用開發(fā)基于平臺數(shù)據(jù)服務(wù)能力和公共組件,可靈活組合,甚至多個小的省份基于一個節(jié)點來構(gòu)建,大的省份拆成幾個節(jié)點,系統(tǒng)節(jié)點以App方式在App Engine上托管和運行。
下一代IT系統(tǒng)極其復(fù)雜和具有顛覆性,是一項龐大的系統(tǒng)工程,沒有成功的同行實施經(jīng)驗,唯有成立自主研發(fā)團隊,借鑒互聯(lián)網(wǎng)公司開發(fā)運營一體化(DevOps)經(jīng)驗,按照目標(biāo)架構(gòu),用3~5年時間,通過迭代式拆分的方式對IT系統(tǒng)進行遷移改造,實現(xiàn)IT系統(tǒng)的升級和改造。下面從系統(tǒng)架構(gòu)、組織人才和運營管理給出相應(yīng)的實施策略,并給出過渡期的建議策略。
3.1系統(tǒng)架構(gòu)實施路徑
在系統(tǒng)架構(gòu)實施路徑上,有兩路徑可走。其一是,組建自主研發(fā)隊伍,對目標(biāo)架構(gòu)的平臺部分進行核心技術(shù)攻關(guān),并選擇合適龍頭省公司核心IT系統(tǒng)作為試點,聯(lián)合應(yīng)用開發(fā)商進行相關(guān)驗證,用1~2年時間把試點省份核心系統(tǒng)逐步遷移到目標(biāo)架構(gòu)系統(tǒng),并在運營過程中,不斷完善目標(biāo)架構(gòu)系統(tǒng)。待目標(biāo)架構(gòu)成熟后,有步驟有節(jié)奏的把其他省級公司割接到目標(biāo)架構(gòu)系統(tǒng)。
另外也可以待目標(biāo)架構(gòu)平臺成熟后,從客戶和管理者感知角度考慮,建議在數(shù)據(jù)與應(yīng)用分離的基礎(chǔ)上重點圍繞端到端業(yè)務(wù)流程重新劃分系統(tǒng)邊界,先從CRM、服務(wù)開通和網(wǎng)絡(luò)激活系統(tǒng)著手進行集中化遷移,在全網(wǎng)統(tǒng)一管理客戶數(shù)據(jù)的基礎(chǔ)上,實現(xiàn)客戶接觸、業(yè)務(wù)受理、服務(wù)開通和網(wǎng)絡(luò)激活等受理 (Fulfillment)流程。其他系統(tǒng)暫保持現(xiàn)有兩級架構(gòu),其中,省級系統(tǒng)在資源數(shù)據(jù)基礎(chǔ)上實現(xiàn)如計費、批價等計費 (Billing)流程,報障處理等保障(Assurance)流程,客戶洞察等數(shù)據(jù)分析流程。待時機成熟后,進行全面的遷移和割接。
3.2組織人才實施策略
組建IT自主研發(fā)隊伍,采用自主開發(fā)提升企業(yè)應(yīng)對技術(shù)風(fēng)險的能力,通過小步快跑的迭代開發(fā)降低技術(shù)風(fēng)險的影響范圍,從而形成強大的技術(shù)積累,最終實現(xiàn)技術(shù)可控。建議依托研發(fā)體系采用自主研發(fā),爭取在1年之內(nèi)完成目標(biāo)架構(gòu)平臺核心技術(shù)攻關(guān),搭建生產(chǎn)系統(tǒng),并在部分實際IT生產(chǎn)系統(tǒng)上進行驗證。
招聘高技術(shù)人才,打造核心開發(fā)運營團隊,重點包括LAMP、Hadoop等開源技術(shù)人才,同時建立適合關(guān)鍵技術(shù)人才成長和穩(wěn)定環(huán)境,留住核心人員,并探索IT基地模式,目標(biāo)架構(gòu)系統(tǒng)以基地方式服務(wù)省公司實體化運作,負責(zé)核心平臺的研發(fā)和運營,以及上層應(yīng)用運行環(huán)境的托管和維護。IT基地負責(zé)技術(shù)上的開發(fā)運營一體化,業(yè)務(wù)支撐由現(xiàn)有的IT部門負責(zé)。
3.3運營管理實施策略
建立適合運營迭代式開發(fā)的工程建設(shè)流程和制度,摒棄目前繁瑣的資源提前采購流程和系統(tǒng)開發(fā)的交鑰匙工程。在現(xiàn)有面向業(yè)務(wù)需求的年度工程項目管理之外,落實面向日常運營需求的迭代式開發(fā)成本費用,目前的IT部門是業(yè)務(wù)需求收集和分析的負責(zé)人,涉及數(shù)據(jù)模型和業(yè)務(wù)組件的完善,由IT基地進行負責(zé),加快需求響應(yīng)。
在業(yè)務(wù)配套措施方面,充分借鑒互聯(lián)網(wǎng)公司經(jīng)驗,簡化業(yè)務(wù)捆綁復(fù)雜度,降低計算復(fù)雜度;減少復(fù)雜業(yè)務(wù)捆綁和交叉優(yōu)惠、繳費支付關(guān)系,實現(xiàn)以簡單折扣為主的營銷策略,降低業(yè)務(wù)復(fù)雜度。清理極少用戶套餐、無效套餐,減少業(yè)務(wù)規(guī)則,降低計算量。
3.4過渡斯建議
過渡期內(nèi),目前系統(tǒng)還是IOE的集中式架構(gòu),在小機采購逐步減少的情況下,尤其是Oracle數(shù)據(jù)庫的主機壓力將越來越大,可以對核心系統(tǒng)進行瘦身,減輕核心系統(tǒng)壓力,為全面轉(zhuǎn)向目標(biāo)架構(gòu)贏得時間,同時培養(yǎng)和鍛煉新技術(shù)的人才和隊伍。
從核心系統(tǒng)剝離大數(shù)據(jù)量查詢功能,放入到NoSQL數(shù)據(jù)庫或分布式文件系統(tǒng)中,減輕核心在線系統(tǒng)負擔(dān),提高核心系統(tǒng)處理能力,如清單查詢、賬單查詢、積分查詢、日志查詢、電子回執(zhí)等非實時穩(wěn)定數(shù)據(jù)剝離到Hadoop中。另外原有IOE集中式架構(gòu)下,存在大量關(guān)系和聚合運算,例如關(guān)聯(lián)查詢、統(tǒng)計分析等,利用Oracle數(shù)據(jù)庫的存儲過程,依賴數(shù)據(jù)庫計算能力,消耗大量的資源,需要把基于存儲過程的計算功能從數(shù)據(jù)庫層剝離,數(shù)據(jù)庫退化為單純的數(shù)據(jù)存儲。
下一代IT系統(tǒng)的建設(shè)是一項復(fù)雜的系統(tǒng)工程,強調(diào)的是采用x86工業(yè)標(biāo)準(zhǔn)硬件+開源軟件,形成“核心平臺化+應(yīng)用組件化”的集約化、服務(wù)化和分布式架構(gòu),具有高度柔性、可擴展、高性能、能快速響應(yīng)業(yè)務(wù)需求、穩(wěn)定、低成本和核心系統(tǒng)自主控制的現(xiàn)代化新型企業(yè)IT系統(tǒng),需要通過自主研發(fā)不斷積累。為了目標(biāo)架構(gòu)能夠落地和實施,需要從人才組織和運營管理上,打破目前的條條框框,實施“去電信化”策略予以保證。下一代IT系統(tǒng)成熟后,未來可依托服務(wù)化和分布式的新型架構(gòu)平臺開展對外部客戶服務(wù),形成自己私有的IaaS和PaaS平臺,成為企業(yè)ICT業(yè)務(wù)發(fā)展的核心競爭力。
[1]韋樂平.電信業(yè)的未來與“去電信化”的思考[J].電信科學(xué),2013(2):1-7.
[2]田熙清,陳泳,胡穎茂.IT支撐系統(tǒng)技術(shù)架構(gòu)的去電信化思考[J].移動通信,2014(5):68-74.
[3]陳翀,謝曉軍,陳康.大數(shù)據(jù)關(guān)鍵技術(shù)及其在運營商中的應(yīng)用研究綜述[J].廣東通信技術(shù),2013,08:2-7
[4]陳娜,徐歆壹,宋紅兵,何毅.基于Hadoop的電信BSS大數(shù)據(jù)平臺建設(shè)研究[J].電信科學(xué),2013(3):36-40
[5]漆晨曦.電信企業(yè)大數(shù)據(jù)分析、應(yīng)用及管理發(fā)展策略[J].電信科學(xué),2013(3):12-16.
Next Generation;System Architecture;Intensification;Service-Oriented;Platform;Component-Based;Self-Reliance
Next-Generation IT System Architecture and Implementation Strategy Analysis
TIAN Xi-qing,XING Yu,WANG Hai-xia
(Guangzhou Research Institute of China Telecom,Guangzhou510630)
田熙清(1977-),男,廣東廣州人,研究生,研究方向為電信IT支撐系統(tǒng)架構(gòu)及IT系統(tǒng)工程實踐
邢豫(1974-),男,廣東廣州人,研究生,研究方向為大型IT項目管控、IT系統(tǒng)架構(gòu)設(shè)計
王海霞(1975-),女,廣東廣州人,研究生,研究方向為IT系統(tǒng)架構(gòu)設(shè)計、需求分析
2015-10-13
2015-10-28
分析目前市場背景,企業(yè)轉(zhuǎn)型的業(yè)務(wù)模式變化,以及IT支撐系統(tǒng)存在的問題,指出下一代IT系統(tǒng)的5個要求,即集約化、服務(wù)化、平臺化、組件化和自主化,給出目標(biāo)技術(shù)架構(gòu)及關(guān)鍵技術(shù),從系統(tǒng)架構(gòu)、組織人才和運營管理等方面,提出實施策略及建議,為下一代IT系統(tǒng)建設(shè)提供參考。
Analyzes the current market context,business model changes of enterprise transformation,and current IT support system problems,points out five requirements of the next generation of IT system,namely intensification,service-oriented,platform,component-based and selfreliance.Gives the target technology architecture and key technologies from the system architecture.From the following three aspects: system architecture,organizational management and personnel,operation management,proposes the implementation of strategies and recommendations to provide a reference for the next generation of IT system construction.