打造中國石化云計算大數(shù)據(jù)平臺

□ 劉 虹

打造中國石化云計算大數(shù)據(jù)平臺

□ 劉 虹

隨著市場變化，為適應(yīng)快節(jié)奏的工作需求，精確處理各項業(yè)務(wù)中出現(xiàn)的海量數(shù)據(jù)，云計算和大數(shù)據(jù)處理平臺應(yīng)運而生。

在新的業(yè)務(wù)模式下，中國石化需要IT敏捷化，快速靈活地支撐業(yè)務(wù)發(fā)展，運用互聯(lián)網(wǎng)思維，創(chuàng)新企業(yè)管理模式、商務(wù)模式，對內(nèi)推動管理向精細(xì)化、科學(xué)化轉(zhuǎn)變，對外打造多業(yè)態(tài)的商業(yè)服務(wù)新模式，實現(xiàn)由生產(chǎn)制造商向綜合服務(wù)商轉(zhuǎn)變。

相互協(xié)調(diào) 互相驅(qū)動

傳統(tǒng)的信息化建設(shè)，以煙囪模式進(jìn)行，一個應(yīng)用一套系統(tǒng)，一套應(yīng)用一組資源，資源在一個應(yīng)用系統(tǒng)內(nèi)使用，資源部署周期長，資源也難以共享。

在煙囪式的建設(shè)模式下，傳統(tǒng)的IOE系統(tǒng)架構(gòu)無法面對上述的需求，只有將一個數(shù)據(jù)中心看作一個整體來提供資源，將每個應(yīng)用看作數(shù)據(jù)中心上的一個工作任務(wù)，在整體的資源視圖模式下，進(jìn)行作業(yè)的調(diào)度、管理，才能提高資源的整體利用率，應(yīng)用系統(tǒng)的部署和使用才能高效敏捷，需要找到新的技術(shù)和方法來實現(xiàn)IT敏捷化。

云計算的并行處理，彈性供給資源框架，利用“分而治之”方法，通過并行計算解決大型處理并將計算資源作為可計量的服務(wù)快速供給，支撐業(yè)務(wù)使用。云計算是彈性計算，其基礎(chǔ)設(shè)施即服務(wù)，平臺組件即服務(wù)，應(yīng)用即服務(wù)，資源的按需供給，彈性計算使敏捷IT成為一種可能。

數(shù)據(jù)處理也經(jīng)歷了一個較大的變化過程，傳統(tǒng)的數(shù)據(jù)處理是一個簡單的分析系統(tǒng)，原先與生產(chǎn)交易系統(tǒng)通常在一起，后來逐漸剝離，成為獨立的查詢分析，逐漸演變成數(shù)據(jù)倉庫系統(tǒng)。隨著數(shù)據(jù)越來越多、越來越復(fù)雜、越來越實時，這就需要改進(jìn)數(shù)據(jù)處理的方式，大數(shù)據(jù)平臺應(yīng)運而生，對海量，多來源的數(shù)據(jù)進(jìn)行處理，處理數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)，處理方式包括離線處理、分批處理和實時處理。

云計算和大數(shù)據(jù)相互協(xié)調(diào)，互相驅(qū)動發(fā)展。大數(shù)據(jù)是云平臺的一個重要應(yīng)用，云平臺因為有大數(shù)據(jù)分析這一利器，更加凸顯平臺的價值和理念。

精心規(guī)劃 整體布局

為建設(shè)敏捷的IT基礎(chǔ)設(shè)施，中國石化提前規(guī)劃，多方調(diào)研，精確選型、打造石化的云計算、大數(shù)據(jù)平臺。

中國石化云計算、大數(shù)據(jù)平臺建設(shè)以系統(tǒng)平臺化、應(yīng)用移動化、自主化為宗旨，以提升資源共享能力、提升數(shù)據(jù)利用能力、提升創(chuàng)新驅(qū)動能力為目標(biāo)，結(jié)合石化應(yīng)用需求和業(yè)界云平臺特點，將私有云平臺中通用云技術(shù)、互聯(lián)網(wǎng)云技術(shù)相互補充。

結(jié)合業(yè)務(wù)流程復(fù)雜、實時性和耦合性要求高、專業(yè)化商業(yè)軟件采用通用云技術(shù)等特點，中國石化現(xiàn)階段在通用云技術(shù)方面選用微軟平臺，互聯(lián)網(wǎng)云技術(shù)方面選擇阿里技平臺。從用戶群體、系統(tǒng)集成、信息安全等方面考慮，與相關(guān)業(yè)務(wù)部門共同商討確定部署在公有云的應(yīng)用清單。以客戶供應(yīng)商訪問為主的第三方公共應(yīng)用擬部署在公有云的石化專區(qū)內(nèi)，便于外部用戶訪問。采用互聯(lián)網(wǎng)技術(shù)建設(shè)大數(shù)據(jù)分析平臺，形成大數(shù)據(jù)離線分析、批量分析和實時分析平臺，完善數(shù)據(jù)抽取、清洗，展現(xiàn)工具，從而搭建起中國石化云計算、大數(shù)據(jù)平臺的建設(shè)框架。

云平臺服務(wù)組件層可為應(yīng)用提供統(tǒng)一共享、彈性靈活的復(fù)用組件，支撐應(yīng)用快速開發(fā)和部署；公共組件服務(wù)，降低了IT的投資成本及運維成本，縮短開發(fā)周期，打造能快速上線，能迭代開發(fā)，能持續(xù)改進(jìn)的應(yīng)用系統(tǒng)。通過“厚平臺、薄應(yīng)用”的理念，各類應(yīng)用軟件也開始采用并行計算，分布式模式進(jìn)行重新架構(gòu)，逐步云化。按照平臺層和應(yīng)用層開發(fā)集中共享的應(yīng)用系統(tǒng)，提升數(shù)據(jù)的共享、分析能力。

打造持續(xù)交付平臺，將開發(fā)、測試和生產(chǎn)的整個生命周期，并在云環(huán)境下統(tǒng)一管理，實施從需求、設(shè)計，開發(fā)、部署、運維的整體云上部署戰(zhàn)略。建立完善云相關(guān)的制度規(guī)范，組建一體化云運營隊伍。建運結(jié)合，管理指導(dǎo)，服務(wù)配套，提高資源供給效率，加強各板塊的服務(wù)考核，提升服務(wù)響應(yīng)能力。

厚平臺 薄應(yīng)用

中國石化采用多種技術(shù)，搭建了資源池，提供彈性資源；打造大數(shù)據(jù)處理平臺，增強數(shù)據(jù)收集、處理、建模、實時展現(xiàn)能力，率先實現(xiàn)平臺層的服務(wù)組件，在行業(yè)處于領(lǐng)先水平，使系統(tǒng)內(nèi)部形成敏捷、彈性、按需供給的IT基礎(chǔ)環(huán)境。

云平臺在統(tǒng)一的云門戶管理下，覆蓋集團公司總部和企業(yè)，擬覆蓋4個區(qū)域中心及相關(guān)企業(yè)?？偛抠Y源服務(wù)于全集團，區(qū)域中心云資源節(jié)點優(yōu)先服務(wù)本區(qū)域，企業(yè)云資源節(jié)點服務(wù)于本企業(yè)。

總部已經(jīng)建成了集中共享資源池，云資源規(guī)模為1000臺服務(wù)器，具備大數(shù)據(jù)存儲與處理能力。 總部資源不僅包括基礎(chǔ)設(shè)施層資源，而且包括平臺服務(wù)組件資源，現(xiàn)已提供的平臺服務(wù)資源為12個組件，為應(yīng)用開發(fā)打下較好的基礎(chǔ)。

云棲石化 服務(wù)大家

目前，中國石化云平臺支撐了集中建設(shè)的大系統(tǒng)、大平臺，如易派客、第四方物流等約150個應(yīng)用。并且在易派客電商、燃料油、化工銷售品、CRM等大應(yīng)用的開發(fā)中，初步沉淀了中國石化的共享服務(wù)組件，如用戶中心，商品中心，訂單中心等。為其他企業(yè)使用云平臺提供了參考方案，同時也為企業(yè)的應(yīng)用開發(fā)提供了共享服務(wù)組件。如燃料油、潤滑油、北京石油、廣東石油等企業(yè)采用總部的云資源搭建了互聯(lián)網(wǎng)應(yīng)用，構(gòu)筑商業(yè)生態(tài)圈。

在項目使用資源時，由原來的需求，立項，采購建設(shè)等長周期過程，改為申請資源，線上審批，項目分配，郵件通知。由原來的3至6個月，縮短到現(xiàn)在的1至2天的審批和分配周期，應(yīng)急流程可縮短到2小時以內(nèi)。

集中共享的云平臺建成后，改變了總部項目建設(shè)模式，由原來的煙囪模式，逐步改變成集中共享模式；改變了企業(yè)對資源建設(shè)的認(rèn)識，由自建改為按需申請，并參考互聯(lián)網(wǎng)上的資源收費價格進(jìn)行資源計量，模擬收費。輔以資源監(jiān)控，項目用戶的自我監(jiān)控評估，對資源的使用情況進(jìn)行跟蹤，可對不足的資源提出升級流程，對富余的資源，申請回收流程，避免資源過度消費，從而降低服務(wù)器的總采購數(shù)量，節(jié)省投資，提高了資源利用率。

云平臺上線后，企業(yè)新開發(fā)的系統(tǒng)基于云平臺進(jìn)行搭建，減少了服務(wù)器資源的自建內(nèi)容，緩解了企業(yè)的機房建設(shè)壓力。同時，云平臺建設(shè)采用國產(chǎn)硬件設(shè)備，大量引入開源產(chǎn)品，包括操作系統(tǒng)、數(shù)據(jù)庫和中間件，定制開發(fā)了云管理平臺，開源組件加定制開發(fā)，減少了對國外廠家的依賴，增加了自主可控性。

力保安全 持續(xù)優(yōu)化

結(jié)合總部和企業(yè)項目的需求，中國石化對云平臺的建設(shè)正在努力地完善中：增加云的容量，以支持更多的應(yīng)用；增加強邏輯隔離域以支撐金融支付平臺等。

增加云的組件，特別是數(shù)據(jù)保護(hù)、通訊加密、安全態(tài)勢感知等安全功能組件，提供云資源的整體安全性。

增加云的地域覆蓋，加強企業(yè)的接入能力，不僅能為企業(yè)的經(jīng)營管理提供資源服務(wù)，也能為企業(yè)的生產(chǎn)管理提供資源服務(wù)。

增加云的彈性供給能力，應(yīng)對客戶管理等系統(tǒng)B2C業(yè)務(wù)場景下大并發(fā)的用戶訪問，支持互聯(lián)網(wǎng)模式下“秒殺”等營銷模式等，支持改善用戶體驗。

增加云的災(zāi)備能力，形成多個數(shù)據(jù)中心聯(lián)動的云資源，進(jìn)一步保障應(yīng)用系統(tǒng)的安全性，提高應(yīng)用系統(tǒng)的業(yè)務(wù)連續(xù)性。

完善云管理的功能，提供云管理的監(jiān)控、預(yù)警能力，提供項目、應(yīng)用視角的監(jiān)控。

進(jìn)一步完善計量收費功能，為落實按項目進(jìn)行計量收費做好準(zhǔn)備，進(jìn)一步促進(jìn)資源利用率的提高。

（作者單位：集團公司信息部）