大理計(jì)量、調(diào)度數(shù)據(jù)接入阿里云平臺(tái)的研究和實(shí)現(xiàn)

施洪美+徐華+徐源

[摘 要] 隨著電網(wǎng)數(shù)據(jù)的海量增多，數(shù)據(jù)的集中式處理開發(fā)已是趨勢(shì)。本文以大理計(jì)量、調(diào)度數(shù)據(jù)接入阿里云平臺(tái)的實(shí)現(xiàn)為例，以數(shù)據(jù)采集、解析、上傳、存儲(chǔ)等過程為基礎(chǔ)研究，實(shí)現(xiàn)云南電網(wǎng)有限責(zé)任公司生產(chǎn)、GIS、營(yíng)銷、調(diào)度、計(jì)量、氣象、人資、財(cái)務(wù)、協(xié)同辦公、綜合等數(shù)據(jù)的統(tǒng)一數(shù)據(jù)模型的構(gòu)建及配置，為設(shè)備狀態(tài)評(píng)價(jià)、負(fù)荷預(yù)測(cè)等場(chǎng)景算法的研究及應(yīng)用驗(yàn)證，大屏可視化的設(shè)計(jì)、開發(fā)及應(yīng)用提供了有益的嘗試。

[關(guān)鍵詞] 數(shù)據(jù)同步；OSS；OSPS； DataHub；數(shù)據(jù)開發(fā)

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2018. 01. 061

[中圖分類號(hào)] TP391 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 1673 - 0194（2018）01- 0149- 03

0 引 言

目前，大數(shù)據(jù)相關(guān)技術(shù)日趨成熟，各行各業(yè)趨之若鶩，黨的十九大期間，步步高集團(tuán)總裁陳志強(qiáng)也提出“推動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合等”，大數(shù)據(jù)時(shí)代到來可見一斑，但自建大數(shù)據(jù)平臺(tái)的成本和可行性也存在諸多問題，一套相對(duì)完善的大數(shù)據(jù)開發(fā)平臺(tái)集中在幾家大型企業(yè)，租用云平臺(tái)反而成為很多企業(yè)的更優(yōu)選擇。

2016年12月云南電網(wǎng)有限責(zé)任公司信息中心引入阿里云計(jì)算，著眼電力大數(shù)據(jù)平臺(tái)的建設(shè)，主要從數(shù)據(jù)采集融合、數(shù)據(jù)算法研究與應(yīng)用、大屏可視化展現(xiàn)等方面開展研究建設(shè)，為了有效推進(jìn)各方面工作開展，開始進(jìn)行相關(guān)數(shù)據(jù)的接入。

1 可行性研究

1.1 經(jīng)濟(jì)可行性

阿里云平臺(tái)作為一個(gè)商用平臺(tái)，部分軟件都有自己的收費(fèi)標(biāo)準(zhǔn)，但平臺(tái)集成了各種程序開發(fā)組件，使用者租用阿里云搭建企業(yè)云平臺(tái)，一則可減少運(yùn)維成本，二來免去服務(wù)器等硬件成本以及類似于Oracle一類商業(yè)軟件的開支。

1.2 技術(shù)可行性

阿里云平臺(tái)作為一個(gè)新興的大數(shù)據(jù)平臺(tái)，提供大數(shù)據(jù)計(jì)算服務(wù)、分析性數(shù)據(jù)庫(kù)等服務(wù)，集成了各類豐富的大數(shù)據(jù)開發(fā)套件，提供了Java、Python、PHP、C#等豐富的SDK，使得開發(fā)者可以選擇開發(fā)語(yǔ)言進(jìn)行相關(guān)的開發(fā)，在云平臺(tái)上部署程序。

1.3 應(yīng)用可行性

以趨勢(shì)和事實(shí)而論，荷蘭皇家飛利浦公司、Schneider、Strikingly等公司都選擇了阿里云，并且獲得成功，以企業(yè)自身而言，一個(gè)技術(shù)型公司都有企業(yè)的技術(shù)團(tuán)隊(duì)，可以根據(jù)官方文檔進(jìn)行相關(guān)技術(shù)開發(fā)。

綜合經(jīng)濟(jì)、技術(shù)、應(yīng)用方面的分析，阿里云大數(shù)據(jù)庫(kù)平臺(tái)搭建可行。

2 數(shù)據(jù)同步模型

2.1 概述

阿里云大數(shù)據(jù)平臺(tái)由大數(shù)據(jù)計(jì)算服務(wù)（MaxCompute）、分析型數(shù)據(jù)庫(kù)（Analytic DB）、流計(jì)算（StreamCompute）共同組成了底層強(qiáng)大的計(jì)算引擎，且提供了豐富的云端數(shù)據(jù)開發(fā)套件，包括數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、調(diào)度系統(tǒng)、數(shù)據(jù)管理、運(yùn)維視屏、數(shù)據(jù)質(zhì)量、任務(wù)監(jiān)控等在內(nèi)。本文數(shù)據(jù)接入方案依賴于阿里云平臺(tái)：

（1）數(shù)據(jù)文件存儲(chǔ)采用OSS。

（2）數(shù)據(jù)通道采用DataHub通道。

（3）數(shù)據(jù)模型解析和處理依賴于Maxcompute和Streamcompute。

（4）數(shù)據(jù)存儲(chǔ)采用OTS庫(kù)等。

2.2 數(shù)據(jù)同步模型

同步模型從數(shù)據(jù)的采集到存儲(chǔ)，采用架構(gòu)式的解決方案，如圖1所示。

OSS是阿里云對(duì)外提供的海量、安全和高可靠的云存儲(chǔ)服務(wù)，用來存儲(chǔ)實(shí)時(shí)數(shù)據(jù)文件；RDS是阿里云關(guān)系型數(shù)據(jù)庫(kù)服務(wù)，用來存儲(chǔ)數(shù)據(jù)文件附件和地址信息；DataHub服務(wù)是阿里云提供的流式數(shù)據(jù)（Streaming Data）服務(wù)通道，它提供流式數(shù)據(jù)的發(fā)布 （Publish）和訂閱 （Subscribe）的功能，用來構(gòu)建基于流式數(shù)據(jù)的分析和應(yīng)用；OSPS運(yùn)行在阿里云平臺(tái)上的流式大數(shù)據(jù)分析平臺(tái)，提供給用戶在云上進(jìn)行流式數(shù)據(jù)實(shí)時(shí)化分析工具；ODPS是一項(xiàng)大數(shù)據(jù)計(jì)算服務(wù)，它能提供快速、完全托管的PB級(jí)數(shù)據(jù)倉(cāng)庫(kù)解決方案；OTS是構(gòu)建在阿里云飛天分布式系統(tǒng)之上的 NoSQL 數(shù)據(jù)庫(kù)服務(wù)，提供海量結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和實(shí)時(shí)訪問。

3 數(shù)據(jù)同步實(shí)現(xiàn)

3.1 數(shù)據(jù)采集、解析和推送

3.1.1 數(shù)據(jù)源

數(shù)據(jù)采集模塊根據(jù)數(shù)據(jù)源的不同有不同的解決方案，本案例中的數(shù)據(jù)源有：

（1）實(shí)時(shí)類數(shù)據(jù)源。

（2）CIM模型/調(diào)度業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)源。

（3）SVG圖片文件數(shù)據(jù)源。

3.1.2 采集、解析和推送方案

根據(jù)數(shù)據(jù)源的不同，對(duì)應(yīng)的解析模塊也有相應(yīng)的變化。

（1）實(shí)時(shí)類數(shù)據(jù)解析。

解析程序：

解析程序以O(shè)SS對(duì)象服務(wù)的Java-SDK打通文件通道，以Java語(yǔ)言為基礎(chǔ)進(jìn)行相關(guān)解析。涉及主要概念說明如下：

Bucket（存儲(chǔ)空間）；

Object（對(duì)象/文件）；

Endpoint（訪問域名）；

AccessKey（訪問密鑰）等。

然后創(chuàng)建連接對(duì)象OSSClient 即可對(duì)OSS進(jìn)行相關(guān)操作。

解析任務(wù)：

調(diào)度數(shù)據(jù)提供方或系統(tǒng)廠家通過調(diào)度系統(tǒng)或其他輔助系統(tǒng)，將基于調(diào)度系統(tǒng)數(shù)據(jù)庫(kù)生成規(guī)定格式的數(shù)據(jù)文件上傳到OSS指定Bucket上指定的目錄下，將實(shí)時(shí)數(shù)據(jù)按采集周期（5min/次）生成最新數(shù)據(jù)文件并上傳至私有云OSS，數(shù)據(jù)接入方在云服務(wù)上開發(fā)數(shù)據(jù)集成-數(shù)據(jù)同步任務(wù)，采用shell任務(wù)方式定時(shí)調(diào)度執(zhí)行私有云OSS中文件下載及文件解析程序，將解析后的數(shù)據(jù)發(fā)送至DataHub數(shù)據(jù)通道。

（2）CIM模型/調(diào)度業(yè)務(wù)數(shù)據(jù)解析。endprint

數(shù)據(jù)提供方導(dǎo)出CIM模型/調(diào)度業(yè)務(wù)數(shù)據(jù)文件，通過上傳至私有云OSS，數(shù)據(jù)接入方開發(fā)數(shù)據(jù)文件解析程序解析文件數(shù)據(jù)，并將文件數(shù)據(jù)上傳至RDS數(shù)據(jù)服務(wù)，如圖2所示。

（3）SVG圖片文件數(shù)據(jù)解析。

文件提供方導(dǎo)出SVG文件，上傳至私有云OSS，數(shù)據(jù)接入方開發(fā)數(shù)據(jù)文件解析程序從OSS獲取文件，并將OSS文件地址信息存儲(chǔ)至RDS服務(wù)器的OSS_FILE_INFO表中。如圖3所示。

3.2 數(shù)據(jù)模型轉(zhuǎn)換

數(shù)據(jù)接入方在云服務(wù)上基于調(diào)度CIM模型數(shù)據(jù)初始化主題實(shí)例模型以及基礎(chǔ)數(shù)據(jù)配置，并在OSPS上開發(fā)流式計(jì)算腳本實(shí)現(xiàn)原始數(shù)據(jù)加工轉(zhuǎn)化為主題實(shí)例模型。

3.2.1 轉(zhuǎn)換模型配置

構(gòu)建數(shù)據(jù)模型：模型信息緯表、檢測(cè)數(shù)據(jù)流表、OTS結(jié)果表以及相關(guān)流式計(jì)算引擎。調(diào)度和計(jì)量的主題實(shí)例模型表如表1所示。

CIM數(shù)據(jù)模型表如表2所示。

3.2.2 轉(zhuǎn)換

將數(shù)據(jù)模型換成對(duì)應(yīng)的StreamSQL配置到OSPS和ODPS中。

3.3 數(shù)據(jù)存儲(chǔ)

OSPS和流式計(jì)算從DataHub數(shù)據(jù)通道中獲取原始數(shù)據(jù)，引入主題實(shí)例模型在OSPS配置數(shù)據(jù)，通過關(guān)聯(lián)計(jì)算，生成K-V（K以主題實(shí)例ID+主題屬性ID+主題項(xiàng)記錄時(shí)間的格式配置）格式的主題實(shí)例存儲(chǔ)數(shù)據(jù)，并寫入OTS表格存儲(chǔ)。

ODPS從DataHub數(shù)據(jù)通道中獲取原始數(shù)據(jù)，引入主題實(shí)例模型在ODPS上做數(shù)據(jù)歸檔。

4 結(jié) 語(yǔ)

本文著眼于企業(yè)數(shù)據(jù)的云端在線，企業(yè)海量數(shù)據(jù)的云端同步，為企業(yè)數(shù)據(jù)在線模型化管理以及后續(xù)的相關(guān)設(shè)計(jì)和開發(fā)提供有力支撐和保障，對(duì)于搭建數(shù)據(jù)云平臺(tái)也有一定的借鑒和參考意義。

主要參考文獻(xiàn)

[1]崔偉，汪詩(shī)林.分布式系統(tǒng)中數(shù)據(jù)同步機(jī)制的研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2007，28（10）：2259-2261.

[2]孫是君.大數(shù)據(jù)時(shí)代企業(yè)經(jīng)營(yíng)管理中的挑戰(zhàn)與對(duì)策[J]. 網(wǎng)友世界：云教育，2014（14）：103.

[3]2017年底云南省健康數(shù)據(jù)上“云”跨地共享共用[J]. 時(shí)代風(fēng)采， 2016（22）：16.

[4]王翔.拿些數(shù)據(jù)，放云上 取些數(shù)據(jù)，從云上[J]. 程序員，2009（5）：20.

[5]王喜.基于阿里云平臺(tái)的云計(jì)算專業(yè)建設(shè)的思考與探索[J]. 福建電腦， 2016，32（11）：162.

[6]李心蕊.MaxComputeSQL的應(yīng)用與發(fā)展研究[J]. 信息技術(shù)， 2017（5）：144-146.endprint