大數(shù)據(jù)處理在交換平臺(tái)產(chǎn)品中的應(yīng)用

杜玉輝

摘要：大數(shù)據(jù)時(shí)代，個(gè)人、企業(yè)數(shù)據(jù)快速發(fā)展，數(shù)據(jù)呈現(xiàn)海量、多樣性特點(diǎn)，同時(shí)企業(yè)信息系統(tǒng)建設(shè)也日益復(fù)雜、龐大;如何處理海量、多樣化數(shù)據(jù)，并且在多平臺(tái)、多系統(tǒng)間實(shí)現(xiàn)數(shù)據(jù)的整合、交換，充分發(fā)揮企業(yè)數(shù)據(jù)價(jià)值，成為當(dāng)前企業(yè)系統(tǒng)建設(shè)的巨大挑戰(zhàn)。本文將對(duì)大數(shù)據(jù)處理在交換平臺(tái)處理中的可視化、可監(jiān)控、可管理、可配置上做一個(gè)簡(jiǎn)單介紹。

關(guān)鍵詞：大數(shù)據(jù);多系統(tǒng);交換平臺(tái);可管理

中圖分類號(hào)：TP311.52 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）12-0093-03

1 大數(shù)據(jù)處理與交換方案

1.1 BDPE概念

BDPE（大數(shù)據(jù)處理與交換BigData Process And Exchange），是基于多年對(duì)大數(shù)據(jù)研究、使用成果的基礎(chǔ)上，形成滿足大數(shù)據(jù)、滿足各行業(yè)的大數(shù)據(jù)處理與交換產(chǎn)品。

BDPE產(chǎn)品是基于分布式架構(gòu)，實(shí)現(xiàn)對(duì)系統(tǒng)源數(shù)據(jù)的統(tǒng)一抽取、轉(zhuǎn)換、加載，并在此基礎(chǔ)上實(shí)現(xiàn)與外圍系統(tǒng)的數(shù)據(jù)交換，同時(shí)提供跨平臺(tái)的統(tǒng)一的作業(yè)調(diào)度及監(jiān)控功能。如圖1所示。

使用BDPE產(chǎn)品，可以幫助企業(yè)實(shí)現(xiàn)：

各信息系統(tǒng)數(shù)據(jù)的整合，實(shí)現(xiàn)統(tǒng)一的加工、處理與管理。

降低IT系統(tǒng)建設(shè)開(kāi)銷，節(jié)約成本。

提供可視化的使用、運(yùn)維界面，降低部署和運(yùn)維難度。

1.2 BDPE功能

采用分布式架構(gòu)，產(chǎn)品性能隨著設(shè)備擴(kuò)容呈線性增長(zhǎng)，不受擴(kuò)容限制。

實(shí)現(xiàn)對(duì)企業(yè)內(nèi)部信息系統(tǒng)（如訂單、辦公文件等）采集，按照企業(yè)統(tǒng)一的數(shù)據(jù)規(guī)范對(duì)信息進(jìn)行合并、轉(zhuǎn)換等操作，并對(duì)異構(gòu)系統(tǒng)數(shù)據(jù)的統(tǒng)一處理、管理。

支持對(duì)企業(yè)外部（如互聯(lián)網(wǎng)網(wǎng)頁(yè)等）等結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的采集、轉(zhuǎn)換與處理。

將系統(tǒng)數(shù)據(jù)處理與交換工作從人工運(yùn)維管理轉(zhuǎn)變?yōu)樽詣?dòng)化運(yùn)維管理，大幅提高IT運(yùn)維服務(wù)質(zhì)量。

支持自定義的作業(yè)調(diào)度管理，依據(jù)事先配置好的調(diào)度策略（如優(yōu)先級(jí)、邏輯關(guān)系等）、故障判斷標(biāo)準(zhǔn)、恢復(fù)策略進(jìn)行作業(yè)調(diào)度、故障恢復(fù)。

自動(dòng)檢測(cè)服務(wù)器的負(fù)載情況，如CPU、內(nèi)存、I/O使用情況，進(jìn)行智能調(diào)度，均衡各系統(tǒng)負(fù)載，保證系統(tǒng)良好的用戶體驗(yàn)和系統(tǒng)的最佳響應(yīng)。

自動(dòng)監(jiān)控IT資源和系統(tǒng)運(yùn)行狀態(tài)，對(duì)系統(tǒng)故障和潛在風(fēng)險(xiǎn)實(shí)時(shí)報(bào)警、自動(dòng)回復(fù)，提高系統(tǒng)的可靠性。

產(chǎn)品采用組件化設(shè)計(jì)思想，具有良好的開(kāi)放性，支持第三方調(diào)用。

1.3 BDPE技術(shù)特點(diǎn)

采用服務(wù)層、執(zhí)行層、應(yīng)用層的分層架構(gòu)，有利于解耦、組合、安裝和維護(hù)。

硬件和數(shù)據(jù)處理與交換平臺(tái)由IT維護(hù)人員維護(hù)，業(yè)務(wù)人員聚焦業(yè)務(wù)，各司其職，提高效率。

支持多種數(shù)據(jù)庫(kù)及平臺(tái)，支持多廠商的硬件。

廣泛的數(shù)據(jù)源支持，支持異構(gòu)數(shù)據(jù)源系統(tǒng)的數(shù)據(jù)抽取、支持多種數(shù)據(jù)抽取接口。

提供開(kāi)發(fā)API，支持對(duì)第三軟件或者產(chǎn)品的集成。

提供了可視化、擁有豐富組件的設(shè)計(jì)工具，降低了使用門(mén)檻。

采用WORKFLOW機(jī)制，通過(guò)多種工作流調(diào)度方法，可以將ETL Session、數(shù)據(jù)庫(kù)腳本等任務(wù)結(jié)合在一起，方便定制個(gè)性化、復(fù)雜的工作流，滿足各種應(yīng)用場(chǎng)景。

1.4 BDPE關(guān)鍵能力

支持hadoop、MPP、Spark、分布式內(nèi)存平臺(tái)處理非結(jié)構(gòu)化數(shù)據(jù)。

支持跨hadoop、MPP、傳統(tǒng)RDBMS等平臺(tái)及數(shù)據(jù)庫(kù)調(diào)度，實(shí)現(xiàn)對(duì)流量運(yùn)營(yíng)、深度分析、主數(shù)據(jù)倉(cāng)庫(kù)、等應(yīng)用庫(kù)的調(diào)度與數(shù)據(jù)處理。

支持對(duì)小型機(jī)、X86服務(wù)器、調(diào)度流程的監(jiān)控與處理、跨平臺(tái)統(tǒng)一監(jiān)控能力。

支持集群中節(jié)點(diǎn)在線添加、移除，自動(dòng)部署Agent代理，自動(dòng)實(shí)現(xiàn)后續(xù)節(jié)點(diǎn)的監(jiān)控、服務(wù)管理能力。

支持對(duì)執(zhí)行JOB的新增、修改、刪除等JOB管理操作數(shù)據(jù)不落地傳輸能力。

支持分布式內(nèi)存數(shù)據(jù)計(jì)算，以多進(jìn)程管道方式并行讀取不同的接口文件高可用集群與負(fù)載均衡能力。

通過(guò)選舉算法，確定服務(wù)端主server，發(fā)生故障，備server自動(dòng)接管硬件線性擴(kuò)展及功能橫向擴(kuò)展能力。

采用基于X86的分布式架構(gòu)，能夠利用系統(tǒng)可視化界面方便、快捷實(shí)現(xiàn)節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)展，并且產(chǎn)品性能隨著服務(wù)器擴(kuò)展呈線性擴(kuò)展。

產(chǎn)品采用組件化設(shè)計(jì)與開(kāi)發(fā)，具有很好的擴(kuò)展性，能快速應(yīng)對(duì)未來(lái)系統(tǒng)擴(kuò)展、技術(shù)發(fā)展要求可視化、定制化操作能力。

提供了豐富的圖形化操作界面，支撐用戶的日常運(yùn)維、配置工作。如性能監(jiān)控、實(shí)時(shí)監(jiān)控、Job監(jiān)控、日志查看、Job配置、模板管理等。

采用插件式開(kāi)發(fā)，將對(duì)外服務(wù)、集成功能封裝成API供其他軟件調(diào)用。

2 BDPE架構(gòu)

2.1 技術(shù)架構(gòu)

如圖2所示。

作為核心中樞主要承擔(dān)ETL作業(yè)組織、任務(wù)調(diào)度、作業(yè)狀態(tài)跟進(jìn)、作業(yè)監(jiān)控管理、異常處理與服務(wù)質(zhì)量管理、集群資源管理等核心服務(wù)管理工作，作為產(chǎn)品的大腦負(fù)責(zé)“發(fā)號(hào)施令”同時(shí)又承擔(dān)對(duì)作業(yè)執(zhí)行情況的監(jiān)控，其核心價(jià)值是“承上啟下”將不同層次的功能組合為一個(gè)計(jì)算整體來(lái)對(duì)外服務(wù)。

作為產(chǎn)品的計(jì)算任務(wù)承擔(dān)點(diǎn)，產(chǎn)品中核心的數(shù)據(jù)處理流程，如：采集、處理與加載等工作過(guò)程都將由其來(lái)承擔(dān)具備計(jì)算過(guò)程，從抽象層面來(lái)分析執(zhí)行層是計(jì)算資源的高度聚集與抽象，其受控于中樞“大腦”的調(diào)遣，定位于工兵忠實(shí)在執(zhí)行下發(fā)的每一個(gè)指令，以保證計(jì)算任務(wù)高效優(yōu)質(zhì)完成為核心關(guān)注點(diǎn)。

側(cè)重于從核心業(yè)務(wù)訴求基礎(chǔ)之上進(jìn)行高度總結(jié)抽象后形成獨(dú)立的應(yīng)用控件，產(chǎn)品允許用戶可根據(jù)自身業(yè)務(wù)訴求采用參數(shù)化配置的方式來(lái)將不同應(yīng)用控件組成起來(lái)形成一個(gè)完整的數(shù)據(jù)處理流程，在技術(shù)層面上主要運(yùn)用插件模式來(lái)管理控件，并且通過(guò)提供豐富的二次開(kāi)發(fā)接口使產(chǎn)品具備良好的擴(kuò)展特性。

2.2 功能架構(gòu)

如圖3所示。

ETL組件層：利用產(chǎn)品多數(shù)據(jù)源整合能力，通過(guò)ETL組件、實(shí)時(shí)流處理技術(shù)、作業(yè)引擎、作用可視化、作用管理等功能，實(shí)現(xiàn)對(duì)跨平臺(tái)、跨系統(tǒng)的作業(yè)設(shè)計(jì)、作業(yè)生命周期管理。

調(diào)度層：借鑒Quartz技術(shù)及思想，結(jié)合大數(shù)據(jù)平臺(tái)調(diào)度要求，打造對(duì)外調(diào)度接口、集群與高可用、ETL作業(yè)調(diào)度、通用作業(yè)調(diào)度能力，并構(gòu)建基于YARN的多租戶管理能力，實(shí)現(xiàn)對(duì)系統(tǒng)作業(yè)的統(tǒng)一調(diào)度與管理。

展現(xiàn)層：著重展現(xiàn)監(jiān)控信息，包括系統(tǒng)告警、流程監(jiān)控、指標(biāo)監(jiān)控、時(shí)間軸進(jìn)度等，達(dá)到全覆蓋監(jiān)控系統(tǒng)的軟硬件信息，保證及時(shí)發(fā)現(xiàn)問(wèn)題及時(shí)告警及時(shí)通知。

2.3 物理部署

針對(duì)不同應(yīng)用場(chǎng)景、不同資源配置情況與軟件平臺(tái)約束，BDPE產(chǎn)品支持“小型機(jī)+磁盤(pán)陣列”、“X86+磁盤(pán)陣列”、“X86+本地盤(pán)”等部署方式。

3 BDPE ETL

3.1 結(jié)構(gòu)

如圖4所示。

3.2 功能

BDPE產(chǎn)品ETL實(shí)現(xiàn)對(duì)多數(shù)據(jù)源采集、轉(zhuǎn)換、加載及數(shù)據(jù)交互功能，主要包括：

數(shù)據(jù)采集：

（1）支持從不同數(shù)據(jù)源（DB2、ORACLE、DB2、Hadoop、MPP等）抽取數(shù)據(jù)。（2）支持批量數(shù)據(jù)抽取和實(shí)時(shí)（流式）數(shù)據(jù)抽取。（3）支持全量抽取和增量抽取數(shù)據(jù)。

數(shù)據(jù)轉(zhuǎn)換：

（1）實(shí)現(xiàn)對(duì)無(wú)意義數(shù)據(jù)字段的過(guò)濾，將不同的數(shù)據(jù)名稱和定義進(jìn)行轉(zhuǎn)換并統(tǒng)一;計(jì)算和統(tǒng)計(jì)衍生數(shù)據(jù)與字段;定義缺省數(shù)據(jù)的默認(rèn)數(shù)據(jù)值。（2）支持通過(guò)圖形化界面實(shí)現(xiàn)對(duì)轉(zhuǎn)換規(guī)則配置。（3）提供豐富的數(shù)據(jù)轉(zhuǎn)換組件實(shí)現(xiàn)各種業(yè)務(wù)場(chǎng)景下數(shù)據(jù)轉(zhuǎn)換。（4）支持校驗(yàn)點(diǎn)實(shí)現(xiàn)對(duì)數(shù)據(jù)轉(zhuǎn)換質(zhì)量的監(jiān)控、校驗(yàn)。

數(shù)據(jù)加載：

（1）將采集并轉(zhuǎn)換后的數(shù)據(jù)，通過(guò)不同的技術(shù)手段加載到不同數(shù)據(jù)庫(kù)或者平臺(tái)。（2）支持多種加載模式與策略定義，如全量、實(shí)時(shí)、雙加載等。（3）支持文件落地和不落地兩種存儲(chǔ)加載。（4）支持?jǐn)?shù)據(jù)的并行裝載，即支持多個(gè)數(shù)據(jù)庫(kù)連接同一裝載任務(wù)的并發(fā)執(zhí)行。（5）支持異構(gòu)數(shù)據(jù)庫(kù)之間加載，主要包括：DB2、Greenplum、HDFS、HBase、Teradata、Vertica、MySql等多種數(shù)據(jù)庫(kù)。（6）支持腳本加載事務(wù)處理，加載實(shí)現(xiàn)過(guò)程中支持提供SQL、HQL、SHELL等不同類別的行為定義腳本。（7）提供圖形化界面實(shí)現(xiàn)對(duì)加載過(guò)程的監(jiān)控與處理。

4 BDPE Manager

4.1 統(tǒng)一調(diào)度

BDPE產(chǎn)品提供跨系統(tǒng)跨平臺(tái)的任務(wù)調(diào)度功能，與各子系統(tǒng)緊密接合，支持跨越平臺(tái)、跨系統(tǒng)間隔實(shí)現(xiàn)完整無(wú)空隙運(yùn)行的統(tǒng)一調(diào)度。產(chǎn)品垮平臺(tái)統(tǒng)一調(diào)度能力能支持其它大型企業(yè)多系統(tǒng)的統(tǒng)一調(diào)度。如圖5所示。

4.2 統(tǒng)一作業(yè)

BDPE產(chǎn)品通過(guò)可視化界面，利用產(chǎn)品組件及作業(yè)引擎，實(shí)現(xiàn)對(duì)作業(yè)的設(shè)計(jì)、測(cè)試、發(fā)布、變更等管理，在支撐大數(shù)據(jù)平臺(tái)內(nèi)部作業(yè)設(shè)計(jì)、管理的同時(shí)，支撐平臺(tái)對(duì)外數(shù)據(jù)服務(wù)作業(yè)的設(shè)計(jì)與管理。如圖6所示。

對(duì)傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)整合的基礎(chǔ)上，結(jié)合大數(shù)據(jù)處理數(shù)據(jù)的多樣性、復(fù)雜性特征，對(duì)XML、語(yǔ)音、視頻，社交媒體、RSS/Web互聯(lián)網(wǎng)數(shù)據(jù)以及網(wǎng)絡(luò)信令等實(shí)時(shí)數(shù)據(jù)整合能力。

BDPE產(chǎn)品提供實(shí)時(shí)抽取、數(shù)據(jù)校驗(yàn)、拆分、合并、字段轉(zhuǎn)換、壓縮加載、流加載等組件。

利用可視化界面，通過(guò)對(duì)組件拖拽，實(shí)現(xiàn)可視化設(shè)計(jì)，實(shí)現(xiàn)無(wú)編碼智能開(kāi)發(fā)的能力。

遵循各作業(yè)流程，對(duì)作業(yè)生命周期進(jìn)行全流程、透明管理，形成系統(tǒng)作業(yè)視圖，為系統(tǒng)優(yōu)化、運(yùn)維提供數(shù)據(jù)支撐。

BDPE針對(duì)傳統(tǒng)RDBMS、MPP、Hadoop等數(shù)據(jù)庫(kù)特征，提供相應(yīng)的作業(yè)引擎，實(shí)現(xiàn)對(duì)不同數(shù)據(jù)庫(kù)的快速支撐。

4.3 統(tǒng)一監(jiān)控

BDPE產(chǎn)品針對(duì)數(shù)據(jù)處理與交換需求，提供瀏覽器、短彩信、手機(jī)APP等方式實(shí)現(xiàn)對(duì)ETL作業(yè)、ETL節(jié)點(diǎn)資源、M/R、Spark作業(yè)等數(shù)據(jù)處理流程、資源全方位監(jiān)控。如圖7所示。

4.4 統(tǒng)一部署

BDPE產(chǎn)品利用已有的組件化技術(shù)，結(jié)合Hadoop、MPP、傳統(tǒng)關(guān)系數(shù)據(jù)及UNIX、Linux等產(chǎn)品及環(huán)境差異，將BDPE產(chǎn)品相關(guān)功能封裝成部署包，完成產(chǎn)品在不同平臺(tái)的快速部署。實(shí)現(xiàn)產(chǎn)品自動(dòng)化水平及部署，提高產(chǎn)品部署工作效率;降低產(chǎn)品部署技術(shù)門(mén)檻，滿足全行業(yè)數(shù)據(jù)處理需要。如圖8所示。

4.5 可視化操作

BDPE產(chǎn)品借鑒互聯(lián)網(wǎng)產(chǎn)品開(kāi)發(fā)及多年行業(yè)經(jīng)驗(yàn)，從用戶使用角度出發(fā)，強(qiáng)化用戶交互及視覺(jué)設(shè)計(jì)，為數(shù)據(jù)處理開(kāi)發(fā)、維護(hù)人員提供圖形化的配置管理界面，使BDPE產(chǎn)品具有友好性和易用性，通過(guò)簡(jiǎn)單學(xué)習(xí)和培訓(xùn)即可上手開(kāi)發(fā)，運(yùn)維管理人員通過(guò)圖形化的管理界面來(lái)查詢?nèi)蝿?wù)部署與運(yùn)行情況，降低產(chǎn)品使用門(mén)檻，同時(shí)提升工作效率。

Application of? Big Data Processing in Switching Platform Products

DU Yu-hui

（China Mobile Tietong Liaoning Branch，Shenyang? Liaoning? 110179）

Abstract：In the era of big data，the data of individuals and enterprises are developing rapidly， and the data presents the characteristics of magnanimity and diversity. At the same time， the construction of enterprise information system is becoming increasingly complex and huge， and in the multi-platform， multi-system data integration， exchange， give full play to the value of enterprise data， enterprise system construction has become a huge challenge. In this paper， we will give a brief introduction to the visualization， monitoring and management of big data processing in the exchange platform.

Key words：big data;multiple System;switching platform;manageable