面向企業(yè)級數(shù)據(jù)中心的分布式ETL研究與設計

翁業(yè)林　周泓　侯兵

摘 要：隨著信息技術的不斷發(fā)展與成熟，數(shù)據(jù)中心建設是值得我們探討的課題。本文從大數(shù)據(jù)時代ETL所面臨的挑戰(zhàn)進行分析，提出解決問題的思路和措施，研究和設計了企業(yè)級數(shù)據(jù)中心的分布式ETL方案，并就ETL關鍵技術、Data Vault混合數(shù)據(jù)建模、異常處理及保障進行了探討。

關鍵詞：信息技術；大數(shù)據(jù)；ETL；Data Vault

中圖分類號：TP311.1 文獻標識碼：A

Abstract：With the continuous development and maturity of information technology，data center construction is one of the topics worth discussing.This paper analyses the challenges faced by ETL in the era of big data，puts forward the ideas and measures to solve these problems，studies and designs the distributed ETL scheme of enterprise data center，and discusses the key technologies of ETL，data Vault mixed data modeling，exception handling and guarantees.

Keywords：information technology；big data；ETL；Data Vault

1 引言（Introduction）

企業(yè)在信息化的過程中積累了大量的數(shù)據(jù)[1]，這些數(shù)據(jù)已成為了企業(yè)的財富，也是企業(yè)的一種重要戰(zhàn)略資源。隨著企業(yè)對數(shù)據(jù)的價值越來越敏感和重視，“洞察”數(shù)據(jù)，分析數(shù)據(jù)背后的“內涵”將有效地幫助企業(yè)在激烈的市場競爭環(huán)境中占據(jù)優(yōu)勢。然而由于歷史、現(xiàn)實等種種原因，企業(yè)的數(shù)據(jù)通常是分布在若干個獨立的信息系統(tǒng)中，數(shù)據(jù)的類型繁多，且缺少統(tǒng)一的接口，數(shù)據(jù)結構存在巨大差異。合理地集成這些相互關聯(lián)的分布式異構數(shù)據(jù)源，無視不同管理系統(tǒng)中的數(shù)據(jù)差異，以透明的方式訪問這些數(shù)據(jù)，從而充分挖掘大數(shù)據(jù)價值，是各個企業(yè)急需解決的問題。為此人們提出了ETL的概念。ETL是數(shù)據(jù)抽取、轉換和裝載（Extract、Transformation、Loading）的英文簡稱，是數(shù)據(jù)倉庫獲取高質量數(shù)據(jù)的關鍵環(huán)節(jié)。通過ETL技術實現(xiàn)對分布在各業(yè)務系統(tǒng)的不同種類和形式數(shù)據(jù)進行抽取、轉換、清洗和加載[2]，以供后續(xù)的分析處理環(huán)節(jié)使用。企業(yè)級數(shù)據(jù)中心每天創(chuàng)建的數(shù)據(jù)量呈現(xiàn)爆炸性的增長，如此龐大數(shù)據(jù)量的采集、存儲、管理、數(shù)據(jù)分析與挖掘是面臨的非常嚴峻的問題[3]。數(shù)據(jù)中心管理人員為實現(xiàn)數(shù)據(jù)中心高效性一直在探索提高資源的利用率的方法；硬件的更新速度是大數(shù)據(jù)發(fā)展的基石，但效果往往不甚理想；傳統(tǒng)ETL面臨復雜數(shù)據(jù)、海量數(shù)據(jù)、實時性、混搭架構等方面的挑戰(zhàn)[4]。本文基于大規(guī)模并行處理（Massively Parallel Processing，簡稱MPP）、分布式系統(tǒng)基礎架構HADOOP，提出了面向企業(yè)級數(shù)據(jù)中心的分布式ETL的設計，從而滿足企業(yè)級數(shù)據(jù)中心數(shù)據(jù)處理實時性要求，建立統(tǒng)一、可視化管控的數(shù)據(jù)處理平臺；搭建數(shù)據(jù)處理與交換、實時性的服務環(huán)境；實現(xiàn)了統(tǒng)一任務調度機制，加強海量數(shù)據(jù)處理及交換能力。

2 分布式ETL技術分析（Analysis of distributed

ETL technology）

面向企業(yè)級數(shù)據(jù)中心的分布式ETL的設計主要基于MPP、HADOOP等。

2.1 MPP與Hadoop

大規(guī)模并行處理（Massively Parallel Processing，簡稱MPP） 適合替代現(xiàn)有關系數(shù)據(jù)機構下的大數(shù)據(jù)處理，具有較高的效率；在非共享數(shù)據(jù)庫集群系統(tǒng)中，集群中的各個節(jié)點分別具有相互獨立的內存系統(tǒng)和外存儲系統(tǒng)，根據(jù)數(shù)據(jù)庫模型和應用特點將業(yè)務數(shù)據(jù)劃分到不同的節(jié)點上，數(shù)據(jù)節(jié)點間通過商業(yè)通用網(wǎng)絡或專用網(wǎng)絡互相連接，彼此協(xié)同計算，形成一個整體為用戶提供數(shù)據(jù)庫服務。非共享數(shù)據(jù)庫集群系統(tǒng)具有完備的可伸縮性、高可用、高性能、性價比高、資源共享等優(yōu)勢[5]。MPP是將任務分散到多個服務器和節(jié)點上并行執(zhí)行，集群中各個節(jié)點在計算完成后，主節(jié)點將各節(jié)點負責部分的結果匯總形成最終的結果。MPP還適合多維度數(shù)據(jù)自助分析、數(shù)據(jù)集市等。

Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構Hadoop最核心的設計是分布式文件系統(tǒng)（Hadoop Distributed File System，簡稱HDFS）和編程模型MapReduce；其中HDFS為存儲PB級以上的數(shù)據(jù)提供了基礎，MapReduce為大數(shù)據(jù)的處理提供了方法。在處理非結構化和半結構化數(shù)據(jù)上Hadoop具備獨特的優(yōu)勢，尤其適合PB級以上數(shù)據(jù)的批處理等，如大數(shù)據(jù)的存儲查詢、批量數(shù)據(jù)ETL、日志、文本等非機構化的數(shù)據(jù)分析等。

本文的研究使用MPPDB+Hadoop，滿足結構化、半結構化和非結構化數(shù)據(jù)的高效處理需求；用MPP處理海量的、高質量的結構化數(shù)據(jù)，同時為應用提供豐富的SQL和事務支持能力；半結構化、非結構化數(shù)據(jù)處理則由Hadoop實現(xiàn)。

2.2 ETL關鍵技術

本文設計的面向企業(yè)級數(shù)據(jù)中心的分布式ETL平臺如圖1所示，主要包括一個主節(jié)點和多個子節(jié)點。主節(jié)點接收提交的ETL任務并進行任務調度分配到各個子節(jié)點，監(jiān)控各個子節(jié)點中的任務執(zhí)行狀態(tài)反饋給用戶；子節(jié)點執(zhí)行從主節(jié)點接收到ETL任務，從不同的數(shù)據(jù)源中開始抽取數(shù)據(jù)并傳輸?shù)狡脚_中，在平臺中經(jīng)過清洗、轉換后傳輸并裝載到數(shù)據(jù)倉庫。

數(shù)據(jù)抽取一般有全量抽取、增量抽取兩種方式。全量抽取就是將數(shù)據(jù)源中的數(shù)據(jù)原封不動地從數(shù)據(jù)庫中抽取出來加載到數(shù)據(jù)倉庫中，類似于數(shù)據(jù)遷移或數(shù)據(jù)復制；而增量抽取只抽取自上次抽取以來數(shù)據(jù)庫中要抽取的表中新增或修改的數(shù)據(jù)[6]。建立數(shù)據(jù)倉庫前期一般采用全量抽取方式將來自不同業(yè)務系統(tǒng)的數(shù)據(jù)庫中的數(shù)據(jù)抽取至數(shù)據(jù)倉庫。全量抽取完成后，采用增量抽取方式抽取每天產(chǎn)生或變化的數(shù)據(jù)。增量抽取捕獲變化數(shù)據(jù)主要有觸發(fā)器、時間戳、全表對比、日志表等方式[7]。此外，企業(yè)的多個業(yè)務系統(tǒng)采用的數(shù)據(jù)庫可能來自不同廠商，這需要將這多個數(shù)據(jù)庫集成起來，以滿足能從不同數(shù)據(jù)庫中抽取數(shù)據(jù)的需求。因此，數(shù)據(jù)集成主要面臨數(shù)據(jù)源異構問題，所以在設計ETL處理平臺時要考慮數(shù)據(jù)源的通用性和擴展性，本文在實現(xiàn)ETL處理平臺中盡可能地支持常用的關系型數(shù)據(jù)庫和數(shù)據(jù)文件。

企業(yè)在構建數(shù)據(jù)倉庫的過程中需要建立元數(shù)據(jù)，所謂元數(shù)據(jù)是指管理數(shù)據(jù)的數(shù)據(jù)，具有解釋數(shù)據(jù)意思的目的[8]。數(shù)據(jù)沒有統(tǒng)一的規(guī)范，以至于企業(yè)無從匯總數(shù)據(jù)。在企業(yè)建立了元數(shù)據(jù)之后，需要對業(yè)務系統(tǒng)中的數(shù)據(jù)抽取，并將其轉換成標準的規(guī)劃化數(shù)據(jù)。數(shù)據(jù)轉換就是用來解決如何將非規(guī)范化的數(shù)據(jù)轉換成規(guī)范化的數(shù)據(jù)的問題[9]。

數(shù)據(jù)加載的任務主要往數(shù)據(jù)倉庫中添加數(shù)據(jù)，完成數(shù)據(jù)倉庫的數(shù)據(jù)準備。數(shù)據(jù)加載添加的數(shù)據(jù)來自于前一個過程數(shù)據(jù)轉換。

2.3 利用Data Vault混合數(shù)據(jù)建模

Data Vault（簡稱DV）是一組有連接關系的規(guī)范化的表的集合，DV模型主要用于企業(yè)級的數(shù)據(jù)倉庫建模，具備面向細節(jié)、可溯源等特征，DV模型架構如圖2所示。Data Vault建模是一種數(shù)據(jù)庫建模技術，可提供源自多個源的數(shù)據(jù)的長期歷史存儲。一個DV存儲事實或“所有數(shù)據(jù)、所有時間”的單個版本。其靈活、可擴展、一致且適應性強的設計涵蓋了第三范式（3NF）和星型模型（star schema）的最佳方面。

通過DV中的業(yè)務主鍵和描述性屬性之間的業(yè)務主鍵關聯(lián)，DV可以解決環(huán)境變化的問題。將這些主鍵設置為數(shù)據(jù)倉庫的結構主干，所有關聯(lián)的數(shù)據(jù)都可以圍繞它們進行組織。這些樞紐表（業(yè)務鍵）、連接表（關聯(lián)）和SAT（描述性屬性）產(chǎn)生適應性很強的數(shù)據(jù)結構，同時保持強大的數(shù)據(jù)完整性。特定的鏈接就像突觸（向相反方向的向量），只要業(yè)務關系能夠根據(jù)需要轉換數(shù)據(jù)模型而自動進行更改而不影響現(xiàn)有的數(shù)據(jù)結構，就可以創(chuàng)建或刪除它們。

Data Vault模型構建后，就可以通過ETL構建數(shù)據(jù)集成過程（即從源系統(tǒng)將數(shù)據(jù)填充到目標系統(tǒng)中）。構建面向全行業(yè)、標準化數(shù)據(jù)處理中心，為用戶提供快速、安全的企業(yè)級別的大數(shù)據(jù)處理解決方案，為各企業(yè)用戶在更短時間內收集、處理和發(fā)送更多精準的數(shù)據(jù)，而且所需要的資源和成本更低。

3 面向企業(yè)級數(shù)據(jù)中心的分布式ETL架構 （Distributed ETL architecture for enterprise data center）

面向企業(yè)級數(shù)據(jù)中心的分布式ETL解決的具體措施即建立數(shù)據(jù)處理和交換平臺。集中建設數(shù)據(jù)處理與交換平臺，并制定各系統(tǒng)采集的接口標準；加強實時流處理能力，形成海量數(shù)據(jù)批處理與實時處理、分析并存的能力；建立數(shù)據(jù)中心統(tǒng)一調度機制，覆蓋ETL及數(shù)據(jù)分發(fā)企業(yè)級應用；提供流程及任務調度可視化操作及監(jiān)控界面。面向企業(yè)級數(shù)據(jù)中心的分布式ETL架構如圖3所示。

3.1 統(tǒng)一采集

面向企業(yè)級數(shù)據(jù)中心的分布式ETL架構對數(shù)據(jù)同意采集，提供多接口、多源采集方式，實現(xiàn)多域數(shù)據(jù)的融合，為適應企業(yè)級數(shù)據(jù)中心多類型數(shù)據(jù)源采集的需要，平臺需支持多種類型的數(shù)據(jù)采集方式，包括：API接口、JDBC/ODBC接口、消息隊列（MQ）接口、FTP/SFTP接口、第三方工具集成等。

3.2 統(tǒng)一作業(yè)

面向企業(yè)級數(shù)據(jù)中心的分布式ETL架構統(tǒng)一作業(yè)，提供豐富的圖形化、定制化開放能力。統(tǒng)一作業(yè)流程如圖4所示。支持各種復雜作業(yè)關系配置，系統(tǒng)通過圖形化界面配置從前端快速簡明的配置作業(yè)任務，提供對外開放能力，支持不同廠商開發(fā)人員的開發(fā)定制能力，提供作業(yè)執(zhí)行流程監(jiān)控。支持定時、常駐任務，靈活的定義時間格式；支持數(shù)據(jù)觸發(fā)，作業(yè)關系管理；方便華為、思特奇等多廠商開發(fā)人員的使用。

采用“內存不落地方式”任意數(shù)據(jù)交換，對源數(shù)據(jù)庫和目標數(shù)據(jù)庫進行靈活的配置，使得一個相同的源數(shù)據(jù)可以交換至多個異構數(shù)據(jù)庫。交換中心對數(shù)據(jù)的處理采用不落地分布方式，通過多進程管道實現(xiàn)數(shù)據(jù)的并行讀取，這樣數(shù)據(jù)的通用轉換過程在內存中就可以完成，同時還支持轉碼、加密等操作。經(jīng)過分發(fā)路由轉換成適應各種類型數(shù)據(jù)庫的多路數(shù)據(jù)，且分發(fā)轉換支持多種數(shù)據(jù)格式轉換，最后并行加載到不同的目標數(shù)據(jù)庫或者寫入文件。

3.3 統(tǒng)一調度

面向企業(yè)級數(shù)據(jù)中心的分布式ETL架構實現(xiàn)跨平臺間的統(tǒng)一調度，實現(xiàn)了多系統(tǒng)、多用戶協(xié)同調度。完成多個平臺獨立調度，以及多個平臺間依賴調度。提供獨立工作區(qū)和用戶，各平臺可自行管理調度和ETL作業(yè)。權限管理，操作人員可設置ETL作業(yè)和調度，監(jiān)控人員只提供查詢權限。

建立多觸發(fā)方式的跨平臺靈活調度機制，滿足不同的應用場景。時間觸發(fā)：一次性觸發(fā)、定時觸發(fā)、頻次觸發(fā)；循環(huán)觸發(fā)：循環(huán)操作，直至job達到失效時間；條件觸發(fā)：幾個前置的job流程的完成進行觸發(fā)；事件觸發(fā)：外部數(shù)據(jù)插入事件觸發(fā)表，后臺根據(jù)參數(shù)在指定時間將流程調度起來；組合觸發(fā)：提供同時設置多個觸發(fā)規(guī)則，觸發(fā)規(guī)則間提供與或關系。

3.4 統(tǒng)一管控

面向企業(yè)級數(shù)據(jù)中心的分布式ETL架構具備跨平臺統(tǒng)一監(jiān)控及管理功能。集群監(jiān)控及分析：提供統(tǒng)一運維界面，支持對集群、平臺程序的監(jiān)控和維護，主要包括主備管理、任務分配、負載均衡等功能；資源監(jiān)控：提供節(jié)點資源監(jiān)控功能，對各節(jié)點的CPU、IO、內存、內核處理速度進行監(jiān)控、報警。

應用執(zhí)行監(jiān)控：提供對后臺多種應用的執(zhí)行情況監(jiān)控、應用執(zhí)行效率分析功能，支持多種告警方式與錯誤反饋，并可對應用的重新運行、繼續(xù)運行等操作。

3.5 異常處理及保障

異常處理是數(shù)據(jù)處理中心平臺重要的安全機制，通過建立多種異常校驗處理機制，保障數(shù)據(jù)處理與交換的可靠性。

（1）一致性校驗異常：數(shù)據(jù)源總記錄數(shù)與加載目標庫總記錄數(shù)進行校驗，校驗結果在指定范圍內則兩者數(shù)據(jù)一致，否則一致性校驗失敗，任務重新執(zhí)行。

（2）準確性校驗異常：數(shù)據(jù)讀入內存中進行數(shù)據(jù)準確性校驗，校驗不通過的記錄寫入錯誤文件（最大寫入記錄數(shù)），并通知運維人員處理，同時將正確的記錄正常加載到目標庫。

（3）網(wǎng)絡中斷等外部原因造成的異常：平臺設定自動處理時間和次數(shù)，超限后，發(fā)送預警信息由外部人員手工干預。

4 結論（Conclusion）

面向企業(yè)級數(shù)據(jù)中心的分布式ETL系統(tǒng)通過Data Vault將大數(shù)據(jù)技術和建模、方法、架構和實踐融合在一起。隨著數(shù)據(jù)量的不斷增大，數(shù)據(jù)可以很容易地融入到data vault數(shù)據(jù)模型中，消除星型模式設計的清潔規(guī)范，data vault通過減少耗盡和維持影響大數(shù)據(jù)系統(tǒng)潛力的相關插入，從而在巨大的數(shù)據(jù)集上展現(xiàn)優(yōu)勢。

通過集中建設數(shù)據(jù)處理與交換平臺，在可用性、擴展性、實時性、兼容性、可視性上有很大提升。高可用集群與負載均衡能力，硬件線性擴展及功能橫向擴展能力，借助流式計算、流式處理能力，通過內存管道流技術，充分提高數(shù)據(jù)處理與分析實時性能；工具采用采用插件式開發(fā)，同時將對外服務、集成功能封裝成API供其他軟件調用。也可以方便集成符合API接口的第三方軟件；可視化操作統(tǒng)一監(jiān)控能力，提供了圖形化界面，方便集成商使用和維護。

面向企業(yè)級數(shù)據(jù)中心的分布式ETL系統(tǒng)通過部署集中數(shù)據(jù)處理平臺，采用管道技術，對不同數(shù)據(jù)庫采用并行抽取，并且對抽取內容做內存壓縮，從而為數(shù)據(jù)處理提速，數(shù)據(jù)生成時間縮小，性能提升明顯，效果顯著。新技術的運用幫助企業(yè)減少了投資，提升了數(shù)據(jù)處理性能和效率。

參考文獻（References）

[1] Meng X，Bradley J，Yavuz B，et al.Mllib：Machine learning in apache Spark.The Journal of Machine Learning Research，2016，17（1）：1235-1241.

[2] Kumar Hota CPP，Ramu Y，Subba Rao DBV.A relative study on traditional ETL and ETL with apache hadoop.NCRTIT2K16.Andhra Pradesh，India，2016，20（2）：74-78.

[3] WU X，ZHU X，WU G，et al.Data Mining with Big Data[J].IEEE Transancations on Knowledge & Data Engineering 2016，26（1）：97-102.

[4] 韓文彪，李暉，陳梅，等.PBS：一種面向集群環(huán)境的ETL調度算法[J].計算機與數(shù)字工程，2017，45（5）：793-796.

[5] 徐立新.基于異構數(shù)據(jù)資源整合的方法和系統(tǒng)實現(xiàn)[J].計算機技術與發(fā)展，2014（12）：173-179.

[6] 楊杉，蘇飛，程新洲，等.面向運營商大數(shù)據(jù)的分布式ETL研究與設計[J].郵電設計技術，2016，8（1）：50-52.

[7] 施霖，楊愛民.一種基于時間戳和日志的增量數(shù)據(jù)捕獲和抽取方法[P].CN，CN 102915336 A，2013.

[8] 王春陽，趙書良，王長賓.粒子群算法在分布式ETL任務調度中的應用[J].計算機工程與應用，2013，49（9）：150-155.

[9] Kakish K，Kraft T A.ETL evolution for real-time data；warehousing[C].Proceedings of the Conference on Information Systems Applied Research ISSN，2012：2167-1508.

[10] 孟維一.基于數(shù)據(jù)倉庫的保險商業(yè)智能系統(tǒng)設計與實現(xiàn)[D].北京交通大學，2016.

作者簡介：

翁業(yè)林（1981-），男，碩士，講師.研究領域：計算機網(wǎng)絡技術.

周 泓（1981-），女，博士，副教授.研究領域：計算機軟件.

侯 兵（1980-），男，碩士，高級工程師.研究領域：大數(shù)據(jù)開發(fā).