ETL技術(shù)在地稅數(shù)據(jù)集中項目中的應(yīng)用探討

唐亮

摘要：隨著國家稅務(wù)部門對涉稅數(shù)據(jù)精確化管理的需要，迫切要求將各級稅務(wù)機關(guān)的征管數(shù)據(jù)匯總，并進行分析和預(yù)測。鑒于我省核心征管系統(tǒng)省、市兩級部署，分散應(yīng)用，所以在數(shù)據(jù)集成的過程中對數(shù)據(jù)的準(zhǔn)確性和及時性要求比較嚴(yán)格，就必須使用ETL技術(shù)來實現(xiàn)三級數(shù)據(jù)的集成。

關(guān)鍵詞：ETL技術(shù)；稅務(wù)部門；數(shù)據(jù)集成應(yīng)用

中圖分類號：TP311文獻標(biāo)識碼：A文章編號：1009-3044(2012)21-5255-03

ETL Technology in Land Tax Data Centralized Project

TANG Liang

(Local Taxation Bureau of Anhui Province，Electronic Tax Information Management Center，Hefei 230061,China)

Abstract：Along with the national tax authorities on tax data accurate management needs, requires the tax authorities at all levels of adminis tration and data collection, analysis and prediction. In view of our province core collection system of provincial and municipal levels, de ployment, distributed application, so the data integration in the process of data accuracy and timeliness requirements more stringent, you must use ETL technology to achieve level three data integration.

Key words：ETL technology;tax department;data integration application

為了加大地稅系統(tǒng)數(shù)據(jù)向國家稅務(wù)總局集中的力度，進一步提高稅務(wù)系統(tǒng)稅源監(jiān)控和分析的能力，不斷深化“信息管稅”工作，國家稅務(wù)總局于2010年5月底下發(fā)了《國家稅務(wù)總局關(guān)于做好抽取全國地方稅務(wù)系統(tǒng)稅收征管有關(guān)數(shù)據(jù)準(zhǔn)備工作的通知》（國稅函〔2010〕235號），要求各省地方稅務(wù)部門做好數(shù)據(jù)抽取相關(guān)準(zhǔn)備工作，為了推進這一項目的實施，我省于2012年1月～3月啟動了這項工作，經(jīng)過近半年時間的施工和試運行，實現(xiàn)了全省17個市局核心征管數(shù)據(jù)的集中工作，系統(tǒng)目前運行情況比較穩(wěn)定。

1系統(tǒng)功能

本項目為了完成從17個市局征管系統(tǒng)抽取數(shù)據(jù)的功能，將系統(tǒng)分別從功能、數(shù)據(jù)、技術(shù)三個角度描述系統(tǒng)的設(shè)計內(nèi)容。功能實現(xiàn)方面，系統(tǒng)提供配置管理、數(shù)據(jù)抽取、質(zhì)量管控、系統(tǒng)管理四個功能域。數(shù)據(jù)存儲方面，將源系統(tǒng)表、目標(biāo)系統(tǒng)表、系統(tǒng)配置表歸屬到抽取數(shù)據(jù)層、目標(biāo)數(shù)據(jù)層、控制數(shù)據(jù)層三個層面中。技術(shù)實現(xiàn)方面，系統(tǒng)按照分層的思想將系統(tǒng)劃分為了數(shù)據(jù)層、控制層、展現(xiàn)層三個層面。數(shù)據(jù)層采用Oracle、Sybase等主流數(shù)據(jù)庫以及ETL平臺進行數(shù)據(jù)的實際存儲和抽??；控制層采用先進的工作流技術(shù)，完成抽取流程的定制和控制；展現(xiàn)層主要使用Ext/Flex等富客服端技術(shù)實現(xiàn)友好的客戶界面。

2 ETL過程

數(shù)據(jù)抽取過程是首先檢查17個市局系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)合理性，檢查正確后將數(shù)據(jù)抽取到抽取數(shù)據(jù)層。系統(tǒng)進一步根據(jù)控制數(shù)據(jù)層的內(nèi)容對抽取數(shù)據(jù)層的數(shù)據(jù)進行轉(zhuǎn)換，將轉(zhuǎn)換后的結(jié)果加載到目標(biāo)數(shù)據(jù)層，目標(biāo)數(shù)據(jù)層的數(shù)據(jù)供總局進行數(shù)據(jù)抽取。上述過程構(gòu)成一個數(shù)據(jù)抽取的流程作業(yè)，每個作業(yè)都可以配置自動后臺執(zhí)行或頁面上手工抽取，在執(zhí)行過程中的某個環(huán)節(jié)一旦出現(xiàn)異常時，將通過異常管理模塊進行通知和干預(yù)。

2.1數(shù)據(jù)檢查環(huán)節(jié)

在數(shù)據(jù)檢查環(huán)節(jié)，主要從接口數(shù)據(jù)的正確性、及時性和完整性等三個方面進行檢查，同時根據(jù)入庫是否異常、接收文件的時間等角度進行分析；對于業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)庫接口，則主要從接口的及時性和一致性方面進行檢查，通過比較源系統(tǒng)的相關(guān)指標(biāo)，分析數(shù)據(jù)的可信度。

2.2數(shù)據(jù)抽取環(huán)節(jié)

數(shù)據(jù)抽取是指從數(shù)據(jù)源系統(tǒng)中獲取數(shù)據(jù)，抽取策略包括抽取方式（增量、全量）、抽取周期等。

系統(tǒng)支持多種不同系統(tǒng)平臺和數(shù)據(jù)類型的數(shù)據(jù)抽取。包括各種關(guān)系型數(shù)據(jù)庫系統(tǒng)和各種文件格式的源數(shù)據(jù)等。

本次的數(shù)據(jù)抽取是從17個市局征管系統(tǒng)中把征管相關(guān)數(shù)據(jù)抽取到本系統(tǒng)的抽取數(shù)據(jù)層。每月初，系統(tǒng)17個市局征管系統(tǒng)將數(shù)據(jù)以數(shù)據(jù)文件的形式，完成全量復(fù)制；每天通過數(shù)據(jù)庫接口通過數(shù)據(jù)抽取工具以增量復(fù)制方式完成數(shù)據(jù)同步。

2.3數(shù)據(jù)轉(zhuǎn)換環(huán)節(jié)

數(shù)據(jù)轉(zhuǎn)換包括格式和類型數(shù)據(jù)的轉(zhuǎn)換、數(shù)據(jù)翻譯、數(shù)據(jù)匹配、數(shù)據(jù)聚合以及其它復(fù)雜的計算等。多數(shù)情況下，數(shù)據(jù)源到本系統(tǒng)之間主要的轉(zhuǎn)換是格式轉(zhuǎn)換、數(shù)據(jù)翻譯、數(shù)據(jù)匹配。

本次系統(tǒng)的數(shù)據(jù)轉(zhuǎn)換主要是將各個數(shù)據(jù)源的數(shù)據(jù)按照國家稅務(wù)總局的代碼表進行轉(zhuǎn)換，將轉(zhuǎn)換的結(jié)果放到目的數(shù)據(jù)層。

2.4數(shù)據(jù)加載環(huán)節(jié)

數(shù)據(jù)加載是指將抽取轉(zhuǎn)換后的數(shù)據(jù)加載到本系統(tǒng)中，包括數(shù)據(jù)行加載和數(shù)據(jù)塊加載。在綜合考慮效率和業(yè)務(wù)實現(xiàn)等因素基礎(chǔ)上確定數(shù)據(jù)加載周期和數(shù)據(jù)追加策略。

2.5異常管理

主要通過計數(shù)/統(tǒng)計數(shù)平衡、拒絕數(shù)據(jù)量等方便評估數(shù)據(jù)復(fù)制、ETL的具體運行情況，以發(fā)現(xiàn)數(shù)據(jù)整合過程中有關(guān)數(shù)據(jù)的問題，并進行必要的處理。

支持檢驗點。當(dāng)外部數(shù)據(jù)記錄特別龐大時，如果因為某種原因發(fā)生故障中斷后，可以從最近的校驗點開始處恢復(fù)處理。支持外部數(shù)據(jù)記錄的錯誤限制定義，同時將發(fā)生錯誤的數(shù)據(jù)記錄輸出。

2.6作業(yè)管理

作業(yè)管理主要包括初始化作業(yè)、日常ETL作業(yè)、日常復(fù)制作業(yè)、異常處理作業(yè)等，同時支持自動作業(yè)和人工作業(yè)。支持任務(wù)屬性配置，可以對各項任務(wù)的屬性進行配置，并保存在后臺配置文件中，以備任務(wù)調(diào)度按序執(zhí)行。

3 ETL部署

考慮到數(shù)據(jù)整合性能的關(guān)系，采用應(yīng)用模塊和ETL腳本執(zhí)行模塊分開部署的方式，通過統(tǒng)一的調(diào)度任務(wù)在ETL服務(wù)器上完成執(zhí)行。

圖2ETL部署

腳本、日志存儲規(guī)劃：腳本按目錄存儲，對應(yīng)腳本管理表中的部署路徑、文件名稱等。原始日志統(tǒng)一存儲在ETL服務(wù)上。為了后續(xù)能查看流程環(huán)節(jié)中腳本的原始日志，因此在原始日志命名上考慮采用“腳該文件名+環(huán)節(jié)實例ID”進行命名。由于ETL原始日志是在腳本執(zhí)行時系統(tǒng)自動生成的，因此在調(diào)用接口服務(wù)時，同時需要傳遞環(huán)節(jié)實例ID參數(shù)。

數(shù)據(jù)整合的時序圖如圖3：

圖3時序圖

數(shù)據(jù)整合過程由任務(wù)調(diào)度模塊或者人工進行啟動，任務(wù)啟動后調(diào)用相應(yīng)的流程（異步），流程啟動后生成任務(wù)日志。

流程引擎根據(jù)流程配置，執(zhí)行流程環(huán)節(jié)，對于E、T、L環(huán)節(jié)生成腳本執(zhí)行任務(wù)，腳本調(diào)度服務(wù)調(diào)度任務(wù)，當(dāng)腳本執(zhí)行完畢時寫入執(zhí)行結(jié)果，流程引擎定時讀取執(zhí)行結(jié)果；對于抽取前校驗環(huán)節(jié)（主要是FTP數(shù)據(jù)整合前檢驗），根據(jù)配置的規(guī)則進行執(zhí)行，對于FTP的訪問調(diào)用中數(shù)據(jù)源統(tǒng)一服務(wù)設(shè)計中相關(guān)服務(wù)，對于人工環(huán)節(jié)，則生成環(huán)節(jié)及相應(yīng)的參與人。

對于E、T、L環(huán)節(jié)，流程引擎除生成執(zhí)行任務(wù)外，在任務(wù)完成后還需要根據(jù)配置的規(guī)則進行校驗（先執(zhí)行條件規(guī)則，然后執(zhí)行動作規(guī)則），同時寫規(guī)則日志。

流程引擎在執(zhí)行環(huán)節(jié)過程中出現(xiàn)異常，或者在執(zhí)行規(guī)則校驗不通過時（包括單獨的校驗環(huán)節(jié)以及E、T、L環(huán)節(jié)中的規(guī)則），除更新流程自身狀態(tài)外，均需要更新任務(wù)表中的狀態(tài)。此外，在流程監(jiān)控過程中，人工可以查看ETL執(zhí)行的原始日志。

4實施效果

自今年以來，全國稅務(wù)系統(tǒng)開展并完成了征管數(shù)據(jù)向國家稅務(wù)總局集中的工作，這些數(shù)據(jù)為稅務(wù)總局和各級國稅機關(guān)實施稅收科學(xué)化、專業(yè)化、精細化管理提供了有效支持，在稅源管理、納稅評估、政策調(diào)整基礎(chǔ)數(shù)據(jù)測算、政策效應(yīng)分析、稅務(wù)稽查等方面發(fā)揮了重要作用，同時也進一步提升了地稅系統(tǒng)稅收管理能力，強化稅源監(jiān)控工作。

參考文獻：

[1]王時繪,伍江磊.ETL中數(shù)據(jù)清洗技術(shù)在稅務(wù)系統(tǒng)中的應(yīng)用[J].科技廣場,2011(11).

[2]盧新生,金波.廣東地稅基于ETL元數(shù)據(jù)管理征管系統(tǒng)的研究與實現(xiàn)[J].順德職業(yè)技術(shù)學(xué)院學(xué)報,2009(1):33-35.