ETL技術(shù)在銀行成本分?jǐn)傁到y(tǒng)數(shù)據(jù)處理中的應(yīng)用

楊 政， 康 磊

(西安石油大學(xué) 計(jì)算機(jī)學(xué)院， 西安 710065)

0 引 言

成本分?jǐn)偸侵笇⒛吵杀局行脑谔囟〞?jì)期間內(nèi)發(fā)生的各項(xiàng)成本，以合理的原則向受益的成本中心、利潤中心、產(chǎn)品等成本接收對象進(jìn)行分?jǐn)?，以充分反映這些成本接收對象所應(yīng)該承擔(dān)的成本信息。

銀行成本分?jǐn)傂璺謹(jǐn)偟某杀景ㄈ藛T費(fèi)用、運(yùn)營費(fèi)用、業(yè)務(wù)費(fèi)用、行政費(fèi)用、稅費(fèi)及其他費(fèi)用等。各項(xiàng)費(fèi)用根據(jù)其與業(yè)務(wù)的關(guān)聯(lián)程度可劃分為直接費(fèi)用和間接費(fèi)用。直接費(fèi)用是指與產(chǎn)品銷售或業(yè)務(wù)活動直接關(guān)聯(lián)的費(fèi)用支出；間接費(fèi)用是指那些與產(chǎn)品銷售或業(yè)務(wù)活動無直接關(guān)聯(lián)，但是間接支持了產(chǎn)品或業(yè)務(wù)活動正常運(yùn)轉(zhuǎn)的費(fèi)用支出。

1 銀行成本分?jǐn)傁到y(tǒng)數(shù)據(jù)部分組成

銀行成本分?jǐn)傁到y(tǒng)組成如圖1所示。該系統(tǒng)由5大模塊構(gòu)成， 對此可做闡釋分述如下。

(1)公共管理模塊：完成對系統(tǒng)所涉及的基本檔案、影響因素、映射規(guī)則的統(tǒng)一管理；

(2)責(zé)任會計(jì)模塊：完成系統(tǒng)所需要的責(zé)任憑證管理，實(shí)現(xiàn)內(nèi)部結(jié)算；

(3)成本分?jǐn)傆?jì)算模塊：完成成本分?jǐn)偟姆桨冈O(shè)置，實(shí)現(xiàn)日常計(jì)算執(zhí)行；

(4)盈利性核算模塊：完成賬戶級EVA(EVA是英文Economic Value Added的縮寫，一般譯為附加經(jīng)濟(jì)價(jià)值，這是全面衡量企業(yè)生產(chǎn)經(jīng)營真正盈利或創(chuàng)造價(jià)值的一個指標(biāo)或一種方法)指標(biāo)所涉及的各項(xiàng)收入、支出的計(jì)算，實(shí)現(xiàn)各個維度的EVA匯總計(jì)算；

(5)盈利性分析報(bào)表模塊：提供滿足日常經(jīng)營管理應(yīng)用需要的成本分?jǐn)偧坝苑治鰣?bào)表，提供給全行不同層次的報(bào)表使用者。

圖1 成本分?jǐn)傁到y(tǒng)組成

除上述模塊以外，銀行成本分?jǐn)傁到y(tǒng)離不開數(shù)據(jù)，與數(shù)據(jù)相關(guān)的模塊有2個。這里推得設(shè)計(jì)表述如下。

(1)外部系統(tǒng)數(shù)據(jù)文件：根據(jù)成本分?jǐn)偼獠繑?shù)據(jù)接口規(guī)范的約定，由源系統(tǒng)或子系統(tǒng)通過源數(shù)據(jù)向成本分?jǐn)傁到y(tǒng)提供數(shù)據(jù)，以文件的形式；外部系統(tǒng)即源系統(tǒng)或子系統(tǒng)，如人力資源系統(tǒng)、內(nèi)部資金轉(zhuǎn)移定價(jià)系統(tǒng)等。

(2)ETL數(shù)據(jù)處理：成本分?jǐn)傁到y(tǒng)接受加載外部數(shù)據(jù)后，根據(jù)自身需要進(jìn)行ETL數(shù)據(jù)加工處理，加工過程中將利用設(shè)置的相關(guān)映射規(guī)則，為成本分?jǐn)傆?jì)算模塊、盈利性報(bào)表模塊等分別分步提供數(shù)據(jù)。

2 ETL模塊處理

各個子系統(tǒng)將數(shù)據(jù)推送到成本分?jǐn)傁到y(tǒng)中，得到源數(shù)據(jù)，成本分?jǐn)傁到y(tǒng)對數(shù)據(jù)進(jìn)行ETL模塊處理，也就是將數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)化、加載到成本分?jǐn)傁到y(tǒng)中，對成本分?jǐn)偟暮罄m(xù)計(jì)算模塊和報(bào)表模塊提供數(shù)據(jù)支持。

2.1 數(shù)據(jù)的來源

成本分?jǐn)傁到y(tǒng)的數(shù)據(jù)來源分布在各個子系統(tǒng)中，需要人力資源系統(tǒng)、內(nèi)部資金轉(zhuǎn)移定價(jià)(FTP，下文FTP均指資金轉(zhuǎn)移定價(jià))系統(tǒng)、增值稅系統(tǒng)、財(cái)務(wù)系統(tǒng)等系統(tǒng)提供數(shù)據(jù)。采用ETL技術(shù)將所需數(shù)據(jù)從各系統(tǒng)中抽取、轉(zhuǎn)換、加載到成本分?jǐn)傁到y(tǒng)中，具體如圖2所示。

圖2 子系統(tǒng)與成本分?jǐn)傁到y(tǒng)數(shù)據(jù)處理關(guān)系

Fig. 2 Data processing relationship between subsystem and cost sharing system

由圖2可知，人力資源系統(tǒng)、內(nèi)部資金轉(zhuǎn)移定價(jià)系統(tǒng)、增值稅系統(tǒng)等子系統(tǒng)將數(shù)據(jù)以文件格式推送到成本分?jǐn)傁到y(tǒng)中，成本分?jǐn)傁到y(tǒng)中進(jìn)行ETL數(shù)據(jù)抽取、轉(zhuǎn)換、加載，將數(shù)據(jù)格式轉(zhuǎn)換成本系統(tǒng)需求的數(shù)據(jù)格式。人力資源系統(tǒng)為成本分?jǐn)傁到y(tǒng)提供機(jī)構(gòu)信息、部門信息、人員信息、薪酬信息、人員費(fèi)用、運(yùn)營費(fèi)用、業(yè)務(wù)費(fèi)用、行政費(fèi)用等數(shù)據(jù)，F(xiàn)TP系統(tǒng)為成本分?jǐn)傁到y(tǒng)提供定價(jià)收入、定價(jià)支出等數(shù)據(jù)，增值稅系統(tǒng)為成本分?jǐn)傁到y(tǒng)提供增值稅數(shù)據(jù)等稅費(fèi)。

因?yàn)楝F(xiàn)有業(yè)務(wù)數(shù)據(jù)源或子系統(tǒng)多，如何保證數(shù)據(jù)的一致性，真正理解數(shù)據(jù)的業(yè)務(wù)含義，跨越多系統(tǒng)整合數(shù)據(jù)，最大可能提高數(shù)據(jù)質(zhì)量，迎合業(yè)務(wù)需求不斷變化的特性，是ETL技術(shù)處理的關(guān)鍵。

2.2 數(shù)據(jù)的抽取

數(shù)據(jù)的抽取是數(shù)據(jù)進(jìn)入數(shù)據(jù)庫的入口。由于數(shù)據(jù)庫是一個獨(dú)立的數(shù)據(jù)環(huán)境，需要通過抽取過程將數(shù)據(jù)從業(yè)務(wù)系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲介質(zhì)中導(dǎo)入到成本分?jǐn)偟臄?shù)據(jù)庫中。

數(shù)據(jù)抽取方式是：各子系統(tǒng)生成數(shù)據(jù)文件放在指定服務(wù)器路徑下，然后通過XManager軟件登錄到對應(yīng)服務(wù)器路徑下，通過文件傳輸功能，獲取到成本分?jǐn)偡?wù)器路徑下。

數(shù)據(jù)從其他外圍系統(tǒng)或子系統(tǒng)中獲取，外圍系統(tǒng)列表舉例見表1。

表1 外圍系統(tǒng)列表舉例

由表1舉例可知，資金轉(zhuǎn)移定價(jià)系統(tǒng)中結(jié)果集表可以獲得余額年累計(jì)數(shù)、當(dāng)前余額等數(shù)據(jù)，人力資源系統(tǒng)中員工表可獲取員工名稱、薪資等數(shù)據(jù)。外圍系統(tǒng)或子系統(tǒng)將運(yùn)行所需表數(shù)據(jù)生成多個文件，推送到某一服務(wù)器路徑下，成本分?jǐn)傁到y(tǒng)通過XManager軟件登錄到對應(yīng)服務(wù)器路徑下，通過文件傳輸功能，將每個文件獲取到成本分?jǐn)偡?wù)器路徑下。然后編寫腳本，此腳本功能為將從外圍系統(tǒng)或子系統(tǒng)抽取過來的數(shù)據(jù)文件加載到相對應(yīng)的事實(shí)表中。外圍系統(tǒng)或子系統(tǒng)提供的數(shù)據(jù)文件數(shù)據(jù)都是以‘|’分隔，所以在此時需要將文件中數(shù)據(jù)加載到表中才能使用，因此需編寫相對應(yīng)程序腳本才能完成這一步，到此時數(shù)據(jù)抽取才能完成。

2.3 數(shù)據(jù)的轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換是真正將數(shù)據(jù)源變?yōu)槟繕?biāo)數(shù)據(jù)的關(guān)鍵環(huán)節(jié)，只有將原始數(shù)據(jù)轉(zhuǎn)換成成本分?jǐn)傁到y(tǒng)定義的標(biāo)準(zhǔn)才能參與成本分?jǐn)傆?jì)算，如果數(shù)據(jù)格式不準(zhǔn)確，將會影響計(jì)算結(jié)果。根據(jù)數(shù)據(jù)調(diào)研結(jié)果，確認(rèn)內(nèi)容見表2。

表2 數(shù)據(jù)來源及字段

由表2可知，第一列是獲取數(shù)據(jù)的源系統(tǒng)；賬戶級明細(xì)數(shù)據(jù)是指每個表的每條數(shù)據(jù)都應(yīng)該是一條條賬戶信息，比如一個人的一個賬戶信息，科目級數(shù)據(jù)是指確認(rèn)到每個科目的粒度信息；字段是從這個系統(tǒng)中需要獲取到的哪些字段。

在數(shù)據(jù)抽取結(jié)束后，獲取到最基本的源數(shù)據(jù)。如圖3所示。

圖3 數(shù)據(jù)加載轉(zhuǎn)換處理

由圖3可知，在Oracle環(huán)境下編寫存儲過程。存儲過程將獲取到的源數(shù)據(jù)通過定義的規(guī)則和要求轉(zhuǎn)換成成本分?jǐn)傁到y(tǒng)的數(shù)據(jù)格式。加載增值稅系統(tǒng)價(jià)稅分離交易明細(xì)數(shù)據(jù)，然后獲取增值稅系統(tǒng)價(jià)稅分離交易明細(xì)數(shù)據(jù)中的增值稅字段，為后續(xù)報(bào)表計(jì)算提供數(shù)據(jù)支持；加載人力資源系統(tǒng)員工表，對員工表數(shù)據(jù)轉(zhuǎn)換，比如部門ID字段, ID字段會被加密成一段無意義字符，這時就需要轉(zhuǎn)換成定義好的規(guī)則。部分字段轉(zhuǎn)換規(guī)則見表3。

由表3可知，將數(shù)據(jù)轉(zhuǎn)換成某種占比后，將參與到成本分?jǐn)偟挠?jì)算中，會根據(jù)不同的占比進(jìn)行費(fèi)用分?jǐn)?，這些占比數(shù)額將決定最終分?jǐn)倲?shù)額的數(shù)額。

2.4 數(shù)據(jù)的裝載

成本分?jǐn)傁到y(tǒng)的數(shù)據(jù)處理中的關(guān)鍵一步就是數(shù)據(jù)裝載。在進(jìn)行數(shù)據(jù)轉(zhuǎn)換后，通過存儲過程已經(jīng)將對應(yīng)數(shù)據(jù)裝載到表中，如圖3所示。數(shù)據(jù)的加載就是將各個子系統(tǒng)的數(shù)據(jù)文件通過腳本文件加載到對應(yīng)表里面，或者將數(shù)據(jù)轉(zhuǎn)換后的結(jié)果插入到表中。

表3 部分字段轉(zhuǎn)換規(guī)則

對于數(shù)據(jù)量小且數(shù)據(jù)變化頻率較低的數(shù)據(jù)文件采用軟件工具經(jīng)過必要的轉(zhuǎn)換后裝載到相應(yīng)的事實(shí)表中；對于數(shù)據(jù)量大的數(shù)據(jù)先用軟件工具生成每日的增量數(shù)據(jù)，再將數(shù)據(jù)插入/更新到相應(yīng)事實(shí)表中。

數(shù)據(jù)轉(zhuǎn)換結(jié)束，成本分?jǐn)傆?jì)算完成，生成結(jié)果集，將結(jié)果集匯總，最終將數(shù)據(jù)加載到成本分?jǐn)倛?bào)表中。

2.5 數(shù)據(jù)的校驗(yàn)

在數(shù)據(jù)加載完成后，需要對加載后的數(shù)據(jù)進(jìn)行校驗(yàn)。數(shù)據(jù)加載后的校驗(yàn)是對加載質(zhì)量的檢查，同時數(shù)據(jù)校驗(yàn)的結(jié)果也是判斷新系統(tǒng)能否正式啟用的重要依據(jù)。

加載后的數(shù)據(jù)校驗(yàn)的指標(biāo)主要包括五方面：完整性檢查，引用的外鍵是否存在；一致性檢查，相同含義的數(shù)據(jù)在不同位置的值是否一致；記錄條數(shù)檢查，檢查新舊數(shù)據(jù)庫對應(yīng)的記錄條數(shù)是否一致；特殊樣本數(shù)據(jù)的檢查，檢查同一樣本在新舊數(shù)據(jù)庫中是否一致。

在成本分?jǐn)倛?bào)表部分，會檢查數(shù)據(jù)展示信息，同時對數(shù)據(jù)的格式以及數(shù)額進(jìn)行檢查和校驗(yàn)，詳見表4。

如果查出有什么問題及時在存儲過程中進(jìn)行改正。

表4 成本分?jǐn)倛?bào)表部分?jǐn)?shù)據(jù)

3 結(jié)束語

成本分?jǐn)傁到y(tǒng)ETL部分的成功實(shí)施，對數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程有了更明確的分工。通過將各個子系統(tǒng)數(shù)據(jù)經(jīng)過抽取、轉(zhuǎn)換、裝載成符合要求的數(shù)據(jù)，并且擁有較高的數(shù)據(jù)質(zhì)量。

在以后的工作中，研究擬將各個子系統(tǒng)的數(shù)據(jù)整合到數(shù)據(jù)倉庫中，在需要開發(fā)新系統(tǒng)對接數(shù)據(jù)時，只需對接數(shù)據(jù)倉庫，而無需再對接各個子系統(tǒng)，這將會大大減少開發(fā)成本。