基于Hadoop技術(shù)的商業(yè)銀行數(shù)據(jù)審計模式研究

張博宇

[摘要]商業(yè)銀行各業(yè)務(wù)領(lǐng)域大多采用基于關(guān)系型數(shù)據(jù)庫的集中統(tǒng)一信息管理模式，為審計工作逐漸由傳統(tǒng)的抽樣現(xiàn)場審計模式向數(shù)據(jù)審計模式轉(zhuǎn)變提供了新的發(fā)展契機。Hadoop作為一個高效、擴展性強、應(yīng)用靈活的技術(shù)載體，與數(shù)據(jù)審計的需求相契合，對于數(shù)據(jù)審計的開展具有十分重要的意義。

[關(guān)鍵詞]商業(yè)銀行 數(shù)據(jù)審計 結(jié)構(gòu)化 Hadoop技術(shù)

一、數(shù)據(jù)審計的發(fā)展

近年來，隨著商業(yè)銀行各類業(yè)務(wù)管理系統(tǒng)的建設(shè)及應(yīng)用，各類業(yè)務(wù)行為都被記載于數(shù)據(jù)庫中，相關(guān)數(shù)據(jù)反映的業(yè)務(wù)特征逐漸成為審計運用的重要資料。通過對數(shù)據(jù)的篩選分析及比對，發(fā)現(xiàn)疑點線索，繼而鎖定重點，深入核查，從而實現(xiàn)審計全覆蓋、提高工作效率。因此，各商業(yè)銀行審計部門也逐漸建立起專業(yè)技術(shù)團隊，將業(yè)務(wù)數(shù)據(jù)分析研究、模型構(gòu)建等審計信息化建設(shè)作為重點工作內(nèi)容。

此項工作開展早期，審計部門引入了專業(yè)技術(shù)人員，利用如Sql Server、DB2等傳統(tǒng)關(guān)系型數(shù)據(jù)庫作為業(yè)務(wù)數(shù)據(jù)的匯總集市及分析工具，為數(shù)據(jù)審計工作的開展邁出了堅實的第一步。

隨著商業(yè)銀行業(yè)務(wù)的不斷發(fā)展，風(fēng)險控制管理不斷從嚴(yán)，對審計工作的要求不斷提高，傳統(tǒng)關(guān)系型數(shù)據(jù)庫本身的技術(shù)瓶頸也逐漸顯現(xiàn)。

一是處理海量數(shù)據(jù)運算效率低。一家商業(yè)銀行賬戶數(shù)量往往達到幾千萬乃至上億，每年流水記錄至少數(shù)億條，在傳統(tǒng)數(shù)據(jù)庫環(huán)境下，一條語句命令的執(zhí)行往往需要幾十分鐘。

二是只能展現(xiàn)提取日的業(yè)務(wù)數(shù)據(jù)狀態(tài)。因為普通關(guān)系型數(shù)據(jù)庫為二維數(shù)據(jù)存儲模式，無法對每日的數(shù)據(jù)狀態(tài)進行保存，無法實現(xiàn)與以前部分業(yè)務(wù)狀態(tài)的比對以及對銀行賬戶日均存量等信息的統(tǒng)計。

三是存儲擴展性不強。隨著數(shù)據(jù)提取范圍及數(shù)據(jù)的積累，存儲空間及運算能力逐漸接近飽和，解決運算和資源存儲問題，往往只能采用更換硬件的方式。

四是無法存儲非結(jié)構(gòu)化數(shù)據(jù)。對非結(jié)構(gòu)化數(shù)據(jù)進行智能分析，已逐漸成為審計技術(shù)人員研究的方向，但傳統(tǒng)數(shù)據(jù)庫不支持非結(jié)構(gòu)化數(shù)據(jù)的存儲。

二、Hadoop技術(shù)

隨著信息化技術(shù)日新月異的發(fā)展，審計人員也在不斷嘗試探索新的數(shù)據(jù)審計技術(shù)手段以提高審計工作效率，擴展數(shù)據(jù)分析功能。繼傳統(tǒng)關(guān)系型數(shù)據(jù)庫之后，基于Netezza或者Teradata平臺的數(shù)據(jù)倉庫技術(shù)，也一度成為數(shù)據(jù)審計集市的基礎(chǔ)平臺。但其高額的成本，也讓一些中小型商業(yè)銀行望而卻步。

近年來，Hadoop作為基于分布式計算及存儲的技術(shù)，以其高效、靈活擴展、高容錯等特點，逐漸進入審計技術(shù)人員的視野。部分商業(yè)銀行在建設(shè)審計系統(tǒng)方案中，已將Hadoop作為底層數(shù)據(jù)集市的應(yīng)用平臺。

（一）Hadoop技術(shù)架構(gòu)

Hadoop提供了一個穩(wěn)定的共享存儲器和分析系統(tǒng)，存儲由HDFS實現(xiàn)，分析由MapReduce實現(xiàn)。

HDFS（Hadoop Distribute File System）存儲Hadoop集群中所有存儲節(jié)點上的文件，邏輯上像一個傳統(tǒng)的分級文件系統(tǒng)，存儲在HDFS中的文件被分成數(shù)據(jù)塊，復(fù)制到多個計算機中。該架構(gòu)的優(yōu)勢在于數(shù)據(jù)可以在節(jié)點之間動態(tài)地移動，并保證各個節(jié)點的動態(tài)平衡，因而處理速度非常快，并且自動保存數(shù)據(jù)的多個副本，自動將失敗的任務(wù)重新分配。

MapReduce是一種面向大數(shù)據(jù)并行處理的計算模型、框架和平臺，其本質(zhì)是并行運算原理，適合處理需要分析整個數(shù)據(jù)集的運算，以批處理的方式運行，將單個任務(wù)打碎，并將碎片任務(wù)發(fā)送至多個節(jié)點，之后再以單個數(shù)據(jù)集的形式加載處理。此外，MapReduce的另一優(yōu)勢是能夠?qū)Ψ墙Y(jié)構(gòu)化數(shù)據(jù)進行處理。

（二）Hadoop技術(shù)優(yōu)勢

1.無容量和類型的限制。Hadoop的運算及存儲資源可以由若干臺并行的服務(wù)器提供，當(dāng)資源不足時，只需將新的服務(wù)器并入資源池即可，資源池節(jié)點數(shù)量無上限，管理方便靈活。此外，實現(xiàn)了數(shù)據(jù)的并發(fā)運算及數(shù)據(jù)存儲的多備份均衡分布。

2.統(tǒng)一的平臺可運行多種分析處理引擎。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫底層只有一個引擎，只處理關(guān)系型應(yīng)用。而Hadoop在底層共用一份HDFS存儲，上層有很多組件分別服務(wù)多種應(yīng)用場景。如以Cloudera的Impala組件為代表的確定性數(shù)據(jù)分析，其突出優(yōu)勢是響應(yīng)速度快；Search組件可實現(xiàn)探索性數(shù)據(jù)分析，實現(xiàn)對非結(jié)構(gòu)化的數(shù)據(jù)分析；承擔(dān)ETL的數(shù)據(jù)處理及轉(zhuǎn)化引擎，負(fù)責(zé)IO吞吐率及可靠性。

3.相比傳統(tǒng)商業(yè)數(shù)據(jù)平臺具有成本優(yōu)勢。Hadoop技術(shù)應(yīng)用環(huán)境為普通的PC Server群，不依賴某些品牌專用設(shè)備，在成本投入方面具有明顯優(yōu)勢。此外，其開源性特點也降低了用戶的投入成本。

4.開源模式加速了Hadoop的研發(fā)和普及。目前，很多機構(gòu)提供基于Hadoop的技術(shù)服務(wù)，該產(chǎn)品代碼的開源性，也為Hadoop技術(shù)的不斷優(yōu)化升級及推廣應(yīng)用創(chuàng)造了便利條件。目前，國外的Cloudera、IBM公司及我國的華為公司等都在進行基于Hadoop的技術(shù)研發(fā)，并為客戶提供技術(shù)支持服務(wù)。

三、Hadoop技術(shù)在商業(yè)銀行審計工作中的應(yīng)用

近年來，商業(yè)銀行大多建設(shè)了自己的審計系統(tǒng)，包括數(shù)據(jù)審計模塊，但后臺使用的數(shù)據(jù)支持平臺各不相同。早期建設(shè)的審計系統(tǒng)也隨著數(shù)據(jù)量的不斷積累，開始出現(xiàn)運算效率下降、存儲容量不足等問題。對于數(shù)據(jù)審計中數(shù)據(jù)存儲的大容量、高效率、低成本需求，以及未來智能化分析處理等需求，Hadoop的技術(shù)優(yōu)勢逐漸得到一些商業(yè)銀行技術(shù)部門的關(guān)注。

（一）商業(yè)銀行審計系統(tǒng)建設(shè)

要實現(xiàn)Hadoop技術(shù)在商業(yè)銀行審計系統(tǒng)的落地應(yīng)用，應(yīng)結(jié)合Hadoop的技術(shù)特點及商業(yè)銀行審計系統(tǒng)的建設(shè)功能需求，進行整體規(guī)劃設(shè)計。

以某商業(yè)銀行審計系統(tǒng)的建設(shè)為例。建設(shè)目標(biāo)包括以下方面：實現(xiàn)審計人員對常用業(yè)務(wù)數(shù)據(jù)進行靈活、快速的查詢，對現(xiàn)場審計環(huán)節(jié)前的數(shù)據(jù)調(diào)研分析以及在審計過程中的數(shù)據(jù)補充提供支持；支持審計人員根據(jù)風(fēng)險點特征及對應(yīng)相關(guān)數(shù)據(jù)邏輯關(guān)系構(gòu)建數(shù)據(jù)分析模型；實現(xiàn)本行重要業(yè)務(wù)系統(tǒng)數(shù)據(jù)的T+1自動增量采集，根據(jù)風(fēng)險點在系統(tǒng)中設(shè)置預(yù)警模型，定制周期自動執(zhí)行并提示預(yù)警，在系統(tǒng)中完成疑點線索的核查工作；實現(xiàn)各類現(xiàn)場檢查工作流程的標(biāo)準(zhǔn)化系統(tǒng)線上處理；參考內(nèi)外部規(guī)定，以內(nèi)控五要素為基本結(jié)構(gòu)，以風(fēng)險點的形式嵌入系統(tǒng)中，指導(dǎo)檢查工作的開展；實現(xiàn)審計條線內(nèi)部信息及資料的系統(tǒng)線上管理。

通過對系統(tǒng)建設(shè)目標(biāo)的分析發(fā)現(xiàn)，數(shù)據(jù)的使用與現(xiàn)場審計階段的工作緊密銜接、高度契合、相互作用，通過若干環(huán)節(jié)對數(shù)據(jù)的調(diào)閱、分析與處理，能夠最大程度地發(fā)揮數(shù)據(jù)在整個審計工作中的支持作用。據(jù)此，確定系統(tǒng)的整體邏輯架構(gòu)如圖1所示。

部分商業(yè)銀行在建設(shè)審計系統(tǒng)時，只建設(shè)數(shù)據(jù)審計模塊功能，希望通過科技部乃至軟件公司的技術(shù)支持，解決自身的技術(shù)短板。但審計現(xiàn)場與非現(xiàn)場的數(shù)據(jù)分析不應(yīng)是彼此獨立的，不僅在工作開展期間互相穿插，在成果運用方面也應(yīng)互相促進。因此，在設(shè)計審計系統(tǒng)功能架構(gòu)時，應(yīng)從更高角度、全局視角去規(guī)劃，將現(xiàn)場檢查功能模塊與數(shù)據(jù)審計分析功能合理結(jié)合、同步建設(shè)，從而發(fā)揮更大效能。

（二）Hadoop技術(shù)在審計系統(tǒng)架構(gòu)中的應(yīng)用

根據(jù)系統(tǒng)功能目標(biāo)，結(jié)合Hadoop技術(shù)本身的優(yōu)勢，從底層架構(gòu)進行設(shè)計規(guī)劃，解決需求中數(shù)據(jù)使用方面的問題。首先，實現(xiàn)數(shù)據(jù)的快速查詢。其次，實現(xiàn)數(shù)據(jù)的自動采集以及對非流水類數(shù)據(jù)的三維立體拉鏈存儲。最后，實現(xiàn)不同數(shù)據(jù)分析模型的邏輯構(gòu)建及展現(xiàn)。

基于整體功能需求的明確，某商業(yè)銀行審計系統(tǒng)基礎(chǔ)技術(shù)架構(gòu)為：以Hadoop作為存儲、調(diào)閱銀行各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的容器，DB2作為審計系統(tǒng)管理數(shù)據(jù)庫，用于存儲系統(tǒng)用戶權(quán)限、現(xiàn)場檢查底稿及數(shù)據(jù)分析成果等管理類數(shù)據(jù)。

審計系統(tǒng)對接Hadoop大數(shù)據(jù)平臺，對業(yè)務(wù)數(shù)據(jù)進行管理，并集成Impala數(shù)據(jù)分析引擎組件，用于數(shù)據(jù)的高速訪問。同時，數(shù)據(jù)訪問增加了Kerberos認(rèn)證機制，保障了業(yè)務(wù)數(shù)據(jù)訪問安全。此外，大數(shù)據(jù)平臺與用于審計系統(tǒng)自身管理的DB2數(shù)據(jù)庫也存在交互，交互采用Sqoop組件，保證模型數(shù)據(jù)的及時同步。

根據(jù)業(yè)務(wù)需求和科技規(guī)劃，建設(shè)基于Hadoop平臺的審計數(shù)據(jù)集市，并按照不同主題進行劃分，引入Control-M工具對ETL過程進行管理監(jiān)控。

（三）Hadoop技術(shù)在商業(yè)銀行審計應(yīng)用中的成果

1. 構(gòu)建了商業(yè)銀行審計所需資源的數(shù)據(jù)集市。一般來說，商業(yè)銀行主要的業(yè)務(wù)系統(tǒng)包括核心系統(tǒng)、信貸風(fēng)險管理系統(tǒng)、貸款核算系統(tǒng)、財務(wù)管理系統(tǒng)、各交易渠道系統(tǒng)等。這些系統(tǒng)業(yè)務(wù)數(shù)據(jù)都可以作為審計所需要的數(shù)據(jù)資源，將以上數(shù)據(jù)進行充分分析和梳理后，分類進行采集和存儲，作為數(shù)據(jù)分析的基礎(chǔ)資源池。根據(jù)在源系統(tǒng)中的數(shù)據(jù)管理模式，需將流水類數(shù)據(jù)與時點狀態(tài)類數(shù)據(jù)進行區(qū)分，以不同形式存儲。如存儲授信余額及分類狀態(tài)類的數(shù)據(jù)表，要以拉鏈的形式，記錄每天的狀態(tài)信息，這樣在作數(shù)據(jù)分析時，可以追溯該筆業(yè)務(wù)之前某時點的信息狀態(tài)。該數(shù)據(jù)集市的存儲空間可隨業(yè)務(wù)數(shù)據(jù)的增加，以物理的方式靈活擴展，Hadoop系統(tǒng)可智能判斷擴展后的物理節(jié)點，重新構(gòu)建數(shù)據(jù)的分布形態(tài)，保證查閱效率。

2.實現(xiàn)了銀行審計人員審前及審計過程中數(shù)據(jù)的靈活查詢?；贖adoop技術(shù)搭建的數(shù)據(jù)查詢環(huán)境，由于應(yīng)用Impala這類對數(shù)據(jù)檢索效率更具優(yōu)勢的組件，讓審計人員在對日常業(yè)務(wù)數(shù)據(jù)、尤其是海量數(shù)據(jù)的流水類信息進行查詢時，速度優(yōu)勢更加明顯。面對幾億條數(shù)據(jù)的條件搜索及相關(guān)字段的條件加工及展現(xiàn)，從觸發(fā)指令到展現(xiàn)結(jié)果，只需十幾秒，大大提高了審計工作效率。此外，基于Hadoop的技術(shù)原理優(yōu)勢，即便被訪問數(shù)據(jù)量隨著時間的積累增加若干倍，查詢時間也不會成倍增加，處理時間依然能保持在十幾秒以內(nèi)。

3.實現(xiàn)了針對風(fēng)險點構(gòu)建監(jiān)測模型。由于數(shù)據(jù)審計自身的工作特點，某一模型的分析成果所反映的是某項業(yè)務(wù)以前或者當(dāng)前某時點的運行狀態(tài)，單一或者某幾個模型無法體現(xiàn)該項業(yè)務(wù)全貌。所謂風(fēng)險模型的構(gòu)建，都是根據(jù)各類業(yè)務(wù)某一風(fēng)險點的數(shù)據(jù)特征構(gòu)建的。因此，審計系統(tǒng)上線后，依托Hadoop搭建的數(shù)據(jù)資源池，在同步建設(shè)風(fēng)險點庫的基礎(chǔ)上，結(jié)合不同風(fēng)險點對應(yīng)的數(shù)據(jù)邏輯特點，運用Sql語言搭建風(fēng)險分析模型，進而逐步完善非現(xiàn)場監(jiān)測體系。

4.實現(xiàn)了預(yù)制風(fēng)險模型的自動預(yù)警。以Hadoop為底層架構(gòu)的數(shù)據(jù)集市的投產(chǎn)，以及與貼源層數(shù)據(jù)的ETL自動對接與T+1頻率采集，使分析模型的定期自動持續(xù)監(jiān)測成為可能。系統(tǒng)投產(chǎn)后，針對銀行柜員異常行為、授信資金使用等風(fēng)險等級較高的風(fēng)險點而構(gòu)建的模型，在系統(tǒng)中設(shè)置為固定頻率運行監(jiān)測，自動展現(xiàn)疑點線索，按照審計系統(tǒng)工作流程提交審計人員核查處理。監(jiān)測內(nèi)容還可擴展為某些業(yè)務(wù)數(shù)據(jù)的閾值以及KPI指標(biāo)，對異常情況進行深入分析。疑點線索數(shù)據(jù)處理流程如圖2所示。在某商業(yè)銀行實施的審計案例中，通過持續(xù)的數(shù)據(jù)監(jiān)測，發(fā)現(xiàn)柜員為本人辦理業(yè)務(wù)的情況頻發(fā)，此類行為屬銀行嚴(yán)禁行為，經(jīng)核實后向會計營運部門提示風(fēng)險，通過完善核心系統(tǒng)功能堵塞風(fēng)險。此外，通過對逾期不良貸款借款人的行內(nèi)賬戶監(jiān)測，發(fā)現(xiàn)該銀行在追索逃廢債務(wù)方面存在管理漏洞，通過加強授信后管理與系統(tǒng)改造升級，保全了銀行資產(chǎn)。

5. 體現(xiàn)了數(shù)據(jù)審計的優(yōu)勢。數(shù)據(jù)審計較傳統(tǒng)審計模式的優(yōu)勢體現(xiàn)在全面性與時效性?？筛鶕?jù)問題業(yè)務(wù)的數(shù)據(jù)特征，利用全轄數(shù)據(jù)進行拉網(wǎng)式搜索；由于實現(xiàn)了T+1模式的數(shù)據(jù)采集，當(dāng)日的問題疑點，在下一日即可自動提示，在相關(guān)被審計單位中形成了較高的威懾力，進而增強了風(fēng)險的防范。

此外，當(dāng)各類問題實現(xiàn)系統(tǒng)化記錄后，審計系統(tǒng)也將成為一套積累審計成果資料的數(shù)據(jù)庫，通過進行不同角度的統(tǒng)計與分析，可以總結(jié)出商業(yè)銀行存在的管理與內(nèi)控方面的不足，為商業(yè)銀行制定下一步風(fēng)險管理政策及審計工作計劃提供借鑒與參考。

四、商業(yè)銀行數(shù)據(jù)審計應(yīng)用與展望

（一）數(shù)據(jù)審計工作面臨的困難及解決途徑

近年來，孜孜不倦的審計人員在數(shù)據(jù)審計方面做了大量努力探索，也取得了一定成果，但其過程并不是一帆風(fēng)順的，也存在著很多困擾和曲折。首先，在對數(shù)據(jù)審計的理解方面，業(yè)內(nèi)一直沒有標(biāo)準(zhǔn)的定義，大多是不同單位的審計人員根據(jù)自身工作經(jīng)驗的理解。筆者認(rèn)為，數(shù)據(jù)分析模型運行后的結(jié)果，在深入核查之前只能稱作疑點，不能定位為問題，數(shù)據(jù)審計成果確認(rèn)離不開現(xiàn)場核實環(huán)節(jié)。數(shù)據(jù)審計手段與現(xiàn)場審計手段相輔相成，而不能相互代替。其次，數(shù)據(jù)質(zhì)量一直是困擾數(shù)據(jù)審計人員的難題，也是各家商業(yè)銀行共同面臨的問題，更是開展數(shù)據(jù)審計工作的前提之一。最后，在數(shù)據(jù)審計方面，大部分商業(yè)銀行更傾向于資金投入，而非人才投入和高質(zhì)量的工作規(guī)劃設(shè)計。部分機構(gòu)在開展數(shù)據(jù)審計工作方面急功近利，沒有進行合理規(guī)劃，部分基礎(chǔ)性工作不扎實，動輒投入幾百萬乃至上千萬而效果不明顯。此外，由于承擔(dān)此項工作的審計人員必須掌握數(shù)據(jù)庫管理及分析技術(shù)，而大部分銀行內(nèi)審人員由于沒有此類專業(yè)背景，對參與此項工作望而卻步。

目前，有的商業(yè)銀行已開始從理論層面分析、思考數(shù)據(jù)審計在審計工作體系中的特點與定位，并以此為依托，對數(shù)據(jù)審計工作的開展進行規(guī)劃，配置相關(guān)資源，搭建審計系統(tǒng)。此外，部分商業(yè)銀行也初步培養(yǎng)了一支具備模型構(gòu)建能力的技術(shù)隊伍。放眼未來，數(shù)據(jù)審計的方法和手段會逐漸為大部分審計人員接受和掌握，并成為一項基本技能。

（二）數(shù)據(jù)審計工作的開展離不開技術(shù)的發(fā)展與應(yīng)用

數(shù)據(jù)審計工作早期由審計部門引入，技術(shù)人員利用數(shù)據(jù)庫語言對業(yè)務(wù)數(shù)據(jù)進行分析，篩選出檢查重點，從而提高審計工作效率。隨著數(shù)據(jù)審計工作的開展以及技術(shù)人員的不斷探索，不斷有新的技術(shù)手段應(yīng)用到審計工作中，提高了分析水平與工作效率。從最初的Sql Server、SAS，到數(shù)據(jù)倉庫技術(shù)的應(yīng)用，都為數(shù)據(jù)審計的發(fā)展提供了新的契機?？梢哉f，數(shù)據(jù)審計工作的發(fā)展隨著新技術(shù)的應(yīng)用不斷成長和發(fā)展。

Hadoop技術(shù)作為一種新的數(shù)據(jù)管理與分析工具，以其特有的技術(shù)優(yōu)勢，促進了數(shù)據(jù)審計工作的進一步發(fā)展。當(dāng)然Hadoop技術(shù)也不是完美的，應(yīng)用中也發(fā)現(xiàn)了一些缺陷，比如，當(dāng)前版本對Delete、Insert等數(shù)據(jù)庫修改函數(shù)指令暫不支持。對于審計人員來說，可能相較傳統(tǒng)關(guān)系型數(shù)據(jù)庫，在使用習(xí)慣上略有不同，這就要求數(shù)據(jù)審計人員在進行模型構(gòu)建時，想辦法繞開此類函數(shù)，實現(xiàn)最初的原始構(gòu)思邏輯。由于Hadoop屬于開源產(chǎn)品，其功能也隨著版本的升級不斷完善，缺陷終將得到解決。

（三）數(shù)據(jù)審計工作發(fā)展與展望

數(shù)據(jù)審計工作取得一定成效后，逐漸得到商業(yè)銀行高管層的重視。目前，對于傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)的分析，技術(shù)手段方面已較為成熟。隨著IT技術(shù)朝著智能化方向發(fā)展，智能化技術(shù)在審計領(lǐng)域應(yīng)用的呼聲越來越高，已達成共識的方向為對圖像、影像等非結(jié)構(gòu)化數(shù)據(jù)的分析，Hadoop技術(shù)可以存儲非結(jié)構(gòu)化數(shù)據(jù)的特點，使對審計智能化的進一步探索成為可能。

（作者單位：天津農(nóng)商銀行，郵政編碼：300203，電子郵箱：zhangby@trcbank.com.cn）

主要參考文獻

Tom White，曾大聃，周傲英譯. Hadoop權(quán)威指南[M].北京：清華大學(xué)出版社， 2010