面向商業(yè)銀行數(shù)據(jù)倉庫的數(shù)據(jù)質量管理關鍵技術研究

項郎 花旗金融信息服務(中國)有限公司

面對大環(huán)境下的金融改革，商業(yè)銀行中的數(shù)據(jù)倉庫在進行數(shù)據(jù)處理過程中會出現(xiàn)很多錯誤，對數(shù)據(jù)倉庫來說，數(shù)據(jù)的質量問題成為關鍵，這直接能夠影響整個運作系統(tǒng)的質量和速度，影響決策的正常發(fā)布。對于商業(yè)銀行來說不能容許數(shù)據(jù)的錯誤，所以要加強數(shù)據(jù)質量管理的關鍵技術，制定有效手段來解決出現(xiàn)的錯誤，保證倉庫監(jiān)管質量。

1 相關概念

數(shù)據(jù)倉庫，是為企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的集合。它是單個數(shù)據(jù)存儲，出于分析性報告和決策支持目的而創(chuàng)建。為需要業(yè)務智能的企業(yè)，提供指導業(yè)務流程改進、監(jiān)視時間、成本、質量以及控制。

數(shù)據(jù)質量是通過一定的流程加工原始數(shù)據(jù)變成優(yōu)化之后的數(shù)據(jù)供企業(yè)使用。最終完成的數(shù)據(jù)可以根據(jù)數(shù)據(jù)的完整程度以及有效程度進行評估，可以在數(shù)據(jù)倉庫建設的生命活動中去衡量處理結束之后的數(shù)據(jù)質量。

2 研究現(xiàn)狀

國外對此領域的研究比較早，已經(jīng)取得了很好的研究成果，而國內相對來說研究的比較晚，也相應地提出了研究成果，在不斷研究的過程中會對數(shù)據(jù)質量有很大的幫助，但是面對信息發(fā)展迅速的時期，商業(yè)銀行已經(jīng)對數(shù)據(jù)需求應用的更加深入，對數(shù)據(jù)質量關鍵技術有更高的要求，但是當前的研究成果并不能滿足現(xiàn)在的需求，受環(huán)境和周邊影響因素比較大，而且不能夠具體地處理數(shù)據(jù)質量，監(jiān)管不到位導致數(shù)據(jù)質量管理方案不能夠有效地實施，改進的地方需要進行分析評估。

商業(yè)銀行應用的大部分數(shù)據(jù)都是來自于企業(yè)數(shù)據(jù)倉庫，但是質量并不高，關鍵是在于數(shù)據(jù)種類繁多，來源不同，所造成的數(shù)據(jù)問題更是多種多樣，例如數(shù)據(jù)不完整或者有重復數(shù)據(jù)的出現(xiàn)，會影響商業(yè)銀行的工作效率。因此，面對繁多的數(shù)據(jù)，對其質量的把控就顯得尤為重要，而且需科學合理的管理方法為指導。

3 管理方法

3.1 質量標準

進行數(shù)據(jù)倉庫使用時，要制定數(shù)據(jù)檢查標準，對反應數(shù)據(jù)質量問題有著很好的作用，可以改善數(shù)據(jù)質量的管理過程。將技術指標明確化，確保數(shù)據(jù)的完整性以及一致性，同時保證正確和有效，在規(guī)定時間內完成數(shù)據(jù)的生成。將業(yè)務指標進行匯總，確保明確記錄各項指標總值的變化程度，而且可以根據(jù)變化的規(guī)律進行分析數(shù)據(jù)。將操作指標嚴格執(zhí)行，重點觀察文件命名以及文件個數(shù)是否正確，在進行索引標記的時候要仔細對比是否相對應。

3.2 質量保證

保證質量的過程中可以通過預防和控制進行，預防每個數(shù)據(jù)傳輸過程，嚴格規(guī)范質量并且防止混亂數(shù)據(jù)的出現(xiàn)，在數(shù)據(jù)轉換階段進行嚴格控制，將混亂數(shù)據(jù)用特定的算法排除出去，兩種方法同時使用才能夠保證數(shù)據(jù)質量，而且還可以在ETL中加入制定好的規(guī)則保證數(shù)據(jù)在輸送過程中不會出現(xiàn)漏洞，在商業(yè)銀行數(shù)據(jù)倉庫中實現(xiàn)生命周期長的目的。

3.3 關鍵技術

數(shù)據(jù)質量管理關鍵技術可以從數(shù)據(jù)源中改進數(shù)據(jù)庫、文檔以及外部數(shù)據(jù)。臟數(shù)據(jù)指無意義或不規(guī)范等的數(shù)據(jù)集稱，數(shù)據(jù)質量管理重要的是將數(shù)據(jù)改進優(yōu)化，優(yōu)化過后的數(shù)據(jù)能夠提高數(shù)據(jù)倉庫的質量，同時能進行數(shù)據(jù)清洗，可以根據(jù)模式進行清洗，將不好的模式進行優(yōu)化設計，主要是通過人工進行。實例層的清洗主要是將錯誤值進行統(tǒng)計，將字段合適匹配，由系統(tǒng)自動處理。

ETL的數(shù)據(jù)采集系統(tǒng)將大量的數(shù)據(jù)信息采集，但是會影響到結果，所以要使用排重減少重復數(shù)據(jù)，提高數(shù)據(jù)的質量。經(jīng)常使用的計算方法有歐氏距離和基于編輯距離，但是這些算法不適用于大規(guī)模的數(shù)據(jù)庫，所以針對大數(shù)據(jù)庫最簡單的辦法就是通過文本以及數(shù)據(jù)比較，同時在處理過程中會發(fā)現(xiàn)simhash的排洪發(fā)是最合適的，但是成本會比較高，經(jīng)常會采用simhash以及minhash兩者相結合，根據(jù)實際情況進行運用。

在數(shù)據(jù)處理階段可以采取數(shù)據(jù)過濾，將對異常數(shù)據(jù)進行分析，但是一般情況下異常數(shù)據(jù)隱藏較深還要結合人工進行檢查。ETL的流程是將數(shù)據(jù)后去清洗最后轉換，完成各種數(shù)據(jù)更新，將傳統(tǒng)的數(shù)據(jù)進行改進，布置在高性能主機上利用并行結算點進行處理，可以將數(shù)據(jù)抽取到臨時數(shù)據(jù)庫中降低耦合性，可在轉換過程中處理錯誤數(shù)據(jù)，提高效率。

4 結束語

綜上所述，在商業(yè)銀行數(shù)據(jù)庫項目的實施過程中，應提升數(shù)據(jù)質量管理的關鍵技術，對報表中的數(shù)據(jù)嚴格把關，這樣能對數(shù)據(jù)質量提出有效控制，降低成本。除此之外還能夠在管理過程中及時發(fā)現(xiàn)問題并排除問題，有效提高數(shù)據(jù)質量。

[1]張靜.大數(shù)據(jù)時代數(shù)據(jù)倉庫的技術跟進[N].中國信息化周報,2014-04-21(027).

[2]任伯群.商業(yè)銀行數(shù)據(jù)倉庫建設實踐與研究[J].電子技術與軟件工程,2014(05):205.

[3]李海波.商業(yè)銀行數(shù)據(jù)倉庫系統(tǒng)設計與實現(xiàn)[D].大連理工大學,2015.