打造稱手的審計數(shù)據(jù)處理工具

太自紅

數(shù)據(jù)分析在審計工作中發(fā)揮著十分重要的作用，當前多數(shù)審計人員已掌握了在excel和數(shù)據(jù)庫中進行篩選比對的技能。然而現(xiàn)實工作環(huán)境下，審計人員面對數(shù)據(jù)，遇到最大的問題是數(shù)據(jù)格式不規(guī)范，量大難處理，如何高效處理數(shù)據(jù)考驗著計算機審計人員的能力和水平。本文將介紹筆者和同事在工作實踐中，不斷總結編寫了的一系列數(shù)據(jù)處理工具和方法，高效解決了數(shù)據(jù)收集、清洗、轉換、分拆問題，極大地提高了審計工作效率。

一、多種形式的數(shù)據(jù)收集合并。

電子表格的收集合并是工作中時常遇到的一個問題，審計現(xiàn)場收集的電子數(shù)據(jù)資料，因為年度和地區(qū)的不同，數(shù)據(jù)常常分散存儲在多個工作簿和工作表中，為了實現(xiàn)對數(shù)據(jù)的統(tǒng)一分析必須將數(shù)據(jù)進行歸集合并和整理。常見有以下幾種形式的合并整理：1.從選擇的工作簿中，逐個把工作表數(shù)據(jù)復制到合并工作簿的不同工作表下。2.從選擇的工作簿中，把所有工作表數(shù)據(jù)復制到合并工作簿的同一工作表下。3.預設需要提取的數(shù)據(jù)列，從工作簿中提取相關列數(shù)據(jù)后，復制到合并工作簿同一工作表下。上述工作在數(shù)據(jù)量小的情況下可以手工操作，但面對成百上千張數(shù)據(jù)表時，將變成一個十分繁重的工作。針對此種需求我們設計了比較通用的工作簿合并工具（圖1），實現(xiàn)了幾百張數(shù)據(jù)表可在幾秒時間內完成合并歸集。

二、根據(jù)內容分割符拆分多行的問題。

數(shù)據(jù)的格式規(guī)范決定了數(shù)據(jù)能否在數(shù)據(jù)庫中參與比對，工作常會遇到這樣的情況，被審單位為了自身工作方便，提供的資料中，一些關鍵信息使用標點符號隔開的形式合并存儲。審計中為了實現(xiàn)對關鍵信息的比對，需要對關鍵數(shù)據(jù)進行提取分離。如圖2中提供的產權登記信息，原數(shù)據(jù)以產權號為單位，共有產權人用標點符合隔開來組合存儲，審計對數(shù)據(jù)進行關聯(lián)分析時，產權人證件號作為一個重要信息需要做圖2中的拆分轉換才能夠參與比對。

上述轉換是數(shù)據(jù)清洗過程中非常必要的操作，EXCEL現(xiàn)有工具雖然提供了數(shù)據(jù)分列功能，但分列后的數(shù)據(jù)仍需要大量繁瑣整理，才能實現(xiàn)上圖轉換效果。為此我們用VBA編寫了分拆整理工具（圖3），在工具交互窗口下輸入需要分拆的列和分隔符號以及分拆后需要保持文本格式的數(shù)據(jù)列，最終完成上述的分拆轉換操作。

三、批量視圖構建完成數(shù)據(jù)庫的漢化翻譯。

被審計單位提供業(yè)務數(shù)據(jù)庫后，分析組一個重要工作是對數(shù)據(jù)進行翻譯轉換使數(shù)據(jù)庫具有可讀性，通過對照數(shù)據(jù)字典進行表名和字段名的轉換。創(chuàng)建漢化視圖是轉換的一種主要方式，實際工作中如果依據(jù)數(shù)據(jù)字典逐條編寫視圖語句，不僅耗時且難于保障轉換的準確性。最有效的方式是把數(shù)據(jù)字典按表名、中文表名、列名、中文列名四個要素規(guī)范整理后，運用工具批量生成視圖創(chuàng)建語句，圖4為批量生成視圖創(chuàng)建語句的vba代碼。

四、數(shù)據(jù)入庫后的規(guī)范清洗和靈活運用。

入庫的數(shù)據(jù)一方面需要做專門的清洗轉換，另一方面還需要靈活處理運用。對一些特殊的數(shù)據(jù)處理，數(shù)據(jù)庫提供的系統(tǒng)函數(shù)難于滿足，因此定義一系列處理函數(shù)顯得十分必要，我們根據(jù)工作需要定義了以下一些函數(shù)：1.身份證號的處理函數(shù)，身份證號是重要關聯(lián)比對字段，對它的處理能極大地提升數(shù)據(jù)質量。針對身份證號的函數(shù)有合法性檢測、字符串全半角轉換、隱藏的非法字符（一些既不是空格肉眼也難于觀察到的字符）清除、15位升級18位。2.字符串相似度匹配函數(shù)，一些數(shù)據(jù)無法用like 運算符關聯(lián)比對，如在使用公司名稱關聯(lián)數(shù)據(jù)時，由于數(shù)據(jù)來源的不同，公司名稱有的簡稱有的全稱，like運算符無法表達關系，可以通過計算兩個字符串的相似度來做關聯(lián)，確定相似度在一定范圍內的數(shù)據(jù)為關聯(lián)結果，然而SQl數(shù)據(jù)庫并沒有提供字符相似度計算函數(shù)，所以在結合了單個字符的匹配性和位置權重后我設計了字符串相似度函數(shù)。3.索引的批量自動建立問題，索引的建立能夠讓數(shù)據(jù)庫的比對更加高效，在索引構建時由于一些關聯(lián)字段雖然在不同數(shù)據(jù)表中但名稱一致，為了工作的快捷設計了批量構建索引的函數(shù)，極大地提高了數(shù)據(jù)的管理水平。

五、數(shù)據(jù)疑點庫的批量分發(fā)問題。

數(shù)據(jù)集中分析，疑點分散核查是當前審計的一種重要工作方式，省市審計機關對大量數(shù)據(jù)集中分析后，將多個疑點數(shù)據(jù)保存到數(shù)據(jù)庫下，分散核查時再將數(shù)據(jù)按地區(qū)按種類導出，分發(fā)到各核查小組。而手工操作將是一個繁重的工作，為此我們設計了數(shù)據(jù)庫審計疑點批量分拆導出工具（圖5），在工具中輸入數(shù)據(jù)庫連接參數(shù)連向疑點數(shù)據(jù)庫，疑點列表獲取菜單幫助選擇需要導出的數(shù)據(jù)表，導出范圍配置界面填寫好需要導出的地區(qū)，計算機根據(jù)上述配置，從數(shù)據(jù)庫自動抽取指定的地區(qū)和指定表，并以地區(qū)為單位生成工作簿，從而分拆出各個地區(qū)的疑點數(shù)據(jù)。

六、審計現(xiàn)場數(shù)據(jù)任意拆分的問題。

在現(xiàn)場組織審計工作中，電子表格的數(shù)據(jù)分拆也是時常遇到的問題，如審計組根據(jù)工作安排，需把工作簿數(shù)據(jù)按照數(shù)據(jù)內容中的審計地區(qū)和資金類別，拆分成不同的電子工作簿，交各組員開展相關工作。當?shù)貐^(qū)和資金種類繁多時，從電子表格中篩選數(shù)據(jù)然后復制到不同工作表成了一項繁重工作。為簡化此項工作，我們設計了靈活的工作簿拆分工具（圖6），拆分工具能夠實現(xiàn)對工作簿按照自定的屬性組合（不同列中內容項組合）完成拆分，考慮了多表頭工作表情況還增加了表頭終止號選項，同時為實現(xiàn)把具有相同屬性的不同工作表拆分到同一工作簿下，還設計了相應的勾選項和屬性組合編號。

數(shù)據(jù)審計的道路上我們將面臨各種挑戰(zhàn)，只有在工作實踐中認真總結規(guī)律，充分發(fā)揮知識技能的作用，不斷創(chuàng)新技術方法，才能更好的迎接挑戰(zhàn)，以問題為導向形成實用的經驗技能，甚至固化成一勞永逸的數(shù)據(jù)處理工具，是每位計算機審計人員努力的一個方向。