不依賴字符集的數(shù)據(jù)庫非標(biāo)字段檢測方法

孟凡奇，趙 雷

(1.東北電力大學(xué)信息工程學(xué)院，吉林吉林132012;2.大慶油田電力集團(tuán)油田熱電廠，黑龍江大慶163314)

信息社會的絕大多數(shù)信息是存儲在MIS(Management Information System，管理信息系統(tǒng))中的，而MIS中真正存儲數(shù)據(jù)的是數(shù)據(jù)庫，人們從數(shù)據(jù)庫中獲取信息，同時(shí)也將新的信息錄入數(shù)據(jù)庫。因此，數(shù)據(jù)庫中的數(shù)據(jù)是否規(guī)范、正確就顯得尤為重要［1］。但是由于主觀故意或是數(shù)據(jù)錄入時(shí)的合法性檢測不嚴(yán)格等諸多原因，數(shù)據(jù)庫中難免出現(xiàn)少量非法數(shù)據(jù)。比如，電子郵箱的格式應(yīng)為“郵箱名@域名.com”，錄入“victor@yahoo.com”是正確的、合法的，而“★☆＊@7#.cn”就是不正確的電子郵箱地址，可以定義為“非法”數(shù)據(jù)。這些非法數(shù)據(jù)的顯著特征之一就是含有非ASCII(American Standard Code for Information Interchange，美國信息互換標(biāo)準(zhǔn)代碼)字符。本文將含有非ASCII字符的字段稱為“非標(biāo)字段”。對于非法的非標(biāo)字段除了以預(yù)防為主以外還要及時(shí)的檢查并糾正［2］。

目前，大多數(shù)檢測非標(biāo)字段的方法是依賴于數(shù)據(jù)庫所用字符集的，檢測時(shí)要指定字符集名稱或使用其中的字符編碼，這就迫使DBA(Database Administrator，數(shù)據(jù)庫管理員)要對現(xiàn)有的字符集有一定程度的了解，增加了其額外工作量［3］。本文從數(shù)據(jù)表中字段的ASCII值和存儲空間角度，提出了兩種不依賴字符集的數(shù)據(jù)庫非標(biāo)字段檢測方法，實(shí)驗(yàn)表明，這兩種方法與依賴于數(shù)據(jù)庫所用字符集的非標(biāo)字段檢測方法取得了同樣的效果。

1 基于字符集的檢測方法

字符是各種文字和符號的總稱，包括數(shù)字、標(biāo)點(diǎn)符號、圖形符號、各國文字等。計(jì)算機(jī)要準(zhǔn)確識別、存儲和處理各種字符，需要對其進(jìn)行編碼［4-6］。由于編碼的字符數(shù)量和規(guī)則不盡相同，因此形成了不同版本的字符的集合，簡稱字符集。字符集種類較多，數(shù)據(jù)庫中常用的字符集有:ASCII字符集、GB2312字符集、BIG5字符集、Unicode字符集等。

ASCII字符集是現(xiàn)今最通用的單字節(jié)編碼系統(tǒng)，對應(yīng)的國際標(biāo)準(zhǔn)為ISO646。它用7位(bits)表示一個(gè)字符，共128個(gè)字符。而國內(nèi)數(shù)據(jù)庫常用的GB2312又稱為GB2312-80字符集，全稱為《信息交換用漢字編碼字符集·基本集》，是中國國家標(biāo)準(zhǔn)的簡體中文字符集。它所收錄的漢字已經(jīng)覆蓋99.75%的使用頻率，一個(gè)漢字用2個(gè)字節(jié)表示。GB2312收錄簡化漢字及一般符號、序號、數(shù)字、拉丁字母、日文假名、希臘字母、俄文字母、漢語拼音符號、漢語注音字母，共7445個(gè)圖形字符［7-9］。

不同字符集中的字符能夠互相轉(zhuǎn)換，但非標(biāo)字符轉(zhuǎn)換前后可能會發(fā)生變化。以O(shè)racle11g數(shù)據(jù)庫為例，轉(zhuǎn)換工作可由CONVERT函數(shù)完成，其格式為:

其中:“char”代表要轉(zhuǎn)換的字符串;“dest_char_set”代表目標(biāo)字符集;“source_char_set”代表原字符集。

利用該函數(shù)進(jìn)行非標(biāo)字段檢測，需要先將疑似非標(biāo)字段轉(zhuǎn)換為ASCII，然后比較轉(zhuǎn)換前后字段值是否相等，若不相等即可斷定為非標(biāo)字段。但在檢測之前DBA需要了解數(shù)據(jù)庫所使用的字符集。若數(shù)據(jù)庫采用 GB2312字符集，則應(yīng)將參數(shù)“dest_charset”設(shè)置為“US7ASCII”，將參數(shù)“source_charset”設(shè)置為“ZHS16CGB231280”?？梢姡摲椒ㄊ且蕾囉谧址模?0］。

2 不依賴字符集的檢測方法

依賴于字符集的檢測方法加重了DBA的負(fù)擔(dān)，考慮到ASCII字符使用1個(gè)字節(jié)的存儲空間，而非標(biāo)字符使用2～3個(gè)字節(jié)的存儲空間，同時(shí)非ASCII字符集中的非標(biāo)字符在轉(zhuǎn)換為ASCII時(shí)會發(fā)生改變［11-12］，因此提出兩種不依賴字符集的非標(biāo)字段檢測方法。

2.1 基于長度對比的檢測方法

數(shù)據(jù)庫中字段的物理存儲空間和字段的邏輯長度是不同的概念。存儲空間是字段占用的字節(jié)數(shù)，邏輯長度是字段中字的個(gè)數(shù)。若字段中不含非標(biāo)字符，那么二者是相等的，否則不相等。仍以O(shè)racle11g數(shù)據(jù)庫為例，函數(shù)LENGTH(char)可計(jì)算字段的邏輯長度，函數(shù)LENGTHB(char)能計(jì)算字段的存儲空間，例如以下兩條查詢語句:

語句(1)執(zhí)行后的返回結(jié)果為2，語句(2)執(zhí)行后的返回結(jié)果為4。若要判斷“e_mail”字段是否含有非標(biāo)數(shù)據(jù)可以使用條件“l(fā)ength(e_mail)＜＞lengthb(e_mail)”進(jìn)行判斷，若執(zhí)行結(jié)果為TRUE，說明該條記錄的“e_mail”字段數(shù)據(jù)的邏輯長度與存儲長度不相等，則“e_mail”字段必是非標(biāo)字段。由于這種方法在使用時(shí)無需指定字符集，因此對于DBA而言是不依賴字符集的。

2.2 基于取ASCII值的檢測方法

將非標(biāo)字符強(qiáng)制轉(zhuǎn)換為ASCII時(shí)，其值會發(fā)生變化，這是由字符集的編碼規(guī)則決定的。在Oracle11g數(shù)據(jù)庫中，函數(shù)ASCIISTR(char)可以計(jì)算字段的ASCII值。比如以下兩條查詢語句:

語句(3)執(zhí)行后的返回結(jié)果為“〈FD8·97D”，語句(4)執(zhí)行后的返回結(jié)果仍將會是“abc”。根據(jù)這一特性，可以判斷取值前后的字段值是否相同，不相同則必是非標(biāo)字段。若判斷“e_mail”字段是否含有非標(biāo)數(shù)據(jù)可以使用條件“e_mail＜＞asciistr(e_mail)”進(jìn)行判斷，若結(jié)果為TRUE，說明該條記錄的“e_mail”字段數(shù)據(jù)轉(zhuǎn)換前后并不相同，則“e_mail”字段必是非標(biāo)字段。此方法也無需指定字符集，因此對于DBA而言也是不依賴字符集的。

3 實(shí)驗(yàn)及結(jié)果

數(shù)據(jù)庫服務(wù)器采用DELL Power Edge T410。以O(shè)racle11g數(shù)據(jù)庫中dba_objests視圖為藍(lán)本，通過“create table test as select* from dba_objests”語句創(chuàng)建測試數(shù)據(jù)庫。Test表的結(jié)構(gòu)如表1所示。

表1 Test表的結(jié)構(gòu)

然后向Test表插入4條含有非標(biāo)字段的記錄(如圖1所示)

重復(fù)執(zhí)行“insert into test select* from test”語句，直至數(shù)據(jù)表TEST中的記錄數(shù)達(dá)到8865920條，其中包括非標(biāo)字段記錄512條。考慮到Oracle的共享池等機(jī)制能夠緩存查詢結(jié)果，提高對同一個(gè)表類似查詢的速度，因此將test表復(fù)制2份，分別命名為test2和test3。3條測試語句(表2所示)及其查詢結(jié)果(圖2所示)如下:

圖1 含非標(biāo)字段的4條記錄

表2 測試用例及執(zhí)行時(shí)間

圖2 測試語句的查詢結(jié)果(部分)

4 結(jié) 論

本文提出的兩種不依賴字符集的非標(biāo)字段檢測方法與目前大多數(shù)依賴于字符集的檢測方法在性能上沒有明顯差別，同樣檢測到了含有中文、特殊符號等非標(biāo)字符的記錄。但與傳統(tǒng)方法相比，DBA無需了解數(shù)據(jù)庫所使用的字符集，相對減輕了負(fù)擔(dān)。更重要的是為及時(shí)發(fā)現(xiàn)并糾正非法數(shù)據(jù)，避免MIS運(yùn)行風(fēng)險(xiǎn)提供了新的有效手段。

［1］龔建華.基于多全體復(fù)制的Orache數(shù)據(jù)同步研究［J］.辦公自動(dòng)化，2011(3):27-29.

［2］鐘小權(quán)，葉猛.Oracle數(shù)據(jù)庫的SQL語句優(yōu)化［J］.計(jì)算機(jī)與現(xiàn)代化，2011(3):124-130.

［3］閃四清，楊強(qiáng).Oracle Database 10g基礎(chǔ)教程［M］.北京:清華大學(xué)出版社，2009.

［4］孟凡奇.一種在JSP頁面上分頁顯示Oracle中記錄的方法［J］.科技創(chuàng)新導(dǎo)報(bào)，2007(36):50-50.

［5］岳國華，趙靜靜.基于ORACLE數(shù)據(jù)庫的多媒體數(shù)據(jù)SQL級操作探究［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2011，24(4):152-155.

［6］孫風(fēng)棟，閆海珍.Oracle 10g數(shù)據(jù)庫系統(tǒng)性能優(yōu)化與調(diào)整［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2009，9(2):13-16.

［7］王君，祝永志.基于Oracle分布式數(shù)據(jù)庫的查詢優(yōu)化［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2008，18(1):43-45.

［8］ZHONG Xiao-quan.Optimization of SQL Sentence for Oracle Database［J］.Computer and Modernization，2011(3):124 -126，130.

［9］華連生，丁憲生，呂剛.基于Oracle的氣象數(shù)據(jù)共享系統(tǒng)［J］.計(jì)算機(jī)應(yīng)用，2010，30(2):162-164.

［10］DENG Zhong-liang，Optimizing Access to Spatial Data Based on Oracle and ArcSDE［J］.Computer Engineering ＆ Software，2011，32(2):78-80.

［11］黃勇，趙靖.一種基于分布式數(shù)據(jù)庫的關(guān)聯(lián)規(guī)則挖掘新算法［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2011，21(2):147-150.

［12］劉媛，涂曉東.關(guān)于外包數(shù)據(jù)庫完整性驗(yàn)證的研究［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2011，20(5):147-149.