基于輕量數(shù)據(jù)挖掘方法的數(shù)據(jù)庫鎖表優(yōu)化研究

陳震

（福州外語外貿(mào)學(xué)院，福建 福州 350202）

基于輕量數(shù)據(jù)挖掘方法的數(shù)據(jù)庫鎖表優(yōu)化研究

陳震

（福州外語外貿(mào)學(xué)院，福建 福州 350202）

數(shù)據(jù)庫系統(tǒng)負(fù)擔(dān)著重要的事務(wù)處理任務(wù)，為了保證在負(fù)載過大時(shí)也可以提供事務(wù)處理能力，必須加強(qiáng)數(shù)據(jù)庫系統(tǒng)，并且對其性能進(jìn)行合理優(yōu)化.通過DBA分析性能數(shù)據(jù)，并且優(yōu)化系統(tǒng)是十分困難的辦法，隨著使用時(shí)間增長，系統(tǒng)負(fù)載波動(dòng)與結(jié)構(gòu)越來越復(fù)雜，利用數(shù)據(jù)庫具備的系統(tǒng)進(jìn)行自動(dòng)優(yōu)化，是解決當(dāng)前問題的有效途徑.本文分析了輕量數(shù)據(jù)挖掘如何優(yōu)化數(shù)據(jù)庫系統(tǒng)，并且著重研究了數(shù)據(jù)庫鎖表管理辦法，使用性能優(yōu)化數(shù)據(jù)，建立了基于鎖表預(yù)測系統(tǒng)的神經(jīng)網(wǎng)絡(luò)預(yù)測器.經(jīng)過實(shí)驗(yàn)證明，數(shù)據(jù)庫系統(tǒng)可以得到16%的性能提升.

輕量數(shù)據(jù)；數(shù)據(jù)挖掘；鎖表優(yōu)化

大型信息系統(tǒng)需要DBMS進(jìn)行統(tǒng)一調(diào)控，信息系統(tǒng)已經(jīng)開始向網(wǎng)絡(luò)化轉(zhuǎn)移，用戶可能在任何時(shí)間進(jìn)行并發(fā)操作，加大了DBMS系統(tǒng)的負(fù)載.為了解決負(fù)載情況，釋放系統(tǒng)資源，需要對數(shù)據(jù)庫系統(tǒng)進(jìn)行優(yōu)化，提高系統(tǒng)反應(yīng)速度，及時(shí)處理查詢工作，這也是數(shù)據(jù)庫系統(tǒng)最為重要的一項(xiàng)功能.由于DBA人工優(yōu)化手段無法適應(yīng)日益復(fù)雜的數(shù)據(jù)庫系統(tǒng)，所以建立自我調(diào)節(jié)的數(shù)據(jù)庫鎖表系統(tǒng)十分重要，通過鎖表測試神經(jīng)網(wǎng)絡(luò)，適當(dāng)調(diào)整相關(guān)參數(shù)，優(yōu)化系統(tǒng)性能，提高系統(tǒng)執(zhí)行效率.

1 神經(jīng)元網(wǎng)絡(luò)特點(diǎn)

神經(jīng)元網(wǎng)絡(luò)是將簡單神經(jīng)元按照規(guī)則連接，通過網(wǎng)絡(luò)化模擬大腦結(jié)構(gòu)，采取學(xué)習(xí)算法收集信息，將知識存儲在網(wǎng)絡(luò)單元之間.神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)AI相比，具備較強(qiáng)的直觀感與抗噪能力，根據(jù)不同的網(wǎng)絡(luò)模型與算法，可以做到分類、優(yōu)化、識別、預(yù)測和控制，進(jìn)行數(shù)據(jù)挖掘時(shí)，主要使用前向神經(jīng)網(wǎng)絡(luò)分類規(guī)則.神經(jīng)網(wǎng)絡(luò)也存在一些缺點(diǎn)，黑箱性是其中最難以理解的學(xué)習(xí)過程，所以我們要建立完善的白化機(jī)制，并且根據(jù)規(guī)則確定權(quán)值矩陣，為數(shù)據(jù)挖掘提供有效手段.解決方案有兩種，其一是使用系統(tǒng)輔助，在神經(jīng)網(wǎng)絡(luò)運(yùn)行階段，將輸入與輸出通過輔助系統(tǒng)處理，然后反向關(guān)聯(lián)，完成神經(jīng)元網(wǎng)絡(luò)自動(dòng)推理.此類方法可以將網(wǎng)絡(luò)運(yùn)行與解釋分為兩套系統(tǒng)，但是建設(shè)投資較大，靈活性低，所以在網(wǎng)絡(luò)中使用訓(xùn)練好的規(guī)則，是當(dāng)前數(shù)據(jù)挖掘中較為常見的方法.

在網(wǎng)絡(luò)中進(jìn)行數(shù)據(jù)挖掘，其目的主要有兩點(diǎn)，即結(jié)構(gòu)分解與非線性映射.結(jié)構(gòu)分解主要以隱層節(jié)點(diǎn)與輸出點(diǎn)作為目標(biāo)，將網(wǎng)絡(luò)分為單層子網(wǎng)，在簡單的子網(wǎng)結(jié)構(gòu)中挖掘信息.比較常見的算法是KT與MofM，但是KT算法通用性較差，并且對網(wǎng)絡(luò)環(huán)境有一定要求，演算過程較為復(fù)雜，容易引起組合爆炸.為了解決這個(gè)問題，在處于大規(guī)模網(wǎng)絡(luò)時(shí)，必須對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行刪減，去除冗余節(jié)點(diǎn).去除網(wǎng)絡(luò)多余部分時(shí)，可以通過兩段法進(jìn)行調(diào)整，通過預(yù)處理修整動(dòng)態(tài)部分，構(gòu)造出聯(lián)接情況不同的拓?fù)浣Y(jié)構(gòu)，清除多余節(jié)點(diǎn).如果初始網(wǎng)絡(luò)存在錯(cuò)誤，就可以通過結(jié)構(gòu)學(xué)習(xí)法進(jìn)行處理，將隱層結(jié)點(diǎn)生成與網(wǎng)絡(luò)刪除變?yōu)閯?dòng)態(tài)控制，構(gòu)建出簡潔方便的結(jié)構(gòu).

在使用非線性映射進(jìn)行網(wǎng)絡(luò)提取時(shí)，通過網(wǎng)絡(luò)輸出與輸入數(shù)據(jù)進(jìn)行操作，避免網(wǎng)絡(luò)隱層結(jié)構(gòu)提升演算難度.根據(jù)相似權(quán)值提出的CSW算法，是非常典型的算法，但是目前在數(shù)據(jù)挖掘領(lǐng)域還存在很多問題，為了降低算法的復(fù)雜度，必須加強(qiáng)提取規(guī)則的適用性與理解性.在制定神經(jīng)網(wǎng)絡(luò)提取規(guī)則時(shí)，可以通過評估標(biāo)準(zhǔn)與訓(xùn)練提高網(wǎng)絡(luò)性能，這也是今后研究的重點(diǎn)方向.

2 數(shù)據(jù)庫鎖表原理

數(shù)據(jù)庫性能由多種因素決定，其中查詢優(yōu)化、信息更新、負(fù)載學(xué)習(xí)、資源分配等因素都會造成一定影響.其中資源分配是非常重要的部分，合理的分配可以大幅度加強(qiáng)系統(tǒng)性能，資源包括硬件與軟件兩種，硬件區(qū)域包括內(nèi)存、CPU、網(wǎng)絡(luò)設(shè)備等，軟件包括緩沖、鎖表、后臺等.為了對鎖表進(jìn)行優(yōu)化處理，必須了解鎖表原理，根據(jù)運(yùn)行機(jī)制提高系統(tǒng)性能，構(gòu)建合理的優(yōu)化模型.

2.1 數(shù)據(jù)加鎖粒度

數(shù)據(jù)庫系統(tǒng)內(nèi)容龐大，為了保證數(shù)據(jù)不出現(xiàn)偏差，在更新前必須進(jìn)行加鎖.系統(tǒng)可根據(jù)不同系統(tǒng)提供相應(yīng)級別的鎖粒度，方便系統(tǒng)進(jìn)行記錄與儲存，鎖粒度由數(shù)據(jù)大小決定，例如一條記錄更新時(shí)，需要加行級鎖，但是大量數(shù)據(jù)更新時(shí)，就需要加表級鎖.在用戶同一時(shí)段大量操作時(shí)，都會選擇小粒度鎖，防止加鎖沖突，一旦行級鎖數(shù)量過多，超過鎖表最大容量，系統(tǒng)就會自動(dòng)轉(zhuǎn)換一個(gè)行級鎖為表級鎖，節(jié)約鎖表空間.表級鎖粒度較大，容易降低系統(tǒng)并發(fā)度，行級鎖粒度小，但是對內(nèi)存空間消耗過多，這是一個(gè)固定的矛盾，只能合理安排儲存方案，根據(jù)負(fù)載情況進(jìn)行優(yōu)化，使系統(tǒng)性能平穩(wěn)運(yùn)行.

2.2 內(nèi)存資源分配

為了接納并發(fā)用戶提出的加鎖要求，需要根據(jù)內(nèi)存增加鎖表大小，單純增加鎖表大小并不能帶來優(yōu)勢，甚至可能帶來負(fù)面影響.沒有使用的內(nèi)存空間完全可以應(yīng)用在數(shù)據(jù)緩存之中，增大緩沖區(qū)可以提高存取命中率.鎖表數(shù)量減少時(shí)，可以適當(dāng)減小鎖表大小，留出內(nèi)存空間，擴(kuò)大緩沖區(qū)域，提高系統(tǒng)整體性能.

2.3 解決死鎖問題

一旦在同一時(shí)段內(nèi)有大量并發(fā)數(shù)據(jù)進(jìn)行存取，就可能導(dǎo)致死鎖現(xiàn)象發(fā)生，目前解決死鎖問題的方案有兩種，分別為檢測和預(yù)防.大多數(shù)DBMS都采取檢測方法，發(fā)現(xiàn)死鎖后，如果事務(wù)工作量較少，就需要回轉(zhuǎn)事務(wù)，使停止的事務(wù)重新執(zhí)行.系統(tǒng)需要定期進(jìn)行檢測，如果間隔過長，就會導(dǎo)致一些死鎖存留，降低系統(tǒng)響應(yīng)速度，如果間隔過短，就會浪費(fèi)死鎖檢測開銷，降低系統(tǒng)性能.死鎖檢測必須根據(jù)運(yùn)行情況確定，并及時(shí)進(jìn)行調(diào)整，確保系統(tǒng)高效運(yùn)行.

2.4 加鎖超時(shí)參數(shù)

SQL執(zhí)行時(shí)，需要設(shè)置加鎖超時(shí)參數(shù)，參數(shù)主要用于規(guī)定加鎖時(shí)間，如果規(guī)定時(shí)間內(nèi)沒有獲得鎖資源，就需要將SQL語句回轉(zhuǎn).超時(shí)參數(shù)設(shè)置需要犧牲SQL執(zhí)行力，確保并發(fā)度不被影響，保證系統(tǒng)總吞吐量.在設(shè)置參數(shù)時(shí)，必須參考數(shù)據(jù)沖突狀況，如果數(shù)據(jù)沖突少，就表示SQL語句有更多數(shù)據(jù)加鎖機(jī)會，所以將參數(shù)設(shè)置為較長的時(shí)間比較有利，如果時(shí)間過短，可能導(dǎo)致無法進(jìn)行數(shù)據(jù)加鎖，SQL語句自動(dòng)退出，浪費(fèi)執(zhí)行資源.

3 系統(tǒng)優(yōu)化實(shí)現(xiàn)方法

3.1 優(yōu)化架構(gòu)

優(yōu)化系統(tǒng)主體模塊為：數(shù)據(jù)采集、訓(xùn)練、規(guī)則引擎、預(yù)測器等，具體架構(gòu)如圖一所示.

圖一 優(yōu)化架構(gòu)圖

性能數(shù)據(jù)采集模塊主要負(fù)責(zé)監(jiān)視收集鎖表參數(shù)，性能數(shù)據(jù)在訓(xùn)練過程中通過預(yù)測器處理，在優(yōu)化階段通過規(guī)則引擎二次處理.通過收集到的數(shù)據(jù)，對預(yù)測器進(jìn)行基本訓(xùn)練，大量數(shù)據(jù)訓(xùn)練可以提高系統(tǒng)性能，并且根據(jù)預(yù)測器制定鎖表參數(shù)，提高神經(jīng)網(wǎng)絡(luò)預(yù)期性能.規(guī)則引擎承擔(dān)全部優(yōu)化過程，通過專家知識對鎖表進(jìn)行調(diào)整優(yōu)化，通過規(guī)則集轉(zhuǎn)變?yōu)樾问交瘮?shù)據(jù)，規(guī)則引擎負(fù)責(zé)運(yùn)行.選擇規(guī)則集調(diào)整參數(shù)，通過預(yù)測器確定調(diào)整幅度，規(guī)則引擎由ABLE語言進(jìn)行描述.預(yù)測器的主要功能為預(yù)測系統(tǒng)性能，根據(jù)收集到的大量數(shù)據(jù)進(jìn)行訓(xùn)練，挖掘數(shù)據(jù)中存在的知識，經(jīng)過訓(xùn)練后可以提高預(yù)測能力，輔助規(guī)則引擎改變參數(shù)，并且提出調(diào)整幅度.

3.2 鎖表性能指標(biāo)

鎖表性能主要定義為死鎖率與平均鎖時(shí)間，死鎖率由10000個(gè)樣本組成，平均鎖時(shí)間是加鎖時(shí)間總和除以加鎖數(shù)量得到的平均數(shù)，參數(shù)可以在DBMS中獲得.鎖表性能由熱點(diǎn)訪問、并發(fā)事務(wù)、鎖表大小、數(shù)據(jù)分布等情況決定.

3.3 訓(xùn)練數(shù)據(jù)收集

鎖表性能受死鎖檢測、鎖表大小、SQL語句鎖、容納總量等參數(shù)影響，為了找出性能與參數(shù)之間的關(guān)系，需要進(jìn)行針對性實(shí)驗(yàn).每個(gè)實(shí)驗(yàn)分別考察不同參數(shù)的影響情況，設(shè)置缺省值，對考察參數(shù)進(jìn)行小范圍調(diào)整，將參數(shù)與鎖表性能的關(guān)系聯(lián)系起來.由于參數(shù)組合窮盡難度極大，所以在獲得基本數(shù)據(jù)后（10000組樣本），可以通過預(yù)測器學(xué)習(xí)與固化關(guān)系，通過預(yù)測器的輔助能力確定組合參數(shù).

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)準(zhǔn)備

為了確保算法有效，通過實(shí)驗(yàn)進(jìn)行確認(rèn)，服務(wù)器采取IBMSystemx3650M4(7915R51)雙插槽服務(wù)器，該服務(wù)器擁有XeonE5-2650v22.6GH的CPU，內(nèi)存容量為8GBECC DDR3，操作系統(tǒng)為WindowsServer，實(shí)驗(yàn)采取DB2進(jìn)行模擬，通過TPC-C負(fù)載，規(guī)模為1GB.實(shí)驗(yàn)過程主要分為三階段：初始化、預(yù)熱、優(yōu)化.為了保證迭代數(shù)據(jù)規(guī)模與特性相同，必須在運(yùn)行前導(dǎo)入相同的數(shù)據(jù)文件，方便對比優(yōu)化效果.數(shù)據(jù)庫系統(tǒng)必須進(jìn)行預(yù)熱，基本為6-8分鐘負(fù)載運(yùn)行，保證性能指標(biāo)處于穩(wěn)定狀態(tài).運(yùn)行自我優(yōu)化算法，根據(jù)參數(shù)調(diào)整建議，進(jìn)行局部調(diào)整.由于DB2并不能進(jìn)行動(dòng)態(tài)修改，所以需要在關(guān)閉DBMS后進(jìn)行修改，根據(jù)參數(shù)值設(shè)置系統(tǒng)，啟動(dòng)DBMS后，測量數(shù)據(jù)庫優(yōu)化效果.

4.2 優(yōu)化結(jié)果

根據(jù)實(shí)驗(yàn)統(tǒng)計(jì)，優(yōu)化前系統(tǒng)吞吐量為3460tpmC，此數(shù)據(jù)由系統(tǒng)缺省參數(shù)得出.在使用本方案后，吞吐量上升為3985tpmc，系統(tǒng)性能與優(yōu)化前相比有16%的提高，通過IBM ConfigurationWizard進(jìn)行優(yōu)化后，可達(dá)4280tpmC.由于IBM ConfigurationWizard進(jìn)行系統(tǒng)調(diào)整時(shí)，將鎖表參數(shù)、緩沖區(qū)、后臺進(jìn)程與其它關(guān)鍵因素都進(jìn)行了綜合優(yōu)化，優(yōu)化結(jié)果要明顯好于單獨(dú)進(jìn)行數(shù)據(jù)庫鎖表優(yōu)化.通過實(shí)驗(yàn)結(jié)果可以看出，對數(shù)據(jù)庫鎖表進(jìn)行優(yōu)化可以提高系統(tǒng)性能，為了全面優(yōu)化系統(tǒng)，需要將DBMS子系統(tǒng)分別進(jìn)行優(yōu)化，確保子系統(tǒng)性能提升，保證系統(tǒng)良好運(yùn)行.

5 結(jié)語

本文根據(jù)數(shù)據(jù)庫的自我優(yōu)化能力，以輕量數(shù)據(jù)挖掘方法為基本依據(jù)，進(jìn)行了數(shù)據(jù)庫鎖表優(yōu)化.同時(shí)以神經(jīng)網(wǎng)絡(luò)為原形，制作模型預(yù)測器，在基礎(chǔ)數(shù)據(jù)中學(xué)習(xí)改進(jìn)，并且具備較強(qiáng)的預(yù)測能力，為參數(shù)調(diào)整提供具體依據(jù).數(shù)據(jù)庫鎖表需要利用規(guī)則引擎進(jìn)行優(yōu)化，根據(jù)引擎調(diào)整相關(guān)參數(shù)與方向，并且從預(yù)測器中獲得調(diào)整幅度以及精準(zhǔn)的調(diào)整參數(shù)，提高系統(tǒng)運(yùn)行能力.根據(jù)實(shí)驗(yàn)證明，系統(tǒng)性能有很大提高，未來將逐步對負(fù)載波動(dòng)與數(shù)據(jù)變化進(jìn)行分析，加強(qiáng)預(yù)測器性能，同時(shí)進(jìn)行算法擴(kuò)展，使其性能得到大幅度提升，解決系統(tǒng)優(yōu)化問題.

〔1〕王奕首,史彥軍,滕弘飛.用改進(jìn)的散射搜索法求解帶平衡約束的圓形Packing問題 [J].計(jì)算機(jī)學(xué)報(bào)，2012，32（6）：1214-1221.

〔2〕王曉晴,唐加福.基于分散搜索的零部件跨單元生產(chǎn)的單元管理方法[J].機(jī)械工程學(xué)報(bào)，2010(10):125-131.

〔3〕Weikum G,Monkeberg A,Hasse C,etal.Self-tuning databasetechnologyandinformationservices:fromwishful thinkingtoviableengineering[C].ProceedingsofInternationalConferenceVery Large Databases（VLDB）.Hong Kong，China:VLDBEn-dowment,2012(01):20-31.

〔4〕鄒志文,朱金偉.數(shù)據(jù)挖掘算法研究與綜述[J].計(jì)算機(jī)工程與設(shè)計(jì),2010(9):234-236.

〔5〕劉明亮,李雄飛,孫濤,等.數(shù)據(jù)挖掘技術(shù)標(biāo)準(zhǔn)綜述[J].計(jì)算機(jī)科學(xué),2010(6):5-9.

〔6〕王剛,黃麗華,張成洪,等.數(shù)據(jù)挖掘分類算法研究綜述[J].科技導(dǎo)報(bào),2012(12):73-75.

〔7〕張雪江,朱向陽,鐘秉林,等.基于退火演化算法的知識獲取機(jī)制的研究[J].控制理論與應(yīng)用,2011(1):93-98.

TP311.13

A

1673-260X（2014）12-0023-02