基于數(shù)據(jù)挖掘技術(shù)的讀者信息推送系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

蔡 寅

江蘇經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院，江蘇南京 211168

圖書館日常的讀者借閱活動(dòng)中，讀者的借閱行為在圖書館信息管理系統(tǒng)中積累了大量的數(shù)據(jù)。但是，這些事務(wù)性的數(shù)據(jù)并沒有發(fā)揮其應(yīng)有的價(jià)值。這些數(shù)據(jù)的功能現(xiàn)階段只是停留在簡(jiǎn)單的讀者借閱歷史查詢上，沒有經(jīng)過加工、整理及應(yīng)用。除此之外，讀者在使用圖書檢索系統(tǒng)的過程中，有著大量的檢索行為，這些檢索行為也產(chǎn)生了大量的數(shù)據(jù)。如何利用這些海量的數(shù)據(jù)為讀者提供更優(yōu)質(zhì)的服務(wù)就成了我們研究的重點(diǎn)之一。

本文的研究重點(diǎn)是基于圖書館日常的讀者服務(wù)數(shù)據(jù)，通過使用數(shù)據(jù)挖掘的手段，分析讀者的信息使用情況，最后提出一個(gè)可以為讀者個(gè)性化信息推送提供參考的具體方案，借以有效提高高校圖書館的讀者服務(wù)質(zhì)量，提高圖書館的讀者服務(wù)水平。鑒于系統(tǒng)整體比較龐大，因此本文只是討論系統(tǒng)的總體結(jié)構(gòu)設(shè)計(jì)，以為將來系統(tǒng)的詳細(xì)設(shè)計(jì)做好準(zhǔn)備。

1 系統(tǒng)目標(biāo)

在圖書館提供信息服務(wù)的過程中，涉及的讀者類型豐富，涉及的館藏資源龐雜。系統(tǒng)的設(shè)計(jì)目標(biāo)是為圖書館為讀者提供個(gè)性化的信息推送服務(wù)提供輔助支撐。因此，系統(tǒng)的設(shè)計(jì)主要以“向特定的讀者，推送特定的信息”為最終目標(biāo)。

信息推送的過程中，涉及到的信息很多。系統(tǒng)的設(shè)計(jì)過程中不可能做到面面俱到，因此，本系統(tǒng)的設(shè)計(jì)目標(biāo)主要完成以下特定目標(biāo)：

1）獲取讀者信息，提供讀者服務(wù)。根據(jù)讀者的條碼號(hào)，找出讀者的類型和使用習(xí)慣。利用數(shù)據(jù)挖掘的技術(shù)手段向讀者提供特定的有效信息。當(dāng)讀者用自己的證件號(hào)登陸書目查詢系統(tǒng)、數(shù)據(jù)庫檢索系統(tǒng)時(shí)，可以判定讀者身份，根據(jù)讀者身份及讀者信息使用習(xí)慣向讀者推送相關(guān)信息資源，包括圖書資源、期刊資源、電子數(shù)據(jù)庫資源等；

2）分析入藏資源，制定推送計(jì)劃。對(duì)于新入藏的信息資源，根據(jù)信息資源的特點(diǎn)，向特定的讀者群提供信息推送服務(wù)。比如，當(dāng)圖書館新到一批圖書時(shí)，將新書書目中的部分圖書推送給特定的讀者群；

3）收集檢索歷史，優(yōu)化資源配置。根據(jù)用戶的書目檢索歷史記錄，用戶的數(shù)字資源檢索記錄等讀者利用圖書館信息資源的情況，結(jié)合本館的信息資源配置情況，調(diào)整圖書館的資源配置，如藏書配置、資源購置分配。專業(yè)信息建設(shè)計(jì)劃等，擴(kuò)大圖書館信息服務(wù)的滿意度。

根據(jù)前文所述系統(tǒng)目標(biāo)，系統(tǒng)的核心是利用相關(guān)館藏?cái)?shù)據(jù)及讀者使用文獻(xiàn)情況數(shù)據(jù)來服務(wù)讀者信息推送工作。根據(jù)系統(tǒng)的輸入和輸出，將系統(tǒng)劃分成數(shù)據(jù)接口模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)挖掘模塊、用戶接口模塊共四個(gè)模塊，每一層模塊為上一層模塊提供數(shù)據(jù)支持。

2 主要功能模塊

在圖書館的實(shí)際應(yīng)用中，伴隨著圖書館的文獻(xiàn)資源建設(shè)和圖書館的讀者信息服務(wù)，會(huì)產(chǎn)生相當(dāng)多的數(shù)據(jù)。但是，這些數(shù)據(jù)種類繁多。從數(shù)據(jù)的分布上，數(shù)據(jù)分布在不同服務(wù)器，不同平臺(tái)，不同的數(shù)據(jù)庫中；從數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)看，數(shù)據(jù)類型，數(shù)據(jù)庫中相關(guān)數(shù)據(jù)的分布也不盡相同。因此，系統(tǒng)首先通過數(shù)據(jù)連接模塊將這些數(shù)據(jù)進(jìn)行整合，然后通過數(shù)據(jù)預(yù)處理手段，將數(shù)據(jù)規(guī)范化，解決異構(gòu)問題，將數(shù)據(jù)統(tǒng)一到信息推送數(shù)據(jù)庫中。最后，通過數(shù)據(jù)挖掘的手段，使用關(guān)聯(lián)規(guī)則算法，得到相關(guān)的關(guān)聯(lián)規(guī)則。用戶接口模塊利用這些規(guī)則，完成系統(tǒng)的既定目標(biāo)。各模塊的功能具體如下：

1）數(shù)據(jù)接口模塊

作為最底層的模塊，數(shù)據(jù)連接模塊的功能，是對(duì)上層的預(yù)處理模塊屏蔽底層數(shù)據(jù)庫的連接細(xì)節(jié)，使得上層模塊在進(jìn)行數(shù)據(jù)庫讀寫操作時(shí)，可以使用統(tǒng)一的接口和語法。目的是將上層模塊從繁瑣的數(shù)據(jù)連接中解脫出來，從而可以把精力放在具體的事務(wù)處理上，簡(jiǎn)化了數(shù)據(jù)預(yù)處理模塊的結(jié)構(gòu)，同時(shí)提高了系統(tǒng)的可維護(hù)性和擴(kuò)展性，擴(kuò)充新的數(shù)據(jù)源類型時(shí)，只要修改數(shù)據(jù)連接模塊就可以了。

數(shù)據(jù)接口模塊，向下，通過.net框架中的類，使用OleDbConnection，SQL connection等連接Oracle、SQL Server等數(shù)據(jù)庫，向上，為數(shù)據(jù)預(yù)處理模塊提供統(tǒng)一的接口。

2）數(shù)據(jù)預(yù)處理模塊

高質(zhì)量的決策必然依賴于高質(zhì)量的數(shù)據(jù)。數(shù)據(jù)預(yù)處理模塊的功能是，在實(shí)施數(shù)據(jù)挖掘以前，利用數(shù)據(jù)連接層提供的數(shù)據(jù)，及時(shí)檢測(cè)數(shù)據(jù)異常，盡早調(diào)整數(shù)據(jù)并規(guī)約待分析數(shù)據(jù)。為下面的數(shù)據(jù)挖掘工作提供干凈、準(zhǔn)確、簡(jiǎn)潔的數(shù)據(jù)。數(shù)據(jù)預(yù)處理模塊通過對(duì)數(shù)據(jù)的清洗、集成、變換、簡(jiǎn)化操作后，將處理完成的數(shù)據(jù)導(dǎo)入讀者信息推送服務(wù)數(shù)據(jù)庫中，為數(shù)據(jù)挖掘工作做好準(zhǔn)備。其基本流程如下：

（1）數(shù)據(jù)預(yù)處理模塊首先利用數(shù)據(jù)連接模塊從相關(guān)的數(shù)據(jù)庫中抽取讀者信息服務(wù)可以使用的數(shù)據(jù)表。因?yàn)楦鱾€(gè)數(shù)據(jù)庫中的數(shù)據(jù)表有很多，但是可以為讀者信息推送服務(wù)的數(shù)據(jù)表的數(shù)量是有限的，因此，數(shù)據(jù)預(yù)處理的第一步，就是將這些數(shù)據(jù)表從各個(gè)數(shù)據(jù)庫中抽取出來，準(zhǔn)備處理；

（2）從各個(gè)數(shù)據(jù)庫中抽取出的工作表是各種結(jié)構(gòu)雜亂的源數(shù)據(jù)。對(duì)于這些結(jié)構(gòu)雜亂的源數(shù)據(jù)首先進(jìn)行清洗，數(shù)據(jù)清洗的目的是除去源數(shù)據(jù)中的噪聲數(shù)據(jù)和無關(guān)數(shù)據(jù)，處理遺漏數(shù)據(jù)和清洗臟數(shù)據(jù)，去除空白數(shù)據(jù)域的知識(shí)背景上的噪聲，考慮時(shí)間順序和數(shù)據(jù)變化等。主要包括處理噪聲數(shù)據(jù)、處理空值、糾正不一致數(shù)據(jù)、更正明顯的輸入錯(cuò)誤數(shù)據(jù)等；

（3）經(jīng)過清洗的各種數(shù)據(jù)仍然是各個(gè)不同數(shù)據(jù)環(huán)境中的異構(gòu)數(shù)據(jù)。數(shù)據(jù)預(yù)處理的工作接下來是對(duì)這些數(shù)據(jù)的合并處理，將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)中。同時(shí)，在數(shù)據(jù)集成的過程中除去冗余數(shù)據(jù)；

（4）用于數(shù)據(jù)挖掘的各種數(shù)據(jù)在經(jīng)過數(shù)據(jù)集成之后，需要將數(shù)據(jù)變換或統(tǒng)一成適合挖掘的形式。經(jīng)過系統(tǒng)集成后的數(shù)據(jù)雖然在構(gòu)造上是統(tǒng)一的，但是如果需要為數(shù)據(jù)挖掘提供數(shù)據(jù)支持，很多數(shù)據(jù)是不合適的。比如高度離散化的數(shù)據(jù)，必須通過重新分類離散的方式，將離散度降低。為后面的數(shù)據(jù)挖掘做好準(zhǔn)備；

（5）經(jīng)過變換的數(shù)據(jù)基本可以滿足數(shù)據(jù)挖掘的需求，但是在使用這些數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘之前，還需要對(duì)這些數(shù)據(jù)進(jìn)行簡(jiǎn)化。數(shù)據(jù)簡(jiǎn)化的過程是在對(duì)發(fā)現(xiàn)任務(wù)和數(shù)據(jù)本身內(nèi)容理解的基礎(chǔ)上，尋找依賴于發(fā)現(xiàn)目標(biāo)的表達(dá)數(shù)據(jù)的有用特征，以縮減數(shù)據(jù)規(guī)模，從而在盡可能保持原貌的前提下最大限度的精簡(jiǎn)數(shù)據(jù)量。

3）數(shù)據(jù)挖掘模塊

數(shù)據(jù)挖掘模塊的功能是利用經(jīng)過預(yù)處理的數(shù)據(jù)，使用關(guān)聯(lián)規(guī)則的Apriori算法，找出數(shù)據(jù)中關(guān)聯(lián)規(guī)則。

數(shù)據(jù)挖掘使用的數(shù)據(jù)源是經(jīng)過處理的數(shù)據(jù)，即信息推送數(shù)據(jù)庫。根據(jù)給定的最小支持度和最小置信度給出相關(guān)的關(guān)聯(lián)規(guī)則。為用戶接口模塊中的信息推送提供參考標(biāo)準(zhǔn)。

數(shù)據(jù)挖掘模塊的過程主要是：

（1）掃描信息推送數(shù)據(jù)庫，得到1-候選項(xiàng)目集C1；

（2）根據(jù)項(xiàng)目集的支持度的闕值，得到1-頻繁項(xiàng)目集L1；

（3）根據(jù)L1得到2-候選項(xiàng)目集C2；

（4）根據(jù)2-候選項(xiàng)目集C2和最小支持度得到2-頻繁項(xiàng)目集；

（5）重復(fù)第三、第四步，直到候選項(xiàng)目集為空集；

（6）根據(jù)得到的頻繁項(xiàng)目集，得到大于最小置信度的規(guī)則集合；

（7）對(duì)挖掘的結(jié)果進(jìn)行評(píng)價(jià)和展望。

4）用戶接口模塊

用戶接口模塊主要功能是根據(jù)用戶的輸入及用戶需求，參照數(shù)據(jù)挖掘的結(jié)構(gòu)以及相關(guān)的數(shù)據(jù)環(huán)境，為用戶輸出目標(biāo)數(shù)據(jù)。

根據(jù)系統(tǒng)的設(shè)計(jì)目標(biāo)，用戶接口模塊主要包括三個(gè)部分：

（1）根據(jù)讀者信息，輸出文獻(xiàn)信息推送單

當(dāng)系統(tǒng)接收到讀者信息時(shí)，首先從相關(guān)數(shù)據(jù)庫中檢測(cè)讀者信息。然后根據(jù)讀者信息，根據(jù)關(guān)聯(lián)規(guī)則，找出滿足系統(tǒng)設(shè)定置信度的關(guān)聯(lián)規(guī)則。最后，根據(jù)關(guān)聯(lián)規(guī)則從相關(guān)文獻(xiàn)數(shù)據(jù)庫中向讀者推送文獻(xiàn)。

（2）根據(jù)文獻(xiàn)信息，輸出推送讀者列表

當(dāng)系統(tǒng)接收到文獻(xiàn)信息時(shí)，從文獻(xiàn)信息數(shù)據(jù)庫中查詢文獻(xiàn)的特征信息，然后根據(jù)系統(tǒng)設(shè)定的置信度和相應(yīng)的關(guān)聯(lián)規(guī)則，查詢滿足關(guān)聯(lián)規(guī)則的讀者信息列表，最終提交欲推送的讀者列表。

（3）根據(jù)限定時(shí)間的讀者文獻(xiàn)使用情況，輸出館藏建設(shè)意見單

館藏資源建設(shè)在圖書館建設(shè)中占有重要的地位。圖書館為了更好的滿足讀者需求，更好的契合讀者的信息需求就必須及時(shí)的調(diào)整自己的館藏資源建設(shè)。但是，在傳統(tǒng)的館藏資源建設(shè)過程中，絕大多數(shù)時(shí)候忽略了讀者的重要性[27]。圖書館人更多的時(shí)候是根據(jù)自身主觀的行為和特征去完善館藏。因此，本模塊的目的就是根據(jù)數(shù)據(jù)挖掘的結(jié)果和館藏文獻(xiàn)信息資源的情況給出館藏的建設(shè)意見，為館藏資源建設(shè)的決策提供支持。

系統(tǒng)首先根據(jù)用戶設(shè)定的時(shí)間段，對(duì)該時(shí)間段的讀者使用圖書館資源的情況進(jìn)行統(tǒng)計(jì)分析，然后利用數(shù)據(jù)挖掘的結(jié)果，即相關(guān)的關(guān)聯(lián)規(guī)則，得到館藏應(yīng)有的資源配置分布。再跟館藏資源的實(shí)際情況進(jìn)行對(duì)比，得到最終的建設(shè)意見的結(jié)果。

3 結(jié)論

本文進(jìn)行了系統(tǒng)結(jié)構(gòu)的設(shè)計(jì)。首先根據(jù)分析了系統(tǒng)的設(shè)計(jì)目標(biāo)，然后根據(jù)系統(tǒng)的設(shè)計(jì)目標(biāo)對(duì)系統(tǒng)的總體結(jié)構(gòu)進(jìn)行了設(shè)計(jì)。系統(tǒng)的總體結(jié)構(gòu)劃分成數(shù)據(jù)接口模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)挖掘模塊和用戶接口模塊4個(gè)模塊。最后，對(duì)系統(tǒng)的各個(gè)模塊的工作原理和工作流程進(jìn)行了設(shè)計(jì)，為下一步系統(tǒng)各個(gè)模塊的詳細(xì)設(shè)計(jì)做好了基礎(chǔ)保證工作。

[1]Fayyad，U.，F(xiàn)rom Data Mining to Knowledge Discovery: An overview，In advances in Knowledge Discovery and Data Mining，p471-493.

[2]戴穩(wěn)勝，張阿蘭，謝邦昌.數(shù)據(jù)挖掘的方法、流程及應(yīng)用[J].中國(guó)統(tǒng)計(jì)，2004(07)：53-54.

[3]周群.論數(shù)字圖書館數(shù)據(jù)挖掘系統(tǒng)模型研究[J].情報(bào)雜志，2006(11)：97-99.

[4]R.D.Lawrence，G.S.Almasi，V.Kotlyar，M.S.Viveros, Personalization of Supermarket Product Recommendations，Data Mining and Knowledge Discovery，vol.511-32,JAN-APR 2001.