基于Web知識發(fā)現(xiàn)的圖書數(shù)字資源個性化檢索系統(tǒng)①

黃小根

(中共佛山市委黨校,佛山 528300)

隨著科學(xué)技術(shù)水平的不斷進步,網(wǎng)絡(luò)上的圖書數(shù)字資源越來越為豐富,然而,面對互聯(lián)網(wǎng)上海量的圖書數(shù)字資源,依靠傳統(tǒng)互聯(lián)網(wǎng)的搜索引擎功能,已經(jīng)不能滿足用戶快速獲取所需的知識.由于現(xiàn)有搜索工具大部分沒有考慮到用戶的興趣、個性特征及歷史偏好,往往使得用戶的需求無法與意向的圖書數(shù)字資源有較準(zhǔn)確匹配,也由此造成用戶所搜集到的圖書信息存在較大差異[1].WWW (World Wide Web)即全球廣域網(wǎng),自身具有重復(fù)性、數(shù)量龐大,以及無序性的特點,已經(jīng)成為當(dāng)前圖書數(shù)字資源檢索的主要工具.但隨著用戶的檢索需求增加,Web 所反饋至用戶的結(jié)果也越來越多,在大量圖書信息中,用戶也越來越難定位自身感興趣的圖書[2].因此,打造基于Web 知識發(fā)現(xiàn)圖書數(shù)字資源個性化檢索系統(tǒng)的設(shè)計,準(zhǔn)確獲得搜索圖書數(shù)字資源,對于提高圖書數(shù)字資源搜索性能,有著重要的影響意義,也是本次研究的重點.

1 基于Web 知識發(fā)現(xiàn)圖書數(shù)字資源個性化檢索服務(wù)需求及關(guān)鍵技術(shù)分析

1.1 個性化檢索的定義及服務(wù)需求

傳統(tǒng)圖書數(shù)字資源大多數(shù)是以結(jié)構(gòu)化的格式存儲在圖書館管理系統(tǒng)數(shù)據(jù)庫中,并以二維表結(jié)構(gòu)表達圖書信息,但隨著信息技術(shù)的發(fā)展,圖書數(shù)字資源表達形式變得越來越豐富,大量電子書籍及資料由結(jié)構(gòu)化向半結(jié)構(gòu)化或非結(jié)構(gòu)(文檔、圖片、HTML、各類報表及音視頻)的格式存儲在Web 網(wǎng)絡(luò)上,由于非結(jié)構(gòu)化的數(shù)據(jù)結(jié)構(gòu)是不規(guī)則或不完整,沒有預(yù)定義的數(shù)據(jù)模型,普通用戶無法使用常規(guī)的檢索方法找到關(guān)聯(lián)性的知識.因此,如何在網(wǎng)絡(luò)中從海量的、嘈雜的圖書數(shù)字資源中找到滿足特定的需求,已經(jīng)成為普通用戶面臨的一個難題,而引入個性化檢索服務(wù)是有效解決上述問題的有效方法.

個性化檢索是基于Web 知識發(fā)現(xiàn)、智能代理及數(shù)據(jù)挖掘等信息技術(shù),根據(jù)用戶的特征、偏好、瀏覽記錄及需求,針對不同的用戶采用不同的方式和策略,提供不同的檢索結(jié)果的綜合技術(shù)服務(wù)[3].個性化檢索服務(wù)是以用戶需求為中心,改變了以往無論哪個用戶在檢索平臺以不同關(guān)鍵詞搜索,卻得到相同結(jié)果的現(xiàn)象,滿足不同用戶的不同需求,提供了千人千面的個性化服務(wù).這種服務(wù)是在當(dāng)用戶不明確真實需求時,個性化檢索平臺主動對用戶的過往的歷史檢索記錄、檢索習(xí)慣和個體信息(用戶興趣、性格、行為)進行分析,推測用戶真實意圖,并利用Web 知識發(fā)現(xiàn)、智能代理技術(shù)及數(shù)據(jù)挖掘等技術(shù),挖掘出隱含的、可利用的、有效的知識與用戶需求進行關(guān)聯(lián)匹配,在完成對匹配結(jié)果進行索引、過濾及排序后,主動地向用戶推送其感興趣或所需的圖書數(shù)字資源信息[4].

個性化檢索服務(wù),首先應(yīng)該是要以用戶需求為核心,從信息輸入到檢索結(jié)果的呈現(xiàn),要以用戶需求為主導(dǎo),提供友好、交互式的人機接口界面.其次,個性化檢索服務(wù)要是一種個性化的服務(wù),在用戶需求不明確的情況下,善于挖掘用戶有關(guān)信息,精準(zhǔn)推測出用戶真實的需求,從而主動地提供特定信息源.最后,個性化檢索服務(wù)是一種智能化的服務(wù),充分利用Web 知識發(fā)現(xiàn)、大數(shù)據(jù)、人工智能、云計算等信息技術(shù),結(jié)合用戶的個體信息和偏好,提供用戶所需的信息資源和服務(wù),并根據(jù)信息資源的變化,積極引導(dǎo)用戶做出最佳選擇.

1.2 關(guān)鍵技術(shù)分析

1.2.1 Web 知識發(fā)現(xiàn)

隨著網(wǎng)絡(luò)精準(zhǔn)搜索要求越來越高,過去由人工分類的方法已經(jīng)無法滿足現(xiàn)在的搜索分類需求.在大部分網(wǎng)頁無法達成精準(zhǔn)搜索分類的情況下,Web的自動分類功能是一種有效的解決途徑[5].設(shè)計檢索系統(tǒng)時,可利用Web 知識發(fā)現(xiàn)技術(shù)功能,對圖書數(shù)字資源所在的網(wǎng)頁進行分類,通過標(biāo)引達成對圖書數(shù)字資源所在網(wǎng)頁的分類實施,使標(biāo)引與檢索形成一體化,并且該種檢索還具備分類瀏覽的功能,通過檢索關(guān)鍵詞,直接標(biāo)引的方式,快速讓用戶獲得所需要的圖書數(shù)字信息[6].

由于圖書數(shù)字資源主要匯集在Internet 服務(wù)系統(tǒng)中,通過對用戶相關(guān)信息的搜集,從而建立用戶訪問模式[7],而Web 知識發(fā)現(xiàn)主要是通過該工具的挖掘功能,實現(xiàn)對用戶感興趣圖書數(shù)字資源的快速獲取建模的關(guān)鍵技術(shù)[8,9].Web 知識發(fā)現(xiàn)是將Web 本身具的挖掘功能,應(yīng)用于Internet 個性化服務(wù)中,利用Web 知識發(fā)現(xiàn)技術(shù),達成Internet 個性化服務(wù),更好的滿足用戶圖書信息搜集的個性化需求,其根本原理在于對圖書資源信息的挖掘,第一,是針對網(wǎng)頁內(nèi)容進行分析,采用Web知識發(fā)現(xiàn)的自動分類技術(shù),通過搜索功能,進入圖書數(shù)資源領(lǐng)域,進行全面性的解析[10];第二,是利Web 知識發(fā)現(xiàn)針對用戶訪問過程中,留下的日志進行數(shù)據(jù)挖掘,從而對用戶提供具有個性化的圖書數(shù)資源檢索[11],第三,是利用Web 知識發(fā)現(xiàn)針對結(jié)構(gòu)挖掘,根據(jù)結(jié)構(gòu)獲取的圖書信息,由導(dǎo)航指引進入,在此過程中對于一些圖書資源庫進行網(wǎng)站的設(shè)計,并設(shè)有評價界面,了解用戶的滿意程度,通過圖書主題或關(guān)鍵詞的搜索,打造個性的檢索效果[12].

1.2.2 智能代理技術(shù)

在20世紀(jì)90年代,智能代理的理論和技術(shù)已經(jīng)被提出來,它是一個涉及到人工智能、數(shù)據(jù)庫技術(shù)及自然語言處理的計算機科學(xué)領(lǐng)域,尤其在人工智能領(lǐng)域有較深度的應(yīng)用.智能代理技術(shù)具有智能性、主動性及適應(yīng)學(xué)習(xí)性等特點,一般使用智能代理技術(shù)處理復(fù)雜的數(shù)據(jù)分類、數(shù)據(jù)分析及數(shù)據(jù)信息加工.

智能代理技術(shù)在信息檢索領(lǐng)域中利用智能代理服務(wù)器收集用戶需求,根據(jù)用戶定義的規(guī)則,利用特有的通信技術(shù)協(xié)議向特定的用戶推送信息.在個性化檢索的研究成果中,充分體現(xiàn)智能代理技術(shù)得到廣泛應(yīng)用.在一些沒有特定要求的用戶檢索需求下,可以將復(fù)雜的工作代替用戶完成,如圖書數(shù)字資源信息的主題篩選、查詢、管理等,可通過智能代理技術(shù)推算用戶可能產(chǎn)生的意圖,形成自主化的圖書信息制定,以及相應(yīng)的資源調(diào)整,并且制定可能需要的計劃[13].在圖書數(shù)字資源的個性化檢索中,通過智能代理技術(shù),可以有效的達成推理,該技術(shù)自身的知識源非常豐富,能夠進一步的推測用戶意圖,并將一些海量及復(fù)雜的圖書信息快速整理,按照用戶的需求給予提供相應(yīng)的接收,設(shè)置相應(yīng)的自動拒絕功能.在該技術(shù)作用下,也可以訓(xùn)練個性化檢索模型,提升檢索功能,進一步增強圖書數(shù)字資源檢索系統(tǒng)中處理問題的能力.

1.2.3 數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘技術(shù)是Web 知識發(fā)現(xiàn)技術(shù)的一個分類,一般認(rèn)為數(shù)據(jù)挖掘是指利用決策樹、神經(jīng)網(wǎng)絡(luò)、回歸、關(guān)聯(lián)規(guī)則、聚類等多方面的技術(shù),從海量的數(shù)據(jù)中抽取隱含的、未知的、可利用的信息,并用于決策或知識存儲的數(shù)據(jù)分析方法[14].數(shù)據(jù)挖掘一般用于事物描述和預(yù)測,由于其具有聚類、數(shù)據(jù)關(guān)聯(lián)分析及數(shù)據(jù)分類等特點,經(jīng)常被用于Internet 上的圖書數(shù)字資源的數(shù)據(jù)清洗、集成、變換、模型評估及知識表示.另外,數(shù)據(jù)挖掘技術(shù)可以被用于傳統(tǒng)圖書館管理系統(tǒng)數(shù)據(jù)庫的檢索查詢調(diào)用,也可以用于非結(jié)構(gòu)化的圖書數(shù)字資源進行統(tǒng)計、分析及推理.同時,還可以利用檢索圖書數(shù)字資源信息挖掘事件之間的關(guān)聯(lián)性,從而對信息進行預(yù)測.

2 基于Web 知識發(fā)現(xiàn)圖書數(shù)字資源個性化檢索系統(tǒng)的設(shè)計

2.1 系統(tǒng)總體設(shè)計

基于Web 知識發(fā)現(xiàn)圖書數(shù)字資源個性化檢索系統(tǒng)設(shè)計,可以有效的根據(jù)收集到用戶信息,用戶在網(wǎng)頁上的操作,不斷積累經(jīng)驗,從而推測用戶的興趣和行為,最終用戶完成檢索后,快速反饋用戶的需求結(jié)果.基于Web 知識發(fā)現(xiàn)圖書數(shù)字資源個性化檢索系統(tǒng),主要是增強了學(xué)習(xí)與更新的用戶模型,相較于以往系統(tǒng)的單純檢索更具智能化,并且在Web 知識發(fā)現(xiàn)的基礎(chǔ)上,進一步優(yōu)化了查詢與優(yōu)化結(jié)果模塊.個性化檢索系統(tǒng)的設(shè)計,還進一步的考慮用戶之間的差異,利用Web知識發(fā)現(xiàn)提升圖書數(shù)字資源個性化檢索質(zhì)量.具體系統(tǒng)設(shè)計可見結(jié)構(gòu)圖1所示.

圖1 圖書數(shù)字資源個性化檢索系統(tǒng)結(jié)構(gòu)圖

由圖1可見,基于Web 知識發(fā)現(xiàn)圖書數(shù)字資源個性化檢索系統(tǒng)結(jié)構(gòu)圖,表示層為Web 知識發(fā)現(xiàn)瀏覽器.然后是業(yè)務(wù)邏輯層,由應(yīng)用服務(wù)器與業(yè)務(wù)邏輯共同支撐用戶管理搜索模塊、個性化模塊、優(yōu)化結(jié)果模塊.在數(shù)據(jù)持久層設(shè)置了用戶數(shù)據(jù)庫、搜索結(jié)果數(shù)據(jù)庫、興趣數(shù)據(jù)庫、其他數(shù)據(jù)庫,所有數(shù)據(jù)庫時時反饋相應(yīng)信息,并進行自我學(xué)習(xí),增強自身的知識,實時反饋業(yè)務(wù)邏輯層相關(guān)數(shù)據(jù)處理信息,達成圖書數(shù)字資源個性化檢索系統(tǒng)的設(shè)計效果.

2.2 圖書數(shù)字資源個性化檢索系統(tǒng)的設(shè)計流程

用戶數(shù)據(jù)登錄流程具體見圖2所示.

圖2 用戶數(shù)據(jù)登錄流程圖

由圖2可見,系統(tǒng)會接收到來自Web 瀏覽器端的用戶搜索請求,根據(jù)搜索請求調(diào)用相關(guān)業(yè)務(wù),對數(shù)據(jù)持久層的圖書數(shù)字資源進行有效的訪問,并且對所需要處理的數(shù)據(jù)返回至瀏覽器端,隨即快速反饋用戶的請求.這種個性化的系統(tǒng)設(shè)計主要是依據(jù)用戶在圖書數(shù)字資源庫瀏覽網(wǎng)頁頁面中的滿意度所反饋的信息,了解用戶的興趣(見圖3所示),再進一步的優(yōu)化搜索結(jié)果,反饋用戶感興趣的網(wǎng)頁圖書數(shù)字資源內(nèi)容.用戶在登錄網(wǎng)頁過程中需要完成注冊,也可以訪客的身份進入瀏覽,而已注冊的用戶身份,可以完成搜索功能,在注冊與登錄過程中,均設(shè)置了MD5的加密技術(shù),從而保證用戶信息的安全性.

圖3 用戶興趣生成流程圖

由圖3可見,用戶在圖書數(shù)字資源的瀏覽頁面可以提交滿意度評分,系統(tǒng)根據(jù)提交的滿意度評分獲取用戶的搜索結(jié)果,根據(jù)用戶滿意度評分,了解用戶對圖書數(shù)字資源的興趣,再進一步的為用戶優(yōu)化搜索結(jié)果.具體可見圖4.

圖4 優(yōu)化搜索結(jié)果流程圖

2.3 系統(tǒng)數(shù)據(jù)庫設(shè)計

圖書數(shù)字資源個性化檢索系統(tǒng)的一切功能實現(xiàn),均需要獲取用戶的信息,只有在了解用戶信息的基礎(chǔ)之上,才能夠?qū)ο嚓P(guān)信息進行綜合處理分析,達成個性化的服務(wù)需求.由此在系統(tǒng)數(shù)據(jù)庫設(shè)計方面,主要設(shè)計用戶需求數(shù)據(jù)、搜索圖書數(shù)字資源表、用戶興趣表、用戶與規(guī)則關(guān)聯(lián)表、搜索結(jié)果分值表.

用戶需求數(shù)據(jù)表設(shè)計見表1所示.

表1 用戶表

搜索圖書數(shù)字資源表主要來保存圖書具體類別和類別詳細(xì)信息,具體數(shù)據(jù)表設(shè)計見表2所示.

表2 搜索圖書數(shù)字資源表

用戶興趣規(guī)則表主要是通過用戶滿意度評分,進一步獲得用戶對于圖書數(shù)字資源信息的興趣.具體設(shè)計內(nèi)容見表3所示.

用戶與規(guī)則關(guān)聯(lián)表主要是通過用戶與獲得的興趣關(guān)聯(lián),進一步獲得用戶對于圖書數(shù)字資源的個性化需求,更好的提出優(yōu)化結(jié)果.具體設(shè)計內(nèi)容見表4與表5所示.

表4 用戶與規(guī)則關(guān)聯(lián)表

表5 搜索結(jié)果分值表

2.4 系統(tǒng)實現(xiàn)效果

經(jīng)過對個性化檢索需求分析后,根據(jù)系統(tǒng)的總體規(guī)劃設(shè)計,系統(tǒng)需要開發(fā)多個功能,才能達到對圖書數(shù)字資源個性化檢索系統(tǒng)的檢索效果.主要實現(xiàn)的功能為:系統(tǒng)檢索主頁、注冊用戶登錄以及用戶評分管理等.

(1)系統(tǒng)檢索主頁

用戶可以通過圖書數(shù)字資源個性化檢索系統(tǒng)中主頁搜索框進行搜索圖書數(shù)字資源,也可以通過使用系統(tǒng)的分類的圖書類型針對性的檢索.當(dāng)用戶輸入關(guān)鍵詞檢索后,系統(tǒng)會根據(jù)用戶的檢索歷史記錄,建立個性化檢索模型,完成初次檢索結(jié)果的展示,系統(tǒng)以素雅的頁面展示,使得用戶更加清晰看到圖書數(shù)字資源數(shù)量,實現(xiàn)效果如圖5所示.

圖5 系統(tǒng)檢索主頁圖

(2)注冊用戶登錄

圖書數(shù)字資源個性化檢索系統(tǒng)支持注冊用戶登錄系統(tǒng)功能,注冊用戶輸入用戶名和密碼后,可以進入用戶中心管理后臺,登錄頁面實現(xiàn)效果如圖6所示.

圖6 注冊用戶登錄圖

(3)用戶評分管理

用戶評分管理是用于記錄用戶在查看某類圖書數(shù)字資源的評價情況.當(dāng)某個用戶給出某類圖書數(shù)字資源的評分后,作為用戶興趣模型構(gòu)建因素,影響著用戶興趣模型,用戶評分管理實現(xiàn)效果如圖7所示.

圖7 用戶評分管理圖

2.5 系統(tǒng)關(guān)鍵步驟的實現(xiàn)代碼

(1)算法調(diào)用.根據(jù)登錄用戶信息的情況,結(jié)合圖書數(shù)字資源的評分記錄,決定調(diào)用不同的算法實現(xiàn)構(gòu)建個性化推薦模型,部分代碼實現(xiàn)如下:

public String recommend(){

User cUser=getCurrentUser();//獲取當(dāng)前登錄用戶

CFUtil cfUtil=new CFUtil();//實例化協(xié)同過濾推薦工具類

List＜BaseModel＞allScorerecords=scorerecordServic e.find(null,new Scorerecord());//獲取所有評分記錄

List＜BaseModel＞allItems=itemService.find(null,new Item());//所有項目

model=cfUtil.getDadaModel(cUser,allItems,allScorerecords);//獲取用戶-項目評分矩陣List＜Item＞cfItemBaseUser=cfUtil.baseUser(cUser,allItems,model);//基于用戶的推薦

request.setAttribute("cfItemBaseUser",cfItemBaseUser);

return "recommendSuccess";

}

(2)獲取數(shù)據(jù).根據(jù)用戶的搜索請求,系統(tǒng)在整個Internet Web 上進行檢索并獲取符合用戶需求的圖書數(shù)字資源數(shù)據(jù),部分代碼實現(xiàn)如下:

public static void dataUtil(String realPathParam,//獲取數(shù)據(jù)

ItemService itemServiceParam,TypeService typeServiceParam){

realPath=realPathParam;

itemService=itemServiceParam;

typeService=typeServiceParam;

getTag();

}

(3)推薦實現(xiàn).根據(jù)用戶個性化推薦模型,對獲取的數(shù)據(jù)進行預(yù)處理,最后實現(xiàn)推薦搜索結(jié)果,部分代碼實現(xiàn)如下:

System.out.println("推薦項目與預(yù)測評分:");//定義推薦的項目集合

List＜Item＞cfItem=new ArrayList＜Item＞();

for(RecommendedItem ri:recommendations){//循環(huán)得到推薦項目對象

int itemid=(int) ri.getItemID();//推薦項目id

float score=ri.getValue();//預(yù)測評分

System.out.println(ri.getItemID()+","+score);

for(BaseModel basemodel:allItem){

Item item=(Item) basemodel;

if(item.getId()==itemid){

cfItem.add(item);

break;

}}}

return cfItem;

} catch (TasteException e) {

e.printStackTrace();

}

return null;

}

3 基于Web 知識發(fā)現(xiàn)圖書數(shù)字資源個性化檢索系統(tǒng)研究

3.1 用戶行為對興趣度的影響

用戶通過注冊、登陸后完成相應(yīng)的圖書數(shù)字資源的搜索功能,設(shè)計3 種身份的搜索,第1 種是訪客,第2 種是新用戶注冊后完成搜索,第3 種已注冊用戶的搜索.用戶界面所獲取的信息,能夠利用Web 知識發(fā)現(xiàn),跟蹤用戶對圖書數(shù)字資源的興趣度.該技術(shù)影響下,更加全面的用戶行為信息獲取與更新,能夠防止用戶興趣淘汰過快的現(xiàn)象產(chǎn)生.Web 瀏覽器通過后臺的智能代理運行,能夠時刻監(jiān)測用戶對圖書數(shù)字資源瀏覽的一切行為,并將這些行為填加到書簽,包括摘要信息、次數(shù)信息、時間信息等,通守返回的信息充分了解用戶的興趣度.

3.2 個性化模型的更新

圖書數(shù)字資源個性化檢索系統(tǒng)運行過程中,用戶短期興趣、長期興趣、新興趣會存在較大的不同,此時需要使用個性化的模型更新,從而時間掌握用戶的變化特征.上述掌握用戶行為的信息后,利用Web 知識發(fā)現(xiàn)后臺的智能代理,抽取相關(guān)信息特征,智能代理具有捕捉功能,可以將用戶在Web 網(wǎng)頁中的操作分類,并建立新特征詞表,從而更多好的達成各因子的篩選,并通過濾信息,去除用戶不感興趣的信息,保證信息獲取的有效性、準(zhǔn)確性.

3.3 搜索結(jié)果的處理

個性化模型的更新完成后,返回至系統(tǒng)后臺,依據(jù)所獲得的結(jié)果與用戶興趣對應(yīng),進再進行自動過濾,智能加工處理信息后,推測用戶的興趣,給予個性化的服務(wù).在這一過程中的處理方法,主要是通過個性化模型和每一個頁面對應(yīng)找到相似度,經(jīng)過快速反應(yīng)處理后,會將最優(yōu)的搜索結(jié)果返回至用戶頁面,用戶會直接獲得所需信息.

4 結(jié)論

在互聯(lián)網(wǎng)時代,大量圖書數(shù)字資源信息在網(wǎng)絡(luò)中充斥,用戶對于圖書數(shù)字資源的需求也越來越多,然而面臨海量的圖書數(shù)字資源信息,如何快速定位感興趣的資源,已經(jīng)成為當(dāng)前用戶的核心需求.由此可見,圖書數(shù)字資源個性化檢索系統(tǒng)的設(shè)計是一種必然發(fā)展趨勢.傳統(tǒng)圖書資源的基礎(chǔ)之上,打造個性化的搜索引擎,能夠更好的挖掘用戶需求,匹配用戶搜索關(guān)鍵詞,優(yōu)化搜索結(jié)果,快速返回用戶,最終使用戶獲得符合自身興趣的結(jié)果.本次研究中基于Web 知識發(fā)現(xiàn)和與智能代理等技術(shù)相結(jié)合,深入挖掘客戶的興趣信息,利用后臺智能代理技術(shù)獲取用戶瀏覽過程中一切行為,通過所獲取的用戶興趣信息,利用個性化技術(shù)建立個性化模型.在個性化模型中,過濾用戶不感興趣的搜索結(jié)果,并通過優(yōu)化搜索結(jié)果,快速返回至用戶,從而真正實現(xiàn)用戶所需信息的獲取.