挖掘利用深網(wǎng)資源 提升圖書(shū)館服務(wù)水平

韓衛(wèi)紅

（青海大學(xué)圖書(shū)館，青海 西寧 810016）

網(wǎng)絡(luò)規(guī)模的迅猛發(fā)展使得Internet上的Web網(wǎng)站及網(wǎng)頁(yè)數(shù)量以爆炸性的趨勢(shì)增長(zhǎng)。目前人們?cè)诰W(wǎng)上查找信息的主要途徑是通過(guò)搜索引擎，而通用搜索引擎由于多方面原因能夠檢索的僅僅是互聯(lián)網(wǎng)上提供的小部分稱為可索引的Web信息，大部分網(wǎng)絡(luò)資源對(duì)這些搜索引擎是不可見(jiàn)的，這些不能通過(guò)靜態(tài)鏈接獲取的頁(yè)面被稱為深網(wǎng)（Deep Web）。深網(wǎng)的質(zhì)量和數(shù)量都要優(yōu)于淺網(wǎng)（SurfaceWeb），因此，如何挖掘、利用深網(wǎng)提升圖書(shū)館服務(wù)水平就成為高校圖書(shū)館需要迫切解決的一個(gè)問(wèn)題。

1 深網(wǎng)的知識(shí)和優(yōu)勢(shì)

1.1 深網(wǎng)的知識(shí)

到目前為止，學(xué)界對(duì)深網(wǎng)的概念還沒(méi)有達(dá)成共識(shí)。研究者一方面很容易理解它為什么存在，另一方面又很難用專業(yè)的術(shù)語(yǔ)準(zhǔn)確地定義，因而大多從深網(wǎng)是什么、為什么存在及其重要性和檢索途徑、方法等角度來(lái)描述深網(wǎng)。

2000年，BrightPlanet公司首創(chuàng)了“深網(wǎng)”術(shù)語(yǔ)，用來(lái)表述那些將信息內(nèi)容存貯在檢索數(shù)據(jù)庫(kù)中而僅僅響應(yīng)直接查詢提問(wèn)的網(wǎng)站。“深網(wǎng)”隱含著對(duì)信息內(nèi)容結(jié)構(gòu)的揭示。與“深網(wǎng)”相對(duì)應(yīng)的概念是“表面網(wǎng)”，它包括的內(nèi)容基本上都是非結(jié)構(gòu)化的HTML信息，而深網(wǎng)包括的內(nèi)容大多數(shù)為結(jié)構(gòu)化的數(shù)據(jù)庫(kù)信息，因此，“深”就有了結(jié)構(gòu)層次更豐富的意味。同時(shí)，“深網(wǎng)”更多地考慮了信息用戶和信息服務(wù)的因素?！吧睢边€意味著用戶獲取所需信息的難度更大，需要使用更多的精力和更精致的檢索策略，因而需要更細(xì)致更深入的信息服務(wù)。

1.2 深網(wǎng)的優(yōu)勢(shì)

1.2.1 資源豐富，數(shù)據(jù)量大，發(fā)展快

深網(wǎng)中的公共信息是表面網(wǎng)的400～550倍；深網(wǎng)的容量有7500TB，而表面網(wǎng)只有19TB；深網(wǎng)有近5500億個(gè)獨(dú)立文件，而表面網(wǎng)只有10億個(gè)；目前存在的深網(wǎng)網(wǎng)站已經(jīng)突破20萬(wàn)個(gè)；60個(gè)最大的深網(wǎng)網(wǎng)站共包含750TB的信息，是表面網(wǎng)信息的40倍還多；深網(wǎng)的月流量通常比表面網(wǎng)要多出50%，并且更容易被鏈接；深網(wǎng)是Internet上增長(zhǎng)最快的新信息類型。

1.2.2 信息內(nèi)容質(zhì)量好、價(jià)值高

深網(wǎng)網(wǎng)站比傳統(tǒng)的表面網(wǎng)站要更專、更深；深網(wǎng)內(nèi)容的全部?jī)r(jià)值是表面網(wǎng)的1000至2000倍；深網(wǎng)的信息內(nèi)容與所有的信息需求、市場(chǎng)和領(lǐng)域高度相關(guān)；有較高的查準(zhǔn)和查全率；一半以上的深網(wǎng)內(nèi)容存貯在專題數(shù)據(jù)庫(kù)中。

1.2.3 利用率高，免費(fèi)使用

深網(wǎng)站點(diǎn)的訪問(wèn)率很高，月訪問(wèn)量是表層網(wǎng)絡(luò)站點(diǎn)的150%。95%的深網(wǎng)資源對(duì)公眾免費(fèi)開(kāi)放，即無(wú)需支付費(fèi)用或訂購(gòu)使用。

2 挖掘與利用深網(wǎng)的意義

2.1 極大豐富了圖書(shū)館的資源體系

目前高校圖書(shū)館的電子館藏資源主要有兩種：商業(yè)數(shù)據(jù)庫(kù)和自建數(shù)據(jù)庫(kù)。為了獲得商業(yè)數(shù)據(jù)庫(kù)的使用權(quán)，圖書(shū)館必須每年向數(shù)據(jù)庫(kù)提供商繳納不菲的費(fèi)用。由于經(jīng)費(fèi)有限，圖書(shū)館一般只能購(gòu)買數(shù)據(jù)庫(kù)使用權(quán)，尤其是外文數(shù)據(jù)庫(kù)，常常只有幾個(gè)在線使用額。自建數(shù)據(jù)庫(kù)建設(shè)周期長(zhǎng)、數(shù)據(jù)量少，且常常針對(duì)某一主題，根本無(wú)法滿足師生對(duì)多個(gè)學(xué)科信息的需求。由于深網(wǎng)中95%是免費(fèi)資源，且這些資源所存儲(chǔ)的信息都與特定專業(yè)領(lǐng)域高度相關(guān)，高校圖書(shū)館不需要付出高昂的使用費(fèi)或建設(shè)費(fèi)，就可以借此向師生提供多種高質(zhì)量的學(xué)術(shù)資源，尤其是外文資源，這無(wú)疑極大豐富了圖書(shū)館的資源體系，提高了資源供給能力。

2.2 提升圖書(shū)館服務(wù)水平

目前，國(guó)內(nèi)高校圖書(shū)館的個(gè)性化信息服務(wù)主要是從圖書(shū)館自身的角度進(jìn)行資源組織和信息服務(wù)，針對(duì)用戶提出的申請(qǐng)，到有關(guān)的數(shù)據(jù)庫(kù)里單個(gè)進(jìn)行檢索，然后人工合并重復(fù)信息后發(fā)送給用戶。作為信息傳播門戶的圖書(shū)館，應(yīng)將傳統(tǒng)的被動(dòng)式服務(wù)轉(zhuǎn)變?yōu)椤耙杂脩魹橹行摹钡闹鲃?dòng)式個(gè)性化信息服務(wù)。主動(dòng)推送的信息必須符合用戶需求并且基本涵蓋所有的網(wǎng)絡(luò)資源和數(shù)據(jù)庫(kù)資源，Deep Web數(shù)據(jù)集成技術(shù)可以滿足這個(gè)需求，從看似雜亂無(wú)序的浩瀚信息中提取其內(nèi)在聯(lián)系，高效率抓取出高質(zhì)量的信息提供給用戶。

3 挖掘和利用深網(wǎng)資源的策略

3.1 挖掘未被鏈接的網(wǎng)頁(yè)

根據(jù)搜索引擎原理，若沒(méi)有任何其他網(wǎng)頁(yè)鏈接指向某一網(wǎng)頁(yè)，搜索引擎的Spider程序就不能沿著其他網(wǎng)頁(yè)中的URL爬行到該網(wǎng)頁(yè)，也就不能將該網(wǎng)頁(yè)的相關(guān)信息搜集到索引庫(kù)，那么通過(guò)搜索引擎就無(wú)法找到這些未被鏈接的孤島網(wǎng)頁(yè)。未被鏈接的網(wǎng)頁(yè)是深網(wǎng)最基本的組成部分，可以采取兩種方法將其逃逸出深網(wǎng)，成為易于被搜索到的表面網(wǎng)中的內(nèi)容：第一種是在被鏈接的meio_aed網(wǎng)頁(yè)中添加未被鏈接網(wǎng)頁(yè)的鏈接，使得Spider程序能夠發(fā)現(xiàn)這一鏈接，并索引該網(wǎng)頁(yè)；第二種是網(wǎng)頁(yè)設(shè)計(jì)者向搜索引擎提交網(wǎng)址，使得該網(wǎng)頁(yè)能夠被搜索引擎索引。

3.2 充分挖掘整合利用OA資源

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，Open Access（以下簡(jiǎn)稱“OA”）資源得到了空前發(fā)展。OA期刊和OA倉(cāng)貯為研究人員獲取學(xué)術(shù)資源提供了一條嶄新的途徑。但是，許多OA資源是分散存放在世界各地不同的服務(wù)器和網(wǎng)站上的，因此用戶很難直接全面地檢索到這些資源。目前在OA資源揭示方面，主要有DOAJ和OpenDOAR兩個(gè)項(xiàng)目，分別在進(jìn)行OA期刊和OA倉(cāng)貯的整理工作。除此之外，國(guó)際國(guó)內(nèi)一些高等院校、機(jī)構(gòu)和個(gè)人也對(duì)OA期刊和OA倉(cāng)貯在不同層面上做了類似的整理和揭示工作?；谟脩舻男畔⑿枨蠛托畔z索角度考慮，中國(guó)教育圖書(shū)進(jìn)出口公司開(kāi)發(fā)出了《SOCOLAR：Open Access資源一站式檢索服務(wù)平臺(tái)》，該平臺(tái)收錄了大量OA期刊、OA機(jī)構(gòu)倉(cāng)儲(chǔ)等學(xué)術(shù)資源，并向最終用戶提供一站式文章級(jí)檢索和全文鏈接服務(wù)。平臺(tái)現(xiàn)有1萬(wàn)多種OA期刊和1千多個(gè)OA機(jī)構(gòu)倉(cāng)儲(chǔ)，資源周更新。涵蓋學(xué)科廣泛，主要包括：人文社科、商學(xué)與經(jīng)濟(jì)學(xué)、數(shù)學(xué)與統(tǒng)計(jì)、生物學(xué)與生命科學(xué)、工業(yè)技術(shù)、化學(xué)、地球與環(huán)境科學(xué)等。同時(shí)提供這些文獻(xiàn)的高速鏈接，通過(guò)鏈接可獲取全文。

3.3 充分挖掘利用學(xué)術(shù)搜索引擎

學(xué)術(shù)搜索引擎是以學(xué)術(shù)資源為索引對(duì)象，一般涵蓋互聯(lián)網(wǎng)上的免費(fèi)學(xué)術(shù)資源和以隱蔽網(wǎng)頁(yè)形式存在的學(xué)術(shù)資源，通過(guò)對(duì)這類資源的爬行、抓取、索引，以統(tǒng)一的接口向用戶提供服務(wù)。Internet上的該類工具為數(shù)不少，目前開(kāi)發(fā)較成熟的、使用量較大的專業(yè)搜索引擎如表1所示。

表1 常用學(xué)術(shù)搜索引擎

高校師生的科研、學(xué)習(xí)活動(dòng)越來(lái)越依賴于網(wǎng)絡(luò)信息資源，并且隨著網(wǎng)絡(luò)技術(shù)和檢索技術(shù)的發(fā)展，他們對(duì)網(wǎng)絡(luò)信息資源的質(zhì)量要求也越來(lái)越高，更注重獲取有深度的信息內(nèi)容和針對(duì)某個(gè)問(wèn)題的全部信息，要求檢索結(jié)果具有高度專業(yè)性和相關(guān)性，這是傳統(tǒng)搜索引擎無(wú)法滿足的。所以高校圖書(shū)館在引進(jìn)搜索引擎時(shí)需要做好二次開(kāi)發(fā)工作，圖書(shū)館對(duì)專業(yè)搜索引擎，可以提供其檢索界面的網(wǎng)絡(luò)地址，組織、編輯使用指南，介紹檢索功能、方法、技巧等；對(duì)專業(yè)搜索軟件，可以提供軟件的直接下載和有關(guān)使用方法的說(shuō)明文檔。

3.4 揭示利用深網(wǎng)門戶網(wǎng)站獲取網(wǎng)上學(xué)術(shù)信息資源

要善于把檢索工具當(dāng)作搜索武器，充分利用信息環(huán)境中的可能條件及各種查詢工具的有關(guān)知識(shí)，隨時(shí)利用各種技巧搜索難以捕捉的信息資源。目前網(wǎng)絡(luò)中有許多專門搜索深網(wǎng)信息的工具網(wǎng)站，通過(guò)這些專門的門戶網(wǎng)站便可以找到深網(wǎng)信息資源，如表2所示。

表2 主要深網(wǎng)門戶網(wǎng)站

大多數(shù)師生不知道深網(wǎng)資源的存在，過(guò)分信賴傳統(tǒng)搜索引擎，即使對(duì)深網(wǎng)有所耳聞，也沒(méi)有時(shí)間和精力專門收集，因此，以信息組織、收集為己任的圖書(shū)館，應(yīng)責(zé)無(wú)旁貸地承擔(dān)這一任務(wù)，成為師生獲取高、精、深網(wǎng)絡(luò)資源的指引者。通過(guò)對(duì)深網(wǎng)資源的索引和說(shuō)明，讓他們對(duì)網(wǎng)絡(luò)資源有新的認(rèn)識(shí)，從而調(diào)整其檢索行為，找到最佳檢索途徑，減少檢索時(shí)間，提高信息檢索的質(zhì)量，從而加強(qiáng)信息獲取的深度。圖書(shū)館應(yīng)充分挖掘、揭示和整合深網(wǎng)資源，有些高校圖書(shū)館已將一些深網(wǎng)資源列入本館主頁(yè)的電子資源欄目中。

4 積極挖掘、整合和利用深網(wǎng)資源

4.1 為用戶開(kāi)展推送服務(wù)

主動(dòng)推送個(gè)性化服務(wù)是指圖書(shū)館應(yīng)以用戶的館藏使用行為、習(xí)慣、偏好及特定需求為基礎(chǔ)，智能、主動(dòng)地向用戶提供具有針對(duì)性的館藏內(nèi)容，為用戶提供“量身定做”的特色服務(wù)。圖書(shū)館應(yīng)當(dāng)根據(jù)用戶的個(gè)性需求或?qū)I(yè)特征，主動(dòng)分析和跟蹤，利用數(shù)據(jù)挖掘、知識(shí)發(fā)現(xiàn)等技術(shù)手段對(duì)深網(wǎng)資源進(jìn)行深層次的分析和挖掘，直接提供給用戶能夠用于決策支持、智能查詢、科學(xué)研究、解決問(wèn)題的信息內(nèi)容，并按每個(gè)用戶的要求，主動(dòng)將挖掘和整合的深網(wǎng)資源推送到個(gè)人用戶手中，提升圖書(shū)館服務(wù)水平。

4.2 為重點(diǎn)學(xué)科用戶提供學(xué)科服務(wù)

重點(diǎn)學(xué)科建設(shè)是高等學(xué)校建設(shè)的核心，是高校人才培養(yǎng)、科學(xué)研究和社會(huì)服務(wù)的綜合平臺(tái)。圖書(shū)館應(yīng)圍繞學(xué)校重點(diǎn)學(xué)科建設(shè)需要，制定按學(xué)科開(kāi)發(fā)、建設(shè)、組織學(xué)科信息資源建設(shè)的方案，集中現(xiàn)有專業(yè)資源，形成具有本校學(xué)科化特色的館藏體系，有的放矢地建設(shè)好館藏信息資源和具有自身專業(yè)優(yōu)勢(shì)的特色學(xué)科資源庫(kù)。并在數(shù)字資源服務(wù)數(shù)據(jù)庫(kù)基礎(chǔ)上，根據(jù)學(xué)校學(xué)科建設(shè)的重點(diǎn)和性質(zhì)，及其對(duì)學(xué)科知識(shí)服務(wù)的要求，從學(xué)科角度進(jìn)行信息挖掘和知識(shí)發(fā)現(xiàn)，采集學(xué)科資源和信息；充分利用深網(wǎng)資源，主動(dòng)獲取動(dòng)態(tài)信息，并建立索引，從而建立分學(xué)科或?qū)ｎ}的信息服務(wù)平臺(tái)，將在互聯(lián)網(wǎng)上或其他資源庫(kù)中獲取的動(dòng)態(tài)信息按學(xué)科或?qū)ｎ}進(jìn)行整合，整合在統(tǒng)一門戶下，為學(xué)科用戶提供定制服務(wù)。

深網(wǎng)資源具有內(nèi)容豐富、質(zhì)量高、成本低廉等諸多優(yōu)點(diǎn)，只是限于技術(shù)、知識(shí)產(chǎn)權(quán)、經(jīng)濟(jì)等多方面原因不為人們熟知和輕易獲取。但正是其內(nèi)容、質(zhì)量、價(jià)格等方面的特點(diǎn)決定了它極高的開(kāi)發(fā)利用價(jià)值，從而成為高校圖書(shū)館網(wǎng)絡(luò)資源建設(shè)的重點(diǎn)對(duì)象。在這個(gè)信息爆炸的大環(huán)境下，如何利用深網(wǎng)資源做好高質(zhì)量的個(gè)性化信息服務(wù)已經(jīng)至關(guān)重要。

[1]馬費(fèi)成，張婷．“看不見(jiàn)”的網(wǎng)站與學(xué)科信息門戶的比較分析[J]．情報(bào)理論與實(shí)踐，2004（3）：299．

[2] 邢春艷．隱蔽網(wǎng)絡(luò)研究芻議[J]．圖書(shū)館學(xué)刊，2005（6）：115-116．

[3] 鄒曼莉．網(wǎng)絡(luò)隱性信息探微[J]．圖書(shū)館雜志，2003（4）：22-23．

[4] 陳珂，陳小英，徐科．Hidden Web信息獲取[J]．計(jì)算機(jī)時(shí)代，2007（5）：54．

[5] 陳紅勤．學(xué)術(shù)隱蔽網(wǎng)絡(luò)和學(xué)術(shù)搜索引擎[J]．現(xiàn)代情報(bào)，2008（7）：117-119．

[6] 楊道玲．深網(wǎng)信息資源采集初探[J]．圖書(shū)館雜志，2006（12）：19-22．