Web Archive 工作收集策略中存在的問題及改進思考

崔鵬 王曦波

一、引言

在互聯(lián)網(wǎng)上，每天都有無數(shù)新的信息的出現(xiàn)，同時也有無數(shù)舊的信息在消失。網(wǎng)絡信息雖然增長速度飛快，其消失的速度也超出人們的想象。一些相關機構和學者的估計也能在某個程度上說明這個問題：據(jù)互聯(lián)網(wǎng)檔案館（Internet Archive）估計，網(wǎng)頁的平均壽命只有100天;亞馬遜公司旗下的Alexa網(wǎng)站曾經(jīng)估計，網(wǎng)頁的平均壽命為75天;美國的NDIIPP項目人員則估計，網(wǎng)絡信息的平均壽命只有44天。一些關于時事新聞的信息，其消失的速度更加驚人。表1是2018年1月中國互聯(lián)網(wǎng)絡信息中心發(fā)布的《第41次中國互聯(lián)網(wǎng)統(tǒng)計報告》中對于我國網(wǎng)頁更新情況的統(tǒng)計，從該表可以看出，超過3成的網(wǎng)頁更新周期在三個月以內(nèi)。

Web作為全球最大的信息資源庫，其包含的信息對于對文化遺產(chǎn)保存、學術研究、社會經(jīng)濟的發(fā)展都具有十分重要的意義，但由于Web 信息的產(chǎn)生是自發(fā)的，而其消失又十分迅速，使網(wǎng)絡信息資源既珍貴又脆弱。因此，對Web進行保存具有十分重要的意義，但是在我國，不論是與傳統(tǒng)的信息資源保存相比，還是與國外的網(wǎng)絡信息資源保存相比，Web Archive都沒有引起足夠的重視。

1996年，美國一個非營利性組織啟動了Internet Archive項目，澳大利亞圖書館啟動PANDORA項目;1997年，美國國會圖書館啟動Minerva項目，丹麥、挪威、芬蘭、冰島和瑞典五個北歐國家的國家圖書館聯(lián)合啟動Nodic Web Archive項目;1999年，法國國家圖書館啟動了BnF Web Archive項目，英國國家圖書館啟動了UKWAC項目;日本、新加坡等國也在2005年以前啟動了國家層面的Web Archive項目。

我國最早的Web Archive項目是2002年由北京大學啟動的Informall項目;國家圖書館于2003年初啟動了網(wǎng)絡信息資源采集與保存試驗項目（WICP），2009年國家圖書館互聯(lián)網(wǎng)信息資源保存保護中心成立。中國人民大學也在2011年成立了“互聯(lián)網(wǎng)數(shù)據(jù)信息海量存貯與智能服務中心”，其研究主要分為三個層面，第一個層面是互聯(lián)網(wǎng)海量信息的組織、存儲與管理技術，第二個層面是海量WEB數(shù)據(jù)的分析與挖掘，海量知識庫管理等，第三個層面是面向社會科學用戶的交互式分析決策平臺。

國內(nèi)對于Web Archive的研究，主要包括從宏觀上介紹整個Web Archive工作的概念，從微觀上介紹Web Archive工作的某一個環(huán)節(jié)，或者是介紹了國外的發(fā)展現(xiàn)狀。在收集策略方面，國內(nèi)的研究主要包括以下幾個方面。第一，認為收集策略對于Web Archive工作具有基礎性的重要作用。第二，不同的收集策略有不同優(yōu)缺點。第三，收集策略必須要有科學的收集原則。

國外對于Web Archive的研究內(nèi)容相對豐富，在很多方面對我國具有重要的借鑒作用。澳大利亞學者Edgar Crook認為，Web 2.0時代給Web Archive工作帶來了新的技術上的挑戰(zhàn)，圖書館必須學會適應并對未來做好計劃，修改其收集的范圍，并與其他保存機構進行合作，以保證這項重要工作的可持續(xù)發(fā)展。芬蘭學者Juha Hakala主張對Web Archive工作收集的網(wǎng)絡信息進行元數(shù)據(jù)標引，建立索引，以提供給終端用戶使用。

Web Archive工作的責任體系、收集策略和資金支持三個方面是有機統(tǒng)一的，共同形成了Web Archive工作的運作機制，如圖1所示。從圖中可以看出，國家圖書館、各級圖書館和各級檔案館承擔著網(wǎng)絡信息資源長期保存的責任，在Web Archive工作中處于中心地位，是Web Archive工作的主力軍。而長期保存的必要前提則是短期保存，短期保存的責任者主要包括網(wǎng)絡信息資源的生產(chǎn)者和出版者。輔助保存是長期保存的重要補充，其責任者包括商業(yè)公司、各組織機構的網(wǎng)絡技術部門和其他機構。而這些保存責任方都受到來自政府的統(tǒng)一規(guī)劃和指導，政府處于Web Archive工作的領導者的地位，一方面為Web Archive工作提供必不可少的經(jīng)費支持，另一方面也為Web Archive工作提供法律規(guī)范、政策支持和對公眾的宣傳教育等等。

網(wǎng)絡信息資源的收集是Web Archive工作的第一步，也是十分重要的一步。在網(wǎng)絡信息資源的收集過程中，可以采用多種收集策略。收集策略的不同，會直接影響到Web Archive信息的質量和價值，以及Web Archive工作的成本。按照不同的分類標準，收集策略的分類也不相同。按照信息的收集方式，網(wǎng)絡信息資源的收集模型可以分為推送模型和拉取模型。按照信息的收集范圍，網(wǎng)絡信息資源的收集策略可以分為全面性收集策略和選擇性收集策略。

二、Web Archive收集策略存在的問題

1.全面性收集策略存在的問題

（1）更新周期長，不能做到真正意義上的全面性收集

對于印刷型出版物來說，主要是那些連續(xù)出版物，比如期刊、報紙存在著連續(xù)收集的問題，由于連續(xù)出版物的更新周期比較固定，比如，期刊的更新周期可能是一個月、半個月等等，而報紙的更新周期一般是一天，因此收集周期就很容易確定。而網(wǎng)絡信息的收集周期則很難確定。理論上講，收集周期應該同網(wǎng)絡信息的變化更新周期相一致，只要網(wǎng)絡信息進行了更新，就應該對該次更新進行收集。但實際上，網(wǎng)絡信息的更新變化規(guī)律十分復雜，難以找尋，有的六個月甚至更久都不更新一次，有的一兩個月更新一次，更有的一星期甚至一天更新一次。對于全面性收集策略來說，由于收集的范圍寬，對象多，一次收集所需的時間長，因此收集的周期一般設置得比較長。

世界上主要的Web Archive項目都以年作為網(wǎng)絡信息資源的收集周期，每年對網(wǎng)絡信息資源進行n次收集（n<=10）。比如，瑞典的網(wǎng)絡信息資源保存項目Kulturarw3將其收集的更新周期設置為每年2次。在這個收集頻率下，兩次收集的間隔時間平均為6個月，這6個月時間內(nèi)發(fā)生的信息更新和信息消失就無法收集到，而這6個月的信息更新和信息消失所產(chǎn)生的信息量是十分巨大的?？梢姡捎猛暾允占呗?，由于更新周期長，無法收集在兩個更新時間點之間的信息更新和信息消失，而產(chǎn)生大量的信息遺漏，實際上不能做到真正意義上的全面性收集。

（2）只能收集靜態(tài)信息資源，不能處理深層網(wǎng)絡資源

靜態(tài)信息資源主要是指靜態(tài)網(wǎng)頁。靜態(tài)網(wǎng)頁是一種淺層網(wǎng)絡資源，是純粹的HTML格式的網(wǎng)頁，它們是實實在在保存在服務器上的文件。靜態(tài)網(wǎng)頁的內(nèi)容不會因為瀏覽時間或瀏覽者IP的變化而變化。也正是因為靜態(tài)網(wǎng)頁的這些特點，使得靜態(tài)網(wǎng)頁很容易被搜索引擎發(fā)現(xiàn)，從而大大提高了被Web Archive工作收集到的可能性。

盡管完整性收集工作能對靜態(tài)信息資源進行有效的收集，但是由于技術上的原因，對于深層網(wǎng)絡信息資源（數(shù)據(jù)庫資源）的收集卻顯得力不從心，而更為遺憾的是，相對于靜態(tài)信息資源來說，這些無法收集到的深層網(wǎng)絡信息資源數(shù)量更大、質量更高、增長速度更快、重復率也更低。調查表明：深層網(wǎng)絡信息資源的規(guī)模是淺層網(wǎng)絡信息資源的500倍以上，而其質量是淺層網(wǎng)絡信息資源質量的大約3倍。另外，深層網(wǎng)絡信息資源的增長速度也明顯高于淺層網(wǎng)絡信息資源的增長速度。而就重復率而言，淺層網(wǎng)絡中有很多鏡像站點，提供的信息本來就不是一手的信息，另外很多網(wǎng)絡信息被大量復制粘貼（如百度知道中有很多回答都是從別處復制粘貼過來的），造成重復率不斷提高，而深層網(wǎng)絡信息資源的重復現(xiàn)象則要少得多。

綜上所述，完整性收集策略雖然能對淺層網(wǎng)絡信息資源進行有效的收集，但是由于技術上的障礙，對于數(shù)量更大、質量更高、增長速度更快、重復率更低的深層網(wǎng)絡信息資源無能為力。

（3）不能對收集的信息進行有效的質量控制

全面性收集是對一個廣泛的范圍內(nèi)的站點（如以國家為范圍）的信息進行收集，這個范圍十分巨大。而我們都知道，網(wǎng)絡上存在的信息污染大，噪音多，質量千差萬別，參差不齊，有很多重復信息、虛假信息和垃圾信息，加上在收集過程中，收集的范圍寬，收集的對象眾多，較少地采取了人工干預，大多數(shù)是利用網(wǎng)絡爬蟲對網(wǎng)絡信息資源進行自動收集，很容易造成收集質量的低劣。具體表現(xiàn)在，一方面，由于缺少了人工的干預，沒有人對這些信息進行人為的信息主題的選擇、重復信息的排除、虛假信息的鑒定、垃圾信息的識別等等，從而導致產(chǎn)生許多無關信息、重復信息、虛假信息和垃圾信息。另一方面，缺少了人工的干預，任由網(wǎng)絡爬蟲獨自工作，使得許多的收集失敗得不到及時發(fā)現(xiàn)，許多的收集錯誤得不到及時糾正，從而導致一些信息的遺漏，甚至有可能造成重要信息的缺失。

2.選擇性收集策略存在的問題

（1）各個網(wǎng)絡信息資源之間的割裂性強

我們現(xiàn)在網(wǎng)絡中各個站點、各個地域的網(wǎng)絡信息資源相互之間存在著千絲萬縷的聯(lián)系，通過錯綜復雜、無處不在的各種鏈接形成了一個整體。我們把與某一個站點相鏈接的所有網(wǎng)頁形成的整體叫做“語境”。而通過選擇性收集策略，把某些我們認為有價值的站點或主題的網(wǎng)絡信息資源從這個完整的、相互聯(lián)系的整體中抽離出來的時候，與這些信息資源鏈接的其他信息資源如果不符合收集的標準就會被舍棄掉，從而不可避免地割裂了這些網(wǎng)絡信息資源之間原本存在的聯(lián)系，使抽離出來的網(wǎng)絡信息資源失去了原來的“語境”。而這種割裂性會給未來研究人員的研究帶來很大的隱患，因為被割裂了的網(wǎng)絡信息資源無法反映出當時整個網(wǎng)絡信息資源的全貌，同時也有可能使未來的研究人員斷章取義，在對某些信息理解不全而需要與之相鏈接的信息作為輔助理解的時候卻找不到這些原來的鏈接了。

（2）選擇標準主觀性強

選擇性收集策略是根據(jù)網(wǎng)絡信息資源的價值的不同來判斷是否應該對某個或某些站點的網(wǎng)絡信息資源進行保存。而這些選擇的標準具有很強的主觀性，全憑收集人員（如圖書館員、檔案工作人員）根據(jù)自身的知識結構和個人意愿來進行判斷。一方面，用現(xiàn)在的標準來判斷某一些信息在未來是否具有價值是一個很困難的工作，因為某些信息也許現(xiàn)在具有價值，但是在若干年后的將來也許一文不值，這樣就會造成資源的浪費;而更壞的情況是，某些信息現(xiàn)在可能一文不值，卻有可能在若干年后的將來有很重要的意義，這就不可避免地會導致一些重要信息的遺漏。另一方面，收集人員的知識結構的不同，個人意愿的不同都會在很大程度上影響選擇標準的形成，有可能造成選擇標準的混亂，甚至遭受后人的非議。就像勞埃德·索克文納（Lloyd Sokvitne）曾經(jīng)總結的那樣：“我們不知道未來的人們需要哪些信息，我們現(xiàn)在的判斷標準也不一定科學，盡管我們已經(jīng)很盡力，但我們?nèi)耘f會失去許多有價值的信息”。

（3）人力、財力成本高

全面性收集策略雖然收集的范圍廣，但是因為絕大部分工作都交給了網(wǎng)絡爬蟲，所以人工成本很低，節(jié)省了大量的費用。而選擇性收集策略則不然，從選擇標準的確定，到收集站點的選擇，到網(wǎng)絡信息的編目，再到網(wǎng)絡信息的質量審核，都需要人力的介入。特別是在網(wǎng)絡信息的編目和質量審核階段，面對的對象是數(shù)量巨大的網(wǎng)絡信息資源，需要巨大的人力成本。而且，由于Web Archive工作對于人員的專業(yè)素質要求較高，需要對Web Archive工作的工作人員進行一定的培訓，這也需要一筆不小的費用。如，澳大利亞國家圖書館的網(wǎng)絡信息保存的單位成本多達178. 68澳元，其中94%為人力成本。

三、Web Archive收集策略的改進思考及其選擇

1.根據(jù)不同的需要制定不同的收集級別

上文中指出，全面性收集策略容易遺漏一些重要的網(wǎng)頁更新，而選擇性收集策略又會割裂收集到的信息與其他信息之間的聯(lián)系，使其喪失“語境”。針對這種狀況，有必要根據(jù)不同的需要，制定不同的收集級別。

在這個方面，國外已經(jīng)有數(shù)個網(wǎng)絡信息保存項目做出了有益的嘗試。比如，澳大利亞馬尼亞州立圖書館實施的網(wǎng)絡信息資源保存項目——“我們的數(shù)字島嶼”制定了比較詳細的選擇策略，該項目規(guī)定了四個級別，即完全級、選擇級、代表性收集、快照。完全級對收集深度最深，不僅包括網(wǎng)站內(nèi)部所有網(wǎng)頁，還包括與之相鏈接的其他一級、二級、三級網(wǎng)頁。這種收集級別有效地保證了收集的信息同與其相鏈接的信息的聯(lián)系，為其保存了一個相對完整的“語境”。選擇級對選定網(wǎng)站的關鍵更新進行收集，收集深度包括所有的內(nèi)部網(wǎng)頁和重要的外部一級網(wǎng)頁和二級網(wǎng)頁。這種收集級別既保證了不遺漏更新的網(wǎng)頁，也照顧到了“語境”的完整性，是二者之間的一個折中選擇。代表性收集對選定網(wǎng)站進行不定期的收集，或者對網(wǎng)站內(nèi)的網(wǎng)頁進行收集，收集深度為網(wǎng)站內(nèi)的重要網(wǎng)頁和外部網(wǎng)頁。這種收集級別在收集頻率和保持“語境”完整性上都降低了標準?？煺罩皇占W(wǎng)站的某些網(wǎng)頁，足夠提供該網(wǎng)站的示例即可，是最低級別的收集。這四種收集級別靈活多變，可以在實際操作中根據(jù)需要適時調整。

制定了收集級別的Web Archive項目還有不少，如加拿大國家圖書館的Web Archive項目、伯克利數(shù)字圖書館的Web Archive項目等等。這些項目的收集級別的制定對于我國的Web Archive工作是很好的借鑒。

2.為選擇性收集策略制定選擇標準

結合眾多項目的選擇標準，筆者認為對于網(wǎng)絡信息資源保存系統(tǒng)來說，制定收集標準時，應該主要考慮以下幾個方面：

第一，網(wǎng)絡信息內(nèi)容方面的價值。網(wǎng)絡信息資源的價值很大程度上體現(xiàn)在內(nèi)容上，主要是從網(wǎng)絡信息資源的原創(chuàng)性、權威性、可靠性幾個方面進行考慮。

第二，網(wǎng)絡信息媒體方面的價值。網(wǎng)絡作為一種新的交流信息、傳遞信息的媒體，具有某種意義的文獻價值。因此除了考慮內(nèi)容方面的價值，還要考查某網(wǎng)絡信息是否具備反映網(wǎng)絡這一新型媒體的特征。對網(wǎng)絡媒體發(fā)展中具有里程碑性質的網(wǎng)站應進行保存，比如說第一個博客，第一個進行電子商務的網(wǎng)站，第一個微博，等等，主要將網(wǎng)絡作為一種媒體的價值進行記錄和保存。

第三，網(wǎng)絡信息憑證方面的價值。很多網(wǎng)絡信息資源，特別是一些政府網(wǎng)站，還有一些機構網(wǎng)站內(nèi)部網(wǎng)的資源，是機構行為的一種記錄，具備檔案的特點，可備查考之用。因此在制定選擇標準時還要充分考慮哪些網(wǎng)絡信息資源具備這種特質。

第四，保存機構自身的特性。對站點進行選擇時，還要充分考慮保存機構的屬性。比如說國家級的機構在制定標準時就應該側重具備國家重要意義的網(wǎng)絡信息資源，而地方機構（如地方圖書館）則應該側重反映本地文化、經(jīng)濟等方面的網(wǎng)絡信息資源的收集。再比如，檔案機構就應該側重網(wǎng)絡信息的記錄檔案價值。

3.采用綜合的策略

由于全面性收集策略和選擇性收集策略都有其固有的問題和不足，不能很好地適應各種條件下的網(wǎng)絡信息資源的收集，而我們也很難在短期內(nèi)對這兩種收集策略的問題和不足提出具有針對性的改進措施，因此，筆者認為應該根據(jù)網(wǎng)絡信息資源自身的特點，保存機構所處的法律技術環(huán)境，保存機構自身的經(jīng)費、人員支持情況綜合采用兩種收集策略，而不是采用單一的收集策略。筆者認為綜合的收集策略就是對兩種收集策略的有效改進，可以起到揚長避短、取長補短的作用，如圖2所示。

比如，可以根據(jù)網(wǎng)絡信息資源變化更新的不同頻率采用不同的收集策略。上文已有提到，全面性收集策略由于收集的頻率較低，容易遺漏在兩次收集的間隔中更新的信息，而選擇性收集策略因為收集頻率要高很多，因此遺漏的信息會比較少。既然兩種收集策略各有利弊，我們就應該將兩種收集策略結合起來使用。有一些網(wǎng)站更新變化的頻率很低，比如個人網(wǎng)站，基層政府網(wǎng)站等中小型網(wǎng)站，這些網(wǎng)站可能好幾個月甚至一年都沒有多少內(nèi)容的更新。顯然，針對這類網(wǎng)站，頻繁地對其進行抓取只會造成人力物力資源的浪費，采用全面性收集策略中網(wǎng)絡爬蟲收集的方法就足夠了。而有一些大型網(wǎng)站更新變化的頻率則很高，比如新華網(wǎng)、人民網(wǎng)等網(wǎng)絡報紙，騰訊新聞、新浪新聞、百度新聞等新聞網(wǎng)頁，省級以上政府的門戶網(wǎng)站等等，這些網(wǎng)站的更新頻率大都為每天更新或幾天更新一次。針對這些網(wǎng)站則更適合采用選擇性收集策略，用較高頻率的收集來保證不遺漏一些更新的重要信息。

另外，如果有呈繳法的支持，則以網(wǎng)絡信息生產(chǎn)者呈繳為主，輔之以其他方法;如果著作權法沒有賦予保存機構對網(wǎng)絡信息資源保存的權力，則需要在選擇的基礎上和出版者協(xié)商;如果某些深層網(wǎng)絡信息資源不能被自動收集，就需要出版者將信息發(fā)送到保存機構;如果收集的信息質量低劣，則需要適當對其質量進行控制。對于重要網(wǎng)站用選擇性收集策略，對于一般網(wǎng)站用全面性收集策略。芬蘭同時采用推送和拉取兩種模式，對于公開的資源采取拉取模式，對于非公開的采用呈繳模式。澳大利亞國家圖書館的Web Archive項目采用選擇性收集策略，但也委托互聯(lián)網(wǎng)檔案館（Internet Archive）全面收集澳大利亞國內(nèi)的網(wǎng)絡信息。