日本國立國會圖書館網(wǎng)絡(luò)資源收集保存事業(yè)(WARP)及其啟示

， ，，，，

隨著信息技術(shù)和互聯(lián)網(wǎng)的迅速發(fā)展，人們已經(jīng)習(xí)慣并依賴通過網(wǎng)絡(luò)發(fā)布和獲取各類信息。但是網(wǎng)絡(luò)信息資源更新快、所依賴的載體不穩(wěn)定，其長期保存問題備受關(guān)注。20世紀(jì)90年代以來，以歐美為首的發(fā)達國家相繼開展了網(wǎng)絡(luò)信息資源保存項目，具有代表性的有英國國家圖書館的UK Web Archive項目、英國國家檔案館的UK Government Web Archive項目、美國國會圖書館(Library of Congress)的LC Web Archives 項目、澳大利亞國家圖書館(National Library of Australia)的PANDORA項目、新西蘭國家圖書館的Web Archive項目和瑞典的Kulturarw3項目及日本國立國會圖書館(National Diet Library，NDL)的WARP項目。

日本國立國會圖書館是日本最大的公共圖書館，肩負(fù)著保存日本文化財產(chǎn)的使命。網(wǎng)絡(luò)信息資源收集和保存實驗項目(Web Archiving Project，WARP)是NDL于2002年開始實施的網(wǎng)絡(luò)信息資源收集和保存項目。本文擬通過對WARP的基本情況、具體特點、特色保存項目及取得成效的分析及介紹，希望為我國信息資源收集與保存提供些許借鑒。

1 日本國立國會圖書館WARP的產(chǎn)生與進展

NDL于2002年開始實施網(wǎng)絡(luò)信息資源收集和保存實驗項目WARP，之后為實現(xiàn)更廣范圍的收集，開展了“關(guān)于日本網(wǎng)頁的收集、累積及保存方法的調(diào)查(2004年10月至2005年3月)”、“網(wǎng)絡(luò)信息收集保存相關(guān)制度的意見征集(2005年7月)”等多項調(diào)查，并就收集方法、收集對象等進行了多次研討。2009年7月10日，日本公布了修訂后的《國立國會圖書館法》，規(guī)定NDL可收集、保存國家等公共機構(gòu)的網(wǎng)站信息。伴隨著該法的實施，2010年4月1日，該項目正式更名為“網(wǎng)絡(luò)資源收集保存事業(yè)”。2012年7月NDL制定了《我們的使命·目標(biāo)2012～2016》計劃書，將“各類資料、信息的收集與保存”列為未來5年要實現(xiàn)的6個戰(zhàn)略性目標(biāo)之一。該目標(biāo)是繼“輔佐國會活動”之后的第二大目標(biāo)，進一步明確規(guī)定了要廣泛收集、保存各公共機構(gòu)的網(wǎng)站和收集這些網(wǎng)站提供的各類資源的任務(wù)。

2 WARP的工作機制

2.1 收集對象

《國立國會圖書館法》第24條規(guī)定，WARP的收集對象包括國家機關(guān)、都道府縣、政令指定的都∕市、市町村、市町村合并后的法定合并協(xié)議會、獨立行政法人及特殊法人等法人、機構(gòu)、大學(xué)、地方公共團體、地方公社等網(wǎng)站，各類活動的相關(guān)信息及電子期刊等。

2.2 收集過程

WARP的收集過程包括選定、收集、組織、保存、公開等環(huán)節(jié)(圖1)。隨著網(wǎng)絡(luò)信息資源不斷更新，WARP定期進行收集、組織和記錄各類信息資源的變化并進行長期保存，視情況提供利用。

圖1 WARP的收集過程

2.3 收集方法

WARP利用網(wǎng)絡(luò)機器人對網(wǎng)頁進行自動收集。機器人首先確定收集對象網(wǎng)站，設(shè)置起點網(wǎng)址URL。在收集該網(wǎng)頁html文件的同時，對文件內(nèi)的信息資源進行解析，然后收集文字、圖片、視頻、音頻等。

接著移動到該網(wǎng)頁鏈接的其他網(wǎng)頁，繼續(xù)重復(fù)相同的工作(圖2)。

圖2 WARP網(wǎng)絡(luò)機器人的網(wǎng)頁收集流程[1]

2.4 收集頻率

針對不同的收集對象，WARP的收集頻率具體如表1所示。

表1 WARP的收集頻率[1]

2.5 收集策略

NDL針對不同的情況采取了全面收集和選擇性收集兩種策略。首先，對于法律有明文規(guī)定、無須獲得所有權(quán)人許可即可收集的網(wǎng)站，采取全面收集策略，全面系統(tǒng)地獲取資源內(nèi)容；其次，對于需要取得所有權(quán)人許可才能收集的網(wǎng)站，則選定收集主題，進行選擇性的收集[2]。這樣既能全面系統(tǒng)地獲取公立網(wǎng)站的資源和盡可能多地獲取各個方面的資源，又能有重點地選擇其他機構(gòu)網(wǎng)站的資源和有針對性地獲取有價值的私有網(wǎng)站的信息資源。

3 WARP的特色保存項目

WARP自實施以來，產(chǎn)生了許多特色保存項目，以下4項最具代表性。

3.1 消失的市町村網(wǎng)頁

1999-2010年，被稱為“平成大合并”的市町村合并運動在日本全國大規(guī)模地興起。根據(jù)總務(wù)省的統(tǒng)計，市町村數(shù)量由3 232個減少到1 719個，約1 500個市町村網(wǎng)站在網(wǎng)絡(luò)上消失了。WARP將這些失效的網(wǎng)頁以及合并協(xié)議會網(wǎng)站，在取得發(fā)布者許可后保存下來，部分網(wǎng)頁依據(jù)著作權(quán)者的意向供讀者在館內(nèi)閱讀[3]。

3.2 網(wǎng)絡(luò)出版物

日本國內(nèi)的機關(guān)、自治體、大學(xué)等機構(gòu)的網(wǎng)站，發(fā)布了大量有價值的電子文件，包括白皮書、會議資料、報告書、年報、論文等。NDL從這些網(wǎng)站中選擇性收集白皮書、會議資料、報告書、年報、論文等出版物及著作并保存，添加題名及著作者信息等，方便用戶查找及閱讀。

3.3 都道府縣公報

都道府縣的公報除登載地方公共團體制定和頒布的條例及法規(guī)外，還發(fā)布相關(guān)的公告、告示等信息。通過NDL的WARP項目，用戶可以在網(wǎng)上瀏覽全國各地所有的都道府縣公報。

3.4 東日本大地震網(wǎng)頁存檔項目

2011年3月11日，日本東北部海域發(fā)生里氏9.0級地震并引發(fā)海嘯，造成重大人員傷亡和財產(chǎn)損失。4月1日，日本內(nèi)閣會議決定將此次地震稱為“東日本大地震”。WARP對東日本大地震的相關(guān)網(wǎng)頁進行重點收集與保存，并建立了存檔項目——“雛菊”。除了高頻率地收集震后國家機關(guān)、受災(zāi)地區(qū)自治體的網(wǎng)頁，還積極地收集與保存NPO(Non-profit organization)、NGO(Non-govern mental organization)、志愿者團體、各類學(xué)會及協(xié)會、企業(yè)等進行相關(guān)支援活動的機構(gòu)的網(wǎng)頁信息，包括數(shù)字化的文本、圖片、音頻、視頻等。

4 WARP所取得的成效

4.1 資源保存數(shù)量大、類型多、范圍廣

由表2和表3可以看出，WARP保存的網(wǎng)絡(luò)信息資源數(shù)量大、類型多，達到了《我們的使命·目標(biāo)2012～2016》計劃書中第二大目標(biāo)——“各類資料、信息的收集與保存”提出的廣泛收集、全面保存的目的[4]。僅2015年一年，WARP保存的文件數(shù)量就近40億。

WARP項目自2002年實施以來，收集的主題數(shù)量和數(shù)據(jù)量逐年遞增，已逐漸成為NDL數(shù)字資源長期保存及資源建設(shè)的重要組成部分，對全面保存國家文化財產(chǎn)及數(shù)字文化遺產(chǎn)發(fā)揮了不可替代的作用。

WARP用戶瀏覽量不斷增加，取得了良好反響。因為WARP保存的網(wǎng)絡(luò)信息資源，用戶可以通過瀏覽永久保存的歷史網(wǎng)頁，欣賞舊時網(wǎng)頁的風(fēng)采(如消失的市町村網(wǎng)頁等)；通過對事件的搜索，關(guān)注重大歷史事件，覽盡歷史的發(fā)展歷程，感受時代的進步(如國會網(wǎng)頁等)；還可通過關(guān)注網(wǎng)頁數(shù)據(jù)，研究深層聯(lián)系、進行數(shù)據(jù)分享、挖掘信息世界的潛在秘密(如各類學(xué)會及學(xué)會統(tǒng)計數(shù)據(jù)網(wǎng)頁等)。

表2 WARP收集的文件數(shù)量及數(shù)據(jù)量(2002-2015年)[5]

注：以網(wǎng)頁文件中具體包括的pdf、png等格式的文件數(shù)量計

表3 WARP保存的文件類型、數(shù)量及所占比例(2015年)[5]

4.2 資源保存針對性、專業(yè)性強

WARP的特色保存項目，如消失的市町村網(wǎng)頁、都道府縣公報及大地震網(wǎng)頁保存等，都是WARP針對性進行收集與保存的體現(xiàn)，同時也體現(xiàn)了其超強的專業(yè)性。日本是一個自然災(zāi)害多發(fā)的國家，NDL通過“東日本大地震”網(wǎng)頁存檔項目，不僅對此次地震、海嘯、核泄漏、復(fù)興重建、核電站事故等內(nèi)容進行了收集與保存，還對各類學(xué)術(shù)研究、防災(zāi)對策、災(zāi)害救援、志愿支持、自救互救等信息進行了保存與記錄[6]。通過對“東日本大地震”這類自然災(zāi)害原始記錄的收集、救災(zāi)過程及方法的記錄、災(zāi)后重建過程的保存，既可為專家、學(xué)者進行科學(xué)分析與學(xué)術(shù)考察提供豐富的資料，又可為今后的災(zāi)害救援提供專業(yè)性指導(dǎo)和后世及各國提供借鑒。

5 WARP的特點及啟示

5.1 積極進行技術(shù)開發(fā)

WARP項目的實施離不開技術(shù)支持，資源收集機器人(Heritrix)、全文搜索引擎(Solr)、文件保存格式(WARC)、瀏覽應(yīng)用(Wayback)等各項技術(shù)的開發(fā)與應(yīng)用，為WARP的順利實施提供了技術(shù)保障。

網(wǎng)絡(luò)信息資源管理人員要根據(jù)項目的實施情況，不斷研發(fā)技術(shù)、完善系統(tǒng)，改進網(wǎng)絡(luò)信息資源收集與保存的技術(shù)與環(huán)境，為項目的順利實施提供堅實的技術(shù)保障。在資源選擇及收集策略上，做到具體情況具體分析，根據(jù)不同網(wǎng)站采取不同策略，盡可能全面收集，確保網(wǎng)絡(luò)信息資源收集與保存的全面性和代表性。

5.2 加快推進立法工作

NDL在實施WARP項目的過程中，積極推進相關(guān)法律法規(guī)的頒布，為大規(guī)模收集和保存網(wǎng)絡(luò)信息提供了法律保障。如2009年日本修訂了《國立國會圖書館法》，2010年修訂了《著作權(quán)法》。《國立國會圖書館法》第二十五條第三款規(guī)定，為了達到協(xié)助國政審議的目的，NDL有權(quán)收集國家與地方公共團體等公有機構(gòu)發(fā)布在網(wǎng)站上的資料；《著作權(quán)法》第四十二條第四款規(guī)定，國會圖書館基于法律收集網(wǎng)絡(luò)信息資料，無須取得著作權(quán)人的許可[5]。新法的實施為NDL的WARP項目提供了明確的法律依據(jù)與保障。

由此可見，網(wǎng)絡(luò)信息資源的收集與保存離不開立法工作。很大一部分網(wǎng)絡(luò)信息屬于公共領(lǐng)域資源，但隨著版權(quán)、知識產(chǎn)權(quán)問題越來越受到重視，網(wǎng)絡(luò)信息也逐漸被納入知識產(chǎn)權(quán)的保護范圍。我國也應(yīng)強化這方面的立法工作，重視版權(quán)及知識產(chǎn)權(quán)問題，將版權(quán)法中的相關(guān)條文合理地利用到網(wǎng)絡(luò)信息資源收集與保護項目中。

5.3 完善健全呈繳本制度

《國立國會圖書館法》(1948年法律第5號)規(guī)定，凡是日本國內(nèi)發(fā)行的出版物，都有向國立國會圖書館呈繳的義務(wù)。繳送的出版物包括圖書、雜志、報紙、DVD、樂譜、地圖等。這些出版物是國民共有的文化財產(chǎn)，為現(xiàn)在及將來的讀者所有并將代代傳承。2008年，日本為紀(jì)念呈繳本制度實施60周年，規(guī)定每年的5月25日為“呈繳本日”。1949年、2000年和2004年，《國立國會圖書館法》在修訂時多次對呈繳本制度的對象、義務(wù)及相關(guān)規(guī)定進行補充，不斷完善健全呈繳本制度。此外，日本還設(shè)計了專門的“呈繳本制度普及標(biāo)志”，并設(shè)有專門的呈繳本制度審議會。審議會與NDL就網(wǎng)絡(luò)資源的保存、規(guī)定等定期召開會議進行研討，確保了網(wǎng)絡(luò)信息資源的收集與保存有法可依。

我國對傳統(tǒng)印刷出版物和實體電子出版物的呈繳都有相關(guān)的規(guī)定，但并沒有一部完整的呈繳法規(guī)，網(wǎng)絡(luò)信息呈繳的普及率也不是很高。為了更好地保護網(wǎng)絡(luò)信息資源，應(yīng)將其列入法定呈繳的行列，明確規(guī)定呈繳的范圍、數(shù)量、時間、方式等，使其得到相關(guān)的法律保障。

5.4 主動開展協(xié)同合作

網(wǎng)絡(luò)信息資源的收集與保存是一個復(fù)雜的過程，單靠一個機構(gòu)或部門是很難完成的。WARP主動借鑒其他國家網(wǎng)絡(luò)信息資源收集與保存的相關(guān)技術(shù)，與世界各國的國立圖書館、國會圖書館及圖書館相關(guān)機構(gòu)合作，進行信息共享、經(jīng)驗交流，積極推進電子信息時代與海外各國的協(xié)作。

我們要加強與國內(nèi)外各相關(guān)機構(gòu)的聯(lián)系，積極了解其做法與措施、學(xué)習(xí)先進經(jīng)驗，取長補短，探索出適合我國網(wǎng)絡(luò)信息資源收集與保存事業(yè)發(fā)展的技術(shù)與方法、適合中文互聯(lián)網(wǎng)的收集保存方案，為保留中華文明優(yōu)秀文化遺產(chǎn)做出貢獻。

6 結(jié)語

中國國家圖書館2003年著手進行網(wǎng)絡(luò)信息資源保存的試驗，啟動了網(wǎng)絡(luò)信息資源收集與保存實驗項目(Web Information Collection and Preservation，WICP)[7]。該項目以500家網(wǎng)站(政府網(wǎng)站、電子期刊網(wǎng)站、大學(xué)網(wǎng)站、企業(yè)網(wǎng)站及其他相關(guān)網(wǎng)站各100家)為收集對象，通過對網(wǎng)絡(luò)信息的發(fā)現(xiàn)、選擇、描述、分類、整合及編目，旨在探索適合中國國情的網(wǎng)絡(luò)信息收集與保存方法及路徑。該項目目前已經(jīng)保存了大量專題信息并在繼續(xù)完善[8]。此外，北京大學(xué)網(wǎng)絡(luò)實驗室在國家“973”和“985”項目的支持下，于2002年開發(fā)建設(shè)了中國網(wǎng)頁歷史信息存儲與展示系統(tǒng)“中國Web信息博物館”(Web of Infomall)[9]。目前已經(jīng)有90億以中文為主的網(wǎng)頁，但網(wǎng)頁信息只更新到2011年，在更新維護上與國外相比還有些差距。與日本相比，我國在網(wǎng)絡(luò)信息資源收集與長期保存研究方面，存在資源選擇不夠全面、更新維護速度較慢等問題，特別是在技術(shù)開發(fā)、立法工作及協(xié)同合作方面有一定差距。

NDL的WARP項目起步較歐美稍晚，但自該項目實施以來，在技術(shù)開發(fā)、資源選擇、立法工作、協(xié)同合作等方面認(rèn)真探索，立足本館實際、結(jié)合本國國情，逐漸形成具有本國、本館特色的網(wǎng)絡(luò)信息收集保存事業(yè)，在國內(nèi)外取得良好反響，也成為NDL網(wǎng)上在線服務(wù)的生力軍。借鑒日本國立國會圖書館WARP項目的經(jīng)驗，對我國發(fā)展網(wǎng)絡(luò)信息資源的收集保存事業(yè)具有重要的參考意義。