國家圖書館網(wǎng)絡(luò)資源采集與保存平臺的技術(shù)實現(xiàn)

趙丹陽

（國家圖書館，北京 100081）

1 國家圖書館網(wǎng)絡(luò)資源保存目標

網(wǎng)絡(luò)信息時代，數(shù)字信息逐漸成為人類文明記憶的載體。中國互聯(lián)網(wǎng)絡(luò)信息中心發(fā)布第45次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展狀況統(tǒng)計報告》[1]顯示，截至2019年12月，我國網(wǎng)站數(shù)量為497萬個，網(wǎng)頁數(shù)量2 978億個。然而，網(wǎng)絡(luò)信息更新快、易流失，要更好地傳承數(shù)字時代的文化、文明，及時、完整地保存網(wǎng)絡(luò)信息資源非常重要，這也是國家圖書館履行文獻保存與保護的職責所在。

1.1 保存項目開展歷程

作為國家公共文化服務(wù)體系的重要組成部分，國家圖書館一直重視網(wǎng)絡(luò)信息資源的保存與服務(wù)。最早于2003年開展的網(wǎng)絡(luò)信息資源采集與保存試驗項目（Web Information Collection and Preservation，WICP）[2]，開始實驗性地對中國境內(nèi)的互聯(lián)網(wǎng)資源進行采集與保存。2007年，國家圖書館正式加入并成為國際互聯(lián)網(wǎng)保存聯(lián)盟（International Internet Preservation Consortium，IIPC）成員單位。在聯(lián)盟框架下，國家圖書館廣泛地進行交流與合作，并基于國際通用的標準和技術(shù)體系，開展了國內(nèi)網(wǎng)絡(luò)資源保存，進而促進了該項工作的國際化和標準化進程。2009年成立了國家圖書館互聯(lián)網(wǎng)信息保存保護中心，致力于中國互聯(lián)網(wǎng)信息資源長期保存和保護；2012年開通網(wǎng)站服務(wù)，對采集到的互聯(lián)網(wǎng)資源進行組織與展示；2014年依托“網(wǎng)事典藏”項目，聯(lián)合全國公共圖書館共同開展互聯(lián)網(wǎng)資源的保存和服務(wù)；2018年研發(fā)并推廣部署網(wǎng)絡(luò)資源采集與保存平臺，實現(xiàn)互聯(lián)網(wǎng)資源高效和規(guī)范化地采集、編目、回放、發(fā)布和服務(wù)；截至2018年底，全國各級公共圖書館累計采集網(wǎng)站2.3萬余個，實現(xiàn)了涵蓋政府公開信息、國內(nèi)外重要網(wǎng)站網(wǎng)頁等互聯(lián)網(wǎng)資源的保存與保護。

1.2 網(wǎng)絡(luò)資源采集和保存策略

國家圖書館網(wǎng)絡(luò)資源采集模式分為全域采集[3]和專題性采集兩種。

全域采集也是整站采集，是以域名為單位對網(wǎng)站全部對象數(shù)據(jù)進行采集與保存。在采集網(wǎng)站與網(wǎng)絡(luò)信息的選取方面，人工介入與定量、定性的考量成為必不可少的要素。國家圖書館的網(wǎng)絡(luò)資源保存工作以保存中華數(shù)字記憶為主要職責，遴選具有重要保存價值的優(yōu)質(zhì)網(wǎng)絡(luò)文化資源進行采集。此外，在采集過程中充分考慮采集的延續(xù)性和采集后數(shù)據(jù)的有效利用。其中，政府網(wǎng)站是采集的主體，特別是在《政府信息公開條例》和數(shù)字圖書館推廣工程的推動和支持下，國家圖書館聯(lián)合全國各級公共圖書館，對我國黨政機關(guān)網(wǎng)站進行全面采集，政府級別涵蓋中央級、省部級、地市級、縣級、鄉(xiāng)鎮(zhèn)及以下等，其中國家圖書館負責中央級網(wǎng)站采集，各級公共圖書館負責采集各自區(qū)域及相對應(yīng)級別的政府網(wǎng)站。多年來，采集的資源為民眾查閱政府信息和學(xué)者研究提供了良好的資源保障，同時也記錄了中國政府機構(gòu)改革歷程，為國家決策提供參考。

專題性采集是指圍繞國家重要領(lǐng)域和社會熱點，對相關(guān)主題的網(wǎng)絡(luò)資源進行采集和保存，并提供給社會大眾更有深度、更有挖掘價值的整合性信息。采集的資源包括各網(wǎng)站的專題欄目、相關(guān)網(wǎng)頁及其他類型的網(wǎng)絡(luò)資源。網(wǎng)絡(luò)專題資源建設(shè)可以說是數(shù)字圖書館在新環(huán)境下提供資源服務(wù)的重要方式，不僅在于數(shù)字遺產(chǎn)的保存與傳承，還可以為社會提供數(shù)據(jù)整合后的知識服務(wù)。國家圖書館目前每年會建設(shè)60個左右的專題資源庫，并構(gòu)建若干重點專題，通過資源聚類、可視化、關(guān)聯(lián)分析等技術(shù)創(chuàng)新服務(wù)模式，提升服務(wù)體驗效果。

截至2018年底，國家圖書館已采集政府網(wǎng)站超過2萬個/次，國內(nèi)網(wǎng)站2 319個/次，國外網(wǎng)站5 583個/次，專題超過276個，數(shù)據(jù)量總計超過210TB。網(wǎng)絡(luò)資源已成為圖書館數(shù)字資源建設(shè)的重要組成部分，為政府決策、科學(xué)研究和滿足民眾信息需求提供重要支持。

2 國家圖書館網(wǎng)絡(luò)資源保存體系

為了應(yīng)對海量網(wǎng)絡(luò)資源的采集與保存挑戰(zhàn)，國家圖書館已經(jīng)初步形成較為完整的網(wǎng)絡(luò)資源保存體系和有效服務(wù)機制，通過標準規(guī)范、技術(shù)應(yīng)用、平臺建設(shè)、數(shù)據(jù)挖掘和分析，以及用戶服務(wù)體驗、分工合作等方式，實現(xiàn)網(wǎng)絡(luò)資源保存工作的長期、科學(xué)、可持續(xù)發(fā)展。

2.1 制定網(wǎng)絡(luò)采集元數(shù)據(jù)規(guī)范，加強資源整合與揭示力度

網(wǎng)絡(luò)資源在分類、結(jié)構(gòu)以及表現(xiàn)形式、數(shù)據(jù)特點等方面與傳統(tǒng)的數(shù)字資源相比，有很多獨特的性質(zhì)。當完成大規(guī)模的資源采集和歸檔后，要用客觀性、完整性、統(tǒng)一性的規(guī)范化語言進行描述，進而才能為進一步的長期保存、有效揭示以及深度的數(shù)據(jù)挖掘奠定基礎(chǔ)。國家圖書館在研究現(xiàn)有數(shù)字資源元數(shù)據(jù)規(guī)范的基礎(chǔ)上，結(jié)合網(wǎng)絡(luò)資源的數(shù)據(jù)特點和傳播特點，建立了一套較為完善的網(wǎng)絡(luò)資源元數(shù)據(jù)著錄規(guī)范，實現(xiàn)對國內(nèi)外網(wǎng)站資源、網(wǎng)絡(luò)專題資源等規(guī)范化著錄。同時，為促進網(wǎng)絡(luò)資源聯(lián)建與共享，制定了“數(shù)字圖書館推廣工程”網(wǎng)絡(luò)資源元數(shù)據(jù)規(guī)范，并成為各地方館資源建設(shè)的參考標準。

中國政府公開信息整合服務(wù)平臺，是國家圖書館聯(lián)合全國各級公共圖書館共同建設(shè)的。目前已經(jīng)230余家公共圖書館參與到項目建設(shè)之中，所有參與館采用統(tǒng)一的元數(shù)據(jù)標準和規(guī)范，各自采集整合本行政區(qū)的政府公開信息，通過“分層建設(shè)、共建共享”模式，將采集到的網(wǎng)絡(luò)資源有序整合與統(tǒng)一發(fā)布服務(wù)，實現(xiàn)公共圖書館對政府公開信息的收集、整理、保存并服務(wù)于公眾。

2.2 基于數(shù)字圖書館推廣工程，聯(lián)合全國公共圖書館開展保存業(yè)務(wù)

作為國家公共文化服務(wù)體系的重要組成部分，國家圖書館重視并積極推動中國網(wǎng)絡(luò)資源保存與服務(wù)的知識普及、能力提升、業(yè)務(wù)推廣。從2014年開始，依托國家“數(shù)字圖書館推廣工程”，國家圖書館聯(lián)合全國各地市級圖書館，基于“統(tǒng)一調(diào)度、分工采集、集中索引、分散保存”模式，逐步構(gòu)建了覆蓋全國的分級分布的網(wǎng)絡(luò)信息保存體系。

在網(wǎng)絡(luò)資源保存體系中，創(chuàng)立了“網(wǎng)事典藏”項目，廣泛號召各個圖書館參與到該項工作中。在“網(wǎng)事典藏”項目中，參與圖書館采集并保存反映當?shù)卣?、?jīng)濟、文化發(fā)展的重要網(wǎng)站和熱點專題資源。其中網(wǎng)站采集主要以當?shù)厝嗣裾跋聦贆C構(gòu)網(wǎng)站為主，整站采集；專題資源采集圍繞當?shù)刂卮笪幕录?、地方民風民俗、地方文化保護等主題，采集本地區(qū)完整的、延續(xù)性較好的重點專題的網(wǎng)絡(luò)資源，采集對象為網(wǎng)站專題頻道和網(wǎng)頁。參與該項目的圖書館逐年遞增，2014年首都圖書館、湖北省圖書館、浙江圖書館、吉林圖書館以及新疆建設(shè)兵團圖書館5家省級公共圖書館成為首批聯(lián)建成員。2015年有78家省市級圖書館積極申報網(wǎng)絡(luò)信息保存工作，此后逐年遞增，到2018年申報的圖書館數(shù)量已經(jīng)達到115家。

2.3 建設(shè)分布式云存儲管理平臺，實現(xiàn)多機構(gòu)業(yè)務(wù)協(xié)同發(fā)展

國家圖書館的網(wǎng)絡(luò)資源保存業(yè)務(wù)從2005年開始基于開源軟件Heritrix[4-5]進行采集、編目和保存。基于網(wǎng)絡(luò)資源的增多、業(yè)務(wù)效率的提升以及存儲空間的有效利用等因素，國家圖書館在網(wǎng)絡(luò)資源采集與保存的工作中，一直跟蹤業(yè)界技術(shù)發(fā)展，尤其關(guān)注存儲技術(shù)、分布式結(jié)構(gòu)以及云服務(wù)架構(gòu)，在業(yè)務(wù)實踐中通過不斷自行開發(fā)軟件程序?qū)崿F(xiàn)網(wǎng)絡(luò)資源采集與保存平臺的功能改進。隨著全國范圍內(nèi)多個圖書館參與到網(wǎng)絡(luò)資源保存工作中，更加需要一個規(guī)范性、開放性、共享性的軟件平臺，用以適應(yīng)不同基礎(chǔ)硬件環(huán)境的圖書館網(wǎng)絡(luò)采集業(yè)務(wù)需求，并可以支撐多個圖書館基于同一軟件平臺共同開展網(wǎng)絡(luò)資源采集和保存工作，共同促進中國的網(wǎng)絡(luò)資源保存事業(yè)的發(fā)展。

國家圖書館基于近十年的軟件開發(fā)基礎(chǔ)和平臺功能改善積累，在2018年研發(fā)出一套分布式云存儲架構(gòu)的網(wǎng)絡(luò)資源采集與保存平臺。該平臺基于開源軟件Heritrix進行定制開發(fā)，通過模塊化和流程化，實現(xiàn)網(wǎng)絡(luò)資源采集和保存全流程業(yè)務(wù)的規(guī)范化管理和可視化操作，提升了工作效率。平臺采集的資源以國際通用標準WARC[6]格式存儲在分布式文件系統(tǒng)中，經(jīng)質(zhì)檢合格后的數(shù)據(jù)即可作為發(fā)布級數(shù)據(jù)用于網(wǎng)站前端展示。同時，質(zhì)檢合格的所有WARC數(shù)據(jù)經(jīng)過封裝后提交國家圖書館長期保存系統(tǒng)進行長期保存。平臺的數(shù)據(jù)處理能力能支持至少100萬條元數(shù)據(jù)數(shù)據(jù)的管理和使用。根據(jù)實際業(yè)務(wù)需要，平臺共設(shè)計有8個功能區(qū)，即采集、編目、回放、內(nèi)容管理與發(fā)布、數(shù)據(jù)保存、統(tǒng)計、用戶管理、維護備份，每個功能區(qū)采用模塊化設(shè)計，便于進一步的擴展和改進，也可實現(xiàn)模塊化輕量級部署和服務(wù)。

網(wǎng)絡(luò)資源采集與保存平臺采用了分布式云架構(gòu)，可以實現(xiàn)國家圖書館與多個圖書館（機構(gòu)）共同開展網(wǎng)絡(luò)采集業(yè)務(wù)。網(wǎng)絡(luò)資源采集與保存平臺的中心節(jié)點部署在國家圖書館，由國家圖書館進行統(tǒng)一操作和管理。其他圖書館作為并行節(jié)點，可以按照自身的業(yè)務(wù)需求，以定制化的方式安裝業(yè)務(wù)需要的功能模塊。在云架構(gòu)下的每個圖書館，可以依靠本地所有的服務(wù)器設(shè)備和網(wǎng)絡(luò)進行資源采集，并實現(xiàn)本地存儲；也可以統(tǒng)一使用平臺中心節(jié)點所包含的服務(wù)器設(shè)備和網(wǎng)絡(luò)進行資源采集，并實現(xiàn)中心節(jié)點統(tǒng)一存儲。云架構(gòu)下的所有采集節(jié)點采集到的網(wǎng)絡(luò)資源元數(shù)據(jù)集中存儲于中心節(jié)點上，進而實現(xiàn)多機構(gòu)網(wǎng)絡(luò)采集數(shù)據(jù)的集中管理和使用。

網(wǎng)絡(luò)資源采集與保存平臺有較為完善的用戶和權(quán)限控制機制，既做到分工明確，又可以確保平臺上各個圖書館自有的資源和操作不受干擾。位于國家圖書館的平臺中心，統(tǒng)一管理全國各個節(jié)點的網(wǎng)絡(luò)信息保存任務(wù)，同時也是所有圖書館節(jié)點的信息聚合點，平臺中心可實時了解各個時間段、各個節(jié)點網(wǎng)絡(luò)信息保存任務(wù)的進行情況，對信息保存相關(guān)業(yè)務(wù)進行調(diào)度與管理。

3 國家圖書館網(wǎng)絡(luò)資源采集與保存平臺構(gòu)建思路

國家圖書館根據(jù)自有的網(wǎng)絡(luò)資源采集和保存的業(yè)務(wù)特點及業(yè)務(wù)管理需求，同時考慮到面向全國多機構(gòu)共同開展業(yè)務(wù)，設(shè)計了網(wǎng)絡(luò)資源采集與保存平臺的系統(tǒng)架構(gòu)及功能，使其具有自動化、分布式、云管理的個性化特點。

3.1 業(yè)務(wù)流程管理要自動化、流程化和模塊化

以往在IIPC框架下實現(xiàn)的網(wǎng)絡(luò)資源采集和保存的整個業(yè)務(wù)流程，類似于種子鏈接的部署、采集結(jié)果的匯總、索引文件的建立以及發(fā)布鏈接的質(zhì)檢等操作，均需要業(yè)務(wù)人員手工進行操作和干預(yù)，并且這類工作經(jīng)常需要重復(fù)操作。隨著業(yè)務(wù)的持續(xù)發(fā)展，在各個業(yè)務(wù)環(huán)節(jié)中產(chǎn)生及需要處理的數(shù)據(jù)量大幅增長，手工操作已經(jīng)無法滿足業(yè)務(wù)發(fā)展的需求。此外，由于全國不同圖書館的業(yè)務(wù)人員的計算機知識水平不等，在進行網(wǎng)絡(luò)資源采集和保存的工作中存在很大的困難，嚴重阻礙各地圖書館的網(wǎng)絡(luò)資源采集和保存業(yè)務(wù)的推進和發(fā)展。

新構(gòu)建的平臺要以用戶為中心，降低業(yè)務(wù)操作難度，規(guī)范業(yè)務(wù)流程，提高業(yè)務(wù)工作效率；此外，還要通過模塊化的形式，使得網(wǎng)絡(luò)資源采集和保存的完整流程切分成多個合理的、彼此有關(guān)聯(lián)、個體相對獨立的業(yè)務(wù)模塊。平臺具有可視化的操作界面，讓不具備深入的網(wǎng)絡(luò)資源采集或計算機知識的業(yè)務(wù)人員也可以操作和完成工作，進而讓更多的圖書館加入到網(wǎng)絡(luò)資源采集與保存的業(yè)務(wù)中，以共同實現(xiàn)網(wǎng)絡(luò)資源的及時保存和有效服務(wù)。

3.2 采集硬件架構(gòu)要高可用、高效率和可擴展

以往的網(wǎng)絡(luò)資源采集與保存業(yè)務(wù)，使用多臺服務(wù)器，每臺服務(wù)器部署一個Heritrix實例，由這臺服務(wù)器單獨運行Heritrix的采集進程，完成指定采集任務(wù)。這種模式依靠服務(wù)器的處理性能以及運行的Heritrix實例數(shù)量來決定采集的效率和采集的頻度。當承擔不同的采集任務(wù)時，服務(wù)器的工作負荷會有較大區(qū)別；采集網(wǎng)絡(luò)資源需要的網(wǎng)絡(luò)帶寬負荷、存儲空間負荷均會有較大區(qū)別。經(jīng)過一段時間的監(jiān)控，發(fā)現(xiàn)在實際網(wǎng)絡(luò)資源采集業(yè)務(wù)中，會出現(xiàn)部分服務(wù)器內(nèi)存、CPU等占用較滿，網(wǎng)絡(luò)帶寬占用較多，而與此同時，還有一些服務(wù)器處于閑置狀態(tài)。這種模式不能充分利用所有硬件資源，對網(wǎng)絡(luò)帶寬、存儲空間利用均有或多或少的資源浪費。

新構(gòu)建的平臺要適應(yīng)國家圖書館及全國多個圖書館共同進行網(wǎng)絡(luò)資源采集的業(yè)務(wù)模式，因此要整合所有服務(wù)器的資源，根據(jù)采集業(yè)務(wù)的實際情況動態(tài)調(diào)整服務(wù)器配置和采集業(yè)務(wù)的任務(wù)，進而支持持續(xù)性、不間斷、大數(shù)據(jù)量、多機構(gòu)的網(wǎng)絡(luò)資源采集和保存業(yè)務(wù)；同時，還要較大程度地發(fā)揮服務(wù)器集群的整體性能，以虛擬化和分布式的模式整體調(diào)配服務(wù)器硬件、網(wǎng)絡(luò)及存儲資源，讓其為網(wǎng)絡(luò)資源采集和保存發(fā)揮最大的效能。

3.3 存儲模式要分布式、可共享和可擴展

在以往的網(wǎng)絡(luò)資源采集業(yè)務(wù)流程中，以網(wǎng)絡(luò)資源采集任務(wù)為保存目標，將其保存為warc格式的文件，并壓縮處理成為gz格式進行最終的保存，所有采集到的資源保存于存域網(wǎng)的在線存儲空間中。這種存儲模式，不但限制了Heritrix軟件對于網(wǎng)絡(luò)資源在單次采集中的最大抓取數(shù)量，而且會產(chǎn)生存儲空間的失衡。因為在Heritrix實例運行過程中，其所在服務(wù)器連接的存域網(wǎng)空間是獨享給該服務(wù)器使用的，當Heritrix實例采集的網(wǎng)絡(luò)資源容量接近或者超出其服務(wù)器所支配的存儲空間容量時，Heritrix軟件的采集進程會受到影響甚至中斷。此外，由于單臺服務(wù)器的存儲模式是獨享其連接的存域網(wǎng)空間，不支持服務(wù)器虛擬化以及Heritrix多線程的虛擬化采集模式，不能為虛擬化后的分布式集群提供存儲服務(wù)。

新構(gòu)建的平臺所采用的存儲模式要適應(yīng)虛擬化和分布式的硬件架構(gòu)，形成可以共享的云存儲池為國家圖書館以及平臺上的其他機構(gòu)提供可靠的數(shù)據(jù)存儲服務(wù)；此外，云存儲池可以實現(xiàn)根據(jù)業(yè)務(wù)需求，擴充存儲空間、調(diào)度存儲分配策略等，進而實現(xiàn)對采集業(yè)務(wù)的有效支撐。

4 國家圖書館網(wǎng)絡(luò)資源采集與保存平臺技術(shù)路線

網(wǎng)絡(luò)采集與保存平臺需最大化地提高原采集方式的自動化程度，且需持續(xù)性地進行海量的網(wǎng)絡(luò)資源的采集、保存和服務(wù)。因此，基于平臺要建設(shè)的分布式硬件架構(gòu)、集群化批量采集模式以及共享式的存儲空間管理，平臺采用IIPC的Heritrix（采集）、Wayback[7]（索引）和回放服務(wù)的基本采集流程框架（見圖1），保障網(wǎng)絡(luò)資源采集和保存的整體流程完整和規(guī)范；此外，在基礎(chǔ)框架上進行了多個個性化功能的改造和研發(fā)，充分發(fā)揮了開源工具的優(yōu)勢。

為了有效、統(tǒng)一管理整個網(wǎng)絡(luò)采集與保存平臺，在基礎(chǔ)框架之上研發(fā)了一個B/S模式的管理端，不但可以實現(xiàn)本地采集任務(wù)的分發(fā)配置、采集資源的自動調(diào)度等管理，還可以實現(xiàn)平臺上不同機構(gòu)的采集任務(wù)的監(jiān)控和管理。在擴展采集服務(wù)器的同時，使用虛擬化技術(shù)，形成服務(wù)器集群，并且部署多個Heritrix采集節(jié)點，運用Heritrix多線程的采集特點，形成大規(guī)模的、分布式采集結(jié)構(gòu)；優(yōu)化管理平臺程序，調(diào)用Heritrix接口，實現(xiàn)批量采集任務(wù)的部署。摒棄以往直連式、獨享式存儲空間管理模式，采用GlusterFS分布式文件系統(tǒng)，作為Heritrix采集結(jié)果的統(tǒng)一組織和存儲容器。采用Openwayback和NutchWAX[8]組件，對分布式文件系統(tǒng)中保存的采集數(shù)據(jù)進行URL索引和全文索引，解決以往傳統(tǒng)架構(gòu)中需要人工參與索引操作的問題。

5 國家圖書館網(wǎng)絡(luò)資源采集與保存平臺關(guān)鍵技術(shù)

網(wǎng)絡(luò)采集與保存平臺整體架構(gòu)為分層、分級的云架構(gòu)（見圖2），對于普通用戶來說，可以通過互聯(lián)網(wǎng)發(fā)布平臺來獲取本平臺的資源服務(wù)；對于業(yè)務(wù)人員來說，可以通過管理平臺來控制和管理網(wǎng)絡(luò)資源的采集和保存全流程?；ヂ?lián)網(wǎng)發(fā)布平臺與管理平臺之間通過標準接口來實現(xiàn)數(shù)據(jù)和需求的互通，彼此之間都是透明的。管理平臺完整地管理接入到本平臺上所有機構(gòu)的網(wǎng)絡(luò)資源采集與保存的全流程，基于分步式云存儲架構(gòu)實現(xiàn)了分層分級式資源共享和集成管理。

圖1 基于IIPC工具的采集存檔流程框架

圖2 網(wǎng)絡(luò)資源采集與保存平臺整體架構(gòu)

5.1 分布式采集和存儲的技術(shù)實現(xiàn)

（1）統(tǒng)一調(diào)度的實現(xiàn)。網(wǎng)絡(luò)采集與保存平臺的“管理平臺”部署在一臺主服務(wù)器上，采集節(jié)點部署在多臺服務(wù)器上。管理平臺與采集服務(wù)器節(jié)點之間建立通信反饋，對采集節(jié)點及其節(jié)點上的多個采集線程之間的采集任務(wù)進行統(tǒng)一配置和調(diào)度，并負責所有部署完成的待采集任務(wù)組成的任務(wù)隊列的調(diào)度管理，分配采集節(jié)點的空閑資源，調(diào)度待采集任務(wù)進行爬蟲和抓取操作。

（2）分布式采集的實現(xiàn)。網(wǎng)絡(luò)采集與保存平臺采用分布式存儲架構(gòu)，可平行擴展增加多臺物理服務(wù)器，每臺物理服務(wù)器進行虛擬劃分部署作為Heritrix采集節(jié)點，利用Heritrix多線程的特點，一個或者多個采集URL在多個線程中并行運行，進而提升采集的效率，充分利用采集服務(wù)器的性能。為了保障分布式采集的高效和統(tǒng)一，平臺還要監(jiān)控所有采集任務(wù)的執(zhí)行情況，平衡每個采集節(jié)點網(wǎng)絡(luò)及硬件資源效率；針對部署的任務(wù)隊列采集和完成情況，調(diào)度Heritrix開展任務(wù)的抓取。

（3）分布式存儲和服務(wù)的實現(xiàn)。為了實現(xiàn)分布式采集多個節(jié)點的采集數(shù)據(jù)統(tǒng)一歸檔、有效索引，平臺采用高可用性、高性能、擴展性強以及對硬件性能要求低的GlusterFS分布式文件系統(tǒng)[9]實現(xiàn)數(shù)據(jù)的存儲管理。

平臺在GlusterFS分布式技術(shù)的應(yīng)用上，摒棄了元數(shù)據(jù)服務(wù)器，消除整個系統(tǒng)的單點故障，提高對數(shù)據(jù)的并行存取速度。引用mysql作為數(shù)據(jù)庫服務(wù)，存儲平臺相關(guān)的元數(shù)據(jù)，通過OMP在精度要求相同的情況下，加快算法的收斂速度。采用彈性HASH算法，數(shù)據(jù)分布存儲在每個文件中，每個存儲節(jié)點均有相同的目錄結(jié)構(gòu)，每個節(jié)點存儲的數(shù)據(jù)HASH值為66635/節(jié)點數(shù)，第一個節(jié)點為0-65535/節(jié)點數(shù)，第二個節(jié)點為65535/節(jié)點數(shù)-2*65535/節(jié)點數(shù)，以此類推，這種散列分布算法解決了單點故障的問題。存儲系統(tǒng)橫向擴展、節(jié)點增加時，重新計算節(jié)點的HASH值，可以將所有數(shù)據(jù)平衡到各存儲節(jié)點，實現(xiàn)節(jié)點的負載均衡隨機可控，提高系統(tǒng)的吞吐量。

平臺的采集節(jié)點通過InfiniBand和部署GlusterFS分布式文件系統(tǒng)的存儲服務(wù)器進行通信和數(shù)據(jù)傳輸，抓取到的采集數(shù)據(jù)以warc格式進行存儲。采集任務(wù)結(jié)束后，采集節(jié)點將warc格式數(shù)據(jù)轉(zhuǎn)移至GlusterFS分布式文件系統(tǒng)中，運用其全局統(tǒng)一的命名空間管理[10]將數(shù)據(jù)資源統(tǒng)一放在GlusterFS集群虛擬存儲池中，做統(tǒng)一的組織和存儲。利用服務(wù)器磁盤中的多個Brick（GlusterFS的基本存儲單元），形成存儲卷后掛載到GlusterFS客戶端，通過掛載點來共享所有的采集存檔數(shù)據(jù)，并在平臺前端顯示存儲的路徑。部署的Wayback和NutchWAX組件會對存檔數(shù)據(jù)進行URL索引和全文索引，并進行后續(xù)的發(fā)布服務(wù)。

5.2 分層分級式資源共享和集成管理的技術(shù)實現(xiàn)

網(wǎng)絡(luò)采集與保存平臺將國家圖書館設(shè)為平臺的中心節(jié)點。中心節(jié)點作為管理者，統(tǒng)一管理國家圖書館以及連接到平臺下的所有機構(gòu)的網(wǎng)絡(luò)采集任務(wù)，同時也是所有節(jié)點的信息聚合點，中心平臺可實時了解各個時間段、各個節(jié)點網(wǎng)絡(luò)信息采集任務(wù)的進展情況，對網(wǎng)絡(luò)資源保存相關(guān)業(yè)務(wù)進行管理與調(diào)整。平臺完整的硬件架構(gòu)及軟件系統(tǒng)均部署在國家圖書館，其他圖書館根據(jù)自身的業(yè)務(wù)需求可以模塊化地部署自己需要的業(yè)務(wù)模塊。在云架構(gòu)的統(tǒng)一管理下，所有圖書館（機構(gòu)）的硬件資源共同構(gòu)成了網(wǎng)絡(luò)資源采集與保存平臺的硬件環(huán)境。在整體架構(gòu)下的每個圖書館都可以利用自己本地的服務(wù)器、網(wǎng)絡(luò)和存儲空間完成網(wǎng)絡(luò)資源的采集和保存，不同圖書館之間不會互相干擾。平臺架構(gòu)下的所有圖書館采集到的網(wǎng)絡(luò)資源的元數(shù)據(jù)，全部同步和集中到中心節(jié)點的數(shù)據(jù)庫中，進而實現(xiàn)元集中的管理模式和服務(wù)模式。

6 國家圖書館網(wǎng)絡(luò)資源采集與保存平臺運行效果

網(wǎng)絡(luò)資源采集與保存平臺已在國家圖書館和3家省級圖書館投入使用數(shù)月，服務(wù)平臺訪問首頁見圖3。截至2019年2月，已采集數(shù)據(jù)總量4.2TB（壓縮），URL總數(shù)11 150個，整站采集總數(shù)為32個，平均采集速度23.75KB/s。目前平臺運行效果良好，中心節(jié)點和機構(gòu)節(jié)點用戶均可通過登錄瀏覽器客戶端實現(xiàn)網(wǎng)絡(luò)資源高效和規(guī)范化的采集、編目、回放、發(fā)布和服務(wù)、數(shù)據(jù)保存等工作流程，大幅提高了工作自動化程度，在采集任務(wù)的批量部署自動分發(fā)、采集節(jié)點任務(wù)調(diào)度等方面極大地節(jié)省了人力成本。同時，基于系統(tǒng)架構(gòu)的可擴展性，平臺中心節(jié)點已經(jīng)實現(xiàn)由3臺物理服務(wù)器擴展為7臺，21臺虛擬機的百余個采集節(jié)點，實現(xiàn)分布式采集的同時確保了平臺的穩(wěn)定高效運行，系統(tǒng)擴展性得到充分驗證。

7 結(jié)語

國家圖書館互聯(lián)網(wǎng)信息保存保護中心多年來一直致力于網(wǎng)絡(luò)存檔相關(guān)領(lǐng)域的研究，積極探索相關(guān)技術(shù)、政策、發(fā)展趨勢等，自主研發(fā)的網(wǎng)絡(luò)資源采集與保存平臺的平穩(wěn)運行，為建設(shè)國家范圍、多機構(gòu)、分級分步的網(wǎng)絡(luò)資源采集與保存奠定了基礎(chǔ)。未來，國家圖書館還將不斷地擴大網(wǎng)絡(luò)存檔規(guī)模、加強技術(shù)研發(fā)和創(chuàng)新、探索數(shù)據(jù)保存和分析的新模式，以期待滿足業(yè)務(wù)和用戶需求的不斷改變。

圖3 服務(wù)平臺訪問首頁展示