數(shù)據(jù)長(zhǎng)期保存引入SOA

文/曾婷 董麗

數(shù)據(jù)長(zhǎng)期保存引入SOA

文/曾婷 董麗

DAITSS應(yīng)需而生

隨著數(shù)字資源的急速增長(zhǎng)，如何保證資源的長(zhǎng)期可用性和永久可讀取性，成為一個(gè)非常嚴(yán)峻的問(wèn)題。

數(shù)字資源長(zhǎng)期保存(Digital Preservation，DP)是指為了長(zhǎng)期保存足夠的字節(jié)流（包括元數(shù)據(jù)），以再現(xiàn)對(duì)應(yīng)的原始文件所需采取的措施，以及為了隨著時(shí)間和技術(shù)的變化繼續(xù)存取文檔所采取的行動(dòng)。數(shù)字資源長(zhǎng)期保存的概念在上世紀(jì)80年代末提出以后，于90年代開(kāi)始得到正式的研究。

隨著數(shù)字資源長(zhǎng)期保存的不斷發(fā)展，出現(xiàn)了若干可用來(lái)構(gòu)建數(shù)字資源長(zhǎng)期保存系統(tǒng)的開(kāi)源倉(cāng)儲(chǔ)軟件，如Fedora、DSpace、Lockss、aDORe、DAITSS等。DAITSS（Dark Archive In The Sunshine State）是由佛羅里達(dá)圖書(shū)館自動(dòng)化中心（Florida Center for Library Automation，F(xiàn)CLA）為佛羅里達(dá)數(shù)字保存系統(tǒng)所開(kāi)發(fā)的一個(gè)數(shù)字保存?zhèn)}儲(chǔ)軟件。在2006年底，人們以GNU GPL許可證方式作為開(kāi)源軟件發(fā)布了第一版。目前可下載的最新版本是2007年底發(fā)布的DAITSS 1.2. 6版本。

DAITSS與其他保存系統(tǒng)的最大區(qū)別在于：該系統(tǒng)的設(shè)計(jì)目標(biāo)是作為數(shù)字圖書(shū)館和機(jī)構(gòu)倉(cāng)儲(chǔ)的后臺(tái)系統(tǒng)，僅提供倉(cāng)儲(chǔ)保存功能，不支持外部用戶的直接訪問(wèn)，需要與其他訪問(wèn)系統(tǒng)聯(lián)合為用戶提供檢索訪問(wèn)服務(wù)。DAITSS專注于保存功能的特點(diǎn)非常適于各機(jī)構(gòu)構(gòu)建一個(gè)基于已有資源環(huán)境的保存系統(tǒng)，避免了與其他系統(tǒng)在功能上的重復(fù)。

基于OAIS的DAITSS 1.x

DAITSS基于OAIS(Open Archival Information System)參考模型，執(zhí)行動(dòng)態(tài)的保存策略，包括遷移、標(biāo)準(zhǔn)化和本地化。

OAIS參考模型

OAIS參考模型是一個(gè)全面分析數(shù)字資源長(zhǎng)期保存活動(dòng)，并規(guī)定其概念、術(shù)語(yǔ)和功能結(jié)構(gòu)的總體框架。

OAIS是由美國(guó)空間數(shù)字系統(tǒng)咨詢委員會(huì)(Consultative Committee for Space Data Systems，CCSDS)制定的國(guó)際存檔標(biāo)準(zhǔn)，于2003年正式發(fā)布。其功能模型如圖1所示。附加功能

DAITSS在遵循開(kāi)放存檔信息系統(tǒng)OAIS參考模型的基礎(chǔ)上實(shí)現(xiàn)了預(yù)處理、攝入、檔案存儲(chǔ)、數(shù)據(jù)管理、管理、分發(fā)、撤銷的功能，其中預(yù)處理和撤銷是附加功能。下文對(duì)這兩個(gè)附加功能簡(jiǎn)要介紹。

1.預(yù)處理功能

由于DAITSS系統(tǒng)采用統(tǒng)一的SIP（提交信息包）進(jìn)行攝取，因此預(yù)處理功能要對(duì)附屬機(jī)構(gòu)提交的SIP進(jìn)行相應(yīng)的預(yù)處理，保證進(jìn)入系統(tǒng)攝取模塊SIP的有效性；如果不需要對(duì)SIP進(jìn)行進(jìn)一步的檢查或改變，也可跳過(guò)預(yù)處理步驟。人們根據(jù)實(shí)際情況，當(dāng)運(yùn)行DAITSS的保存系統(tǒng)時(shí)，通過(guò)本地化的方法對(duì)SIP進(jìn)行編輯、規(guī)范化等處理。

2.撤銷功能

DAITSS的撤銷功能是OAIS模型所沒(méi)有的，在客戶要求刪除倉(cāng)儲(chǔ)內(nèi)容的情況下使用撤銷功能，可用于修正錯(cuò)誤（當(dāng)攝入的SIP有錯(cuò)誤時(shí)）、移除被格式轉(zhuǎn)換所代替的版本。

撤銷功能包括撤銷請(qǐng)求的認(rèn)證（外部請(qǐng)求或內(nèi)容請(qǐng)求）、文件刪除、元數(shù)據(jù)修改。撤銷操作移除完整的AIP，清除與數(shù)據(jù)文件相關(guān)的所有元數(shù)據(jù)，只保留與知識(shí)實(shí)體有關(guān)的元數(shù)據(jù)信息。該操作作為一個(gè)事件被記錄到數(shù)據(jù)庫(kù)中，并給用戶和保存系統(tǒng)發(fā)送撤銷報(bào)告。

DAITSS 1.x向2過(guò)渡

在圖書(shū)館和博物館服務(wù)機(jī)構(gòu)（IMLS）的支持下，佛羅里達(dá)圖書(shū)館自動(dòng)化中心基于DAITSS開(kāi)發(fā)了FDA系統(tǒng)。FDA采用MySQL作為關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)，以IBM的Tivoli進(jìn)行存儲(chǔ)、管理文件系統(tǒng)中的三個(gè)AIP存檔備份。存檔文件的保存層次由FCLA附屬圖書(shū)館指定。FDA采取FCLA與附屬保存機(jī)構(gòu)簽訂協(xié)議的方式明確在資源保存中的職責(zé)和權(quán)利。FDA管理存儲(chǔ)資源，保證資源可獲取；附屬保存機(jī)構(gòu)選擇哪些資源予以保存，并在遵守版權(quán)規(guī)定的前提下管理保存元數(shù)據(jù)，授權(quán)予FCLA進(jìn)行復(fù)制、呈現(xiàn)、建立衍生文件。FDA只能保存經(jīng)授權(quán)的資源，極大地簡(jiǎn)化了倉(cāng)儲(chǔ)管理的角色和DAITSS軟件的設(shè)計(jì)應(yīng)用。

與Fedora、DSpace、Lockss等用于數(shù)字資源長(zhǎng)期保存的開(kāi)源倉(cāng)儲(chǔ)軟件相比，DAITSS還處于應(yīng)用發(fā)展的初始階段，還沒(méi)有形成用戶群體和開(kāi)發(fā)群體。這一方面是因?yàn)镈AITSS 1.x的開(kāi)發(fā)單位FCLA主要是為佛羅里達(dá)州的10所公立大學(xué)圖書(shū)館提供計(jì)算機(jī)應(yīng)用支持，沒(méi)有精力為其他應(yīng)用單位提供更多的應(yīng)用支持。另外一方面該軟件的設(shè)計(jì)過(guò)于復(fù)雜，考慮了許多不太可能發(fā)生的情況，導(dǎo)致配置使用和定制比較麻煩；而且以前的設(shè)計(jì)過(guò)于緊耦合，不方便添加新的服務(wù)。

為了克服上述問(wèn)題，并且考慮到數(shù)字資源長(zhǎng)期保存的概念，涉及到諸多服務(wù)的互聯(lián)互通，還要使用到許多第三方的專業(yè)工具軟件，DAITSS從1.x到2逐漸轉(zhuǎn)向SOA架構(gòu)，這樣它作為一個(gè)純粹的后臺(tái)倉(cāng)儲(chǔ)系統(tǒng)，可以方便地實(shí)現(xiàn)與其他系統(tǒng)的集成、互操作，為各保存機(jī)構(gòu)構(gòu)建一個(gè)基于已有資源環(huán)境的保存系統(tǒng)提供了更多的可能性；它本身的模塊化和松耦合，方便各保存機(jī)構(gòu)根據(jù)自己的特定需求自由地設(shè)計(jì)實(shí)現(xiàn)理想的工作流程。這些系統(tǒng)設(shè)計(jì)和功能上的改進(jìn)將方便其它用戶群體對(duì)于DAITSS的配置使用和定制，使得它更加可能在數(shù)字保存界得到廣泛接受和應(yīng)用。

DAITSS 2轉(zhuǎn)向SOA

目前，DAITSS 2的開(kāi)發(fā)工作正在進(jìn)行中，一方面是去掉一些不必要的功能，降低系統(tǒng)的復(fù)雜性；另外一方面的主要工作是引入SOA這種面向服務(wù)的架構(gòu)，對(duì)目前單一的系統(tǒng)實(shí)現(xiàn)模塊化和松耦合，以方便組成系統(tǒng)的各個(gè)功能組件的獨(dú)立開(kāi)發(fā)、修改、替換，而且能以Web服務(wù)調(diào)用的方式集成第三方已經(jīng)實(shí)現(xiàn)的功能，并使得自己的各個(gè)功能組件以Web服務(wù)調(diào)用的方式被第三方集成使用。下文對(duì)為下一代DAITSS規(guī)劃的面向服務(wù)的架構(gòu)的若干組成部分進(jìn)行介紹。我們可以看到一些外部的開(kāi)源服務(wù)工具在數(shù)據(jù)處理的工作流程中被調(diào)用（見(jiàn)下頁(yè)圖2）。

描述服務(wù)

在DAITSS 2中，每個(gè)數(shù)據(jù)文件被送到描述服務(wù)，進(jìn)行格式識(shí)別、校驗(yàn)和特征化。

人們使用到的開(kāi)源服務(wù)工具及保存元數(shù)據(jù)標(biāo)準(zhǔn)如下：

1.PRONOM：由英國(guó)國(guó)家檔案館開(kāi)發(fā)的一種用來(lái)支持?jǐn)?shù)字保存服務(wù)的基于網(wǎng)絡(luò)的技術(shù)注冊(cè)機(jī)制。目前的核心服務(wù)包括：注冊(cè)服務(wù)、PRONOM永久唯一標(biāo)識(shí)符體系、DROID工具；

2.DROID：全稱是Digital Record Object Identification，一種用來(lái)自動(dòng)執(zhí)行批量文件格式識(shí)別的開(kāi)源工具；

圖 2 DAITSS系統(tǒng)功能結(jié)構(gòu)

3.JHOVE：全稱是JSTOR/Harvard Object Validation Environment，參見(jiàn)http:/ /hul.harvard.edu/jhove/，是由JSTOR和哈佛大學(xué)圖書(shū)館合作產(chǎn)生的一個(gè)可擴(kuò)展的開(kāi)源工具，用于數(shù)字對(duì)象的格式識(shí)別、校驗(yàn)和特征化；

4.PREMIS：全稱是Preservation Metadata Implementation Strategies，即數(shù)字保存界知名的PREMIS保存元數(shù)據(jù)體系，它在OCLC/RLG提出的保存元數(shù)據(jù)框架的工作基礎(chǔ)上產(chǎn)生，是關(guān)于在數(shù)字保存系統(tǒng)中保存元數(shù)據(jù)所具體實(shí)施的策略的內(nèi)容。

描述服務(wù)使用DROID進(jìn)行文件格式的初步識(shí)別，然后根據(jù)初步識(shí)別的結(jié)果選擇最合適的校驗(yàn)器，完成格式識(shí)別、校驗(yàn)和特征化。對(duì)于最常用的格式，一般使用JHOVE的一個(gè)修訂版本作為校驗(yàn)器，DROID初步識(shí)別的結(jié)果用來(lái)選擇初始的JHOVE檢驗(yàn)?zāi)K。JHOVE處理的結(jié)果被解析映射到PREMIS中，同時(shí)JHOVE格式信息轉(zhuǎn)換為一個(gè)PRONOM格式標(biāo)識(shí)符。也就是說(shuō)，數(shù)據(jù)文件被描述服務(wù)處理后，返回一個(gè)PREMIS XML文檔，該文檔用來(lái)指導(dǎo)進(jìn)一步的攝入處理。

行動(dòng)規(guī)劃服務(wù)

數(shù)據(jù)文件被描述服務(wù)處理后產(chǎn)生一個(gè)PREMIS XML文檔，該文檔被送往保存行動(dòng)規(guī)劃服務(wù)（作為輸入），然后返回一個(gè)簡(jiǎn)單的XML文檔（作為輸出），其中包含到文件轉(zhuǎn)換服務(wù)（完成格式遷移或者規(guī)范化）的一個(gè)或者多個(gè)鏈接。如果DAITSS不能夠轉(zhuǎn)換某種格式，或者一個(gè)特定文件包含太多錯(cuò)誤而不能夠可靠轉(zhuǎn)換，該服務(wù)返回的文檔將包含相關(guān)信息。行動(dòng)規(guī)劃服務(wù)展示了RESTful方法的一個(gè)主要特點(diǎn)，那就是讓鏈接驅(qū)動(dòng)攝入的過(guò)程。

格式轉(zhuǎn)換服務(wù)

DAITSS的當(dāng)前版本是提供數(shù)據(jù)文件的規(guī)范化和遷移服務(wù)。下一代DAITSS將通過(guò)一系列轉(zhuǎn)換服務(wù)來(lái)支持這些轉(zhuǎn)換。根據(jù)行動(dòng)規(guī)劃服務(wù)的規(guī)定，一個(gè)數(shù)據(jù)文件被送到合適的轉(zhuǎn)換服務(wù)，被轉(zhuǎn)換后的文件通過(guò)HTTP返回。對(duì)于提交的單個(gè)文件可能輸出多個(gè)文件，如一個(gè)PDF文件被規(guī)范化為若干個(gè)TIFF文件，每個(gè)文件代表一頁(yè)。轉(zhuǎn)換服務(wù)可能是本地開(kāi)發(fā)的程序，也可能是一些開(kāi)源的工具軟件。

DAITSS作為數(shù)字圖書(shū)館和機(jī)構(gòu)倉(cāng)儲(chǔ)的后臺(tái)系統(tǒng)，其專注于保存功能的特點(diǎn)非常適于各機(jī)構(gòu)構(gòu)建一個(gè)基于已有資源環(huán)境的保存系統(tǒng)，避免了與其他系統(tǒng)在功能上的重復(fù)。

AIP服務(wù)

所有數(shù)據(jù)文件，包括原始文件和任何后續(xù)版本都提交到一個(gè)AIP服務(wù)，元數(shù)據(jù)文件如PREMIS文檔也被保存。當(dāng)SIP包中的最后一個(gè)文件被完全處理后，數(shù)據(jù)文件完成AIP包的組裝。然后整個(gè)AIP包被送往存儲(chǔ)服務(wù)，實(shí)現(xiàn)分布式存儲(chǔ)。

存儲(chǔ)服務(wù)

基于Amazon S3 Web服務(wù)的一個(gè)簡(jiǎn)單存儲(chǔ)服務(wù)，將AIP包存儲(chǔ)在幾個(gè)位置。該服務(wù)的實(shí)施大大提高了性能。

風(fēng)險(xiǎn)評(píng)估服務(wù)

風(fēng)險(xiǎn)評(píng)估服務(wù)專門用來(lái)分析與AIP包相關(guān)的保存風(fēng)險(xiǎn)。

DAITSS的安裝和運(yùn)行

DAITSS系統(tǒng)需要運(yùn)行在Unix或Linux操作系統(tǒng)下，也需要安裝一些基本的軟件環(huán)境:

1．MySQL Version 4.x 或更高版本，支持InnoDB data table，而且必須與DAITSS系統(tǒng)安裝在同一臺(tái)機(jī)器上；

2.Sun Java Virtual Machine (JVM)，version 5 或更高版本；

3.Mail Transfer Agent (MTA)，如Sendmail或Postfix。

可選軟件

1.Clam AntiVirus：Unix系統(tǒng)下的GPL防病毒軟件；

2.Ghostscript：PostScript處理工具；

3.ffmpeg：一個(gè)多媒體編碼，解碼工具集；

4.mencoder：一個(gè)視頻編碼器，可以將視頻文件編碼成mplayer支持的不同格式；

5.lqt_transcode：libquicktime項(xiàng)目的一部分，處理quicktime/AVI視頻格式。安裝

下載安裝包daitss-1.2-binary.tar.gz，以root用戶登錄系統(tǒng)，安裝過(guò)程如下：

運(yùn)行安裝命令后，系統(tǒng)會(huì)提示一些輸入配置參數(shù)，一般情況下，可以選擇系統(tǒng)的缺省配置。

（作者單位為清華大學(xué)圖書(shū)館）