基于OAI?PMH協(xié)議數(shù)字圖書館中數(shù)據(jù)提供者的研究

周莉

摘 要： 針對(duì)目前基于OAI?PMH協(xié)議的數(shù)據(jù)提供者只支持DC這一種格式的元數(shù)據(jù)及OAI?PMH協(xié)議中多個(gè)數(shù)據(jù)提供者與多個(gè)服務(wù)提供者之間無法進(jìn)行元數(shù)據(jù)交互的問題，設(shè)計(jì)了MARC格式元數(shù)據(jù)到DC格式元數(shù)據(jù)的格式轉(zhuǎn)換器并重新設(shè)計(jì)了基于OAI?PMH協(xié)議互操作平臺(tái)的命令動(dòng)詞。研究了MARC格式與DC格式的對(duì)照關(guān)系、命令動(dòng)詞的使用方式及請(qǐng)求應(yīng)答格式，最后給出了格式轉(zhuǎn)換器和命令動(dòng)詞的實(shí)現(xiàn)方法，解決了上述問題。

關(guān)鍵詞： 數(shù)據(jù)提供者； 服務(wù)提供者； OAI?PMH； 格式轉(zhuǎn)換器

中圖分類號(hào)： TN915.04?34； TM417 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）09?0027?04

Abstract： Since the current data provider based on OAI?PMH protocol only supports metadata in DC format， and the metadata interaction between multiple data providers and multiple service providers in OAI?PMH protocol can′t be performed， the format converter from MARC metadata to DC metadata was designed， and the command verbs of interactive operation platform based on OAI?PMH protocol was redesigned. The comparison relation between MARC format and DC format， and usage mode and request response format of the command verbs are studied. The implementation method of format converter and command verbs is given. The above problems were solved.

Keywords： data provider； service provider； OAI?PMH； format converter

隨著網(wǎng)絡(luò)、計(jì)算機(jī)和通信技術(shù)的快速發(fā)展，數(shù)字圖書館已經(jīng)成為人們?nèi)〉眯畔⒌闹匾獊碓?，然而?duì)于網(wǎng)絡(luò)上眾多的分布式數(shù)字資源[1?2]，人們希望通過檢索獲得所需的信息。但由于早期在建立數(shù)字圖書館時(shí)沒有統(tǒng)一的標(biāo)準(zhǔn)，其資源的元數(shù)據(jù)格式并不相同，因而要制定出一套能夠描述不同數(shù)字圖書館資源的統(tǒng)一元數(shù)據(jù)格式相當(dāng)困難；同時(shí)，早期建立的數(shù)字圖書館數(shù)據(jù)提供者與服務(wù)提供者間多是點(diǎn)對(duì)點(diǎn)的協(xié)議服務(wù)，協(xié)議外的數(shù)據(jù)提供者與服務(wù)提供者間無法進(jìn)行元數(shù)據(jù)交互[3?4]。

針對(duì)上述問題，設(shè)計(jì)了數(shù)字圖書館中廣泛使用的元數(shù)據(jù)格式MARC和DC的格式轉(zhuǎn)換器，并重新設(shè)計(jì)了基于OAI?PMH協(xié)議互操作平臺(tái)的命令動(dòng)詞，對(duì)數(shù)字圖書館間資源的共享具有重要意義。

1 OAI?PMH協(xié)議概述

數(shù)據(jù)提供者、服務(wù)提供者、注冊(cè)服務(wù)器構(gòu)成了數(shù)字圖書館領(lǐng)域[5?7]中OAI?PMH協(xié)議的框架。數(shù)據(jù)提供者是框架中存儲(chǔ)大量元數(shù)據(jù)的信息庫(kù)，服務(wù)提供者可從多個(gè)數(shù)據(jù)提供者中提取元數(shù)據(jù)并提供檢索、瀏覽等增值服務(wù)，服務(wù)提供者對(duì)數(shù)據(jù)提供者發(fā)出的是到UDP的請(qǐng)求，也就是基于OAI?PMH的命令動(dòng)詞，數(shù)據(jù)提供者對(duì)服務(wù)提供者的請(qǐng)求是通過HTTP協(xié)議以XML的形式響應(yīng)的，注冊(cè)服務(wù)器中可以進(jìn)行數(shù)據(jù)提供者和服務(wù)提供者的注冊(cè)。其具體框架如圖1所示。

2 MARC到DC格式轉(zhuǎn)換器的設(shè)計(jì)與實(shí)現(xiàn)

目前數(shù)字圖書管中使用的元數(shù)據(jù)格式主要為MARC，而基于OAI?PMH協(xié)議的數(shù)據(jù)提供者只能支持DC格式的元數(shù)據(jù)[8]。所以要實(shí)現(xiàn)基于OAI?PMH協(xié)議的元數(shù)據(jù)互操作平臺(tái)，就需要把MARC格式的元數(shù)據(jù)轉(zhuǎn)換為DC格式的元數(shù)據(jù)。

2.1 MARC與DC格式的域?qū)φ贞P(guān)系

DC格式包含的元素描述共有15個(gè)，按照其描述內(nèi)容的范圍和類別可分為三組，具體如表1所示。

本系統(tǒng)提供了一個(gè)項(xiàng)批輸入接口，所以設(shè)計(jì)的MarcDc模塊應(yīng)在項(xiàng)批輸入者之前進(jìn)行處理。如果輸入的是MARC格式，則先經(jīng)過MarcDc格式轉(zhuǎn)換器進(jìn)行數(shù)據(jù)轉(zhuǎn)換，然后通過項(xiàng)批處理模塊進(jìn)行處理；如果輸入的就是DC格式，則直接應(yīng)用項(xiàng)批處理模塊進(jìn)行處理。

3 OAI?PMH互操作平臺(tái)的實(shí)現(xiàn)

3.1 基于OAI?PMH協(xié)議的命令動(dòng)詞分析

基于OAI?PMH協(xié)議的數(shù)字圖書館中，為實(shí)現(xiàn)多個(gè)數(shù)據(jù)提供者與服務(wù)提供者間之間的元數(shù)據(jù)交互，重新設(shè)計(jì)了基于OAI?PMH協(xié)議互操作平臺(tái)的命令動(dòng)詞，命令動(dòng)詞的主要功能如下：

（1） GetRecord：此動(dòng)詞可從倉(cāng)儲(chǔ)中搜索元數(shù)據(jù)記錄。如果從倉(cāng)儲(chǔ)中和指定的項(xiàng)中無法得到由metadataPrefix指定的元數(shù)據(jù)格式，其可以返回狀態(tài)屬性的頭部信息值為“刪除”，此功能的實(shí)現(xiàn)依賴于倉(cāng)儲(chǔ)所跟蹤的刪除級(jí)別；

（2） Identify：此動(dòng)詞用于檢索倉(cāng)儲(chǔ)的有關(guān)信息。利用此動(dòng)詞，倉(cāng)儲(chǔ)也可以返回余下的描述性信息，在返回的信息中，一部分對(duì)于基于OAI?PMH協(xié)議的互操作平臺(tái)是需要的；

（3） ListIdentifiers：此動(dòng)詞不返回記錄本身，而僅返回頭部的記錄，通過基于集合成員和時(shí)間戳的頭部可獲取選擇的參數(shù)?；趥}(cāng)儲(chǔ)對(duì)刪除的支持特性，如過請(qǐng)求中刪除了與指定參數(shù)匹配的記錄，則返回的記錄中將含有值為“刪除”的狀態(tài)屬性；

（4） ListMetadataFormats：此動(dòng)詞可從倉(cāng)儲(chǔ)中檢索獲得所需的元數(shù)據(jù)格式，同時(shí)可以通過參數(shù)限制該請(qǐng)求對(duì)指定項(xiàng)元數(shù)據(jù)格式的獲??；

（5） ListRecords：此動(dòng)詞用于從倉(cāng)儲(chǔ)中獲取記錄。基于倉(cāng)儲(chǔ)對(duì)刪除的支持特性，如果刪除了請(qǐng)求中與參數(shù)匹配的記錄，則返回的記錄中將含有值為“刪除”的狀態(tài)屬性，但返回有“刪除”狀態(tài)的記錄是不能被表達(dá)為元數(shù)據(jù)格式的；

（6） ListSets：此動(dòng)詞用于返回倉(cāng)儲(chǔ)的集合結(jié)構(gòu)，對(duì)于選擇性獲取有益。

3.2 數(shù)據(jù)提供者與服務(wù)提供者間命令動(dòng)詞使用方式分析

數(shù)據(jù)提供者與數(shù)據(jù)服務(wù)者之間的請(qǐng)求和應(yīng)答是通過上述六個(gè)核心動(dòng)詞來實(shí)現(xiàn)的。使用標(biāo)準(zhǔn)的Web服務(wù)器是一個(gè)典型請(qǐng)求的實(shí)現(xiàn)方式，通過配置該Web服務(wù)器，使其可以向能夠處理OAI?PMH請(qǐng)求的軟件分發(fā)OAI?PMH請(qǐng)求，具體交互過程如圖5所示。

數(shù)據(jù)提供者與數(shù)據(jù)服務(wù)者之間的交互步驟具體如下：

（1） 服務(wù)提供者首先找到其所需元數(shù)據(jù)的數(shù)據(jù)提供者，然后獲取其惟一標(biāo)識(shí)；

（2） 服務(wù)提供者向數(shù)據(jù)提供者發(fā)出ListSets請(qǐng)求和ListMetaFormats請(qǐng)求。數(shù)據(jù)提供者根據(jù)服務(wù)提供者的請(qǐng)求返回其所能提供的滿足一定條件（如某種格式，某種主題，某個(gè)時(shí)間段）的元數(shù)據(jù)；服務(wù)提供者取得元數(shù)據(jù)后向用戶提供服務(wù)。

3.3 OAI?PMH命令動(dòng)詞的請(qǐng)求和應(yīng)答格式分析

（1） 請(qǐng)求格式

3.4 OAI六個(gè)動(dòng)詞的設(shè)計(jì)

（1） 概要設(shè)計(jì)

當(dāng)數(shù)據(jù)提供者接收到OAI請(qǐng)求后，需對(duì)該請(qǐng)求進(jìn)行解析。首先判斷該請(qǐng)求類型是否合法，若不合法，則向服務(wù)提供者發(fā)送一個(gè)錯(cuò)誤的信息；若合法，則判斷該請(qǐng)求屬于六個(gè)有效請(qǐng)求的哪個(gè)類型。由于參數(shù)metadataPrifix對(duì)于請(qǐng)求類型 ListIdentifiers是強(qiáng)制的，所以如果數(shù)據(jù)提供者接收到的請(qǐng)求類型是ListIdentifiers，那么解析器可以直接檢查這個(gè)請(qǐng)求的第二個(gè)參數(shù)。但如果請(qǐng)求中沒有相關(guān)參數(shù)，那么要確認(rèn)這個(gè)請(qǐng)求有效，則需確認(rèn)請(qǐng)求中必須包含resumptionToken （恢復(fù)標(biāo)志參數(shù)），并且數(shù)據(jù)提供者知道這個(gè)參數(shù)。

假設(shè)數(shù)據(jù)提供者在unqualified DC模式下只能發(fā)送元數(shù)據(jù)集合，那么metadataPrifix參數(shù)惟一有效的值只能是oai_dc。在正常情況下，請(qǐng)求中可選取的參數(shù)是必須被解析的，但可以簡(jiǎn)單化，以一種非正式的形式進(jìn)行描述。然后，根據(jù)接收到的請(qǐng)求參數(shù)，數(shù)據(jù)提供者運(yùn)用SQL語句在倉(cāng)儲(chǔ)中進(jìn)行查詢，如果產(chǎn)生了記錄大于傳遞標(biāo)識(shí)符一次所能傳遞的最大值，那么數(shù)據(jù)提供者則會(huì)新生成一個(gè)resumptionToken標(biāo)志，并將查詢參數(shù)與指針信息存儲(chǔ)在一起，具體實(shí)現(xiàn)流程如圖6所示。

（2） 詳細(xì)設(shè)計(jì)

① 利用Protocol數(shù)據(jù)庫(kù)包進(jìn)行六個(gè)動(dòng)詞的請(qǐng)求、響應(yīng)及信息顯示，其中Date類使用java.util.Date，Calendar或String方法實(shí)現(xiàn)年、月、日等各種格式間的相互轉(zhuǎn)換和輸出；Set類可通過一個(gè)已命名的集合創(chuàng)建一個(gè)新的集合，并用XML形式描述。

② 處理客戶端源代碼Client，可以利用一個(gè)URL或一個(gè)集合的性質(zhì)創(chuàng)建HarvesterItinerary類用于描述harvester類的狀態(tài)，HarvesterItinerary類中可以對(duì)Harvester類的狀態(tài)進(jìn)行保存。OAIConnection類可以描述一個(gè)到OAI的連接，用于接收單一的請(qǐng)求，該連接是基于用doReques或基于倉(cāng)儲(chǔ)的URL所返回的Response。

③ 互操作平臺(tái)中的Server包可以提供服務(wù)器端的OAI源代碼，并把源代碼轉(zhuǎn)換為文檔服務(wù)。OAI服務(wù)的目標(biāo)編程接口通過Target類實(shí)現(xiàn)，互操作平臺(tái)通過TargetAdapter類定義了一個(gè)不做任何事的執(zhí)行，GenericTarget類可以實(shí)現(xiàn)由一個(gè)非常簡(jiǎn)單的機(jī)制以創(chuàng)建小型的OAI收集器，并在存儲(chǔ)器中尋找與服務(wù)，利用集合規(guī)程和給定的元數(shù)據(jù)前綴得到所有的記錄； JDBCServer類是OAI servlet提供的一般服務(wù)器，OAIServerIfc類為OAI提供了一個(gè)框架，元數(shù)據(jù)前綴用在DC元數(shù)據(jù)核心記錄，處理GetRecord 請(qǐng)求、Identify 請(qǐng)求、ListRecords請(qǐng)求、 ListSets請(qǐng)求、ListMetadataFormats請(qǐng)求和ListIdentifiers請(qǐng)求。ResumableResultSet類描述了一個(gè)結(jié)果，該結(jié)果通過與重用標(biāo)記相結(jié)合，可以被客戶作為一系列局部結(jié)果而重用。

3.5 數(shù)據(jù)提供者的功能實(shí)現(xiàn)

（1） 項(xiàng)的訂購(gòu)及提交

用戶可以使用e?mail訂購(gòu)自己所需的項(xiàng)，這樣可以共享數(shù)字圖書館的資源。用戶首先提交項(xiàng)的要素描述元數(shù)據(jù)，然后上傳源文件，在通過系統(tǒng)的驗(yàn)證后可把文件提交到互操作平臺(tái)上供大家瀏覽及下載。

（2） 工作流的實(shí)現(xiàn)

三個(gè)小組負(fù)責(zé)人負(fù)責(zé)實(shí)現(xiàn)社團(tuán)的工作流，每個(gè)小組負(fù)責(zé)人完成不同的工作流步驟。工作流的次序如下：當(dāng)社團(tuán)收到一個(gè)遞呈時(shí)，如果社團(tuán)中有小組負(fù)責(zé)人，那么他將會(huì)選擇接受或拒絕，如果社團(tuán)中沒有小組負(fù)責(zé)人，這一步工作流將會(huì)被直接省略。第二步和第三步的遞呈也是按照此步驟處理。

當(dāng)調(diào)用工作流的第一步時(shí)，完成工作流步驟的任務(wù)把相關(guān)的遞呈放到“任務(wù)箱”中，如果組中的一個(gè)成員接受任務(wù)箱中的任務(wù)，則任務(wù)被從任務(wù)箱中移出。如果一個(gè)遞呈被拒絕，則系統(tǒng)會(huì)通過e?mail把原因發(fā)送給遞呈提交者，提交者可以修改后重新提交；如果一個(gè)遞呈被“接受”，將轉(zhuǎn)到工作流的下一步。

（3） 搜索和瀏覽功能實(shí)現(xiàn)

終端用戶可以使用多種方法發(fā)現(xiàn)內(nèi)容，具體如下：使用關(guān)鍵字進(jìn)行搜索；使用外部的ID號(hào)進(jìn)行搜索；使用標(biāo)題、數(shù)據(jù)進(jìn)行瀏覽。

在數(shù)字圖書館系統(tǒng)中，發(fā)現(xiàn)內(nèi)容最基本的方法是搜索?；贠AI?PMH協(xié)議的互操作平臺(tái)的搜索和索引模塊是一個(gè)簡(jiǎn)單的API接口，它能夠在全部的社區(qū)、社團(tuán)中完成新內(nèi)容的索引、再生索引，系統(tǒng)的具體搜索界面如圖7所示。

4 結(jié) 論

本文設(shè)計(jì)了MARC格式到DC格式的格式轉(zhuǎn)換器及基于OAI?PMH協(xié)議互操作平臺(tái)的命令動(dòng)詞，解決了數(shù)字圖書館中數(shù)據(jù)提供者與服務(wù)提供者間的元數(shù)據(jù)交互問題。給出了不同格式間的對(duì)照關(guān)系及格式轉(zhuǎn)換器的實(shí)現(xiàn)方法，同時(shí)完成了命令動(dòng)詞的實(shí)現(xiàn)代碼，對(duì)推動(dòng)OAI?PMH協(xié)議在數(shù)字圖書館領(lǐng)域的應(yīng)用具有重要意義。

參考文獻(xiàn)

[1] NELSON M L， SOMPEL H V D， WARNER S. Advanced overview of version 2.0 of the open archives initiative protocol for metadata harvesting [C]// Proceedings of 2002 ACM/IEEE Joint Conference on Digtal Labraries. [S.l.]： ACM， 2002： 418.

[2] WARNER S， NELSON M， LAGOZE C. The open archives initiative protocol for metadata harvesting [EB/OL]. [2002?09?11]. http：//www.openarchives.org/oai.

[3] 謝莉莉，林春梅，陳家訓(xùn).基于XML的數(shù)據(jù)交換中心模型研究[J].東華大學(xué)學(xué)報(bào)（自然科學(xué)版），2001（6）：33?36.

[4] 王海波，耿暉，姜吉發(fā)，等.基于XML的數(shù)據(jù)交換的實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用，2001（4）：67?68.

[5] 王愛華，張銘，楊冬青，等.基于OAI的數(shù)字圖書館中元數(shù)據(jù)互操作框架[J].計(jì)算機(jī)工程與應(yīng)用，2002（1）：5?7.

[6] 張?jiān)?XML及其在圖書館和情報(bào)檢索中的應(yīng)用[J].現(xiàn)代圖書情報(bào)技術(shù)，2001（2）：30?34.

[7] 施芝元，劉杰群，粟欣，等.基于XML技術(shù)資源組件庫(kù)的管理及調(diào)度研究[J].現(xiàn)代電子技術(shù)，2013，36（3）：115?118.

[8] WATERS D J. The metadata harvesting initiative of the Mellon Foundation ARL bimonthly report [R]. US： Mellon Foundation， 2001.