電子檔案信息非結(jié)構(gòu)化存儲方法研究

文 / 杜軍 梁作賓 劉濤

在計算機技術(shù)不斷進步和社會信息化程度快速提高的今天，檔案管理部門普遍將計算機技術(shù)引入到檔案的存儲和管理工作中，并大力推進數(shù)字化檔案信息的建設(shè)工作。在利用信息和查詢操作等方面，數(shù)字化的檔案信息具有十分顯著的優(yōu)勢，而這些數(shù)字化檔案信息主要包括兩種不同的數(shù)據(jù)形式，也就是非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)[1]。其中的非結(jié)構(gòu)化信息中的音視頻、圖表、網(wǎng)頁和文字等各種信息不僅具有較弱的關(guān)聯(lián)性，而且很難通過關(guān)系型數(shù)據(jù)庫等對信息進行獲取和處理，必須采用專門的工具和方法對這些數(shù)據(jù)進行操作。電子檔案的廣泛應(yīng)用，呼喚數(shù)字化的檔案存儲和管理系統(tǒng)的建立。

一、當前電子檔案管理工作存在的問題

現(xiàn)在，越來越多的企事業(yè)單位在檔案管理工作中開始廣泛地應(yīng)用計算機系統(tǒng)，然而這些系統(tǒng)大部分只是用于檢索和管理檔案目錄，而并沒有真正發(fā)揮應(yīng)用的作用。還有一些企事業(yè)單位的計算機管理盡管涉及到了一些關(guān)于檔案原文的工作，卻無法提供特殊格式檔案和圖片檔案的檢索服務(wù)，從某種程度上來說，這些檔案管理系統(tǒng)僅僅屬于紙質(zhì)檔案的一種輔助，雖然它使得檔案工管理工作得到了優(yōu)化，但并未能真正使傳統(tǒng)檔案管理工作中存在的問題得到有效解決[2]。檔案管理人員通過傳統(tǒng)的計算機管理系統(tǒng)開展檔案管理工作，首先要利用人工操作的傳統(tǒng)方式將目錄制作出來，隨后采用人工的方式在電腦中輸入，再打印出來。人們一旦需要利用檔案文件，就需要在庫房中進行調(diào)取，這未能將計算機管理的方便性體現(xiàn)出來，加大了檔案管理工作的工作量，因此現(xiàn)在很多檔案管理人員并不重視計算機檔案管理[3]。

基于此，我們必須將可以實現(xiàn)檔案信息共享性、減少工作量和操作方便的計算機電子檔案管理系統(tǒng)開發(fā)出來，解決當前檔案管理工作中存在的各種問題。

二、電子檔案非結(jié)構(gòu)化信息的特征

（一）較高的科技含量

計算機技術(shù)的進步使得當前的非結(jié)構(gòu)化信息出現(xiàn)了爆炸式的增長。人們必須依賴智能化的IT技術(shù)才能有效地管理非結(jié)構(gòu)化信息，無論是對非結(jié)構(gòu)化信息進行存儲和檢索，還是對其進行發(fā)布和利用，都具有越來越高的科技含量，如信息的增值開發(fā)利用、內(nèi)容保護、知識挖掘、智能檢索和海量存儲等[4]。

（二）頻繁的變化和較快的增長速度

包括Web站點在內(nèi)的很多系統(tǒng)中的數(shù)據(jù)一直在不斷地變化和發(fā)展，它們除了具有越來越快的增長速度之外，在表現(xiàn)數(shù)據(jù)的形式、數(shù)據(jù)格式和數(shù)據(jù)類型等很多方面都具有較大的變化[5]。

（三）標準多樣

電子資源在非結(jié)構(gòu)化信息中具有標準多樣性的特征，不同的系統(tǒng)在設(shè)計、實現(xiàn)和運行的過程中都具有自身的行業(yè)標準，各自的功能都是完整的，各個系統(tǒng)之間具有非常弱的聯(lián)系，因此影響到了數(shù)據(jù)交換的順利進行[6]。

（四）多樣化的格式

電子檔案非結(jié)構(gòu)化信息包括各種各樣的形式，如視頻、錄音、影片、照片和各種文檔等，需要采用不同的數(shù)據(jù)庫、數(shù)據(jù)模型和軟硬件平臺對這些電子資源進行存儲。

三、電子檔案數(shù)字信息非結(jié)構(gòu)化存儲方式

（一）非結(jié)構(gòu)化數(shù)據(jù)管理框架

在UDMS體系結(jié)構(gòu)上，研究構(gòu)建了一個BUD體系參考模型。它能夠通過數(shù)據(jù)庫的途徑構(gòu)建以非結(jié)構(gòu)化數(shù)據(jù)管理為目標的一種分層參考體系模型。它選擇使用了自由表的數(shù)據(jù)模型。它一共由四個不同的核心組件共同組成了BUD模型，分別為獲取—抽取—集成服務(wù)層、事務(wù)性存儲管理器、查詢處理器和數(shù)據(jù)服務(wù)層，見圖1[7]。數(shù)據(jù)服務(wù)能夠?qū)⒁恍┲T存數(shù)據(jù)提供給用戶，擴展了數(shù)據(jù)庫系統(tǒng)的外模式。一旦系統(tǒng)中進入各種外來的非結(jié)構(gòu)化數(shù)據(jù)，在一定的規(guī)則下由其中的獲取—抽取—集成服務(wù)層預(yù)先處理這些數(shù)據(jù)；由事務(wù)性存儲管理對這些處理后的數(shù)據(jù)實施統(tǒng)一管理；利用查詢處理器能夠查詢到相關(guān)的數(shù)據(jù)[8]。研究構(gòu)建一個以“自由表”模型為基礎(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺，平臺類型為myBUD。它可以作為一個cell關(guān)系表?！白杂杀怼倍x了非結(jié)構(gòu)化數(shù)據(jù)的符號類型。在自由表中各種音頻數(shù)據(jù)和視頻數(shù)據(jù)等非結(jié)構(gòu)化的數(shù)據(jù)類型都能夠作為Cell類型進行管理[9]。

圖1 BUD參考模型示意圖

自由表模型需要解決好三個方面的問題：首先，能夠?qū)Ａ繑?shù)據(jù)中的高效操作進行支持；其次，能夠按照業(yè)界的標準操作，可以與相應(yīng)的各種數(shù)據(jù)管理系統(tǒng)和應(yīng)用場景相適應(yīng)，實現(xiàn)有效集成；最后，具有充足的靈活性，在各種類型的非結(jié)構(gòu)化數(shù)據(jù)中都能使用，可以使數(shù)據(jù)管理不斷變化的需求獲得滿足。

通過Cell可以對一系列的非結(jié)構(gòu)化數(shù)據(jù)進行存儲和管理，對模型中已有的數(shù)據(jù)類型進行支持。非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的自由表存儲了全部的非結(jié)構(gòu)化數(shù)據(jù)，除了可以確保系統(tǒng)具有較高的效率，還可以統(tǒng)一地查詢不同類型的非結(jié)構(gòu)化數(shù)據(jù)。因為物理組織結(jié)構(gòu)的規(guī)整性，自由表存儲模型能夠更加便捷地集成當前的機構(gòu)化數(shù)據(jù)管理系統(tǒng)。不同格式文檔的非結(jié)構(gòu)化處理單元都與自由表相對應(yīng)，所提取的非結(jié)構(gòu)化數(shù)據(jù)又對應(yīng)自由表的列。表列不僅包括字符型和整型等類型的結(jié)構(gòu)化數(shù)據(jù)，而且包括Cell 類型。Cell 類型中的列能夠?qū)Ω鞣N非結(jié)構(gòu)化的數(shù)據(jù)進行保存，還支持不同的Cell在自由表中有各自獨立的操作符。自由表除了能夠?qū)Τ槿〉南嚓P(guān)信息或者原始的數(shù)據(jù)進行存儲，還可以對不同版本和派生的數(shù)據(jù)進行存儲。

（二）以自由表為基礎(chǔ)的統(tǒng)一數(shù)據(jù)門戶——UDP

適應(yīng)數(shù)據(jù)的增長速度非常快，呈指數(shù)級增長。對關(guān)系數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進行管理，同時將有用的信息從繁多的數(shù)據(jù)中挖掘出來，這是構(gòu)建非結(jié)構(gòu)化數(shù)據(jù)管理平臺的重要內(nèi)容。BUD 的統(tǒng)一數(shù)據(jù)門戶能夠?qū)⒖尚诺目蓴U展的透明的數(shù)據(jù)存儲服務(wù)提供出來，從而使當前快速增長的存儲和管理海量非結(jié)構(gòu)化數(shù)據(jù)的需求獲得滿足。統(tǒng)一數(shù)據(jù)門戶在具體的管理過程中具有較強的自適應(yīng)能力，具有可以存儲各種類型非結(jié)構(gòu)化數(shù)據(jù)的一系列子系統(tǒng)，見圖2。

圖2 myBUD存儲管理器

通常來講，統(tǒng)一數(shù)據(jù)門戶的特點如下：首先，可擴展，即利用Portal Driver各個存儲子系統(tǒng)也可以變成統(tǒng)一數(shù)據(jù)門戶；其次，自適應(yīng)，即數(shù)據(jù)門戶能夠以存儲子系統(tǒng)的特點和數(shù)據(jù)的特點為依據(jù)明確最好的存儲子系統(tǒng)；再次，具備計算能力，即能夠以元數(shù)據(jù)信息為依據(jù)向各個存儲子門戶適度地轉(zhuǎn)移非結(jié)構(gòu)化數(shù)據(jù)上的操作；最后，具備分布式存儲能力，即能夠與一系列的不同結(jié)構(gòu)的存儲子系統(tǒng)進行連接，統(tǒng)一數(shù)據(jù)門戶可以進行分布式的存儲。我們利用各種數(shù)據(jù)門戶能夠?qū)?shù)據(jù)的訪問進行優(yōu)化。

四、myBUD存儲管理器的自適應(yīng)管理

在myBUD 中設(shè)計使用了一種AS4存儲子系統(tǒng)的算法。它能夠以不同存儲子系統(tǒng)中結(jié)構(gòu)化數(shù)據(jù)存儲的代價函數(shù)為依據(jù)，在代價函數(shù)中帶入量化結(jié)果，隨后能夠按照非結(jié)構(gòu)化數(shù)據(jù)為依據(jù)，自適應(yīng)地通過最佳的存儲子系統(tǒng)對相關(guān)的數(shù)據(jù)進行存儲。AS4 方法能夠響應(yīng)相應(yīng)的請求，并且以系統(tǒng)在請求后的整體負載為依據(jù)放置在較短響應(yīng)時間的存儲子系統(tǒng)中。若是將這種策略用于全部的存儲數(shù)據(jù)塊中，那么系統(tǒng)就具備了快速影響的能力，且可以實現(xiàn)總體負載均衡。最小的響應(yīng)時間就是代價模型在該算法中的目標函數(shù)，代價模型中的若干記號如表1：

表1 代價估算中運用到的若干記號

通過這些記號可以在s存儲子系統(tǒng)中存放i類型、L大小和t時刻的非結(jié)構(gòu)化數(shù)據(jù)的代價模型定義如下：

{L*Computing Cost(s，i)，L*TransferCost(s，t)+StartCost(s，i)+ WaitCost(s，i)} MAX=Cost(I， L， s， t).

數(shù)據(jù)的網(wǎng)絡(luò)傳輸代價和存儲子系統(tǒng)處理該任務(wù)的代價的最大值就是模型中定義的代價。存儲子系統(tǒng)處理該任務(wù)的代價主要包括計算該任務(wù)的代價、在存儲子系統(tǒng)中啟動新任務(wù)的代價和在啟動新任務(wù)之前所需的完成其它任務(wù)的代價。系統(tǒng)在當前的平均任務(wù)完成時間和等待任務(wù)數(shù)量能決定等待其它任務(wù)代價，而任務(wù)負載則取決于平均完成任務(wù)的時間。

以代價模型為依據(jù)，AS4算法在myBUD 存儲管理器會按照代價公式最終將最短響應(yīng)時間的存儲子系統(tǒng)確定下來。針對全部可用的存儲子系統(tǒng)，AS4能夠以存儲子系統(tǒng)的負載信息、可用存儲子系統(tǒng)功能信息、數(shù)據(jù)大小、數(shù)據(jù)類型等為依據(jù)將相應(yīng)代價計算出來，并且向最短響應(yīng)代價的存儲子系統(tǒng)返回。算法 AS4具有O(n)的時間復(fù)雜度，在某時刻可用存儲子系統(tǒng)的數(shù)量用n來表示。將合適的存儲子系統(tǒng)選擇出來之后，該算法能夠?qū)ζ鋵嶋H上的執(zhí)行效果進行監(jiān)控，尤其是針對傳輸與處理代價進行監(jiān)控，還可以適當?shù)卣{(diào)整相關(guān)參數(shù)，如TransferCost。

電子檔案數(shù)字信息非結(jié)構(gòu)化存儲方法首先必須將海量非結(jié)構(gòu)化數(shù)據(jù)“存得下”這一問題解決好，這是開展電子檔案存儲和管理工作的基本問題。研究以BUD參考模型為依據(jù)設(shè)計了以myBUD 系統(tǒng)為基礎(chǔ)和框架的非結(jié)構(gòu)化數(shù)據(jù)，實現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)對存儲子系統(tǒng)的自適應(yīng)選擇，且將其作為一項關(guān)鍵的技術(shù)。該技術(shù)能夠?qū)崿F(xiàn)分布式的異構(gòu)存儲，奠定了利用數(shù)據(jù)庫方法統(tǒng)一存儲和管理電子檔案非結(jié)構(gòu)化數(shù)據(jù)的研究基礎(chǔ)。

[1]趙偉東.電子檔案藍光存儲應(yīng)用探究[J].檔案學(xué)研究,2015(3): 88-95.

[2]劉越男,祁天嬌.我國省級、副省級檔案館電子文件接收及管理情況的追蹤調(diào)查[J].檔案學(xué)通訊,2014(6):10-15.

[3]楊重高.數(shù)字檔案資源的安全存儲[J].中國檔案,2014(11):54-57.

[4]王志宇,趙淑梅.非結(jié)構(gòu)化電子檔案數(shù)據(jù)管理探析[J].檔案學(xué)通訊,2014(5):54-57.

[5]王萍,郭秋言,宋雪雁.境外近年電子檔案技術(shù)與應(yīng)用進展[J].檔案學(xué)通訊,2014(4): 61-65.

[6]唐躍進.數(shù)字檔案災(zāi)難防治研究[J].檔案學(xué)通訊,2014(3):12-14.

[7]劉越男,楊程婕,熊瑤,張喜波.我國省級、副省級檔案館電子文件移交進館及管理情況調(diào)查分析[J].檔案學(xué)通訊,2011(4):7-12.

[8]韓晶,宋美娜,鄂海紅,宋俊德.HotRank:熱度敏感的非結(jié)構(gòu)化數(shù)據(jù)檢索排名算法[J].計算機應(yīng)用研究,2013(5):1306-1308.

[9]劉婧,周耀林.移動數(shù)字檔案館服務(wù)體系建設(shè)研究[J].檔案學(xué)通訊,2015(1):55-60.