檔案數(shù)據(jù)整合初探

吳春梅

摘 要：信息化經(jīng)過多年的發(fā)展，已經(jīng)積累了大量的基礎(chǔ)數(shù)據(jù)，由于建設(shè)初期缺少統(tǒng)一規(guī)劃和部署，“信息孤島”問題日益明顯。為將各應(yīng)用系統(tǒng)間的數(shù)據(jù)聯(lián)系起來，打破數(shù)據(jù)堡壘，本文作者對數(shù)據(jù)整合技術(shù)進(jìn)行了初步分析，并以檔案工作為例探討“信息孤島”問題的解決方案，提出進(jìn)行數(shù)據(jù)整合工作需要注意的問題，最后總結(jié)了數(shù)據(jù)整合可能給檔案工作帶來的實際效益。

關(guān)鍵詞：檔案數(shù)據(jù)；信息孤島；整合技術(shù)；利用效益

隨著社會的發(fā)展和人們對信息技術(shù)認(rèn)識的提高，各單位內(nèi)部對軟件開發(fā)的需求也越來越多。為了滿足這些需求，就必須加快應(yīng)用軟件的開發(fā)速度，然而快速的信息化建設(shè)容易忽略整體的規(guī)劃與設(shè)計，產(chǎn)生的問題就是不同的應(yīng)用軟件之間的數(shù)據(jù)不能互聯(lián)互通，出現(xiàn)“信息孤島”現(xiàn)象，從而阻礙了信息化工作的進(jìn)一步發(fā)展及產(chǎn)生更大的社會效益和經(jīng)濟(jì)效益。

形成“信息孤島”的本質(zhì)是在數(shù)據(jù)庫管理系統(tǒng)層面，如異構(gòu)數(shù)據(jù)庫、數(shù)據(jù)結(jié)構(gòu)差異和數(shù)據(jù)含義不同等。數(shù)據(jù)的整合就是將分散而冗余的數(shù)據(jù)按照一定邏輯關(guān)系進(jìn)行集中存儲，使數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)含義統(tǒng)一，實現(xiàn)數(shù)據(jù)的全方位共享。

1 數(shù)據(jù)整合需求分析

數(shù)據(jù)整合的對象是數(shù)據(jù)，而這些數(shù)據(jù)存放于不同軟件開發(fā)商的數(shù)據(jù)庫內(nèi)，這些數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)又千差萬別，無法通用，造成了應(yīng)用的不便利。

為了使大家有一個直觀的認(rèn)識，以我館一個典型的文學(xué)檔案研究場景為例加以說明。

中國現(xiàn)代文學(xué)館是中國第一座文學(xué)博物館，收藏了大量現(xiàn)當(dāng)代作家的版本圖書、期刊、手稿、書信、字畫及實物資料，是現(xiàn)當(dāng)代文學(xué)的研究陣地。經(jīng)過近20年的館藏信息化建設(shè)，現(xiàn)在使用的館藏業(yè)務(wù)應(yīng)用系統(tǒng)有書刊管理系統(tǒng)、藏品管理系統(tǒng)、藏品數(shù)字化系統(tǒng)一期（文本類檔案）和藏品數(shù)字化系統(tǒng)二期（音像類檔案），為現(xiàn)當(dāng)代文學(xué)研究提供服務(wù)。

在我們的服務(wù)過程中，經(jīng)常會出現(xiàn)的場景是，一名研究人員準(zhǔn)備進(jìn)行某作家的專項研究，他得知我館收藏該作家的資料比較豐富，但又不知道具體有哪些資料對自己的研究工作有幫助，于是該研究人員利用我館的公共館藏目錄檢索系統(tǒng)檢索到關(guān)于這位作家在我館的全部館藏品，包括：各版本圖書、手稿、書信、照片、字畫以及錄音、錄像帶。由于館藏檢索系統(tǒng)只提供目錄檢索，看到感興趣的信息后，該研究人員需要到藏品數(shù)字化系統(tǒng)中去瀏覽圖書、手稿、書信、照片的數(shù)字化影像，到音像數(shù)字化系統(tǒng)中去收聽聲音文件和觀看視頻文件。這個檢索瀏覽的過程可能需要反復(fù)多次，才能找到他需要的資料信息，費(fèi)時費(fèi)力，還可能出現(xiàn)遺漏。因此，該研究人員希望有一個科學(xué)的數(shù)據(jù)整合機(jī)制，將數(shù)據(jù)集中展現(xiàn)在一個界面上，使用戶能夠方便地看到數(shù)據(jù)全貌，既節(jié)省時間，又不會錯過有價值的信息。由此看來，數(shù)據(jù)整合是順應(yīng)用戶的需求，是大勢所趨。因此，檔案數(shù)據(jù)整合工作是新形勢下對各級檔案部門提升自身實力，服務(wù)社會需求的集中體現(xiàn)。

2 數(shù)據(jù)整合的技術(shù)實現(xiàn)

構(gòu)建數(shù)據(jù)整合平臺，目的是從不同的應(yīng)用程序和分散異構(gòu)的數(shù)據(jù)庫中提取數(shù)據(jù)源，并形成統(tǒng)一的、對分散異構(gòu)數(shù)據(jù)源所產(chǎn)生映射的數(shù)據(jù)庫。數(shù)據(jù)整合平臺要整合各種應(yīng)用系統(tǒng)數(shù)據(jù)庫，綜合利用數(shù)據(jù)資源，提供靈活的數(shù)據(jù)展現(xiàn)方式。

首先，數(shù)據(jù)整合工作的基礎(chǔ)就是數(shù)據(jù)分析。由于信息化建設(shè)早期缺乏統(tǒng)一規(guī)劃，造成不同應(yīng)用系統(tǒng)的體系結(jié)構(gòu)各不相同，數(shù)據(jù)缺乏統(tǒng)一規(guī)范和標(biāo)準(zhǔn)。做數(shù)據(jù)整合平臺的公司一般又不會是以前做數(shù)據(jù)管理型應(yīng)用系統(tǒng)的軟件開發(fā)公司，要讓軟件開發(fā)公司向其他公司公開數(shù)據(jù)結(jié)構(gòu)又是不可能的。那我們就換一種思路 ，使顯示數(shù)據(jù)統(tǒng)一標(biāo)準(zhǔn)，只呈現(xiàn)數(shù)據(jù)庫內(nèi)常用數(shù)據(jù)或非標(biāo)識數(shù)據(jù)，這樣就保證了軟件開發(fā)公司的自主知識產(chǎn)權(quán)，而且以后再增加軟件系統(tǒng)，也可以按這種方式處理，做到了可持續(xù)發(fā)展。為實現(xiàn)這一目的，對數(shù)據(jù)源的結(jié)構(gòu)分析就顯得尤為重要。要看懂?dāng)?shù)據(jù)字典，了解數(shù)據(jù)庫表中各字段的含義及作用，標(biāo)注常用的、具有信息描述作用的字段。

通過中間數(shù)據(jù)庫傳遞數(shù)據(jù)來解決“信息孤島”問題。我們通過建立一個中間數(shù)據(jù)庫，將各個分散異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)通過統(tǒng)一標(biāo)準(zhǔn)的視圖呈現(xiàn)出來。視圖中的字段可對應(yīng)選取之前在原數(shù)據(jù)表中標(biāo)注的字段，通過數(shù)據(jù)遷移機(jī)制按視圖字段提取各個數(shù)據(jù)庫的所需數(shù)據(jù)插入到中間數(shù)據(jù)庫的相應(yīng)表中。為了保證中間數(shù)據(jù)庫與源數(shù)據(jù)庫的數(shù)據(jù)一致性，可在對應(yīng)的源數(shù)據(jù)表中建立觸發(fā)器，一旦工作人員操作原始應(yīng)用程序使表內(nèi)數(shù)據(jù)發(fā)生改變，視圖即可對被改變的數(shù)據(jù)進(jìn)行記錄。系統(tǒng)會按照事先制訂的遷移策略對中間數(shù)據(jù)庫數(shù)據(jù)進(jìn)行定時更新。中間數(shù)據(jù)庫是整合平臺中的一個獨(dú)立的數(shù)據(jù)庫，甚至可以在其它網(wǎng)段，這樣就有效保證了業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)安全。

3 數(shù)據(jù)整合需要注意的問題

在數(shù)據(jù)整合的過程中，要確保數(shù)據(jù)的準(zhǔn)確性、一致性和完整性。建立各庫的唯一性標(biāo)識，是對各庫數(shù)據(jù)的規(guī)范性驗證，也是建立數(shù)據(jù)聯(lián)系的糾錯方式。整合后的數(shù)據(jù)應(yīng)進(jìn)行數(shù)據(jù)比對并實行抽檢，以驗證數(shù)據(jù)整合效果。在進(jìn)行數(shù)據(jù)遷移和中間數(shù)據(jù)庫的存儲過程中要確保數(shù)據(jù)不被修改，確保呈現(xiàn)給用戶的數(shù)據(jù)是數(shù)據(jù)庫中的原始數(shù)據(jù)。

數(shù)據(jù)整合是一項復(fù)雜的系統(tǒng)工程，涉及眾多的應(yīng)用系統(tǒng)、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、不同的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)接口以及硬件平臺等，因此需要統(tǒng)一規(guī)劃。要堅持“統(tǒng)一標(biāo)準(zhǔn)、方便快捷、便于利用”的原則，分步實施，穩(wěn)扎穩(wěn)打，重質(zhì)輕量。

檔案工作的根本目的是便于社會利用，這也是數(shù)據(jù)整合的目標(biāo)之一。但整合數(shù)據(jù)在發(fā)布的過程中一定要遵循檔案的開放原則，遵守相應(yīng)的法律法規(guī)和信息公開制度。數(shù)據(jù)隱私保護(hù)技術(shù)一般是在原有的數(shù)據(jù)應(yīng)用平臺上實現(xiàn)的，經(jīng)過抽取的數(shù)據(jù)在整合平臺上展示就失去了原來的隱私保護(hù)功能。因此數(shù)據(jù)整合也意味著風(fēng)險，某些檔案信息的泄密會給社會穩(wěn)定、民族利益甚至國防安全帶來威脅。

4 數(shù)據(jù)整合工作的效益

通過數(shù)據(jù)整合，形成各個應(yīng)用系統(tǒng)數(shù)據(jù)的統(tǒng)一訪問入口，提供滿足信息安全的統(tǒng)一數(shù)據(jù)發(fā)布平臺。用戶數(shù)據(jù)搜索只針對中間數(shù)據(jù)庫進(jìn)行，保證了業(yè)務(wù)數(shù)據(jù)的安全，更不會對業(yè)務(wù)網(wǎng)絡(luò)造成壓力。

通過數(shù)據(jù)整合，能夠?qū)⑿畔⑷娴卣故窘o用戶，使用戶方便的進(jìn)行查詢利用。用戶在整合平臺統(tǒng)一的檢索界面上實現(xiàn)對多個異構(gòu)數(shù)據(jù)庫數(shù)據(jù)的檢索，檢索結(jié)果經(jīng)合并去重和排序后，以統(tǒng)一的格式顯示，并可提供多種輸出方式。

可形成“按需訂制”的數(shù)據(jù)架構(gòu)。在面對大量信息涌入而無所適從之時，人們對信息的獲取要求更直接更有針對性，希望能夠得到解決問題的知識和具體內(nèi)容。數(shù)據(jù)整合平臺使有針對性的提供服務(wù)成為可能，變等待服務(wù)或被動服務(wù)為個性化的推薦服務(wù)或主動服務(wù)。

能夠?qū)n案數(shù)據(jù)進(jìn)行信息分析和挖掘研究。信息本質(zhì)是事物間的相互關(guān)系，關(guān)系是多維的、網(wǎng)狀的，只有整合起來才能反映關(guān)系的全面屬性。數(shù)據(jù)整合可以提高檔案檢索利用的智能化水平，從數(shù)據(jù)中發(fā)掘有價值的信息，滿足不同利用者的信息需求，將數(shù)據(jù)資源轉(zhuǎn)化為知識資源，實現(xiàn)從信息服務(wù)到內(nèi)容服務(wù)的轉(zhuǎn)變。

使檔案部門的工作重點(diǎn)從以“擁有資源”為中心轉(zhuǎn)向以“整合信息資源”為中心。通過數(shù)據(jù)整合，知識達(dá)到充分共享，知識價值得到充分體現(xiàn)。今后的檔案部門將會向整合化方向發(fā)展，提供的服務(wù)由最初提供單一的物理實體服務(wù)，向多層次、多元化、數(shù)字化的知識共享服務(wù)方向發(fā)展。

參考文獻(xiàn)

[1]數(shù)據(jù)整合技術(shù)研究.[J]，兵團(tuán)教育學(xué)院學(xué)報，2006，余曉平、甕正科等.

[2]大數(shù)據(jù)時代的檔案信息服務(wù)研究，[J]，蘭臺世界，2014，陳蘆燕.

[3]“大數(shù)據(jù)”時代科學(xué)數(shù)據(jù)整合研究[J]，情報理論與實踐，201，4白如江、冷伏海.