基于數(shù)據(jù)魔方的異構(gòu)檔案信息資源采集方法分析

程 知/江蘇省昆山市檔案局

2013年1月29日，國家智慧城市試點創(chuàng)建工作會議在北京召開，國家智慧城市試點工作正式啟動。據(jù)國家信息中心收集的數(shù)據(jù)顯示，2014年全國試點城市共有409個[1]。隨著智慧城市建設(shè)快速推進(jìn)，政府主導(dǎo)的各個業(yè)務(wù)條線在信息化建設(shè)過程中產(chǎn)生了大量具有保存價值的政務(wù)信息資源，如何將這些信息資源完整收集、有效管理、妥善保存、安全利用，是檔案部門需要深入思考的問題。在這其中，異構(gòu)檔案信息資源的采集要特別重視。

1 異構(gòu)檔案信息資源概述

異構(gòu)檔案信息資源就是不同結(jié)構(gòu)的檔案信息資源，其異構(gòu)性主要體現(xiàn)在五方面[2]。一是計算機體系結(jié)構(gòu)的異構(gòu)：數(shù)據(jù)的物理存儲來源于不同體系結(jié)構(gòu)的計算機，如大型機、小型機、工作站、PC或嵌入式系統(tǒng)。二是操作系統(tǒng)的異構(gòu)：數(shù)據(jù)的存儲來源于不同的操作系統(tǒng)，如Unix、Windows、Linux等。三是數(shù)據(jù)格式的異構(gòu)：數(shù)據(jù)的存儲管理機制不同，可以是關(guān)系型數(shù)據(jù)庫系統(tǒng)，如Oracle、SQL Server、DB2、DM、My SQL等；也可以是文件形二維數(shù)據(jù)，如txt、CSV、XLS等。四是數(shù)據(jù)存儲地點異構(gòu)：數(shù)據(jù)存儲在分散的物理位置上，如社保檔案分別存儲在各地社保局本地系統(tǒng)中。五是數(shù)據(jù)存儲的邏輯模型異構(gòu)：數(shù)據(jù)分別在不同的業(yè)務(wù)邏輯中存儲和維護(hù)，相同意義的數(shù)據(jù)存在表現(xiàn)的異構(gòu)，如某一單位的OA系統(tǒng)和其他業(yè)務(wù)系統(tǒng)中存在部門編碼不一致的現(xiàn)象等。

2 異構(gòu)檔案信息資源采集

2.1 異構(gòu)檔案信息資源構(gòu)成

異構(gòu)檔案信息資源構(gòu)成如下：一是隨著電子政務(wù)建設(shè)不斷深入而產(chǎn)生的有關(guān)食品安全、公共交通、社會保障、教育衛(wèi)生、氣象環(huán)境等民生檔案信息資源及各類政務(wù)信息資源；二是隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)技術(shù)的發(fā)展和普及而產(chǎn)生的各類網(wǎng)站數(shù)據(jù)、社交媒體數(shù)據(jù)、電子郵件數(shù)據(jù)等；三是隨著電子商務(wù)的不斷完善和普及而產(chǎn)生的各類訂單數(shù)據(jù)、賬單數(shù)據(jù)、物流數(shù)據(jù)等；四是隨著大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用而產(chǎn)生的各類報表數(shù)據(jù)、統(tǒng)計數(shù)據(jù)、決策數(shù)據(jù)等。

如果按文件格式分類，異構(gòu)檔案信息資源主要包括文本文件、圖像文件、圖形文件、音頻文件、視頻文件、多媒體文件等；如果按在系統(tǒng)中的表現(xiàn)形式分類，可以分為Web服務(wù)數(shù)據(jù)、關(guān)系型數(shù)據(jù)、數(shù)據(jù)包數(shù)據(jù)、接口數(shù)據(jù)等。

2.2 異構(gòu)檔案信息資源采集技術(shù)

一是數(shù)據(jù)導(dǎo)入技術(shù)。數(shù)據(jù)導(dǎo)入技術(shù)適合源系統(tǒng)能夠生成符合相關(guān)標(biāo)準(zhǔn)規(guī)范要求的文件包格式的情況。針對這種情況，可以通過文件包向?qū)綄?dǎo)入工具，將源系統(tǒng)產(chǎn)生的文件包導(dǎo)入目標(biāo)系統(tǒng)中。

二是數(shù)據(jù)管道技術(shù)。數(shù)據(jù)管道技術(shù)適用于源系統(tǒng)不能生成移交文件包但可以開放數(shù)據(jù)結(jié)構(gòu)的情況。在這樣的情況下，由源系統(tǒng)提供訪問其數(shù)據(jù)庫所必需的用戶名、密碼、數(shù)據(jù)字典等信息，通過數(shù)據(jù)管道工具建立源系統(tǒng)和目標(biāo)系統(tǒng)數(shù)據(jù)結(jié)構(gòu)的匹配關(guān)系，實現(xiàn)數(shù)據(jù)采集。

三是接口調(diào)用技術(shù)。接口調(diào)用技術(shù)是普遍適用的一種技術(shù)。包括兩種情況：其一是目標(biāo)系統(tǒng)提供應(yīng)用程序接口（API）供源系統(tǒng)調(diào)用，由源系統(tǒng)將需要提交的數(shù)據(jù)傳送至目標(biāo)系統(tǒng)，被稱為“推”式，實現(xiàn)方式包括DLL、OCX、Java Bean、Web Service等；其二是源系統(tǒng)提供應(yīng)用程序接口供目標(biāo)系統(tǒng)調(diào)用，主動獲取有效電子文件/檔案數(shù)據(jù)，被稱為“拉”式。

四是數(shù)據(jù)交換技術(shù)。數(shù)據(jù)交換技術(shù)適用于源系統(tǒng)能夠提供應(yīng)用程序接口、數(shù)據(jù)要求有很強實時性、架構(gòu)要求有很強擴展性的情況。數(shù)據(jù)交換技術(shù)通過部署數(shù)據(jù)交換引擎實現(xiàn)，數(shù)據(jù)交換引擎提供透明的網(wǎng)絡(luò)通信和透明的數(shù)據(jù)查找，采用統(tǒng)一的數(shù)據(jù)安全機制，并規(guī)定標(biāo)準(zhǔn)的數(shù)據(jù)交互方式，使構(gòu)筑在數(shù)據(jù)交換引擎上的信息系統(tǒng)可以遵循統(tǒng)一的數(shù)據(jù)交互標(biāo)準(zhǔn)、使用其提供的通信機制、利用其提供的數(shù)據(jù)資源管理快速找到所要訪問的信息，進(jìn)行數(shù)據(jù)交互。

五是數(shù)據(jù)抓取技術(shù)。數(shù)據(jù)抓取技術(shù)根據(jù)各源系統(tǒng)的電子文件最終頁面展現(xiàn)（HTML）實現(xiàn)數(shù)據(jù)采集。采用這種技術(shù)不需要對源系統(tǒng)的基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)進(jìn)行全面分析，也不需要對源系統(tǒng)的邏輯設(shè)計進(jìn)行深入了解，更不需要源系統(tǒng)生成文件包或者提供應(yīng)用程序接口，只需要通過對特定數(shù)據(jù)顯示頁面結(jié)構(gòu)（HTML源碼）進(jìn)行解析，實現(xiàn)源系統(tǒng)頁面顯示內(nèi)容和目標(biāo)系統(tǒng)數(shù)據(jù)結(jié)構(gòu)之間的對應(yīng)關(guān)系，完成數(shù)據(jù)采集[3]。

2.3 異構(gòu)檔案信息資源采集存在問題

從異構(gòu)檔案信息資源的構(gòu)成可以看出，異構(gòu)檔案信息資源來源非常廣泛，表現(xiàn)形式也多種多樣，這給異構(gòu)檔案信息資源的采集帶來了巨大挑戰(zhàn)?，F(xiàn)階段，異構(gòu)檔案信息資源采集主要存在以下問題。

第一，“信息孤島”現(xiàn)象嚴(yán)重。電子政務(wù)建設(shè)已經(jīng)持續(xù)了相當(dāng)長一段時間，由于電子政務(wù)建設(shè)早期缺乏頂層設(shè)計、統(tǒng)籌規(guī)劃和協(xié)調(diào)，也缺少標(biāo)準(zhǔn)依據(jù)，很多單位只能各行其是、各自為政，造成業(yè)務(wù)應(yīng)用軟件、系統(tǒng)平臺、數(shù)據(jù)結(jié)構(gòu)千差萬別、五花八門，系統(tǒng)之間、部門之間、單位之間形成“信息孤島”，難以實現(xiàn)異構(gòu)檔案信息資源的采集和共享。

第二，各種采集技術(shù)存在局限性。針對異構(gòu)信息資源的采集盡管存在多種采集技術(shù)，但是從上文對比分析可以看出，各種采集技術(shù)都存在一定的適用場景，不能滿足異構(gòu)檔案信息資源的多樣化采集需求。

3 數(shù)據(jù)智能采集工廠模型

為解決當(dāng)前異構(gòu)檔案信息資源采集存在的問題，筆者提出了“數(shù)據(jù)魔方”的概念，即將數(shù)據(jù)源的多樣性和異構(gòu)性比喻為魔方的一個個“面”，基于各種數(shù)據(jù)采集技術(shù)提供多種數(shù)據(jù)采集方法的組合供用戶選擇，以靈活應(yīng)對不同來源、不同類型數(shù)據(jù)的采集需求；并基于數(shù)據(jù)魔方構(gòu)建數(shù)據(jù)智能采集工廠模型，以實現(xiàn)對異構(gòu)檔案信息資源的靈活與智能采集。

3.1 數(shù)據(jù)智能采集工廠模型體系結(jié)構(gòu)

數(shù)據(jù)智能采集工廠模型以數(shù)據(jù)魔方為核心，通過對各種數(shù)據(jù)采集技術(shù)進(jìn)行整合，以及對各種工具（格式轉(zhuǎn)換工具、數(shù)據(jù)檢測工具、OCR識別工具、EEP封裝工具等）進(jìn)行集成，實現(xiàn)對智慧城市建設(shè)過程中各業(yè)務(wù)條線產(chǎn)生數(shù)據(jù)的智能采集，并將數(shù)據(jù)清洗、分類、處理后納入檔案信息資源總庫進(jìn)行統(tǒng)一管理，達(dá)到異構(gòu)檔案信息資源整合的目的。從體系結(jié)構(gòu)上來看，數(shù)據(jù)智能采集工廠模型由控制中心、魔方適配器、主動捕獲觸發(fā)引擎、嵌入式工具集和資源池等部分組成，分別說明如下。

3.1.1 控制中心：是整個異構(gòu)檔案信息資源采集工作的“大腦”，完成各類收集規(guī)則的設(shè)計與預(yù)定義，并針對各行各業(yè)、各類專業(yè)檔案設(shè)置相應(yīng)的元數(shù)據(jù)方案，這樣可采集不同類型的數(shù)據(jù)，也可從不同單位的應(yīng)用系統(tǒng)中抓取數(shù)據(jù)。

3.1.2 魔方適配器：由多種適配器組成魔方適配器，以加強異構(gòu)檔案信息資源的收集，通過集成各種數(shù)據(jù)采集技術(shù)提供多種數(shù)據(jù)收集方式，如脫機文件包導(dǎo)入、數(shù)據(jù)交換引擎自動導(dǎo)入等。具有多面性特點，能靈活應(yīng)對多種途徑、多種類型數(shù)據(jù)的采集需求。

3.1.3 主動捕獲觸發(fā)引擎：探測各業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)動靜，實現(xiàn)快速自動采集，可完成在線檔案收集操作和離線收集及時提醒工作。

3.1.4 嵌入式工具集：是采集流程中的“加工作業(yè)車間”，能對所采集的數(shù)據(jù)進(jìn)行處理，并提供多種數(shù)據(jù)處理解決方案，如格式轉(zhuǎn)換方案、EEP封裝方案、四性檢測方案等，每一類方案對應(yīng)一種處理工具，這些工具都將與數(shù)據(jù)采集功能進(jìn)行集成、整合并協(xié)同開展工作。

3.1.5 資源池：只有經(jīng)過過濾、清洗、轉(zhuǎn)換并檢測合格的數(shù)據(jù)才能最終進(jìn)入資源池，進(jìn)行統(tǒng)一存儲和管理。

3.2 數(shù)據(jù)智能采集工廠模型特點

第一，開放獨立的模型架構(gòu)。數(shù)據(jù)智能采集工廠模型可以識別各種類型的信息系統(tǒng)數(shù)據(jù)，如業(yè)務(wù)系統(tǒng)、辦公系統(tǒng)、財務(wù)系統(tǒng)、互聯(lián)網(wǎng)數(shù)據(jù)等，具有開放、獨立、與業(yè)務(wù)系統(tǒng)無關(guān)的特點，可實現(xiàn)與各種異構(gòu)系統(tǒng)的集成。

第二，高效多樣的數(shù)據(jù)采集。數(shù)據(jù)智能采集工廠模型通過整合各種數(shù)據(jù)采集技術(shù)，提供了基于數(shù)據(jù)層的采集方法、基于邏輯層的采集方法和基于表示層的采集方法，通過魔方適配器的靈活配置，可以完成不同情況下的數(shù)據(jù)采集任務(wù)，盡可能地滿足各種異構(gòu)檔案信息資源的采集需求。

第三，靈活多變的魔方特性?？煽焖?、靈活設(shè)置源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的匹配關(guān)系，具有魔方多面性、多元性特點，根據(jù)實際業(yè)務(wù)（數(shù)據(jù)源）變化“轉(zhuǎn)動”魔方，便可快速實現(xiàn)匹配，從而收集多種途徑、多種類型檔案數(shù)據(jù)。

第四，全面一體的采集處理。數(shù)據(jù)智能采集工廠模型通過對各種數(shù)據(jù)采集技術(shù)以及各類嵌入式工具（如格式轉(zhuǎn)換工具、數(shù)據(jù)檢測工具、OCR識別工具、EEP封裝工具等）進(jìn)行整合，可實現(xiàn)異構(gòu)檔案信息資源的采集和處理一體化管理，便于異構(gòu)檔案信息資源的統(tǒng)一管理。

第五，靈活方便的任務(wù)管理。各種數(shù)據(jù)采集方式都可以設(shè)置成“工作任務(wù)”，既可以即時啟動、立即執(zhí)行，也可以設(shè)置為定時任務(wù)、到一定時間點執(zhí)行，靈活方便。

3.3 數(shù)據(jù)智能采集工廠模型應(yīng)用

智慧檔案館建設(shè)總體來說包括智慧收集、智慧管理、智慧利用、智慧保存四方面，其中智慧收集功能可基于數(shù)據(jù)智能采集工廠模型實現(xiàn)。昆山市檔案局在市智慧檔案館建設(shè)過程中，通過數(shù)據(jù)智能采集工廠模型、采用在線與離線方式，實現(xiàn)對立檔單位各種業(yè)務(wù)信息數(shù)據(jù)庫內(nèi)容的采集，采集過程完全符合《數(shù)字檔案關(guān)系型數(shù)據(jù)庫轉(zhuǎn)換為XML格式文檔的技術(shù)規(guī)范》的要求；同時在采集過程中完成格式轉(zhuǎn)換、數(shù)據(jù)檢測等操作，能夠滿足對各種異構(gòu)業(yè)務(wù)信息資源的智慧管理要求。