談檔案數(shù)據(jù)集成的應(yīng)用

賓橋/廣西旺港高速公路有限公司

丁海斌/廣西民族大學(xué)管理學(xué)院 廣西數(shù)字檔案管理研究所

趙錦濤/北京理工大學(xué)人文與社會科學(xué)學(xué)院

檔案數(shù)據(jù)集成應(yīng)用是指把數(shù)據(jù)集成技術(shù)引入到檔案數(shù)據(jù)管理中，貫穿檔案管理全過程，打破管理、存儲、利用之間相互分離的格局。目前，檔案數(shù)據(jù)集成類型的研究可以從理論研究與應(yīng)用研究兩個維度來看。理論研究主要集中在檔案數(shù)據(jù)內(nèi)容集成與集成方式優(yōu)化[1-2]、檔案數(shù)據(jù)安全集成[3-5]、系統(tǒng)集成[6-7]等方面；應(yīng)用研究側(cè)重數(shù)據(jù)集成技術(shù)在檔案數(shù)據(jù)和檔案工作中的應(yīng)用[8-10]，如大型建設(shè)工程、交通運輸、醫(yī)療行業(yè)等。從檔案數(shù)據(jù)集成理論研究層面看，檔案數(shù)據(jù)內(nèi)容集成注重構(gòu)建相關(guān)模型對文本內(nèi)容進行集成建模，采用文本挖掘的方法對檔案數(shù)據(jù)文本內(nèi)容進行分析。從具體的應(yīng)用層面看，檔案數(shù)據(jù)集成應(yīng)用研究主要集中在歷史文化、大型工程項目、醫(yī)療行業(yè)、金融企業(yè)及其他企事業(yè)單位等領(lǐng)域。檔案數(shù)據(jù)集成在檔案領(lǐng)域的應(yīng)用研究內(nèi)容為后續(xù)深入研究奠定基礎(chǔ)。但是，對于檔案數(shù)據(jù)應(yīng)用的研究范圍還不夠廣泛，全面的類型分析與深入的案例分析還較少涉及。因此，本文在檔案工作實踐基礎(chǔ)上，對檔案數(shù)據(jù)集成應(yīng)用的類型與案例進行深入分析，通過對檔案數(shù)據(jù)集成具體應(yīng)用總結(jié)，窺探檔案數(shù)據(jù)集成未來在不同行業(yè)檔案管理中應(yīng)用的具體走向。

1 檔案數(shù)據(jù)集成應(yīng)用的類型

從檔案數(shù)據(jù)本體類型而言，檔案數(shù)據(jù)集成應(yīng)用經(jīng)常處理的對象是圖數(shù)據(jù)、表數(shù)據(jù)和文本數(shù)據(jù)三種類型。雖然三種類型集成的數(shù)據(jù)對象不同，但其目標(biāo)與過程基本一致，其目標(biāo)均是實現(xiàn)數(shù)據(jù)規(guī)范與一致化，保障檔案數(shù)據(jù)開發(fā)與利用更加數(shù)智化、便捷化。

圖數(shù)據(jù)集成是指將不同來源的圖數(shù)據(jù)合并成一個完整的數(shù)據(jù)集。在檔案數(shù)據(jù)集成中，圖數(shù)據(jù)集成可以用于整合來自各個檔案庫的檔案資料，使得這些檔案數(shù)據(jù)能夠進行聯(lián)合搜索和查詢，提高數(shù)據(jù)利用價值。圖數(shù)據(jù)集流程通常按照三個層次完成（見圖），其中特征提取貫穿整個環(huán)節(jié)。表數(shù)據(jù)集成是指對來自多個數(shù)據(jù)源的數(shù)據(jù)表進行整合，形成一個完整的數(shù)據(jù)集。在檔案數(shù)據(jù)集成中，表數(shù)據(jù)集成可以用于整合不同檔案庫中的表，實現(xiàn)數(shù)據(jù)聯(lián)合搜索和查詢，以提高數(shù)據(jù)利用效率和準(zhǔn)確性。文本數(shù)據(jù)集成是指把來自多個來源的文本數(shù)據(jù)整合成一個完整的數(shù)據(jù)集。在文本數(shù)據(jù)集成中，需要對來自不同數(shù)據(jù)源的文本數(shù)據(jù)進行抽取、轉(zhuǎn)換和加載，最終形成一致、統(tǒng)一的數(shù)據(jù)集，方便數(shù)據(jù)分析、搜索和挖掘。

2 檔案數(shù)據(jù)集成應(yīng)用的指向與作用

檔案數(shù)據(jù)集成應(yīng)用指向主要有兩個方面：檔案的日常管理與開發(fā)。特別是電子檔案的利用與開發(fā)，在這個方面集成化檔案數(shù)據(jù)具有此前無可比擬的優(yōu)勢。其應(yīng)用與作用集中體現(xiàn)在檔案數(shù)據(jù)安全管理、檔案數(shù)據(jù)集成效率、檔案數(shù)據(jù)資源開發(fā)等方面。

2.1 保障檔案集成數(shù)據(jù)的安全管理

近年來，安全已成為所有部門的主要關(guān)注點，包括銀行、電子健康記錄（EHR)、供應(yīng)鏈管理（SCM)、智能應(yīng)用程序（SA）和物聯(lián)網(wǎng)（IOT)[11]。在數(shù)據(jù)集成開發(fā)與應(yīng)用過程中，在用戶接入層添加訪問控制模塊、身份驗證模塊以及數(shù)字簽名模塊；邊緣服務(wù)層添加入侵檢測系統(tǒng)、數(shù)據(jù)完整性驗證模塊以及加密存儲模塊，從而保障檔案數(shù)據(jù)的安全管理。在用戶接入層，設(shè)計訪問控制模塊按照用戶身份或者其所屬的某項定義組的權(quán)限來限制用戶接入系統(tǒng)，身份驗證模塊的設(shè)計將保證合法用戶接入系統(tǒng)，并依據(jù)系統(tǒng)設(shè)定的用戶權(quán)限進行訪問，在一定程度上保證系統(tǒng)用戶的安全合法性。在邊緣服務(wù)層，入侵檢測系統(tǒng)的設(shè)計將實時監(jiān)控邊緣存儲系統(tǒng)網(wǎng)絡(luò)節(jié)點的流量，提升系統(tǒng)安全性。同時，邊緣服務(wù)層采用區(qū)塊鏈進行數(shù)據(jù)安全存儲，區(qū)塊鏈底層密碼學(xué)技術(shù)可用于用戶數(shù)據(jù)的存儲加密。

2.2 提高檔案集成數(shù)據(jù)的效率

目前，檔案數(shù)據(jù)場景信息日益豐富，檔案數(shù)據(jù)呈現(xiàn)容量大、種類多等特點，保障大規(guī)模數(shù)據(jù)分析結(jié)果的準(zhǔn)確性，要對數(shù)據(jù)進行大規(guī)模的訓(xùn)練。分布并行計算、壓縮技術(shù)等，能夠提高AI算力[12-13]。分布式并行計算能夠?qū)⒋笠?guī)模訓(xùn)練任務(wù)分解成為多個子任務(wù)，分配到多臺計算機上進行并行計算，能夠提高大規(guī)模數(shù)據(jù)處理任務(wù)的效率[14-15]。在流式數(shù)據(jù)場景下，需要處理的數(shù)據(jù)是非連續(xù)性數(shù)據(jù)和動態(tài)數(shù)據(jù)。因此，對數(shù)據(jù)進行預(yù)處理，采用歸一化方式處理后，方便進行綜合分析。其次，通過對大模型采用剪枝、量化和低秩分解等方式，減少模型的計算量，把其控制在一個可承受的能力范圍內(nèi)，從而保障在較小的計算資源下完成大規(guī)模的訓(xùn)練任務(wù)，從而節(jié)約計算資源、提高數(shù)據(jù)處理效率。

2.3 優(yōu)化檔案集成數(shù)據(jù)的利用與開發(fā)方式

大數(shù)據(jù)挖掘與分析方法是實現(xiàn)數(shù)據(jù)智能化利用的重要手段。根據(jù)數(shù)據(jù)功能的具體類型與特點選擇相應(yīng)算法，發(fā)現(xiàn)潛在、有用的信息和知識。目前，主要數(shù)據(jù)挖掘方法包括：神經(jīng)網(wǎng)絡(luò)、決策樹、模糊集等機器學(xué)習(xí)方法，相關(guān)技術(shù)發(fā)展逐漸成熟，提供的算法模型能夠完成對大規(guī)模數(shù)據(jù)的處理[16-17]?？梢暬夹g(shù)展示更注重視覺表達、交互方式和人們心理感知?？梢暬故就ㄟ^把抽象變?yōu)榫呦?，使?shù)據(jù)表征不僅需要被用戶理解，而且能夠凸顯出差異性、趨勢性等特征。從應(yīng)用層面來講，可視化功能需要保障重要特征表示、對模擬和測量數(shù)據(jù)模型進行質(zhì)量監(jiān)測等，以此實現(xiàn)智能化利用。

從未來發(fā)展的角度講，集成化檔案數(shù)據(jù)將成為人工智能在各行業(yè)中應(yīng)用的基本經(jīng)驗基礎(chǔ)。人工智能需要三個基本條件：算法、算力與數(shù)據(jù)（機器思維的經(jīng)驗基礎(chǔ)）。在各個行業(yè)針對本行業(yè)業(yè)務(wù)實踐開發(fā)人工智能系統(tǒng)，其數(shù)據(jù)主要來源于本單位、本行業(yè)形成的檔案數(shù)據(jù)。而集成化的檔案數(shù)據(jù)則為人工智能的利用提供便利條件。

3 檔案數(shù)據(jù)集成的實踐案例

檔案數(shù)據(jù)集成處理的基礎(chǔ)數(shù)據(jù)以圖、表、文本為主。目前，隨著信息技術(shù)的發(fā)展，檔案數(shù)據(jù)集成應(yīng)用重點是綜合集成方式的應(yīng)用，不同于某個具體場景使用專門或者單一集成方式。因此，本文以筆者參與的國家檔案局科技項目“面向全程溯源的公路建設(shè)項目檔案數(shù)據(jù)集成技術(shù)及其應(yīng)用研究”（2021-X-04）中廣西松鐵公路建設(shè)項目檔案管理系統(tǒng)作為具體實踐案例，闡述多類型檔案數(shù)據(jù)集成的應(yīng)用方式。

3.1 廣西松鐵公路建設(shè)項目檔案數(shù)據(jù)集成方式概述

廣西松鐵公路檔案數(shù)據(jù)集成框架旨在搭建數(shù)據(jù)來源與數(shù)據(jù)應(yīng)用之間的橋梁。在歸檔過程中，把多源異構(gòu)的檔案數(shù)據(jù)通過基礎(chǔ)硬件集成到處理框架中，根據(jù)不同數(shù)據(jù)特征進行數(shù)據(jù)清洗、抽取和挖掘，實現(xiàn)數(shù)據(jù)匯集融合；根據(jù)數(shù)據(jù)不同特征和研究與利用的需要進行歸一化處理，使其進入到不同異構(gòu)自治的數(shù)據(jù)源中，以數(shù)據(jù)字典為基礎(chǔ)實現(xiàn)對檔案數(shù)據(jù)對象的描述，形成互相關(guān)聯(lián)的數(shù)據(jù)網(wǎng)絡(luò)。當(dāng)應(yīng)用層發(fā)起獲取數(shù)據(jù)指令時，存儲在不同數(shù)據(jù)庫中的數(shù)據(jù)根據(jù)需求特征描述，實現(xiàn)統(tǒng)一集成后，響應(yīng)數(shù)據(jù)請求，從而實現(xiàn)公路設(shè)計、施工、運營全生命周期信息資源管理，最終為公路項目建成通車后的運營階段管養(yǎng)精細化、標(biāo)準(zhǔn)化提供可靠依據(jù)。

在松鐵公路項目檔案數(shù)據(jù)集成管理系統(tǒng)中，主要運用物理集成方式——數(shù)據(jù)倉庫方式。首先，建設(shè)形成數(shù)據(jù)中心，將所有歸檔的數(shù)據(jù)存儲在數(shù)據(jù)中心，當(dāng)上層應(yīng)用發(fā)出數(shù)據(jù)調(diào)用的請求，數(shù)據(jù)倉庫會自動響應(yīng)提供所需數(shù)據(jù)，能夠保證系統(tǒng)響應(yīng)性能。其次公路項目框架的底層設(shè)計是中臺化管理和基礎(chǔ)設(shè)施云化的模式，保障業(yè)務(wù)、數(shù)據(jù)、技術(shù)均歸于中臺管理，形成數(shù)據(jù)中心管理各大功能，檔案數(shù)據(jù)上云服務(wù)保障數(shù)據(jù)處理的響應(yīng)速度。同時，把工程全生命周期管理方式應(yīng)用在業(yè)務(wù)流程、數(shù)據(jù)管理模式中，以元數(shù)據(jù)字典與電子文件標(biāo)準(zhǔn)為依據(jù)保障形成與保存的數(shù)據(jù)質(zhì)量。最后，結(jié)合GIS+BIM數(shù)據(jù)展示對檔案數(shù)據(jù)信息重新“鏈合”關(guān)聯(lián)，形成完整的數(shù)據(jù)交付體系，實現(xiàn)基礎(chǔ)數(shù)據(jù)集成、制度集成、業(yè)務(wù)集成、人員集成等多層面集成，保障形成高質(zhì)量的檔案數(shù)據(jù)。

3.2 數(shù)據(jù)集成基礎(chǔ)上廣西松鐵公路項目檔案管理系統(tǒng)功能

3.2.1 功能一：實現(xiàn)檔案數(shù)據(jù)信息的可視化

該項目以GIS技術(shù)和BIM模型為項目設(shè)計、施工方案、施工質(zhì)量監(jiān)督和進度控制提供極大地便利條件。在項目竣工前，GIS和BIM模型對已經(jīng)形成的海量文檔電子文件與聲像電子文件集成，能夠推出一個全新的可視化集成系統(tǒng)，為公路營運提供充足的項目建設(shè)信息。

首先，業(yè)務(wù)系統(tǒng)信息可視化應(yīng)用。該項目檔案主要涉及施工單位、監(jiān)理單位、業(yè)主單位以及系統(tǒng)管理員四個主體的檔案采集、整理以及利用等，每一個主體單位按照各自不同的流程把需要歸檔的資料進行填報、審核、蓋章、上傳，通過特定的元數(shù)據(jù)整理、分類與集成，最終形成結(jié)構(gòu)化數(shù)據(jù)庫。在數(shù)據(jù)庫中能夠明確看到每個過程中的責(zé)任人以及相關(guān)文件詳細內(nèi)容。將可視化模型引入到檔案數(shù)據(jù)信息檢索，把文書檔案、圖形、聲像數(shù)據(jù)等檔案數(shù)據(jù)關(guān)聯(lián)到三維的可視化空間中顯示出來，并向用戶提供信息檢索查閱的過程。通過此種方式不僅可以解決檔案可視化收集、業(yè)務(wù)可視化管理、內(nèi)容可視化組織、知識可視化挖掘和信息可視化利用等問題，同時為檔案維度溯源項目建設(shè)奠定堅實基礎(chǔ)。其次，管理與監(jiān)測信息可視化應(yīng)用?；贐IM+3DGIS技術(shù)，通過對基礎(chǔ)地理信息集成構(gòu)建沿線基礎(chǔ)地理信息三維空間場景。再根據(jù)地理信息數(shù)據(jù)集成模型，仿真出設(shè)計模型、施工模型等。應(yīng)用勘察設(shè)計階段建立BIM模型、集成項目施工階段的管理信息、工程檔案信息、視頻信息，實現(xiàn)公路空間基礎(chǔ)地理信息、質(zhì)量安全監(jiān)控數(shù)據(jù)、項目管理信息等數(shù)據(jù)整合、交換和共享。

3.2.2 功能二：實現(xiàn)多維度檔案數(shù)據(jù)立體溯源

檔案數(shù)據(jù)集成方式能夠明確記錄該數(shù)據(jù)在生命周期內(nèi)數(shù)據(jù)工作流程，同時通過科學(xué)規(guī)范的元數(shù)據(jù)，檔案管理系統(tǒng)能夠更加清晰地映射各個主體以及要素之間的關(guān)系，使歸檔材料的形成過程可復(fù)制、可再現(xiàn)、可驗證。多維度檔案數(shù)據(jù)集成和溯源的關(guān)鍵點在基礎(chǔ)層的數(shù)據(jù)信息，包含文書檔案、圖表、圖形、聲像數(shù)據(jù)等傳統(tǒng)檔案數(shù)據(jù)和GIS地理空間信息、構(gòu)件形狀尺寸等空間地理信息。

由于，公路建設(shè)項目資料所涉及的內(nèi)容眾多且主體多元，因此在檔案數(shù)據(jù)采集、存儲和集成過程中，會采用數(shù)據(jù)溯源安全模型，通過對文檔、聲像數(shù)據(jù)等添加一些無法修改的參數(shù)，例如：時間戳、加密密鑰等，從而保護溯源鏈安全，實現(xiàn)檔案數(shù)據(jù)的可信性和不可抵賴性。通過標(biāo)注法和反向查詢法，實現(xiàn)多維度檔案數(shù)據(jù)的全程溯源。

其次，通過GIS技術(shù)和BIM模型，在元數(shù)據(jù)原理指導(dǎo)下，利用唯一性標(biāo)識編碼技術(shù)，項目建設(shè)期所形成的各類文本型電子文件和聲像文件信息進行掛接和信息數(shù)據(jù)共享，對這些數(shù)據(jù)實行有效的管理、顯示、查詢，檔案信息數(shù)據(jù)轉(zhuǎn)換為更為直觀的可視化信息，通過完成地形地貌三維可視化、基于航拍數(shù)據(jù)及BIM融合的3D數(shù)據(jù)模型監(jiān)控和設(shè)備運行維護的可視化、檔案信息綜合利用可視化、設(shè)備設(shè)施管理可視化等相關(guān)工作，能夠?qū)崿F(xiàn)項目檔案數(shù)據(jù)溯源。

3.2.3 功能三：實現(xiàn)多源時空數(shù)據(jù)利用與共享

在公路建設(shè)項目檔案數(shù)據(jù)集成中，經(jīng)常會涉及多源異構(gòu)時空數(shù)據(jù)的集成和協(xié)同問題。由于公路項目檔案類型多樣化，不僅有傳統(tǒng)的紙質(zhì)檔案也有新型電子檔案、實時監(jiān)測生成的信息。其形成的模型是以三維空間為主，數(shù)據(jù)來源復(fù)雜且規(guī)范性較差、存儲的結(jié)構(gòu)性差異較大。同時，各層級信息之間存在信息孤島等問題，難以實現(xiàn)快速地共享與集成應(yīng)用。數(shù)據(jù)有效共享依賴數(shù)據(jù)高效集成。在該系統(tǒng)建設(shè)中加入元數(shù)據(jù)管理技術(shù)，通過構(gòu)建統(tǒng)一的元數(shù)據(jù)倉庫，對各類數(shù)據(jù)對象進行描述、標(biāo)識、分類等；其次，運用ETL技術(shù)對檔案數(shù)據(jù)進行清洗加工，并將處理結(jié)果存儲在目標(biāo)數(shù)據(jù)庫中。該系統(tǒng)通過對元數(shù)據(jù)的控制和統(tǒng)一的標(biāo)準(zhǔn)能夠使用戶檢索更加便利。也使檔案數(shù)據(jù)管理員更加條理化，增加數(shù)據(jù)的辨識度，管理系統(tǒng)對于數(shù)據(jù)識別與儲存更加快捷。同時，實現(xiàn)數(shù)據(jù)動態(tài)更新與實時反饋，適應(yīng)公路項目建設(shè)過程中各種動態(tài)調(diào)整，提高數(shù)據(jù)的時效性、靈活性、利用率和價值。

3.2.4 功能四：建設(shè)智能化管理一體化平臺

公路項目智能管理一體化平臺建設(shè)是松鐵公路建設(shè)項目檔案管理系統(tǒng)的總體布局，以公路建設(shè)項目為依托，引入建設(shè)與管養(yǎng)護一體化理念，以BIM技術(shù)為紐帶，覆蓋從項目建設(shè)開始至竣工后養(yǎng)護全過程的檔案數(shù)據(jù)，統(tǒng)籌規(guī)劃建設(shè)管理、運營管理和養(yǎng)護管理三方面的數(shù)據(jù)。用計算機技術(shù)構(gòu)建工程項目數(shù)字化管理環(huán)境，以數(shù)字化為基礎(chǔ)，聚合不同階段各類工程要素，實現(xiàn)網(wǎng)絡(luò)實時傳輸功能。一體化數(shù)據(jù)平臺的建設(shè)能夠提升項目運營管理能力、數(shù)字化管控能力，充分釋放公路產(chǎn)業(yè)品質(zhì)和潛能。在公路建設(shè)項目檔案數(shù)據(jù)集成中，重點把BIM模型和工程項目管理過程中形成的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行集成和管理，打造一體化、智慧化的大型數(shù)據(jù)庫。建立全線BIM模型，對其進行深度開發(fā)實現(xiàn)碰撞檢查、工程量計算等應(yīng)用場景；其次，將BIM模型集成的數(shù)據(jù)上傳至項目管理平臺實現(xiàn)項目質(zhì)量、安全、進度、投資等可視化追溯與控制；最后結(jié)合GIS技術(shù)實現(xiàn)IOT（物聯(lián)網(wǎng)數(shù)據(jù)）數(shù)據(jù)與BIM的關(guān)聯(lián)，建設(shè)一體化智能管理平臺。

4 結(jié)論

經(jīng)過數(shù)十年的發(fā)展，檔案信息化呈現(xiàn)檔案存在形式數(shù)據(jù)化、運行模式實時性強、技術(shù)應(yīng)用高新化、價值模式數(shù)智化、管理方式一體化與集成化等特征。檔案數(shù)據(jù)集成應(yīng)用使得檔案數(shù)據(jù)可以實現(xiàn)可視化檔案數(shù)據(jù)展示、數(shù)據(jù)交互分析、多維溯源以及一體化管理等功能。從未來發(fā)展的角度講，集成化的檔案數(shù)據(jù)將成為人工智能在各行業(yè)中應(yīng)用的基本經(jīng)驗基礎(chǔ)。在先進信息技術(shù)推動下，檔案數(shù)據(jù)集成應(yīng)用的場景和范圍會不斷地構(gòu)建和延展，創(chuàng)造出新的信息組織形式、傳播模式和應(yīng)用方式。

本文以廣西松鐵公路建設(shè)項目檔案管理系統(tǒng)為例，探究發(fā)現(xiàn)依托數(shù)據(jù)集成平臺建設(shè)，可以有效地打破各業(yè)務(wù)系統(tǒng)之間的信息壁壘，可以實現(xiàn)檔案數(shù)據(jù)的高度集中，可實現(xiàn)多源時空數(shù)據(jù)的共享利用，可以集成與呈現(xiàn)有廣闊應(yīng)用市場的可視化檔案，可為檔案數(shù)據(jù)的多維溯源奠定堅實基礎(chǔ)，并可以在將來實現(xiàn)更多方面的電子檔案數(shù)據(jù)賦能。此外，各個行業(yè)針對本單位、本行業(yè)形成的檔案數(shù)據(jù)以及業(yè)務(wù)實踐開發(fā)人工智能系統(tǒng)，建設(shè)形成集成化的檔案數(shù)據(jù)則為人工智能的利用提供了更加便利條件。因此，未來研究與實踐工作要以數(shù)據(jù)集成方法與技術(shù)為指導(dǎo)，以檔案工作實踐為導(dǎo)向，不斷完善集成化檔案管理系統(tǒng)的內(nèi)容，使之更具友好性、集約性和全面性。