構(gòu)建檔案大數(shù)據(jù)應(yīng)用平臺(tái)的探析

楊鳳 劉歡

摘 要：大數(shù)據(jù)時(shí)代，傳統(tǒng)檔案管理工作面臨著全新的發(fā)展形勢(shì)，積極探析檔案大數(shù)據(jù)應(yīng)用平臺(tái)構(gòu)建是實(shí)現(xiàn)檔案管理模式突破創(chuàng)新的必然趨勢(shì)與重要選擇。本文在概述檔案管理大數(shù)據(jù)特征的基礎(chǔ)上，介紹了當(dāng)前檔案管理發(fā)展所面臨的一些普遍性問題，同時(shí)從檔案大數(shù)據(jù)應(yīng)用平臺(tái)構(gòu)建入手，論述了平臺(tái)設(shè)計(jì)與關(guān)鍵技術(shù)，并結(jié)合具體企業(yè)實(shí)際案例，分析探討了其檔案大數(shù)據(jù)應(yīng)用平臺(tái)實(shí)踐，旨在借助大數(shù)據(jù)平臺(tái)帶動(dòng)檔案管理發(fā)展，為相關(guān)研究及工作帶來一些啟示與參考。

關(guān)鍵詞：大數(shù)據(jù);檔案管理;應(yīng)用平臺(tái)

大數(shù)據(jù)理論體系與實(shí)用技術(shù)發(fā)展日益成熟，并且深刻影響著各行業(yè)領(lǐng)域的發(fā)展，尤其是在當(dāng)前信息科技飛速發(fā)展的時(shí)代背景下，大數(shù)據(jù)方面的內(nèi)容受到了更多關(guān)注與重視。目前，有關(guān)大數(shù)據(jù)的研究層出不窮，但真正聚焦于檔案管理領(lǐng)域的研究則相對(duì)較少，事實(shí)上，“大數(shù)據(jù)”對(duì)于傳統(tǒng)檔案管理模式已然產(chǎn)生了顛覆式的影響，如何將大數(shù)據(jù)發(fā)展成果與檔案管理加以有機(jī)融合，探索新時(shí)期檔案管理的創(chuàng)新發(fā)展，這是目前作為檔案部門需要進(jìn)行深入思考的問題。

一、檔案大數(shù)據(jù)特征

1.大數(shù)據(jù)概述

隨著科學(xué)技術(shù)的快速發(fā)展，有關(guān)“大數(shù)據(jù)（big data）”方面的內(nèi)容不斷被提及，并且成為各界密切關(guān)注的焦點(diǎn)話題。事實(shí)上，作為IT行業(yè)術(shù)語，大數(shù)據(jù)的概念早已不僅僅局限于IT行業(yè)本身，在當(dāng)下諸多領(lǐng)域與行業(yè)中，大數(shù)據(jù)都產(chǎn)生著深遠(yuǎn)影響并發(fā)揮著重要作用。相較于“數(shù)據(jù)”而言，“大數(shù)據(jù)”一方面具備數(shù)據(jù)本身的特征，另一方面“大數(shù)據(jù)”還更為強(qiáng)調(diào)數(shù)據(jù)間密切的交互聯(lián)系，即進(jìn)行數(shù)據(jù)挖掘。換言之，大數(shù)據(jù)展現(xiàn)了收集與分析海量信息的能力，能夠從巨量信息資料中實(shí)現(xiàn)數(shù)據(jù)挖掘。目前，人們總結(jié)歸納大數(shù)據(jù)具有“5V”特征，即數(shù)據(jù)規(guī)模海量（Volume）、數(shù)據(jù)流轉(zhuǎn)速度快（Velocity）、數(shù)據(jù)類型多樣（Variety）、價(jià)值密度低（Value）以及真實(shí)性（Veracity）。

2.檔案大數(shù)據(jù)特征

相較于傳統(tǒng)檔案管理模式，大數(shù)據(jù)推動(dòng)著檔案管理方方面面的變革與創(chuàng)新，同時(shí)也使檔案大數(shù)據(jù)展現(xiàn)出很多新特征，主要表現(xiàn)在：（1）檔案數(shù)據(jù)資源增量大、種類繁多。從當(dāng)前檔案管理工作發(fā)展態(tài)勢(shì)來看，“存量數(shù)字化”與“增量電子化”已然成為檔案管理工作大數(shù)據(jù)發(fā)展的要求，這勢(shì)必逐漸形成檔案大數(shù)據(jù)的海量規(guī)模，而從檔案數(shù)據(jù)資源情況來看，其涵蓋有結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化等數(shù)據(jù)，數(shù)據(jù)資源種類相對(duì)繁多。（2）檔案數(shù)據(jù)資源價(jià)值密度低。以傳統(tǒng)檔案管理模式角度來看，“重資源、輕管理，重藏輕用”情況實(shí)際上一直存在，而檔案本身的價(jià)值在于如何得到充分且有效的利用，這也是大數(shù)據(jù)時(shí)代下檔案智能化、信息化服務(wù)模式的特征，即在檔案數(shù)據(jù)資源增長(zhǎng)下要避免其利用價(jià)值降低。

二、大數(shù)據(jù)時(shí)代檔案管理存在的問題

1.檔案管理理念滯后

大數(shù)據(jù)時(shí)代，傳統(tǒng)檔案管理模式受到了明顯沖擊，要求相關(guān)單位必須要積極順應(yīng)新時(shí)期檔案管理發(fā)展，及時(shí)轉(zhuǎn)變檔案管理理念。然而，在具體實(shí)踐當(dāng)中，很多單位、部門以及人員的檔案管理理念并沒有做到與時(shí)俱進(jìn)，這顯然制約了檔案管理的革新。應(yīng)該看到的是，大數(shù)據(jù)時(shí)代下檔案管理不僅僅局限于先進(jìn)的技術(shù)，更要求有理念認(rèn)知能夠與之相配套，否則檔案管理很難得到真正的突破。

2.技術(shù)問題需要突破

檔案管理是一項(xiàng)系統(tǒng)性的工作任務(wù)，將大數(shù)據(jù)技術(shù)妥善應(yīng)用于檔案管理工作有助于推動(dòng)檔案管理發(fā)展，但同時(shí)在技術(shù)的實(shí)際應(yīng)用過程中，也仍然會(huì)面臨很多問題需要解決。例如，在檔案管理實(shí)踐中，檔案資源往往具備一定的復(fù)雜性，其中既有傳統(tǒng)紙質(zhì)檔案，又有大量電子化檔案資源，加之檔案管控在不同時(shí)期、不同階段的規(guī)范要求可能并不統(tǒng)一，這使檔案資源存儲(chǔ)管理面臨較大挑戰(zhàn)，需要在具體技術(shù)環(huán)節(jié)有效解決這些問題。

3.信息安全面臨挑戰(zhàn)

大數(shù)據(jù)時(shí)代給予檔案管理發(fā)展帶來了很多新機(jī)遇，但與此同時(shí)也使之面臨很多新挑戰(zhàn)，在這其中信息安全方面的問題則是首當(dāng)其沖。事實(shí)上，當(dāng)前檔案部門已經(jīng)認(rèn)識(shí)到了數(shù)據(jù)信息資源的價(jià)值，并且依托于大數(shù)據(jù)技術(shù)的便利優(yōu)勢(shì)，能夠?qū)⑵鋬r(jià)值得到更為充分的發(fā)揮，但不可否認(rèn)的是，在整個(gè)數(shù)據(jù)信息資源運(yùn)轉(zhuǎn)過程中，會(huì)涉及訪問與隱私的安全性、可靠性等方面的問題，尤其是在大數(shù)據(jù)及信息安全的相關(guān)法律法規(guī)方面，目前仍還有很多需要健全完善的環(huán)節(jié)。

三、平臺(tái)設(shè)計(jì)與關(guān)鍵技術(shù)

1.平臺(tái)設(shè)計(jì)

大數(shù)據(jù)平臺(tái)及技術(shù)在當(dāng)前檔案管理方面發(fā)揮著愈發(fā)關(guān)鍵的價(jià)值與作用，其中針對(duì)檔案大數(shù)據(jù)的資源管理是檔案大數(shù)據(jù)處理框架的核心模塊組，該體系需要以計(jì)算機(jī)集群系統(tǒng)為主要依托，同時(shí)能夠充分確保數(shù)據(jù)高可用性、可獲得性與準(zhǔn)確性。

其一，數(shù)據(jù)存儲(chǔ)管理系統(tǒng)。就該系統(tǒng)而言，應(yīng)當(dāng)可以將相關(guān)數(shù)據(jù)存儲(chǔ)模型加以整合封裝，并且借助滿足業(yè)務(wù)關(guān)系的配置操作形成存儲(chǔ)中間件，如采取傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)保存的運(yùn)行指標(biāo)數(shù)據(jù)、采取文件形式存儲(chǔ)的視頻監(jiān)控?cái)?shù)據(jù)等，同時(shí)對(duì)其予以統(tǒng)一管理，最終形成混合式數(shù)據(jù)存儲(chǔ)系統(tǒng)。

其二，在技術(shù)與支撐平臺(tái)選型時(shí)，應(yīng)當(dāng)充分考慮到公共服務(wù)層數(shù)據(jù)、技術(shù)與業(yè)務(wù)等服務(wù)差異。就大數(shù)據(jù)服務(wù)體系框架而言，檔案應(yīng)用服務(wù)特征應(yīng)當(dāng)包括“三高”，即高計(jì)算、高可用與高通量，利用將各種存儲(chǔ)管理中間件模型與計(jì)算模型加以整合封裝，從而支持準(zhǔn)、高、快數(shù)據(jù)流更好地服務(wù)于應(yīng)用平臺(tái)。

其三，基于微服務(wù)架構(gòu)，在應(yīng)用層提供相關(guān)應(yīng)用，并且使用者提供應(yīng)用端，如筆記本、手機(jī)等。利用數(shù)據(jù)資源管理平臺(tái)保障應(yīng)用系統(tǒng)安全。

2.關(guān)鍵技術(shù)

其一，數(shù)據(jù)存儲(chǔ)技術(shù)。結(jié)合檔案管理特點(diǎn)來看，在實(shí)際建設(shè)數(shù)據(jù)庫(kù)過程中，相關(guān)方面主要涵蓋有設(shè)計(jì)數(shù)據(jù)庫(kù)、遷移檔案資源，以及可能涉及的融合新舊檔案等。在這其中，一般都會(huì)利用到文字識(shí)別、數(shù)字加工、數(shù)據(jù)標(biāo)引等技術(shù)。

其二，數(shù)據(jù)分析技術(shù)。該技術(shù)體系作為檔案大數(shù)據(jù)應(yīng)用平臺(tái)的大腦，承擔(dān)著管理與應(yīng)用平臺(tái)數(shù)據(jù)的關(guān)鍵角色，該核心功能模塊集成包括基本語義分析、詞表管理、協(xié)同過濾、分類聚合、智能化推薦、機(jī)器學(xué)習(xí)等諸多技術(shù)。需要指出的是，微服務(wù)平臺(tái)數(shù)據(jù)核心算法正是基于該技術(shù)體系。

其三，微服務(wù)技術(shù)。例如，Spring Boot微服務(wù)架構(gòu)，能夠生成獨(dú)立微服務(wù)功能單元、只關(guān)注核心代碼就能生成應(yīng)用程序;Spring Cloud技術(shù)，能夠提供一種成熟的開發(fā)框架與便捷的開發(fā)平臺(tái)。

其四，可視化應(yīng)用技術(shù)。該項(xiàng)技術(shù)順應(yīng)了檔案管理的發(fā)展需要，通過該項(xiàng)技術(shù)的應(yīng)用，能夠便于用戶對(duì)檔案數(shù)據(jù)加以應(yīng)用與決策。

四、檔案大數(shù)據(jù)應(yīng)用平臺(tái)實(shí)踐

本文以X電網(wǎng)企業(yè)作為具體研究案例。伴隨當(dāng)前電力行業(yè)改革持續(xù)深化發(fā)展，電網(wǎng)企業(yè)檔案管理面臨著新的發(fā)展局面。X電網(wǎng)企業(yè)檔案管理發(fā)展相對(duì)較為滯緩，面對(duì)新時(shí)期檔案管理發(fā)展需求，X電網(wǎng)企業(yè)迫切需要引入檔案大數(shù)據(jù)應(yīng)用平臺(tái)，從而帶動(dòng)自身檔案管理信息化、現(xiàn)代化建設(shè)。

1.X電網(wǎng)企業(yè)檔案情況分析

了解、掌握企業(yè)檔案資源情況是構(gòu)建其檔案大數(shù)據(jù)應(yīng)用平臺(tái)的基礎(chǔ)與前提，結(jié)合X電網(wǎng)企業(yè)原始檔案情況分析來看，其主要特征可以概括為以下方面：

（1）X電網(wǎng)企業(yè)現(xiàn)有電子檔案4000萬件，因此會(huì)涉及相對(duì)較大的存儲(chǔ)容量。

（2）X電網(wǎng)企業(yè)原始檔案涵蓋有各類媒體，如設(shè)計(jì)文件、office文件、pdf等。

（3）X電網(wǎng)企業(yè)檔案用戶超30萬，面對(duì)龐大用戶群體，必須要健全相應(yīng)權(quán)限控制環(huán)節(jié)。

2.X電網(wǎng)企業(yè)檔案大數(shù)據(jù)應(yīng)用平臺(tái)規(guī)劃設(shè)計(jì)

第一，檔案數(shù)據(jù)存儲(chǔ)大數(shù)據(jù)平臺(tái)。借助于大數(shù)據(jù)技術(shù)，構(gòu)建大數(shù)據(jù)存儲(chǔ)平臺(tái)，該平臺(tái)應(yīng)當(dāng)能夠滿足多方面需求，如存儲(chǔ)X電網(wǎng)企業(yè)舊有檔案、進(jìn)行動(dòng)態(tài)備份與容量擴(kuò)充、檔案檢索與定位及時(shí)，適應(yīng)X電網(wǎng)企業(yè)日常檔案管理基本業(yè)務(wù)，支持其進(jìn)行可視化決策分析等。第二，檔案資源入庫(kù)。一方面需要將X電網(wǎng)企業(yè)原有檔案資源入庫(kù)，另一方面則是需要把新建企業(yè)檔案入庫(kù)接口。第三，建設(shè)檔案業(yè)務(wù)系統(tǒng)。檔案業(yè)務(wù)相關(guān)應(yīng)用系統(tǒng)主要涵蓋檔案業(yè)務(wù)的服務(wù)系統(tǒng)、分析系統(tǒng)、管理系統(tǒng)，以及檔案數(shù)據(jù)對(duì)外開放接口系統(tǒng)等。如圖1所示，為針對(duì)X電網(wǎng)企業(yè)所設(shè)計(jì)的大數(shù)據(jù)平臺(tái)架構(gòu)情況。

結(jié)合此次平臺(tái)架構(gòu)設(shè)計(jì)情況能夠看到，其主要體現(xiàn)為“兩縱五橫”模式，即數(shù)據(jù)架構(gòu)與管理平臺(tái)的雙縱向脈絡(luò)。其中，前者體系架構(gòu)涵蓋有數(shù)據(jù)的采集層、處理層、分析層、訪問層與應(yīng)用層，后者則包括運(yùn)維管理、數(shù)據(jù)管理與開發(fā)工具模塊。

3.X電網(wǎng)企業(yè)檔案大數(shù)據(jù)應(yīng)用平臺(tái)技術(shù)實(shí)現(xiàn)

（1）建設(shè)及應(yīng)用檔案數(shù)據(jù)庫(kù)

根據(jù)X電網(wǎng)企業(yè)檔案情況來看，其檔案數(shù)據(jù)來源涵蓋有多種類型，面對(duì)各種類型的檔案數(shù)據(jù)，需要有相應(yīng)的處理方式，具體如表1所示：

（2）建設(shè)檔案數(shù)據(jù)基礎(chǔ)分析

在入庫(kù)X電網(wǎng)企業(yè)檔案數(shù)據(jù)的基礎(chǔ)之上，還應(yīng)當(dāng)進(jìn)一步構(gòu)建基本數(shù)據(jù)處理核心算法，從而能夠更好滿足檔案數(shù)據(jù)微服務(wù)要求，應(yīng)該看到的是，這一做法的目的實(shí)際上也是要對(duì)X電網(wǎng)企業(yè)入庫(kù)數(shù)據(jù)資源進(jìn)行深層業(yè)務(wù)挖掘與數(shù)據(jù)應(yīng)用。一般而言，從功能層面來具體劃分檔案數(shù)據(jù)基礎(chǔ)分析，其核心功能算法模塊應(yīng)當(dāng)涵蓋語義分析、文本糾錯(cuò)、資源分類、資源標(biāo)簽化、詞表管理、資源推薦、智能推薦等相應(yīng)算法。

（3）建設(shè)檔案數(shù)據(jù)微服務(wù)

根據(jù)構(gòu)建的X電網(wǎng)企業(yè)檔案大數(shù)據(jù)應(yīng)用平臺(tái)，其平臺(tái)業(yè)務(wù)相關(guān)服務(wù)主要是建立在微服務(wù)架構(gòu)技術(shù)的基礎(chǔ)之上，并且以此為依托，該平臺(tái)能夠?qū)崿F(xiàn)一系列的微服務(wù)模塊需求，具體內(nèi)容涵蓋檔案檢索與管理、檔案統(tǒng)計(jì)分析、檔案數(shù)據(jù)對(duì)外接口、檔案服務(wù)擴(kuò)展等。

（4）建設(shè)檔案業(yè)務(wù)功能應(yīng)用

這一環(huán)節(jié)的建設(shè)主要是為了匯總預(yù)計(jì)功能模塊。所謂功能模塊，即基于檔案數(shù)據(jù)微服務(wù)，面向應(yīng)用系統(tǒng)提供功能模塊基礎(chǔ)單元。需要指出的是，檔案業(yè)務(wù)功能模塊作為檔案大數(shù)據(jù)應(yīng)用平臺(tái)管理與業(yè)務(wù)相關(guān)各類應(yīng)用的功能模塊集合，其涵蓋內(nèi)容十分廣泛，如檔案的新建、編輯、更新、刪除、檢索、查詢等模塊，以及平臺(tái)、資源、賬戶管理模塊等。

（5）建設(shè)檔案應(yīng)用系統(tǒng)

在該環(huán)節(jié)建設(shè)工作中，需要結(jié)合檔案業(yè)務(wù)管理需求加以考量，即檔案應(yīng)用系統(tǒng)建設(shè)主要涵蓋檔案管理系統(tǒng)、檔案服務(wù)系統(tǒng)與檔案決策分析系統(tǒng)。

4.X電網(wǎng)企業(yè)檔案大數(shù)據(jù)應(yīng)用平臺(tái)特色

在大數(shù)據(jù)時(shí)代，X電網(wǎng)企業(yè)檔案管理面臨轉(zhuǎn)型升級(jí)的現(xiàn)實(shí)需要，本文通過為其構(gòu)建檔案大數(shù)據(jù)應(yīng)用平臺(tái)，有助于推進(jìn)其檔案信息化管理現(xiàn)代化發(fā)展，其平臺(tái)特色主要表現(xiàn)為：

（1）能夠提升X電網(wǎng)企業(yè)檔案管理效率

通過構(gòu)建、應(yīng)用檔案大數(shù)據(jù)平臺(tái)，X電網(wǎng)企業(yè)檔案管理效率將得到極大提升。例如，依托于檔案大數(shù)據(jù)平臺(tái)可以實(shí)現(xiàn)檔案智能搜索，并且基于檔案歷史分類還可以實(shí)現(xiàn)檔案智能化輔助分類，極大提高檔案利用與管理效率;再如，依托于統(tǒng)一的檔案大數(shù)據(jù)平臺(tái)，檔案使用者僅需從系統(tǒng)一個(gè)入口便可以快捷查找各類數(shù)據(jù)，免去頻繁切換各子系統(tǒng)調(diào)取數(shù)據(jù)資料的煩瑣程序，利于各類數(shù)據(jù)進(jìn)行匯總比對(duì)。

（2）能夠轉(zhuǎn)變X電網(wǎng)企業(yè)檔案管理理念

檔案大數(shù)據(jù)應(yīng)用平臺(tái)是對(duì)傳統(tǒng)檔案業(yè)務(wù)與管理的一種創(chuàng)新突破，也是企業(yè)檔案發(fā)展的必然趨勢(shì)，通過該平臺(tái)的構(gòu)建與應(yīng)用，能夠在具體實(shí)踐中不斷深化客戶、檔案管理人員等相關(guān)方面的體驗(yàn)，從而在潛移默化中實(shí)現(xiàn)檔案管理理念轉(zhuǎn)變。

（3）能夠拓展X電網(wǎng)企業(yè)新的檔案業(yè)務(wù)

除檔案存儲(chǔ)、業(yè)務(wù)管理等基本業(yè)務(wù)需求外，該平臺(tái)建設(shè)還在一定程度上實(shí)現(xiàn)了新業(yè)務(wù)拓展。例如，借助檔案歷史數(shù)據(jù)及其分析功能，能夠?yàn)闄n案用戶業(yè)務(wù)決策提供直觀的可視化支持，通過統(tǒng)計(jì)分析檔案數(shù)據(jù)，為企業(yè)相關(guān)業(yè)務(wù)決策提供一定的參考依據(jù)。

五、總結(jié)

綜上所述，“大數(shù)據(jù)”深刻影響著當(dāng)今時(shí)代的發(fā)展，隨著大數(shù)據(jù)理念與檔案管理聯(lián)系日益緊密，傳統(tǒng)檔案管理工作也迎來了全新的發(fā)展機(jī)遇及挑戰(zhàn)，作為檔案部門需要加強(qiáng)大數(shù)據(jù)理論體系與實(shí)用技術(shù)方面的學(xué)習(xí)研究，積極轉(zhuǎn)變思想認(rèn)識(shí)與工作方法，使大數(shù)據(jù)與檔案管理能夠得到有機(jī)融合，實(shí)現(xiàn)檔案管理的創(chuàng)新發(fā)展。大數(shù)據(jù)平臺(tái)目前在各行業(yè)領(lǐng)域的實(shí)踐中已經(jīng)得到了很大程度的應(yīng)用，其在發(fā)揮重要價(jià)值作用的同時(shí)，也逐漸扮演起愈發(fā)關(guān)鍵的角色。本文結(jié)合企業(yè)實(shí)踐，對(duì)檔案大數(shù)據(jù)應(yīng)用平臺(tái)的構(gòu)建進(jìn)行了初步探析，相信隨著大數(shù)據(jù)理論體系與實(shí)用技術(shù)的不斷發(fā)展，未來有關(guān)檔案大數(shù)據(jù)方面的探索將會(huì)取得更多突破。

參考文獻(xiàn)：

[1]李鵬達(dá)，陳穹燕.數(shù)據(jù)挖掘技術(shù)在檔案開放鑒定領(lǐng)域應(yīng)用初探[J].中國(guó)檔案，2021

[2]于英香，滕玉潔.大數(shù)據(jù)背景下檔案管理數(shù)據(jù)化轉(zhuǎn)型探析[J].中國(guó)檔案，2021

[3]戚文來，韓 娟.智慧城市時(shí)空大數(shù)據(jù)平臺(tái)下自然資源檔案管理系統(tǒng)的升級(jí)與改造[J].測(cè)繪通報(bào)，2020

[4]劉越男.數(shù)據(jù)治理大數(shù)據(jù)時(shí)代檔案管理的新視角和新職能[J].檔案學(xué)研究，2020

（作者單位：1.廣州致訊信息科技有限責(zé)任公司;2.南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司）