智慧城市建設(shè)中的檔案大數(shù)據(jù)系統(tǒng)研究

席暢

（黑龍江大學(xué)信息管理學(xué)院 哈爾濱 150080）

智慧城市建設(shè)中的檔案大數(shù)據(jù)系統(tǒng)研究

席暢

（黑龍江大學(xué)信息管理學(xué)院 哈爾濱 150080）

本文從信息時(shí)代轉(zhuǎn)變檔案?jìng)鹘y(tǒng)觀念入手，對(duì)智慧城市構(gòu)建中的檔案大數(shù)據(jù)系統(tǒng)探究式地加以分析和設(shè)計(jì)，提出了依照檔案實(shí)際內(nèi)容流程搭建高智能基礎(chǔ)設(shè)施框架理念，實(shí)現(xiàn)從海量信息和數(shù)據(jù)中抽取和挖掘有用的信息和資源，有效擴(kuò)展檔案庫(kù)藏，并通過檔案大數(shù)據(jù)系統(tǒng)平臺(tái)的構(gòu)建，有效提升現(xiàn)代檔案管理及檔案服務(wù)功能。

智慧城市 觀念 檔案大數(shù)據(jù) 檔案信息資源

智慧城市作為國(guó)家現(xiàn)代化水平的重要標(biāo)志之一，已被列入重要議事日程。就“智慧城市’而言，核心體現(xiàn)為“智能”。未來城市猶如一座龐大的智能機(jī)器，像人的大腦一樣，具備有效支配、協(xié)調(diào)和組織各部分相互配合、完成指定任務(wù)的功能，同時(shí)具備危機(jī)預(yù)測(cè)、預(yù)警、自動(dòng)生成應(yīng)急預(yù)案、采取必要措施的能力，還具備發(fā)現(xiàn)和預(yù)測(cè)各行業(yè)未來走勢(shì)、提出初步方案的能力，并具備預(yù)測(cè)行業(yè)走勢(shì)、生成指導(dǎo)意見、開展創(chuàng)新和創(chuàng)造的能力等等，體現(xiàn)高度的智能。檔案大數(shù)據(jù)系統(tǒng)作為智慧城市建設(shè)的一個(gè)重要組成部分，承擔(dān)著歷史傳承及推動(dòng)人類社會(huì)發(fā)展的重要任務(wù)和使命，通過大數(shù)據(jù)技術(shù)，使我們能夠做到深入挖掘檔案資源、擴(kuò)展檔案庫(kù)藏，實(shí)現(xiàn)有效管理、組織和利用，發(fā)揮檔案社會(huì)服務(wù)功能和作用的時(shí)代效能。檔案大數(shù)據(jù)系統(tǒng)的建立，必將成為智慧城市建設(shè)的重要標(biāo)志和重要支撐之一。

一、做好建立檔案大數(shù)據(jù)系統(tǒng)觀念上的準(zhǔn)備

1.建立大數(shù)據(jù)檔案系統(tǒng)需要思維觀念的轉(zhuǎn)變。目前的檔案管理，依然以傳統(tǒng)方式為主，而數(shù)字檔案資源建設(shè)基本上處于探索和嘗試階段。大數(shù)據(jù)的產(chǎn)生，是數(shù)字化時(shí)代的必然，有效處理和利用日益增大的數(shù)據(jù)資源，需要新的模式和技術(shù)，并通過新模式、新技術(shù)產(chǎn)生巨量的檔案資源，為國(guó)家、社會(huì)和民眾服務(wù)。這一切必將對(duì)檔案從業(yè)人員思維觀念造成極大沖擊。面向未來，無論業(yè)內(nèi)決策者或領(lǐng)導(dǎo)者，還是檔案館從業(yè)人員，乃至檔案研究或教學(xué)人員，都必須摒棄觀望或保守的消極態(tài)度和思維觀念，要強(qiáng)化學(xué)習(xí)，更新觀念，開放思維，踏實(shí)工作，為加快檔案信息化建設(shè)進(jìn)程做好思想和行動(dòng)上的準(zhǔn)備。

2.建立大數(shù)據(jù)檔案系統(tǒng)需要樹立正確的開發(fā)觀念。目前對(duì)于檔案信息資源開發(fā)觀念的認(rèn)識(shí)存在三個(gè)誤區(qū)。一是片面強(qiáng)調(diào)檔案的機(jī)要性、保密性，人為抵制檔案的開發(fā)與利用；二是開發(fā)檔案資源無用論，認(rèn)為檔案工作不存在技術(shù)含量和學(xué)問，無需檔案資源開發(fā)；三是由于資金有限，難于達(dá)到檔案大數(shù)據(jù)系統(tǒng)建設(shè)要求。檔案大數(shù)據(jù)系統(tǒng)的開發(fā)，是強(qiáng)國(guó)利民、邁向全面現(xiàn)代化的重要組成部分，時(shí)不我待、刻不容緩。我們?cè)谵D(zhuǎn)變觀念、樹立信念的同時(shí)，要立足長(zhǎng)遠(yuǎn)、著眼現(xiàn)實(shí)，有計(jì)劃、有步驟地開展工作，扎實(shí)有效地推進(jìn)檔案大數(shù)據(jù)系統(tǒng)開發(fā)進(jìn)程。

3.建立大數(shù)據(jù)檔案系統(tǒng)需要樹立完備的安全觀念。目前檔案工作者缺乏網(wǎng)絡(luò)安全專業(yè)教育，對(duì)檔案信息安全管理缺乏針對(duì)性和執(zhí)行力。相關(guān)政策法規(guī)和制度建設(shè)及標(biāo)準(zhǔn)化管理、計(jì)算機(jī)輔助管理等相對(duì)檔案信息化發(fā)展步伐明顯滯后。檔案作為國(guó)家戰(zhàn)略決策的重要資源之一，具有豐富內(nèi)涵和利用價(jià)值，同時(shí)在檔案安全上有其特殊的要求。我們?cè)跈n案大數(shù)據(jù)系統(tǒng)建設(shè)中，在充分重視增強(qiáng)檔案從業(yè)人員安全防范意識(shí)的同時(shí)，要切實(shí)加強(qiáng)網(wǎng)絡(luò)安全設(shè)施、安全技術(shù)手段及政策法規(guī)建設(shè)，創(chuàng)造安全的系統(tǒng)環(huán)境，為有效開發(fā)和利用檔案大數(shù)據(jù)系統(tǒng)創(chuàng)造有利條件。

二、智慧城市建設(shè)中的檔案大數(shù)據(jù)系統(tǒng)探究

大數(shù)據(jù)技術(shù)支持巨量的存儲(chǔ)與存儲(chǔ)處理，使檔案資源的統(tǒng)一管理成為可能。檔案大數(shù)據(jù)服務(wù)平臺(tái)的構(gòu)建應(yīng)具有異構(gòu)、開放、移動(dòng)、協(xié)同和融合性等特征。注重用戶實(shí)際需求，通過構(gòu)建和整合不同信息資源、網(wǎng)絡(luò)平臺(tái),為用戶提供安全的使用環(huán)境,實(shí)現(xiàn)用戶的無障礙利用。檔案大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)不僅需要解決超大數(shù)據(jù)造成服務(wù)器容量不足問題，同時(shí)要把有效降低投資和維護(hù)成本融入系統(tǒng)設(shè)計(jì)理念之中。構(gòu)建檔案大數(shù)據(jù)系統(tǒng)平臺(tái)，應(yīng)按著檔案實(shí)際內(nèi)容流程進(jìn)行設(shè)計(jì)，應(yīng)包括檔案的數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)轉(zhuǎn)換層、數(shù)據(jù)互聯(lián)層和數(shù)據(jù)管理層等五個(gè)層面的內(nèi)容。如圖1智慧城市建設(shè)中的檔案大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)圖。

圖1 智慧城市建設(shè)中的檔案大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)圖

1.檔案數(shù)據(jù)采集層。大數(shù)據(jù)環(huán)境中，檔案作為數(shù)據(jù)的一部分，與傳統(tǒng)意義上的檔案有著明顯的區(qū)別。形式表象呈現(xiàn)多樣化。而高質(zhì)量的檔案數(shù)據(jù)和信息獲取渠道，不僅來源于已有局域網(wǎng)中的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)能夠通過網(wǎng)絡(luò)交互、傳感器、RFID射頻、及B/S移動(dòng)輸入等多種渠道獲取非結(jié)構(gòu)化數(shù)據(jù)，實(shí)現(xiàn)采集、變更與處理。由影像識(shí)別技術(shù)獲得的動(dòng)態(tài)數(shù)據(jù)，由掃描、攝影而輸入計(jì)算機(jī)獲得的紙質(zhì)文檔，都是由半結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)變更為結(jié)構(gòu)化數(shù)據(jù)的實(shí)際例證，這種做法既便于工作人員查找原始數(shù)據(jù)，同時(shí)也避免重復(fù)錄入，產(chǎn)生堆積。

采用方法：一是建設(shè)基于文檔一體化的電子檔案管理平臺(tái)，加強(qiáng)電子檔案的接收與管理；二是建設(shè)業(yè)務(wù)數(shù)據(jù)庫(kù)采集管理平臺(tái)，集中管理各單位有長(zhǎng)久保存價(jià)值的業(yè)務(wù)檔案數(shù)據(jù)庫(kù)；三是建設(shè)媒體信息采集平臺(tái)，實(shí)現(xiàn)檔案館對(duì)網(wǎng)站、廣播、電視等媒體信息的智能采集和自動(dòng)歸檔；四是建設(shè)基于城市記憶理念的數(shù)字文獻(xiàn)資源收集和管理平臺(tái)，有計(jì)劃地大規(guī)模積累城市歷史文化資源，并通過專用網(wǎng)站提供權(quán)威的城市歷史文化資源，搭建城市記憶體系。

2.檔案數(shù)據(jù)的存儲(chǔ)層。數(shù)據(jù)存儲(chǔ)層是各類異構(gòu)數(shù)據(jù)源存儲(chǔ)形式的抽象。智慧城市中數(shù)據(jù)源有多種存儲(chǔ)形式，例如關(guān)系數(shù)據(jù)庫(kù)、半結(jié)構(gòu)和非結(jié)構(gòu)化文檔、多媒體數(shù)據(jù)等，因而數(shù)據(jù)存儲(chǔ)層具有巨量、異構(gòu)、分散的特征。作為數(shù)據(jù)存儲(chǔ)層，主要有兩種數(shù)據(jù)存儲(chǔ)形式：一是存儲(chǔ)在各類數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)；二是以文件形式存儲(chǔ)的半結(jié)構(gòu)或非結(jié)構(gòu)化數(shù)據(jù)。

建立大數(shù)據(jù)數(shù)據(jù)源的重要基礎(chǔ)是檔案的數(shù)字化。在做好該項(xiàng)工作的同時(shí)，要完善電子文件和檔案數(shù)字化成果管理服務(wù)體系，為服務(wù)器集群的數(shù)據(jù)整合和處理、即大數(shù)據(jù)處理做好準(zhǔn)備工作。

圖2 檔案數(shù)據(jù)的存儲(chǔ)

3.檔案數(shù)據(jù)的轉(zhuǎn)換層。根據(jù)數(shù)據(jù)過濾和清洗規(guī)則，對(duì)已經(jīng)采集到的大數(shù)據(jù)源實(shí)施可用性檢查和質(zhì)量分析，對(duì)數(shù)據(jù)實(shí)施過濾與清洗，使數(shù)據(jù)整合時(shí)具有較高的可操作性和價(jià)值密度。避免出現(xiàn)巨量數(shù)據(jù)傳輸中的擁擠、塞堵及產(chǎn)生冗余空間等現(xiàn)象。

利用云計(jì)算的分布式系統(tǒng)制作檔案大數(shù)據(jù)源的轉(zhuǎn)換層，能夠具備足夠的數(shù)據(jù)傳輸和存儲(chǔ)能力，達(dá)到檔案大數(shù)據(jù)的智能交互，進(jìn)而構(gòu)成由方法庫(kù)、知識(shí)庫(kù)及模型庫(kù)共同組成的多維數(shù)據(jù)模型。針對(duì)不同的數(shù)據(jù)類型，數(shù)據(jù)轉(zhuǎn)換層主要利用兩種技術(shù)手段：對(duì)于結(jié)構(gòu)化數(shù)據(jù)(主要是指關(guān)系型數(shù)據(jù))利用RDB至RDF映射技術(shù)(RDB2RDF)；對(duì)非結(jié)構(gòu)化數(shù)據(jù)(主要是指多媒體數(shù)據(jù))利用數(shù)據(jù)語義標(biāo)注標(biāo)簽對(duì)數(shù)據(jù)實(shí)施RDF標(biāo)注。

4.檔案數(shù)據(jù)的互聯(lián)層。檔案數(shù)據(jù)的互聯(lián)、整合主要體現(xiàn)為采用數(shù)據(jù)接入技術(shù)（包括廣域網(wǎng)、局域網(wǎng)、個(gè)人網(wǎng)等），將數(shù)據(jù)采集層已處理過的數(shù)據(jù)安全、穩(wěn)定、快速地輸送到上層，并通過數(shù)據(jù)交互功能模塊形成檔案大數(shù)據(jù)源共享系統(tǒng)、并具備“智能交互”功能。

檔案數(shù)據(jù)互聯(lián)包括控制系統(tǒng)、運(yùn)行引擎，基礎(chǔ)平臺(tái)管理等?？刂葡到y(tǒng)指通過調(diào)度、轉(zhuǎn)換、功能等方面對(duì)檔案數(shù)據(jù)進(jìn)行索引和協(xié)同搜索，運(yùn)行引擎指的是對(duì)數(shù)據(jù)對(duì)象、數(shù)據(jù)訪問、工作流的引擎和任務(wù)引擎的整合，一個(gè)分布式文件系統(tǒng)的實(shí)現(xiàn)，能夠做到經(jīng)濟(jì)高效地分析PB級(jí)的結(jié)構(gòu)與非結(jié)構(gòu)化數(shù)據(jù)或信息；基礎(chǔ)平臺(tái)管理包含日志管理、數(shù)據(jù)訪問及訪問策略、信息通知、異常處理、緩存管理，是對(duì)檔案數(shù)據(jù)按照預(yù)定規(guī)則存儲(chǔ)，并進(jìn)行庫(kù)內(nèi)的科學(xué)分析。

5.檔案數(shù)據(jù)的管理層。檔案數(shù)據(jù)管理層面指的是使用和維護(hù)系統(tǒng)的接口,包括數(shù)據(jù)共享、數(shù)據(jù)維護(hù)和數(shù)據(jù)分析，是數(shù)據(jù)服務(wù)的指揮中心。通過多維分析、數(shù)據(jù)挖掘和各種查詢?nèi)齻€(gè)工具實(shí)現(xiàn)人機(jī)交互界面。通過對(duì)人機(jī)交互、操作邏輯、界面美觀的整體設(shè)計(jì)，實(shí)現(xiàn)登陸與認(rèn)證、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)操作、數(shù)據(jù)查詢、基本參數(shù)設(shè)計(jì)等功能。不管采用何種技術(shù)，關(guān)鍵是應(yīng)用。應(yīng)用需要的數(shù)據(jù)才是有價(jià)值的數(shù)據(jù)，只有生成多模式、多樣性的應(yīng)用數(shù)據(jù)，檔案大數(shù)據(jù)源的價(jià)值才能得以充分體現(xiàn)。

智慧城市構(gòu)建中的檔案大數(shù)據(jù)系統(tǒng)建設(shè)是一項(xiàng)長(zhǎng)期、復(fù)雜的系統(tǒng)工程，還面臨著諸多技術(shù)與非技術(shù)的困難和問題。如何科學(xué)、合理地設(shè)計(jì)和搭建高智能的系統(tǒng)框架，是檔案業(yè)內(nèi)人士應(yīng)該認(rèn)真思考、認(rèn)真對(duì)待、認(rèn)真研究的重要課題。未來智慧城市的檔案大數(shù)據(jù)系統(tǒng)，將使檔案部門走出象牙塔，成為公眾與政府之間的橋梁，這座高智能的橋梁，必將為用戶帶來全新的體驗(yàn)和收獲，為國(guó)家全面實(shí)現(xiàn)現(xiàn)代化，為人類的發(fā)展和進(jìn)步做出突出的貢獻(xiàn)。

[1]席暢.大數(shù)據(jù)環(huán)境下未來檔案館建設(shè)的新構(gòu)想[J].云南檔案,2017（1）:55-57.

[2]席暢.淺談互聯(lián)網(wǎng)+檔案信息化[J].黑龍江檔案,2016（1）:52-53. [3]楊智勇,周楓.面向智慧城市的檔案信息服務(wù)模式探究[J].檔案學(xué)通訊，2016（4）:44-49.

[4]郝偉斌.面向智慧城市的檔案信息化[J].檔案管理，2013(4):21-23.

Research on Big Data System of Archives in Smart City Construction

Xi Chang
(Information Management Department of Heilongjiang University,Harbin 150080,China)

Starting from the change of traditional archives concept,this article analyzes and designs the big data system in the construction of smart city,puts forward the idea of building the framework of the high intelligence infrastructure according to the actual content flow of the archives,tries to extract and excavate useful information and resources from the massive information and data,and then effectively expand the archives storage.Besides,through the building of big data system platform,the modern archives management and service function can be effectively enhanced.

mart city;concept;archives big data;archives information resource

G270.7

A

2017-04-07

本文為黑龍江省高校本科科研業(yè)務(wù)費(fèi)黑龍江大學(xué)專項(xiàng)資金“智慧城市背景下檔案信息資源規(guī)劃研究”（項(xiàng)目編號(hào)：HDJDZ201613）階段性研究成果；教育部人文社科規(guī)劃基金項(xiàng)目“信息文明視閾下檔案文化范式轉(zhuǎn)型研究”（項(xiàng)目編號(hào)：12YJA870015）；國(guó)家社科基金項(xiàng)目“信息文化視閾下檔案價(jià)值認(rèn)知轉(zhuǎn)型研究”（項(xiàng)目編號(hào)：13BTQ066）?！镒髡吆?jiǎn)介：席暢，黑龍江大學(xué)信息管理學(xué)院2015級(jí)檔案學(xué)研究生。

10.16565/j.cnki.1006-7744.2017.15.05