城建檔案大數(shù)據(jù)分析平臺研究與設(shè)計

文｜ 住房和城鄉(xiāng)建設(shè)部科技與產(chǎn)業(yè)化發(fā)展中心 曹吉昌 /北京建筑大學 王佳儀

一、城建檔案大數(shù)據(jù)分析平臺建設(shè)的必要性

（一）執(zhí)行中央指示精神的需要

2014年，中共中央辦公廳、國務院辦公廳印發(fā)的《關(guān)于加強和改進新形勢下檔案工作的意見》指出要加快推進傳統(tǒng)載體檔案數(shù)字化，從人力、財力、物力上統(tǒng)籌安排，切實推進檔案存儲數(shù)字化和利用網(wǎng)絡化，方便人民群眾利用檔案。2016年，國家檔案局印發(fā)的《全國檔案事業(yè)發(fā)展“十三五”規(guī)劃綱要》指出了到2020年初步實現(xiàn)以信息化為核心的檔案管理現(xiàn)代化的發(fā)展目標，全面推進檔案資源存量數(shù)字化、增量電子化、利用網(wǎng)絡化。

（二）適應信息時代發(fā)展的需要

現(xiàn)如今，現(xiàn)代信息技術(shù)被廣泛應用到各行各業(yè)，帶來了革命性變革，深刻影響著人們的生產(chǎn)生活方式。時代的發(fā)展與技術(shù)的進步也為城建檔案管理工作提供了絕佳的契機與條件，“科技興檔”，讓大數(shù)據(jù)、云計算等信息技術(shù)手段助力城建檔案管理工作，提高檔案工作效率，最大限度地實現(xiàn)城建檔案的價值。

（三）充分利用檔案資源的需要

城建檔案作為城市建設(shè)信息資源的載體，是城市規(guī)劃、建設(shè)、管理的重要依據(jù)。雖然傳統(tǒng)的城建檔案館保存著海量的城建數(shù)據(jù)，卻存在著數(shù)據(jù)不能被充分分析利用的情況，導致一條條承載了海量信息的“數(shù)據(jù)巨龍”仍然長眠于庫房中，借閱方式繁瑣、查詢不便、利用率低、管理效率低下，急需借助信息化、智能化手段將之“喚醒”，使城建檔案更好地為城市建設(shè)、社會發(fā)展服務。

二、城建檔案大數(shù)據(jù)分析平臺的功能設(shè)計

建設(shè)城建檔案大數(shù)據(jù)分析平臺，可以使城建檔案數(shù)據(jù)得到有效利用，采用大數(shù)據(jù)挖掘、分析技術(shù)，結(jié)合不同用戶群體的需求，通過量身定制分析模型，借助多種可視化組件，將分析結(jié)果以直觀的圖表方式進行展示，如圖1 所示。

（一）數(shù)據(jù)接入

平臺提供一套豐富的統(tǒng)一數(shù)據(jù)接入入口，支持各類常規(guī)的關(guān)系庫、Hadoop 提供的數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、外部導入數(shù)據(jù)（如excel、json、xml 等）以及流數(shù)據(jù)接入。

（二）數(shù)據(jù)預處理

圖1 檔案管理大數(shù)據(jù)平臺界面展示

平臺對于接入數(shù)據(jù)進行一系列的特征分析和加工處理，為后續(xù)數(shù)據(jù)分析與挖掘提供高質(zhì)量的數(shù)據(jù)。最初采集存儲的數(shù)據(jù)并不是十分完美的，其中可能含有大量的垃圾數(shù)據(jù)、錯誤數(shù)據(jù)、缺失數(shù)據(jù)、無法直接計算的數(shù)據(jù)，故需要對數(shù)據(jù)進行分析，并采取一些處理措施后才能進行后續(xù)分析。

1.數(shù)據(jù)采樣

通?？赏ㄟ^實驗測試來對學習器的泛化誤差進行評估并進而做出選擇，測試樣本是從樣本真實分布中獨立同分布抽樣而得，測試集應該盡可能與訓練集互斥，即測試樣本盡量不在訓練集中出現(xiàn)，未在訓練過程中使用。常用的采樣算法有：留出法(Hold-out)、交叉驗證法(cross validation)、自助法。

2.數(shù)據(jù)質(zhì)量分析

對于數(shù)據(jù)加工前，必然需要對數(shù)據(jù)的特性進行摸底了解，好在加工時選擇合適的算子。平臺提供了一套便捷的可視化分析套件，直接對數(shù)據(jù)進行多方位的視查。可以進行缺失值情況分析、離散值分析、連續(xù)值域分布分析、離群點分析等數(shù)據(jù)質(zhì)量分析。

3.數(shù)據(jù)加工算子

平臺提供一套加工算子，在作業(yè)管理中直接進行拖拉即可完成相關(guān)的運算。對于一些未采集全的數(shù)據(jù)，我們則通過相關(guān)字段進行初步預測。對于一些明顯偏離實際意義的數(shù)據(jù)，在送入計算前，進行排除，以防止對結(jié)果的干擾。

（三）BI 分析

城建檔案大數(shù)據(jù)分析平臺設(shè)計有BI 分析功能。通過儀表盤、靈活查詢、電子表格、多維分析、數(shù)據(jù)挖掘等方式，監(jiān)控關(guān)鍵指標，分析并掌控業(yè)務發(fā)展趨勢，保持與戰(zhàn)略的步調(diào)一致。儀表盤旨在讓用戶了解完整的業(yè)務活動，能夠以個性化的方式來監(jiān)控KPI、衡量KPI，管理預警和異常；靈活查詢平臺，可以滿足用戶在不需要復雜培訓的條件下，能夠自己創(chuàng)建查詢報表、圖表；電子表格可滿足各種復雜格式的監(jiān)管報表、內(nèi)部管理報表的需求；基于多維分析技術(shù)，用戶可以從任意角度探察和分析以任何形式組合的數(shù)據(jù)；系統(tǒng)集合了大量數(shù)據(jù)挖掘的算法，支持多種挖掘模型，并提供圖形化的操作方式。

（四）數(shù)據(jù)碰撞分析

數(shù)據(jù)碰撞分析面向業(yè)務人員，提供便捷高效的可視化業(yè)務模型開發(fā)能力。所開發(fā)的模型主要是基于一個或多個數(shù)據(jù)源進行數(shù)據(jù)碰撞分析，最終計算得到業(yè)務人員期望的目的數(shù)據(jù)。數(shù)據(jù)能夠支持固化落地，便于其價值長期保留，并為進一步的數(shù)據(jù)分析提供基礎(chǔ)。

數(shù)據(jù)碰撞分析工具整體架構(gòu)基于大數(shù)據(jù)平臺運行，通過spark 計算完成分析并輸出結(jié)果，用于支撐應用系統(tǒng)的數(shù)據(jù)展現(xiàn)。核心功能分為模型編排、模型執(zhí)行、模型共享、算子以及數(shù)據(jù)目錄，如圖2 所示。

三、業(yè)務分析模型

（一）面向檔案管理人員的分析模型

1.檔案資源數(shù)據(jù)統(tǒng)計

提供單一數(shù)據(jù)的統(tǒng)計分析功能，主要針對城建檔案的資源數(shù)量情況進行統(tǒng)計和分析，通過下述各類單一的數(shù)據(jù)統(tǒng)計結(jié)果，組合形成不同的分析決策主題，主要統(tǒng)計如下：文件數(shù)量的分類統(tǒng)計和分析、同類工程案卷數(shù)量的對比分析、現(xiàn)行權(quán)重文件產(chǎn)生量與歸檔量的對比分析、永久檔案與定期檔案數(shù)據(jù)的對比分析、不同類型載體檔案數(shù)量的對比分析、不同地域不同系統(tǒng)檔案移交量對比分析、不同時期檔案數(shù)量對比分析、不同密級檔案數(shù)量對比分析。上述8 項單一統(tǒng)計，皆可自由組合，根據(jù)需求形成組合性的統(tǒng)計報表，或者上述單一統(tǒng)計多項組合形成不同的業(yè)務應用分析專題。

圖2 數(shù)據(jù)碰撞分析設(shè)計架構(gòu)

2.檔案資源質(zhì)量統(tǒng)計

主要是對館藏或者主管范圍內(nèi)的檔案質(zhì)量情況進行統(tǒng)計和分析，包括：檔案資源載體和信息完好度分析、檔案全文數(shù)據(jù)質(zhì)量分析、檔案縮微情況分析、檔案修復情況分析、檔案著錄情況分析、目錄數(shù)據(jù)庫情況分析等。

3.檔案數(shù)據(jù)分析應用

通過上述“檔案資源數(shù)據(jù)統(tǒng)計”和“檔案資源質(zhì)量統(tǒng)計”等十多個類型單項或者組合統(tǒng)計，可以直接形成面向檔案館業(yè)務管理方面的分析應用，包括：檔案資源的豐富度鑒定、數(shù)據(jù)質(zhì)量問題處理分析、可能存在的檔案資源分布點一覽、電子文件著錄和檔案目錄數(shù)據(jù)庫優(yōu)化、檔案質(zhì)量優(yōu)化分析、年度業(yè)務數(shù)據(jù)統(tǒng)計分析等。

（二）面向社會公眾的分析模型

面向社會公眾，平臺可進行檔案利用效益統(tǒng)計和分析，例如采集被搜索、被下載、被查閱的“案卷題名”“案卷類別”、文件相關(guān)的“主題詞”、聲像相關(guān)的“文件題名”等，統(tǒng)計查詢、下載、搜索的次數(shù)，為社會公眾搜索檔案提供方便。還可以進行檔案檢索效率統(tǒng)計分析，例如針對某類檔案資源在某一特定時間內(nèi)檢索次數(shù)和頻率較高的情況，在這一時間階段內(nèi)優(yōu)化該類數(shù)據(jù)資源的檢索效率。此外，該平臺還可以預測檔案利用趨勢，例如對每年的熱點（如人大會議、抗日紀念等）會涉及的檔案數(shù)據(jù)需求量進行預算，精確定向生成相關(guān)數(shù)據(jù)利用熱點和趨勢分析，并具備提供相應檔案數(shù)據(jù)的能力。

（三）面向從業(yè)主體的分析模型

面向建設(shè)單位，平臺可以根據(jù)業(yè)績擇優(yōu)推送單位（機構(gòu)），驗證核實中標單位，預測分析工期等。面向勘察單位，平臺提供已建建筑的改擴建項目的勘察及設(shè)計、項目地塊周邊地址分析等，勘察單位通過參考以前工程的勘測報告，可以為今后的項目地勘提供數(shù)據(jù)經(jīng)驗。面向設(shè)計單位，平臺提供快速設(shè)計模型參考、設(shè)計影響數(shù)據(jù)分析、質(zhì)量維護保養(yǎng)信息等。面向施工單位，平臺提供工期規(guī)模和工期預測分析、投標策略分析、現(xiàn)場設(shè)備材料核實分析、施工問題輔助方案等。面向監(jiān)理單位，平臺提供企業(yè)資質(zhì)業(yè)績核實、施工問題輔助方案等。

（四）面向主管部門的分析模型

面向主管部門，平臺提供從業(yè)主體數(shù)據(jù)統(tǒng)計、項目工程數(shù)據(jù)分析、誠信數(shù)據(jù)比對分析、項目全生命周期監(jiān)管、綜合性決策分析等分析模型。從業(yè)主體數(shù)據(jù)統(tǒng)計主要實現(xiàn)數(shù)據(jù)匯總、主體類型占比和地域分項統(tǒng)計數(shù)據(jù)等信息；工程項目數(shù)據(jù)分析，通過大數(shù)據(jù)分析系統(tǒng)匯總各類項目數(shù)量、金額、標段數(shù)等，通過數(shù)據(jù)圖表方式進行展示；誠信數(shù)據(jù)比對分析，按照不同的企業(yè)類型進行分析排名統(tǒng)計，并形成均分進行比對，為領(lǐng)導決策提供匯總結(jié)果；項目全生命周期監(jiān)管，整合建筑市場各業(yè)務節(jié)點現(xiàn)有數(shù)據(jù)及信息資源，通過有效的數(shù)據(jù)串聯(lián)關(guān)系，記錄工程項目從市場到現(xiàn)場所有業(yè)務環(huán)節(jié)中的行為與表現(xiàn)，并在平臺中進行立體和形象化的展示；綜合性決策分析，系統(tǒng)提供統(tǒng)計業(yè)務執(zhí)行過程中的異常情況，并按各年度各月份進行顯示，為監(jiān)管部門綜合性決策提供參考。

四、結(jié)語

城建檔案在城市規(guī)劃建設(shè)中發(fā)揮著重要的指導作用，它記載了城市建設(shè)的過去，也能影響城市可持續(xù)發(fā)展的未來，利用好城建檔案可以少走彎路，避免資源浪費，助力科學決策。在大數(shù)據(jù)時代背景下，建設(shè)城建檔案大數(shù)據(jù)分析平臺可以改變傳統(tǒng)的檔案接收管理模式，提高檔案利用率，推進城建檔案數(shù)字化的進程，使城建檔案更好地為人民服務，對城市規(guī)劃建設(shè)乃至社會的發(fā)展都有著長遠而積極的影響。