教育統(tǒng)計(jì)歷史數(shù)據(jù)的信息化管理設(shè)計(jì)

■ 成都 馮媚

編者按：隨著信息技術(shù)的發(fā)展，大數(shù)據(jù)時(shí)代的來(lái)臨，數(shù)據(jù)無(wú)論在工作還是在生活中發(fā)揮的作用越來(lái)越大。教育行業(yè)統(tǒng)計(jì)多年來(lái)積淀了大量的歷史數(shù)據(jù)，如何讓這些躺著的數(shù)據(jù)醒過來(lái)更好地為教育決策咨詢服務(wù)，筆者在工作中做出了嘗試。本文詳細(xì)地論述了筆者開發(fā)統(tǒng)計(jì)平臺(tái)，盤活歷史數(shù)據(jù)的案例，包括平臺(tái)開發(fā)工具的選擇，數(shù)據(jù)管理功能模塊設(shè)計(jì)，用戶權(quán)限設(shè)置等，供同行們參考。

作為教育部縱向組織管理的兩大統(tǒng)計(jì)，事業(yè)統(tǒng)計(jì)和經(jīng)費(fèi)統(tǒng)計(jì)已有數(shù)十年的歷史。累計(jì)經(jīng)年的統(tǒng)計(jì)工作，積淀下大量珍貴的歷史數(shù)據(jù)，如實(shí)反映了國(guó)民教育變遷發(fā)展的歷史足跡。在教育事業(yè)發(fā)展和信息技術(shù)革新的雙重推動(dòng)下，事業(yè)統(tǒng)計(jì)和經(jīng)費(fèi)統(tǒng)計(jì)從報(bào)表設(shè)計(jì)到指標(biāo)解釋、從采集軟件到存儲(chǔ)系統(tǒng)，都一直處于變化和發(fā)展?fàn)顟B(tài)。雖然這是統(tǒng)計(jì)事業(yè)發(fā)展的必然，但卻給我們使用歷史數(shù)據(jù)卻帶來(lái)了諸多困難。

統(tǒng)計(jì)工作最終目的是提供數(shù)據(jù)服務(wù)，為教育監(jiān)管與宏觀決策做好全面、及時(shí)、準(zhǔn)確的數(shù)據(jù)支撐。實(shí)際工作中教育統(tǒng)計(jì)部門經(jīng)常需要提供五年、十年甚至更長(zhǎng)時(shí)期的歷史數(shù)據(jù)，如何快捷方便地查詢使用存儲(chǔ)在各種“古董級(jí)”軟件中的歷史數(shù)據(jù)，成為亟待解決的難題。

由于統(tǒng)計(jì)軟件更新?lián)Q代頻繁，且各版本之間不兼容，而通常我們使用的電腦僅能安裝最近幾年的統(tǒng)計(jì)軟件系統(tǒng)，久遠(yuǎn)的歷史數(shù)據(jù)就無(wú)法通過統(tǒng)計(jì)系統(tǒng)查詢獲取，只能直接對(duì)數(shù)據(jù)庫(kù)操作。這需要統(tǒng)計(jì)人員必須既熟悉報(bào)表業(yè)務(wù)又熟悉各種數(shù)據(jù)庫(kù)語(yǔ)言，而且即便這樣，多年數(shù)據(jù)在短時(shí)間查詢處理，極易發(fā)生誤差。

隨著社會(huì)發(fā)展，各政府部門、學(xué)術(shù)機(jī)構(gòu)、公益組織乃至公民個(gè)人對(duì)教育官方的數(shù)據(jù)服務(wù)需求多年來(lái)呈直線上升趨勢(shì)，歷史數(shù)據(jù)應(yīng)用困難的問題日益突出。為此我們教育統(tǒng)計(jì)部門開始尋找一種統(tǒng)籌性解決辦法，以期徹底解決快速準(zhǔn)確地處理歷史數(shù)據(jù)的問題。隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)倉(cāng)庫(kù)、算法電路、數(shù)據(jù)清洗、圖像識(shí)別、云計(jì)算、網(wǎng)頁(yè)加密等領(lǐng)域的新成果，使我們可以利用全新的軟件系統(tǒng)對(duì)海量的歷史數(shù)據(jù)進(jìn)行統(tǒng)籌管理，實(shí)現(xiàn)自定義查詢，快捷準(zhǔn)確地提取歷史數(shù)據(jù)。于是，我們對(duì)數(shù)據(jù)查詢平臺(tái)的建設(shè)需求方案進(jìn)行了整體設(shè)計(jì)。

首先，統(tǒng)計(jì)平臺(tái)整體要求采用當(dāng)今最流行網(wǎng)絡(luò)開發(fā)平臺(tái)工具J2EE（Java 2 Platform,Enterprise Editi on）開發(fā)。J2EE 界面風(fēng)格新穎，BS 結(jié)構(gòu)，具有后臺(tái)管理、程序優(yōu)化、管理級(jí)別權(quán)限分配、訪問賬號(hào)分配等基本功能。軟件功能隨教育部口徑和數(shù)據(jù)結(jié)構(gòu)變化而變化，軟件易升級(jí)和修改。統(tǒng)計(jì)平臺(tái)使用范圍為三級(jí)，分別是市級(jí)教育行政部門、區(qū)縣級(jí)教育行政部門和全市各類學(xué)校(單位)。

平臺(tái)主要包含三項(xiàng)功能模塊

1.數(shù)據(jù)管理：對(duì)2003 年以來(lái)的歷史數(shù)據(jù)庫(kù)進(jìn)行清洗調(diào)整,形成標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)格式，供查詢系統(tǒng)調(diào)用：數(shù)據(jù)導(dǎo)入功能，能對(duì)未來(lái)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化管理，實(shí)現(xiàn)各種查詢功能：有數(shù)據(jù)接口，能與市教育局其它數(shù)據(jù)庫(kù)對(duì)接。

2.數(shù)據(jù)查詢：經(jīng)清洗的數(shù)據(jù)庫(kù)，分事業(yè)統(tǒng)計(jì)、經(jīng)費(fèi)統(tǒng)計(jì)報(bào)進(jìn)行數(shù)據(jù)查詢。查詢功能包括基表查詢、綜表查詢、自定義查詢，重點(diǎn)實(shí)現(xiàn)跨年度同指標(biāo)的歷史數(shù)據(jù)查詢。

3.用戶權(quán)限管理：按平臺(tái)操作管理權(quán)限分為超級(jí)用戶和普通用戶；按對(duì)數(shù)據(jù)訪問范圍分為市級(jí)、縣級(jí)和學(xué)校級(jí)用戶。

數(shù)據(jù)管理

具體來(lái)說(shuō)，數(shù)據(jù)管理包括歷史數(shù)據(jù)庫(kù)清洗和數(shù)據(jù)常規(guī)管理維護(hù)。數(shù)據(jù)按重要性分類管理：系統(tǒng)所有數(shù)據(jù)均按標(biāo)準(zhǔn)格式儲(chǔ)存，分為三部分：基礎(chǔ)數(shù)據(jù)庫(kù)、工作數(shù)據(jù)庫(kù)、綜合查詢數(shù)據(jù)庫(kù)。其中基礎(chǔ)數(shù)據(jù)庫(kù)平時(shí)為只讀狀態(tài)（需文件簇級(jí)加密管理），只有超級(jí)用戶才能在輸入密碼后進(jìn)行基礎(chǔ)數(shù)據(jù)庫(kù)的導(dǎo)入和維護(hù)；工作數(shù)據(jù)庫(kù)為平時(shí)接收或輸入的數(shù)據(jù)，可自由查詢和更改的臨時(shí)數(shù)據(jù)。超級(jí)用戶可以把工作數(shù)據(jù)庫(kù)中的部分或全部數(shù)據(jù)轉(zhuǎn)入基礎(chǔ)數(shù)據(jù)庫(kù)。綜合查詢數(shù)據(jù)庫(kù)是利用基礎(chǔ)數(shù)據(jù)庫(kù)和工作數(shù)據(jù)庫(kù)生產(chǎn)的各中間過程表為主，一旦生成可永久保存。

1.歷史數(shù)據(jù)庫(kù)清洗是將歷史數(shù)據(jù)按統(tǒng)一的數(shù)據(jù)庫(kù)格式進(jìn)行梳理，清洗過程中每張基表增加2 個(gè)機(jī)動(dòng)指標(biāo)，便于單獨(dú)賦值，方便數(shù)據(jù)篩選。

具體為：

（1）將2003 年以來(lái)的全國(guó)教育事業(yè)統(tǒng)計(jì)系統(tǒng)和全國(guó)教育經(jīng)費(fèi)統(tǒng)計(jì)系統(tǒng)的數(shù)據(jù)庫(kù)通過專業(yè)的數(shù)據(jù)清洗和整合工具，進(jìn)行逐校的清理整合。該數(shù)據(jù)清洗與整合工具需支持Visual FoxPro、MS SQL Server、DB2、Oracle、MySQL等多種數(shù)據(jù)庫(kù)形式。

（2）整合過程中需堅(jiān)持“求同存異”原則，必須忠實(shí)原始數(shù)據(jù)，保證不同年份的同一學(xué)校名稱一致，同一報(bào)表同一指標(biāo)項(xiàng)名稱屬性一致，不同學(xué)校、不同指標(biāo)項(xiàng)按一定規(guī)則賦名留存。通過整合清理，確保歷年歷項(xiàng)數(shù)據(jù)之間的聯(lián)系，妥善處理指標(biāo)變更、學(xué)校合并拆分等數(shù)據(jù)異常情況，為跨年跨表的歷史數(shù)據(jù)查詢統(tǒng)計(jì)做基礎(chǔ)。

2.數(shù)據(jù)常規(guī)管理維護(hù)包括：

（1）能直接導(dǎo)入教育事業(yè)統(tǒng)計(jì)、經(jīng)費(fèi)統(tǒng)計(jì)基表數(shù)據(jù)庫(kù)數(shù)據(jù)(Visual FoxPro 或者SQL 數(shù)據(jù)庫(kù))，有基礎(chǔ)數(shù)據(jù)DBF 導(dǎo)出功能，并能將市本級(jí)、高新開發(fā)區(qū)等無(wú)單獨(dú)行政區(qū)劃的區(qū)域?qū)W校數(shù)據(jù)從總數(shù)據(jù)中分離,且此操作可逆；能讀入圖片格式報(bào)表，導(dǎo)入到數(shù)據(jù)庫(kù)管理；能讀入Excel表，并轉(zhuǎn)換成數(shù)據(jù)庫(kù)格式。

（2）數(shù)據(jù)管理與維護(hù)工具需要具備友好的用戶界面，流暢的用戶體驗(yàn)，有新建不同格式數(shù)據(jù)庫(kù)表功能，使用超級(jí)用戶能對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行修改。

查詢系統(tǒng)

1.查詢的數(shù)據(jù)源為歷史數(shù)據(jù)和未來(lái)數(shù)據(jù)

首次建設(shè)開發(fā)的數(shù)據(jù)包括教育事業(yè)統(tǒng)計(jì)數(shù)據(jù)、教育經(jīng)費(fèi)統(tǒng)計(jì)數(shù)據(jù)等，事業(yè)統(tǒng)計(jì)包括普通中小學(xué)基礎(chǔ)教育報(bào)表、職業(yè)技術(shù)培訓(xùn)和中等職業(yè)教育基礎(chǔ)報(bào)表，包含二維表約68 個(gè)（41+27），經(jīng)費(fèi)統(tǒng)計(jì)基表12 個(gè)，每年包含的統(tǒng)計(jì)數(shù)據(jù)項(xiàng)近4 000 個(gè)。

2.查詢內(nèi)容

通過軟件實(shí)現(xiàn)基表查詢、綜表查詢、動(dòng)態(tài)查詢，查詢界面采用單視窗多圖并列顯示，對(duì)各中間步驟生成的臨時(shí)查詢數(shù)據(jù)表以及最終生成的結(jié)果數(shù)據(jù)表，均可自由選定區(qū)域進(jìn)行復(fù)制、公式計(jì)算、打印和Excel 導(dǎo)出等操作，并可根據(jù)多條件綜合分析需求生成各種分析圖表。

（1）基表查詢：按照教育部事業(yè)統(tǒng)計(jì)、經(jīng)費(fèi)統(tǒng)計(jì)基表查詢功能設(shè)置，對(duì)基表的篩選條件進(jìn)行擴(kuò)充，除了“區(qū)縣名稱”“學(xué)校類別”“學(xué)校辦別”“城鄉(xiāng)類別”，增加“鄉(xiāng)鎮(zhèn)類別”，以及兩個(gè)機(jī)動(dòng)指標(biāo)。

（2）綜表查詢：參照教育部事業(yè)統(tǒng)計(jì)、經(jīng)費(fèi)統(tǒng)計(jì)軟件的綜表表樣進(jìn)行固定格式查詢,增加對(duì)綜表每個(gè)數(shù)據(jù)分區(qū)縣和分鄉(xiāng)鎮(zhèn)過錄查詢功能；自動(dòng)生成我們每年固有的統(tǒng)計(jì)資料匯編數(shù)據(jù)信息表；自動(dòng)生教育公網(wǎng)數(shù)據(jù)公報(bào)；自動(dòng)生成報(bào)統(tǒng)計(jì)局固定格式報(bào)表；自動(dòng)生成城鄉(xiāng)均衡、現(xiàn)代化監(jiān)測(cè)數(shù)據(jù)表等教育行政部門需要的固定格式數(shù)據(jù)表。

（3）動(dòng)態(tài)查詢：分基表提數(shù)和綜表提數(shù)查詢。查詢界面能點(diǎn)擊選擇所有表樣，查詢數(shù)據(jù)值可以定位到任意報(bào)表的不同主欄和賓欄單元格。窗口可以同時(shí)打開三個(gè)以上表樣，以便選擇所要查詢的指標(biāo)，選擇指標(biāo)的同時(shí)確定篩選條件(能實(shí)現(xiàn)多個(gè)條件通過“或”、“與”、“不等于”、“大于”、“小于”等方式篩選查詢)，指標(biāo)間可以進(jìn)行公式定義，通過軟件自動(dòng)生成查詢數(shù)據(jù)信息表（包含計(jì)數(shù)、求和等）。

查詢結(jié)果能以表格、圖形等多種形式展現(xiàn)。

權(quán)限設(shè)置

系統(tǒng)根據(jù)使用權(quán)限分為超級(jí)用戶和普通用戶，超級(jí)用戶能查詢管理系統(tǒng)，并對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行修改；普通用戶只有查詢使用功能。

普通用戶分為學(xué)校級(jí)、區(qū)縣級(jí)、市級(jí)三級(jí)；系統(tǒng)權(quán)限由市級(jí)統(tǒng)一管理。市級(jí)管理員可對(duì)下級(jí)用戶的數(shù)據(jù)可視范圍和功能使用范圍做靈活配置。當(dāng)前配置要求如下：

“查詢”模塊中學(xué)校級(jí)只能查詢本校數(shù)據(jù)，區(qū)縣級(jí)只能查詢管轄范圍學(xué)校數(shù)據(jù)及匯總數(shù)據(jù)，市級(jí)可以查詢所有數(shù)據(jù)。

平臺(tái)除了滿足各項(xiàng)查詢管理功能外，還需要具有

1.穩(wěn)定性:軟件平臺(tái)優(yōu)化，運(yùn)行穩(wěn)定，遠(yuǎn)程訪問客戶端兼容各種主流瀏覽器和操作系統(tǒng)，遠(yuǎn)程訪問穩(wěn)定，不死機(jī)，能允許3 000 個(gè)用戶同時(shí)訪問服務(wù)器，并發(fā)6%。

2.保密性：系統(tǒng)對(duì)數(shù)據(jù)庫(kù)要有加密措施，確保數(shù)據(jù)在網(wǎng)絡(luò)上的安全。

3.操作方便：有簡(jiǎn)單易懂的軟件使用說(shuō)明書，軟件客戶端易安裝，兼容性強(qiáng)，系統(tǒng)操作界面友好，經(jīng)簡(jiǎn)單培訓(xùn)使用人員就能輕松上手。

歷史數(shù)據(jù)整合平臺(tái)在設(shè)計(jì)上幾近完美，但在具體建設(shè)過程中卻遇到很多困難。由于涉及到2 000 多所學(xué)校，十多年的基表數(shù)據(jù)，清洗起來(lái)異常困難，加上不少學(xué)校更名，逐一核對(duì)建立關(guān)聯(lián)，費(fèi)時(shí)費(fèi)力。為了方便開發(fā)，我們對(duì)清洗數(shù)據(jù)庫(kù)要求進(jìn)行了簡(jiǎn)化，由原來(lái)的全部統(tǒng)一改為分段統(tǒng)一，這樣避免了某些年份統(tǒng)計(jì)報(bào)表庫(kù)結(jié)構(gòu)變化大帶來(lái)的清洗困難。

實(shí)施過程中服務(wù)商在平臺(tái)開發(fā)中的難題及解決方法

1.數(shù)據(jù)清洗

數(shù)據(jù)庫(kù)包含Visual Fox Pro、SQL Server 多個(gè)版本，以及對(duì)應(yīng)的數(shù)據(jù)庫(kù)結(jié)構(gòu)，其指標(biāo)名稱、指標(biāo)屬性、指標(biāo)增減，經(jīng)過十多年的歷史演變，變化比較多，這直接導(dǎo)致數(shù)據(jù)清洗整合難度大，服務(wù)商采用自身的核心技術(shù)產(chǎn)品DCI 進(jìn)行數(shù)據(jù)清洗與整合工具，對(duì)各科目歷年數(shù)據(jù)進(jìn)行清洗，努力提高清洗效率和準(zhǔn)確性。

2.數(shù)據(jù)安全

在數(shù)據(jù)查詢需要做到靈活性、高效率和安全性兼顧，安全不僅僅要考慮數(shù)據(jù)查詢的過程安全也包括數(shù)據(jù)轉(zhuǎn)移的行為安全性，服務(wù)商參考數(shù)據(jù)鐵籠建設(shè)思路，對(duì)數(shù)據(jù)進(jìn)行加密，在保證數(shù)據(jù)管理安全的情況下也監(jiān)管了數(shù)據(jù)訪問行為的安全，在數(shù)據(jù)流出數(shù)據(jù)中心遠(yuǎn)程邊界時(shí)能確認(rèn)是誰(shuí)在操作相關(guān)數(shù)據(jù)，數(shù)據(jù)去向可追蹤。

3.查詢效率

因?yàn)閿?shù)據(jù)牽涉的科目和年份維度較多，且系統(tǒng)要支持?jǐn)?shù)據(jù)大容量、高并發(fā)，為保證數(shù)據(jù)查詢效率，康賽參考Oracle 分區(qū)技術(shù),改善查詢性能，對(duì)分區(qū)對(duì)象的查詢可以僅搜索自己關(guān)心的分區(qū)，提高檢索速度同時(shí)均衡I/O，可以把不同的分區(qū)映射到磁盤以平衡I/O，改善整個(gè)系統(tǒng)性能。

總結(jié)

平臺(tái)現(xiàn)已開發(fā)完成，設(shè)計(jì)的大部分功能都已實(shí)現(xiàn)，尤其是動(dòng)態(tài)查詢功能，使我們快速準(zhǔn)確查詢到幾年歷史數(shù)據(jù)成為現(xiàn)實(shí)，提高了統(tǒng)計(jì)服務(wù)效率。但要開發(fā)出盡善盡美的數(shù)據(jù)整合平臺(tái)不是一蹴而就的事，還需要在使用過程中不斷完善。如何建立教育基礎(chǔ)信息數(shù)據(jù)庫(kù)，使教育統(tǒng)計(jì)數(shù)據(jù)不再通過人工填報(bào)產(chǎn)生，而是隨著業(yè)務(wù)產(chǎn)生，這樣的數(shù)據(jù)將更加準(zhǔn)確、更加及時(shí)，這是未來(lái)教育統(tǒng)計(jì)發(fā)展變革方向，也是我們教育統(tǒng)計(jì)行業(yè)奮斗的目標(biāo)。