基于分布式數(shù)據(jù)共享機制的高校財務(wù)決策分析平臺構(gòu)建

屠佳琪 應(yīng)鑫迪 丁浩然

摘 ? 要：隨著高校信息化系統(tǒng)日漸增多，數(shù)據(jù)量日益增大，高校管理層的綜合管理難度越來越大，對校園各類數(shù)據(jù)的統(tǒng)計分析以輔助決策過程的需求越來越明顯。針對上述現(xiàn)象，文章首先介紹了目前高校決策分析平臺的研究現(xiàn)狀和難點挑戰(zhàn);然后以浙江大學財務(wù)決策分析系統(tǒng)為切入點，介紹了高校決策平臺的整體框架;最后具體介紹了浙江大學在現(xiàn)有分布式數(shù)據(jù)共享平臺上搭建的財務(wù)決策分析系統(tǒng)，并擴展到通用的決策分析平臺，達到科學決策、科學管理的目的。

關(guān)鍵詞：財務(wù)指標體系;大數(shù)據(jù)決策分析;數(shù)據(jù)共享機制

中圖分類號：TP391 文獻標志碼：A 文章編號：1673-8454（2020）07-0085-04

一、引言

隨著大數(shù)據(jù)技術(shù)的日益完善，目前許多高校已經(jīng)累積了大量的教學和管理數(shù)據(jù)，從而形成了規(guī)模龐大、結(jié)構(gòu)多樣的數(shù)據(jù)集[1]。部分高校已開始投入建設(shè)分布式大數(shù)據(jù)共享平臺，整合各類業(yè)務(wù)數(shù)據(jù)，開發(fā)接口統(tǒng)一收集、管理、維護數(shù)據(jù)，并提供統(tǒng)一接口下發(fā)數(shù)據(jù)至各業(yè)務(wù)部門，從而滿足高校大數(shù)據(jù)存儲及其統(tǒng)一管理維護的需求。然而，隨著教學模式的不斷改革，高校對數(shù)據(jù)的需求不僅僅是存儲和管理，還要基于大數(shù)據(jù)的分析、處理、挖掘從而為領(lǐng)導(dǎo)層面提供決策支持。因此，基于現(xiàn)有的大數(shù)據(jù)共享平臺，利用大數(shù)據(jù)分析技術(shù)搭建決策分析平臺，對高校決策分析具有重要的實際意義。

另外，隨著公共財政體制改革的逐步深化，政府及學校對高校財務(wù)管理也提出了更高的要求，高校的財務(wù)工作理念已經(jīng)逐漸從核算型轉(zhuǎn)向分析、管理型[2]。因此，本文擬以浙江大學大數(shù)據(jù)平臺為基礎(chǔ)，建設(shè)基于分布式數(shù)據(jù)共享機制的高校財務(wù)決策分析平臺，通過全量或增量同步多種異構(gòu)數(shù)據(jù)源，將業(yè)務(wù)邏輯轉(zhuǎn)化為統(tǒng)計邏輯，利用數(shù)據(jù)挖掘技術(shù)構(gòu)建數(shù)據(jù)倉庫和模型，根據(jù)校領(lǐng)導(dǎo)、各院系負責人、管理員等各類角色展示相應(yīng)統(tǒng)計分析結(jié)果，并提供關(guān)鍵指標的鉆取和挖掘。

二、決策平臺研究現(xiàn)狀

決策分析平臺是基于大數(shù)據(jù)，利用人工智能、機器學習等方法進行數(shù)據(jù)分析和挖掘，從而發(fā)掘出數(shù)據(jù)中隱藏的規(guī)律和聯(lián)系，幫助決策者快速做出決策，更科學地進行高校教學管理[3]。在西方國家高校早已盛行各類業(yè)務(wù)決策系統(tǒng)的今天，國內(nèi)對建設(shè)基于高校大數(shù)據(jù)的決策平臺的工作才剛剛起步，全面系統(tǒng)地介紹我國高校大數(shù)據(jù)決策平臺的論文或?qū)Ｖ^少[2]。近年來，浙江大學信息中心基于大量累積的教學和業(yè)務(wù)數(shù)據(jù)，致力于搭建分布式大數(shù)據(jù)共享平臺，并已略見成效。本文在此平臺基礎(chǔ)上，搭建基于分布式數(shù)據(jù)共享機制的高校決策分析平臺，并以財務(wù)數(shù)據(jù)為切入點，為校、院系領(lǐng)導(dǎo)提供財務(wù)決策方面的支持。在整個大數(shù)據(jù)共享和決策平臺的開發(fā)過程中，仍然發(fā)現(xiàn)有不少的困難與挑戰(zhàn)，總結(jié)如下。

1.信息系統(tǒng)數(shù)據(jù)缺乏統(tǒng)一規(guī)劃和維護

由于學校未對各院系部門建設(shè)的信息化系統(tǒng)進行統(tǒng)一開發(fā)維護，導(dǎo)致業(yè)務(wù)部門分別開發(fā)自己的系統(tǒng)，重復(fù)開發(fā)業(yè)務(wù)功能，從而產(chǎn)生大量的冗余數(shù)據(jù)，造成信息孤島問題;由于學校各部門缺乏共享意識和整體觀念，多個部門共同維護數(shù)據(jù)卻只關(guān)注自己部門的指標，對所需數(shù)據(jù)進行重復(fù)采集、交叉更新，導(dǎo)致不同部門對同一指標的口徑各不相同，混淆決策過程[4];另外，由于缺少統(tǒng)一的系統(tǒng)數(shù)據(jù)維護管理，有些系統(tǒng)已下線多時或長期不更新，導(dǎo)致大量無用數(shù)據(jù)未及時刪除。

2.信息系統(tǒng)缺乏分析決策功能

隨著智慧校園的推進以及教育改革的不斷深入，校領(lǐng)導(dǎo)科學決策離不開有效真實的統(tǒng)計信息[5]。同時，高校信息化系統(tǒng)日益增多，導(dǎo)致數(shù)據(jù)量及數(shù)據(jù)存儲方式發(fā)生了改變。各業(yè)務(wù)系統(tǒng)及用戶行為日志每日高達TB級別，數(shù)據(jù)存儲形式也從傳統(tǒng)關(guān)系型數(shù)據(jù)庫存儲結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變到分布式或?qū)崟r流工具存儲非結(jié)構(gòu)化數(shù)據(jù)。決策者不再滿足于單純報表形式的統(tǒng)計，而是希望從數(shù)據(jù)中分析、挖掘、匯總出更深層次的理解，提供更重要的參考和量化指標來輔助決策[6]。然而，當前許多業(yè)務(wù)系統(tǒng)是聯(lián)機事務(wù)處理系統(tǒng)，無法從海量數(shù)據(jù)中分析挖掘出新的知識點，難以為決策部門提供科學依據(jù)[1]。

3.統(tǒng)計流程陳舊繁瑣低效、展現(xiàn)形式過于簡單

目前，業(yè)務(wù)部門各自負責對上級領(lǐng)導(dǎo)產(chǎn)出統(tǒng)計表，依然采用一種“手工+自動”的半自動化模式[7]。各部門根據(jù)上級領(lǐng)導(dǎo)下發(fā)的指標統(tǒng)計任務(wù)，從各自的業(yè)務(wù)系統(tǒng)中根據(jù)不同的統(tǒng)計規(guī)則提取出數(shù)據(jù)，并做成統(tǒng)計匯總表，供領(lǐng)導(dǎo)參閱。工作流程中不僅費時費力，還會出現(xiàn)漏算、錯算的問題，而且擴展性不佳。另外，當前的統(tǒng)計報表只是統(tǒng)計指標數(shù)據(jù)的簡單羅列，缺少細致化的分析，無法為決策者提供教育管理、學科建設(shè)、財務(wù)情況等方面的決策參考。

4.數(shù)據(jù)部門對業(yè)務(wù)理解困難

為了構(gòu)建學校統(tǒng)一的大數(shù)據(jù)決策平臺，數(shù)據(jù)部門需要對每個部門的業(yè)務(wù)數(shù)據(jù)以及指標定義有深入的理解。但由于各業(yè)務(wù)部門有單獨的一套計算各類指標的公式，從數(shù)據(jù)部門的角度，要產(chǎn)出對應(yīng)的報表需要與業(yè)務(wù)部門技術(shù)人員和業(yè)務(wù)人員進行充分的溝通，從而理解各業(yè)務(wù)部門制定的計算規(guī)則，并對不同部門相同的指標計算邏輯進行歸并匯總，這對數(shù)據(jù)開發(fā)部門來說也是一大挑戰(zhàn)。

三、系統(tǒng)框架及模型建設(shè)

本文以財務(wù)數(shù)據(jù)為切入點，以搭建財務(wù)決策分析系統(tǒng)為例，介紹浙江大學基于分布式數(shù)據(jù)共享機制的決策分析平臺。決策平臺的整體框架圖如圖1所示，主要分為以下幾部分。

1.業(yè)務(wù)數(shù)據(jù)采集

由于財務(wù)數(shù)據(jù)的私密性，經(jīng)數(shù)據(jù)部門與財務(wù)處負責人的溝通，同意將涉及統(tǒng)計的兩張表的訪問權(quán)限開放給數(shù)據(jù)中心。數(shù)據(jù)中心在大數(shù)據(jù)共享平臺上配置定時任務(wù)，每日全量同步這兩張源頭數(shù)據(jù)表，同時創(chuàng)建分區(qū)表，將數(shù)據(jù)分布式存儲在hdfs上，便于后續(xù)統(tǒng)計任務(wù)的讀取。這兩張表主要包含了每年從年初到當前時間所有收入支出的記錄明細源數(shù)據(jù)，基于這些記錄，根據(jù)計財處特殊的統(tǒng)計規(guī)則，每天產(chǎn)出日報，主要包含以下指標：

（1）校領(lǐng)導(dǎo)層面關(guān)注的指標

全校資產(chǎn)負債情況。主要包括資產(chǎn)、負債、凈資產(chǎn)三部分，并根據(jù)年初余額和期末余額兩個維度進行統(tǒng)計。

全校預(yù)算收支執(zhí)行情況。主要包括收入合計和支出合計，其中收入合計包括財政撥款、科研收入、教育事業(yè)收入以及上級補助收入等;支出合計包含人員經(jīng)費和公用經(jīng)費等。以上指標都根據(jù)本年預(yù)算數(shù)、本期執(zhí)行數(shù)以及預(yù)算完成率三個維度進行統(tǒng)計。

各院系財力情況。主要包括各個院系的經(jīng)常性經(jīng)費、專項經(jīng)費和校政策分配基金及酬金三部分，并根據(jù)上年結(jié)余、預(yù)算收入、本年支出和本期結(jié)余四個維度進行統(tǒng)計。

各院系毛收入情況。主要包括各個學院的科研收入、教育事業(yè)收入以及其他收入等。

（2）各院系領(lǐng)導(dǎo)層面關(guān)注的數(shù)據(jù)

各院系可統(tǒng)籌收入情況。主要包括經(jīng)常性經(jīng)費、專項經(jīng)費、校政策分配基金及酬金三大部分，并根據(jù)上年結(jié)余、預(yù)算收入、本年支出和本期結(jié)余四個維度進行統(tǒng)計。另外，還包括各項可統(tǒng)籌收入包含的所有子類項目的項目詳情。

各院系財政專項執(zhí)行進度情況。主要包括中央財政專項和地方財政專項兩部分，并根據(jù)年初結(jié)余、本年下?lián)芤约捌谀┯囝~等維度進行統(tǒng)計。

各院系自籌經(jīng)費收入情況。主要包括教育事業(yè)收入、科研收入以及其他收入三部分，并根據(jù)本年和去年收入進行統(tǒng)計。

2.翻譯財務(wù)統(tǒng)計語言

財務(wù)系統(tǒng)自運行以來，形成了一套特有的固定統(tǒng)計語言和規(guī)則，比如對每個項目按照一定規(guī)則進行編號、對各個學院進行編號、對于不同維度的指標會用固定的字母表示等等。舉個例子：公式“[AZ3%;_122__*1942%]+[AZ5%;_122__*1942%]+[AZ9%;_122__*1942%]”代表材料學院今年中央財政專項中雙一流專項的年初結(jié)余，以第一個中括號中的代碼為例，其中，分號將公式分為兩部分，第一部分“AZ”代表年初結(jié)余，對應(yīng)數(shù)據(jù)表中的一個字段，“3%”代表父類項目代號以3開頭的所有父項目;第二部分，“_122__*1942%”整體代表所有子項目代碼以“_122__*1942”開頭的子項目，其中下劃線與SQL語句中的占位符為同一概念，“_122_”代表材料學院的編號，每個學院代號不同但是占位都為5位，如經(jīng)濟學院代碼為“_01__”。公式中三個中括號互為并集關(guān)系，即統(tǒng)計出所有滿足其中一個條件項目的總體年初結(jié)余。

由于財務(wù)統(tǒng)計體系改革，今年新增各學院維度的統(tǒng)計指標，如果按照之前的做法，每個學院會生成近千行SQL代碼，總共30多個學院的代碼將非常冗余且重復(fù)，因此，將財務(wù)統(tǒng)計語言翻譯成高效簡潔的SQL語句是數(shù)據(jù)中心需要解決的難點之一。

數(shù)據(jù)中心的解決方案主要分兩個步驟：第一，根據(jù)公式規(guī)律統(tǒng)一生成統(tǒng)計SQL模板，其中對分學院統(tǒng)計條目進行特殊處理;第二，將數(shù)據(jù)表同步至大數(shù)據(jù)分享平臺的hive表，以便后續(xù)分布式執(zhí)行統(tǒng)計語句。具體來說，對于分學院統(tǒng)計條目來說，如各學院可統(tǒng)籌收入統(tǒng)計報表，我們會生成兩張表，一張表存儲每個統(tǒng)計子項代碼對應(yīng)的模板SQL，這里的模板SQL會把所有學院共同的統(tǒng)計邏輯歸并，并將不同之處（如學院代碼）進行通配符代替，從而生成模板SQL表;另一張表存儲了各個學院的名稱、對應(yīng)的編碼以及需要統(tǒng)計的子項編號。將這兩張表每日以覆蓋表的形式全量同步至hive表，為后續(xù)分布式執(zhí)行統(tǒng)計任務(wù)提供基礎(chǔ)數(shù)據(jù)。

3.分布式、多線程批量執(zhí)行統(tǒng)計任務(wù)

到目前為止，大數(shù)據(jù)共享平臺已經(jīng)包含了財務(wù)數(shù)據(jù)源數(shù)據(jù)表、SQL模板表以及學院-子項統(tǒng)計關(guān)聯(lián)表。然而，串行的執(zhí)行這些SQL仍然會花費較長時間。因此，我們利用spark程序，分布式、多線程批量地執(zhí)行SQL語句任務(wù)，目前單個任務(wù)同步執(zhí)行5600條以上SQL只需5分鐘就可完成。具體來說，整個執(zhí)行統(tǒng)計任務(wù)的流程圖如圖2所示。

首先，讀取學院-子項統(tǒng)計關(guān)聯(lián)表并轉(zhuǎn)化為rdd形式，然后利用flatmap算子將統(tǒng)計子項iid進行展開;其次，讀取統(tǒng)計項模板SQL表并轉(zhuǎn)化為rdd形式，然后將該rdd與之前關(guān)聯(lián)表展開后rdd進行關(guān)聯(lián)算子join，生成學院信息-統(tǒng)計子項信息-模板SQL寬表rdd;對寬表rdd進行重定義分區(qū)，修改分區(qū)個數(shù)，并對每個分區(qū)進行多線程并發(fā)執(zhí)行SQL，包括根據(jù)學院編號替換模板SQL 中的通配符、執(zhí)行sparkSQL以及將執(zhí)行結(jié)果存入數(shù)組中;對每個分區(qū)執(zhí)行的結(jié)果進行合并，并將最終結(jié)果轉(zhuǎn)化成dataframe形式，最終存入輸出hive表中。

4.結(jié)果多樣化展示

決策平臺與浙大統(tǒng)一身份認證系統(tǒng)互通，根據(jù)不同人員類型分配不同報表查閱權(quán)限，目前平臺支持兩類用戶：一類是校領(lǐng)導(dǎo)層面;另一類是各院系副處級以上領(lǐng)導(dǎo)層面。

校領(lǐng)導(dǎo)登錄平臺后，可查閱5個頁面：

（1）歡迎頁：根據(jù)浙大整體財務(wù)情況進行匯總的圖形化展示，能讓校領(lǐng)導(dǎo)一目了然地了解學校近期財務(wù)概況。左上角為資產(chǎn)負債情況總覽，根據(jù)資產(chǎn)、凈資產(chǎn)、負債三種資產(chǎn)類型為橫軸，分年初余額與期末余額兩個維度形成柱形圖，柱狀圖支持點擊鉆取，點擊三種資產(chǎn)類型中的一個，頁面左下角會展示兩個柱狀圖，分別展示對應(yīng)子站類型的各項子項明細的年初余額和期末余額占比情況。頁面右上角為兩個儀表盤，顯示目前為止浙大整體收入/支出情況的預(yù)算數(shù)、執(zhí)行數(shù)以及預(yù)算執(zhí)行率，兩個儀表盤支持點擊鉆取，點擊收入或支出，頁面右下角會出現(xiàn)收入或支出的預(yù)算執(zhí)行明細，以柱狀和折線的組合圖展示，橫軸代表各項明細，縱軸代表預(yù)算數(shù)、執(zhí)行數(shù)以及完成率。

（2）資產(chǎn)負債表：以日報表格形式展現(xiàn)，包含資產(chǎn)、凈資產(chǎn)以及負債三部分的總體和每部分子項明細的年初余額和期末余額。支持Excel下載。

（3）預(yù)算收支執(zhí)行情況：日報表格形式展示，包括收入合計和支出合計兩部分。每部分包含若干子項，日報以每個子項的本期預(yù)算數(shù)、本期執(zhí)行數(shù)、預(yù)算執(zhí)行率三個維度進行統(tǒng)計。

（4）各院系財力表：日報表格形式展示，包括各學院的經(jīng)常性經(jīng)費、專項經(jīng)費以及創(chuàng)收經(jīng)費分配，并根據(jù)上年結(jié)余、預(yù)算收入、本年支出以及本年結(jié)余四個維度進行統(tǒng)計。其中每個院系的名稱作為超鏈接，點擊院系名稱可以跳轉(zhuǎn)到相應(yīng)院系的主頁，其內(nèi)容會在下文介紹。

（5）各院系自籌經(jīng)費收入表：日報表格形式展示，包括各學院的科研收入、教育事業(yè)收入以及其他收入?？蒲惺杖敕謾M向與縱向，教育事業(yè)收入分學歷教育與非學歷教育。其中每個院系的名稱作為超鏈接，點擊院系名稱可以跳轉(zhuǎn)到相應(yīng)院系的主頁，其內(nèi)容會在下文介紹。

各院系副處級以上領(lǐng)導(dǎo)登錄平臺后，可查閱4個頁面：

（1）歡迎頁：對各學院的財政狀況進行匯總的圖形化展示，能讓各院系領(lǐng)導(dǎo)可以一目了然，快速了解本學院財務(wù)概況。頁面左上角為兩個儀表盤，分別表示本學院今年中央財政專項和地方財政專項執(zhí)行進度，儀表盤下方為子表格，對中央財政專項和地方財政專項分年初結(jié)余、年初暫付款余額、本年下?lián)?、本年支出、期末余額以及暫付款余額六個維度進行統(tǒng)計。兩個儀表盤支持點擊鉆取，點擊其中一項，頁面左下角會展示相應(yīng)的財政專項子項執(zhí)行完成率柱狀圖，橫軸為子項名稱，縱軸為完成率。頁面右上方為四個餅圖，分別代表本學院可統(tǒng)籌收入總覽中的上年結(jié)余、預(yù)算撥入、本年支出以及本年結(jié)余情況，每個餅圖分別展示經(jīng)常性經(jīng)費、專項經(jīng)費以及創(chuàng)收經(jīng)費分配三部分占比。頁面右下角為本學院本年自籌經(jīng)費收入總覽柱狀圖。

（2）可統(tǒng)籌收入表：日報表格形式展現(xiàn)，包含經(jīng)常性經(jīng)費、專項經(jīng)費以及創(chuàng)收經(jīng)費分配三部分匯總。其中經(jīng)常性經(jīng)費包括公用經(jīng)費、人員經(jīng)費;公用經(jīng)費中分為教學業(yè)務(wù)費和日常運行經(jīng)費;教學業(yè)務(wù)費又包含本科生業(yè)務(wù)費、研究生業(yè)務(wù)費等。每個子項分上年結(jié)余、預(yù)算撥入、本年支出以及本年結(jié)余四個維度進行統(tǒng)計。另外，最細化的一層子項設(shè)置為超鏈接，點擊彈出對話框，顯示該子項中每個具體項目名稱、項目代號以及項目上年結(jié)余、預(yù)算撥入、本年支出和本年結(jié)余四個維度統(tǒng)計值。

（3）自籌經(jīng)費收入表：日報表格形式展現(xiàn)，包括教育事業(yè)收入、科研收入以及其他收入的本年和去年收入兩個維度統(tǒng)計值。其中教育事業(yè)收入又分為研究生學費、留學生學費等;科研收入分縱向和橫向;其他收入包括捐贈收入等。

（4）專項執(zhí)行進度情況表：日報表格形式展現(xiàn)，包括中央和地方財政專項兩部分，每部分又分為雙一流專項、科研專項等若干子項。每個子項根據(jù)年初結(jié)余、年初暫付款余額、本年下?lián)?、本年支出、期末余額以及暫付款余額六個維度進行統(tǒng)計。

四、結(jié)束語

高校大數(shù)據(jù)決策分析平臺建設(shè)是一項周期長、業(yè)務(wù)復(fù)雜的大工程，涉及到的數(shù)據(jù)量之大、數(shù)據(jù)結(jié)構(gòu)之多樣以及業(yè)務(wù)邏輯之復(fù)雜，都影響著最終決策平臺的成效。因此，應(yīng)該首先從具體業(yè)務(wù)場景出發(fā)，構(gòu)建面向主題的決策分析平臺，如本文中以財務(wù)報表為例進行財務(wù)決策平臺開發(fā)，然后循序漸進地建立通用的決策分析流程，從而全面進行決策分析平臺的建設(shè)。另外，除了將原始單純數(shù)字報表形式轉(zhuǎn)化為多樣化的圖表展現(xiàn)形式以外，分析決策平臺還需要具備數(shù)據(jù)挖掘分析功能，能通過業(yè)務(wù)大數(shù)據(jù)進行數(shù)據(jù)建模、模型訓練與預(yù)測，從而更加智能地為決策者提供科學依據(jù)，協(xié)助其進行決策。

參考文獻：

[1]孫彥超，王興芬.基于大數(shù)據(jù)的高校決策分析系統(tǒng)的構(gòu)建[J].計算機光盤軟件與應(yīng)用，2014（15）：108-110.

[2]方志堅，高瀅.基于數(shù)據(jù)挖掘的高校財務(wù)決策支持系統(tǒng)的研究[J].行政事業(yè)資產(chǎn)與財務(wù)，2019（5）：34-35.

[3]李書欽，史運濤，馬時來等.面向智慧決策的高校大數(shù)據(jù)平臺的設(shè)計與實現(xiàn)[C].中國計算機用戶協(xié)會網(wǎng)絡(luò)應(yīng)用分會2018年第二十二屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會，2018.

[4]舒忠梅，屈瓊斐.大數(shù)據(jù)時代高校信息管理與決策機制研究[J].華南理工大學學報（社會科學版），2013（6）：102-107.

[5]畢天睿，王昕.數(shù)據(jù)驅(qū)動決策支持系統(tǒng)在高校教育質(zhì)量管理中的應(yīng)用[J].中國教育信息化，2016（3）：60-62.

[6]李安裕.基于大數(shù)據(jù)智能決策的江西高校智慧校園的建設(shè)[J].電子技術(shù)與軟件工程，2018，143（21）：160-161.

[7]辛良.大數(shù)據(jù)視域下高校開放式統(tǒng)計服務(wù)決策研究[J].決策咨詢，2019，50（2）：84-87.

（編輯：王曉明）