高校實(shí)驗(yàn)室大數(shù)據(jù)可視化平臺(tái)研究

陳鐳 劉玉 楊琴

摘要： 高校實(shí)驗(yàn)室各類應(yīng)用系統(tǒng)中積攢了大量的業(yè)務(wù)數(shù)據(jù)，如何從這些沉睡的數(shù)據(jù)中發(fā)現(xiàn)具有決策價(jià)值的信息變得越來越重要。在開源系統(tǒng)Metabase的基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)了一套實(shí)驗(yàn)室大數(shù)據(jù)可視化分析系統(tǒng)，使數(shù)據(jù)成為易于展示的文字、圖表或圖形形式，以便對(duì)這些數(shù)據(jù)進(jìn)行深層次觀察和分析。以在線課程可視化子系統(tǒng)為例，實(shí)驗(yàn)室大數(shù)據(jù)可視化分析系統(tǒng)的使用，可更直觀地為實(shí)驗(yàn)教學(xué)、實(shí)驗(yàn)室管理提供決策依據(jù)。

關(guān)鍵詞： 大數(shù)據(jù); 可視化; Metabase; 實(shí)驗(yàn)室管理

中圖分類號(hào)：TP311? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2020）11-43-03

Abstract： There is a large number of business data accumulated in various application systems of university laboratory， how to find the information with decision value from these sleeping data becomes more and more important. Based on the open source system Metabase， a laboratory big data visualization analysis system is designed and implemented， which makes the data easy to be displayed in the form of text， chart or graph， so as to be better observed and analyzed in depth. Taking the online course visualization subsystem as an example， the use of the laboratory big data visualization analysis system can provide experiment teaching and laboratory management with a decision-making basis more intuitively.

Key words： big data; visualization; Metabase; laboratory management

0 引言

高校實(shí)驗(yàn)室在完善和優(yōu)化本職業(yè)務(wù)功能，提供高質(zhì)量服務(wù)的同時(shí)，實(shí)驗(yàn)室各類應(yīng)用系統(tǒng)，如實(shí)驗(yàn)室管理系統(tǒng)、門禁系統(tǒng)、監(jiān)控系統(tǒng)、機(jī)房預(yù)約系統(tǒng)、電子班牌系統(tǒng)等信息化系統(tǒng)中，積攢了大量的業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)的周期、容量、規(guī)模和類型都在不斷增長(zhǎng)。如何從這些沉睡的數(shù)據(jù)中發(fā)現(xiàn)具有決策價(jià)值的信息變得越來越重要。高校實(shí)驗(yàn)室應(yīng)當(dāng)把數(shù)據(jù)從單純的存儲(chǔ)向分析、挖掘升級(jí)轉(zhuǎn)變，通過對(duì)各級(jí)各類教育教學(xué)、管理系統(tǒng)數(shù)據(jù)的采集、關(guān)聯(lián)、分析等方法，將數(shù)據(jù)轉(zhuǎn)化為潛在的知識(shí)，構(gòu)建高校實(shí)驗(yàn)室大數(shù)據(jù)可視化與決策分析體系[1-2]，為實(shí)驗(yàn)室及學(xué)科建設(shè)發(fā)展服務(wù)。

大數(shù)據(jù)、人工智能時(shí)代的到來，使這些設(shè)想變得可能。可視化技術(shù)可以將原始數(shù)據(jù)轉(zhuǎn)變成易于展示的文字、圖表或圖形的形式，是體現(xiàn)數(shù)據(jù)關(guān)聯(lián)性價(jià)值最直觀的方式。本文利用大數(shù)據(jù)可視化技術(shù)，結(jié)合實(shí)驗(yàn)教學(xué)、實(shí)驗(yàn)室管理各類具體業(yè)務(wù)需求，在開源系統(tǒng)Metabase的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一套實(shí)驗(yàn)室大數(shù)據(jù)可視化平臺(tái)系統(tǒng)。力圖對(duì)實(shí)驗(yàn)室數(shù)據(jù)進(jìn)行深入的探索和分析，多維度、可視化的展現(xiàn)數(shù)據(jù)背后的狀況，為決策分析提供借鑒參考。

1 Metabase介紹

Metabase是一個(gè)免費(fèi)、開源的數(shù)據(jù)可視化工具，安裝配置環(huán)境簡(jiǎn)單，容易上手，操作門檻低，不會(huì)SQL語(yǔ)句也能使用[3]。支持對(duì)外共享，權(quán)限控制，數(shù)據(jù)分析人員首先和數(shù)據(jù)庫(kù)建立連接，然后通過創(chuàng)建問題（Question）的方式來提煉數(shù)據(jù)，再通過儀表盤（Dashboards）呈現(xiàn)給用戶。圖1展示了Metabase可視化案例中，數(shù)據(jù)的轉(zhuǎn)換過程。

Metabase系統(tǒng)進(jìn)行數(shù)據(jù)分析的一般流程如下。

⑴ 環(huán)境配置。在完成Metabase的安裝、簡(jiǎn)單的配置之后，啟動(dòng)Metabase，默認(rèn)運(yùn)行端口為3000，打開鏈接http：//your_host：3000。首先創(chuàng)建一個(gè)初始化的管理員賬戶，可以配置郵箱，通過郵箱給指定用戶發(fā)送通知，邀請(qǐng)新用戶，重置密碼等。

⑵ 連接數(shù)據(jù)庫(kù)。依次點(diǎn)擊右上角設(shè)置-管理員-數(shù)據(jù)庫(kù)-添加數(shù)據(jù)庫(kù)，選擇Database type（支持PostgreSQL、MySQL、Druid、SQL Server、MongoDB、Spark SQL、BigQuery、SQLite、H2等數(shù)據(jù)庫(kù)），按照提示填入數(shù)據(jù)庫(kù)信息再點(diǎn)保存即可連到數(shù)據(jù)庫(kù)。

⑶ 創(chuàng)建新問題（Question）。點(diǎn)擊“創(chuàng)建問題”，可以選擇簡(jiǎn)單查詢模式、自定義查詢模式、原生查詢模式（SQL語(yǔ)句），根據(jù)不同的場(chǎng)景選擇不同的模式。然后選擇數(shù)據(jù)集，設(shè)置過濾條件、瀏覽視圖、聚合條件，在此基礎(chǔ)上，對(duì)數(shù)據(jù)進(jìn)行一些簡(jiǎn)單的計(jì)算后（計(jì)數(shù)、求和、求平均、最大值、最小值等），獲取結(jié)果集。

⑷ 問題可視化。Metabase在查詢結(jié)果后，默認(rèn)的是Tables的表現(xiàn)形式。點(diǎn)擊“可視化”可以把處理好的數(shù)據(jù)轉(zhuǎn)換為圖形（線性圖、條形圖、環(huán)形圖、散點(diǎn)圖、漏斗圖、地圖），同時(shí)可以對(duì)圖表的格式，圖表X軸、Y軸顯示的標(biāo)簽進(jìn)行修改和設(shè)置。

⑸ 添加到儀表盤（Dashboards）。保存完問題后，可以將保存成功的問題添加到中儀表盤中，儀表盤中數(shù)據(jù)會(huì)隨著數(shù)據(jù)庫(kù)原始數(shù)據(jù)的變化自動(dòng)更新。所以日常做的日?qǐng)?bào)和一些需要重復(fù)性處理的實(shí)時(shí)簡(jiǎn)單分析圖表，都可以放進(jìn)儀表盤中。

⑹ 分享鏈接。通過設(shè)置可以定時(shí)將選定的問題發(fā)送至指定郵箱，使用戶及時(shí)收到最新的可視化數(shù)據(jù)，也可以手動(dòng)分享公開鏈接。

2 系統(tǒng)分析與設(shè)計(jì)

通過與身處教學(xué)管理一線的教師、管理人員交流，開展調(diào)研，了解他們對(duì)實(shí)驗(yàn)室大數(shù)據(jù)可視化的具體需求，并不斷的補(bǔ)充完善。本文設(shè)計(jì)實(shí)現(xiàn)一套基于可視化的實(shí)驗(yàn)室大數(shù)據(jù)決策分析系統(tǒng)，為實(shí)驗(yàn)教學(xué)、實(shí)驗(yàn)室管理提供決策依據(jù)，目前主要系統(tǒng)功能模塊如圖2所示，包括在線課程可視化，實(shí)驗(yàn)教學(xué)可視化，機(jī)房管理可視化，門禁系統(tǒng)可視化等。

⑴ 在線課程數(shù)據(jù)可視化分析

新冠肺炎疫情期間，按照停課不停教、停課不停學(xué)的統(tǒng)一部署，學(xué)校采用線上直播教學(xué)的方式進(jìn)行網(wǎng)絡(luò)授課。每天直播系統(tǒng)中都會(huì)保存大量的直播課程數(shù)據(jù)。通過可視化分析的方式，直播課程開展?fàn)顩r一目了然，如查看某天的直播課程數(shù)、上課學(xué)生數(shù)、總計(jì)學(xué)習(xí)人次、累計(jì)開課教學(xué)班、開課教師總數(shù)、總計(jì)直播課程數(shù)、每天按學(xué)院開課數(shù)、教師數(shù)、學(xué)生數(shù)、開課比例、哪門課程開的最多、哪位老師上的課最多等等指標(biāo)。

⑵ 實(shí)驗(yàn)教學(xué)數(shù)據(jù)可視化分析

實(shí)驗(yàn)教學(xué)數(shù)據(jù)可視化分析主要包括實(shí)驗(yàn)室排課、調(diào)課、課時(shí)、課表統(tǒng)計(jì)等方面[4]。利用好實(shí)驗(yàn)教學(xué)可視化系統(tǒng)，管理人員可以根據(jù)實(shí)驗(yàn)內(nèi)容和教學(xué)設(shè)備條件、空余時(shí)間，按課程、教師、周次、節(jié)次、起始時(shí)間、上課人數(shù)安排實(shí)驗(yàn)室，做出具體安排后形成實(shí)驗(yàn)室課表，并發(fā)放給任課老師、實(shí)驗(yàn)室機(jī)房管理人員、學(xué)生。而實(shí)驗(yàn)教學(xué)管理系統(tǒng)可以與門禁管理系統(tǒng)結(jié)合，通過與校園一卡通對(duì)接，讀取一卡通系統(tǒng)的師生信息，實(shí)現(xiàn)教學(xué)實(shí)驗(yàn)分批、分組智能安排、考勤簽到、實(shí)驗(yàn)過程跟蹤監(jiān)控及實(shí)驗(yàn)上課信息匯總統(tǒng)計(jì)等。

⑶ 機(jī)房管理數(shù)據(jù)可視化分析

實(shí)驗(yàn)室機(jī)房管理可視化分析，幫助管理人員實(shí)時(shí)查詢實(shí)驗(yàn)室運(yùn)行信息、機(jī)房管理系統(tǒng)信息、教師學(xué)生的身份和課程信息等[5]，根據(jù)需要授權(quán)不同用戶的使用權(quán)限。用戶可以隨時(shí)隨地查詢實(shí)驗(yàn)室開放信息、預(yù)約信息、實(shí)驗(yàn)室軟硬件配置信息、近期內(nèi)課程安排信息等[6]。機(jī)房管理人員可以實(shí)時(shí)無(wú)縫掌控實(shí)驗(yàn)室及相關(guān)范圍內(nèi)的數(shù)據(jù)，教師、學(xué)生也可以依據(jù)自身需求關(guān)注實(shí)驗(yàn)室信息以便合理安排行程計(jì)劃。

⑷ 門禁系統(tǒng)數(shù)據(jù)可視化分析

門禁系統(tǒng)數(shù)據(jù)可視化分析，主要對(duì)教師、學(xué)生、機(jī)房管理員等人員的刷卡記錄進(jìn)行分析，從中可以發(fā)現(xiàn)一些有意思的數(shù)據(jù)。例如當(dāng)天最早刷卡時(shí)間，最晚離開刷卡時(shí)間，某些機(jī)房通常是由哪些管理人員刷開的，進(jìn)而可以分析出員工的考勤情況，從學(xué)生的刷卡記錄中很容易的分析出本門課程的出勤率等。

3 在線課程可視化子系統(tǒng)

本節(jié)以在線課程可視化子系統(tǒng)的部分功能為例，通過自定義查詢和編寫個(gè)性化SQL語(yǔ)句的方式，展示了基于Metabase的可視化系統(tǒng)的功能效果。

在Metabase中創(chuàng)建問題的方法有三種，簡(jiǎn)單查詢模式、自定義查詢模式和原生查詢模式（SQL語(yǔ)句），其中原生查詢就是通過個(gè)性化的編寫SQL語(yǔ)句進(jìn)行相關(guān)信息的查詢，如果功能需求條件不是很復(fù)雜，通常自定義查詢已經(jīng)能滿足用戶需求。

⑴ 某一天直播課程數(shù)，其SQL語(yǔ)句為：

select count（distinct "dbo"."zxkbResult"."合班號(hào)"）

AS "count" FROM "dbo"."zxkbResult" WHERE

"dbo"."zxkbResult"."finishDate" = {{search_date}}

可視化效果如圖3中所示，2020年6月1日當(dāng)天的直播課程數(shù)為433門。

⑵ 某一天按學(xué)院分類統(tǒng)計(jì)的開課數(shù)據(jù)，其SQL語(yǔ)句為：

select "dbo"."zxkbResult"."開課學(xué)院" AS "開課學(xué)院"，

count（distinct "dbo"."zxkbResult"."合班號(hào)"） AS

"count"， count（distinct "dbo"."zxkbResult"."教師編碼"）

AS "count_2"， sum（"dbo"."zxkbResult"."合班人數(shù)"）

AS "sum"

FROM "dbo"."zxkbResult"

WHERE "dbo"."zxkbResult"."finishDate"={{search_date}}

GROUP BY "dbo"."zxkbResult"."開課學(xué)院"

ORDER BY "count" desc

可視化效果如圖4中所示，2020年6月1日當(dāng)天，外國(guó)語(yǔ)學(xué)院的開課數(shù)最多，其次為經(jīng)濟(jì)學(xué)院，最后為實(shí)驗(yàn)中心。

⑶ 各學(xué)院線上課程占總課程的比列，其SQL語(yǔ)句為：

select bb."開課學(xué)院"，count（合班號(hào)） AS "所有課程數(shù)"，

count（合班號(hào)2） AS "已開線上課程數(shù)"， count（合班號(hào)2）*1.0/count（合班號(hào)） AS "開課比例" FROM （SELECT "dbo"."ZXKB"."合班號(hào)" AS "合班號(hào)"， "dbo"."ZXKB"."開課學(xué)院" AS "開課學(xué)院"， "dbo"."ZXKB"."課程名稱" AS "課程名稱"， "zxkbResult"."合班號(hào)" AS "合班號(hào)2"， count（*） AS "count" FROM "dbo"."ZXKB"

LEFT JOIN "dbo"."zxkbResult" "zxkbResult" ON "dbo".

"ZXKB"."合班號(hào)" = "zxkbResult"."合班號(hào)"GROUP BY "dbo"."ZXKB"."合班號(hào)"， "dbo"."ZXKB"."開課學(xué)院"， "dbo"."ZXKB"."課程名稱"， "zxkbResult"."合班號(hào)"） AS BB group BY "開課學(xué)院" order BY "所有課程數(shù)" desc，"已開線上課程數(shù)" desc

可視化效果如圖5中所示，經(jīng)濟(jì)學(xué)院開課數(shù)最多，其次是外國(guó)語(yǔ)學(xué)院，而且這兩個(gè)學(xué)院線上課程占總課程的比列達(dá)到100%，開課數(shù)最少的學(xué)院為國(guó)際交流學(xué)院，且線上課程占總課程的比列不足50%。

4 結(jié)束語(yǔ)

本文在利用在開源系統(tǒng)Metabase的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一套高校實(shí)驗(yàn)室大數(shù)據(jù)可視化分析系統(tǒng)，對(duì)實(shí)驗(yàn)室各類應(yīng)用系統(tǒng)中積攢的業(yè)務(wù)數(shù)據(jù)進(jìn)行圖形化展示，方便為分析決策提供依據(jù)。從運(yùn)行的效果看，該可視化系統(tǒng)不僅功能強(qiáng)大、界面美觀，而且適用性廣泛。下一步的工作將擬整合可視化和大數(shù)據(jù)分析建模兩大功能，構(gòu)建功能更加完整的高校實(shí)驗(yàn)室大數(shù)據(jù)挖掘分析平臺(tái)。

參考文獻(xiàn)（References）：

[1] 張陽(yáng).大數(shù)據(jù)可視化統(tǒng)計(jì)分析通用平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京交通大學(xué)碩士學(xué)位論文，2019.

[2] 李馥娟.大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)與應(yīng)用研究[J].實(shí)驗(yàn)技術(shù)與管理，2018.35（5）：243-246

[3] 蘇米.Metabase使用教程[EB/OL].https：//zhuanlan.zhihu.com/p/52085283，2018-12-11.

[4] 李菁.高校實(shí)驗(yàn)室綜合管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].東南大學(xué)碩士學(xué)位論文，2016.

[5] 張凱，宋慧寧，楊再明.高校智慧實(shí)驗(yàn)室的構(gòu)建路徑研究[J].數(shù)字教育，2019.6：30-35

[6] 任本旺.面向多元化應(yīng)用的實(shí)驗(yàn)室管理及信息服務(wù)平臺(tái)研發(fā)[D].濟(jì)南大學(xué)碩士學(xué)位論文，2016.