歐洲新冠肺炎疫情大數(shù)據(jù)可視化設(shè)計與實現(xiàn)

錢浩東 蘇有慧 周軍 楊晨

摘? 要： 以歐洲疫情數(shù)據(jù)為依據(jù)，從多個層面展示歐洲疫情的發(fā)展。根據(jù)9月14日歐洲新冠肺炎疫情數(shù)據(jù)，利用Hive與大數(shù)據(jù)框架Hadoop對其進(jìn)行處理，借助Tableau組件對歐洲9月14日疫情情況進(jìn)行可視化，獲得相關(guān)可視化圖表。

關(guān)鍵詞： 歐洲新冠肺炎; Tableau; 大數(shù)據(jù)可視化; Hadoop; Hive

中圖分類號：TP391.4? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ? ?文章編號：1006-8228（2021）09-51-04

Abstract： According to the European epidemic data， this paper shows the development of the epidemic in Europe from multiple levels. The epidemic data of COVID-19 in September 14th is processed by Hive and big data frame Hadoop. The epidemic data in September 14th is visualized by Tableau component to obtain the relevant visual charts.

Key words： European COVID-19; Tableau; Big data visualization; Hadoop; Hive

0 引言

大數(shù)據(jù)背景下，海量數(shù)據(jù)只有被合理解讀與表達(dá)之后才能展現(xiàn)其奧秘[1-2]，大數(shù)據(jù)、人工智能時代的到來，使這些設(shè)想變得可能?？梢暬夹g(shù)可以將原始數(shù)據(jù)轉(zhuǎn)變成易于展示的文字、 圖表或圖形的形式，是體現(xiàn)數(shù)據(jù)關(guān)聯(lián)性價值最直觀的方式[3]。人們不再局限于通過關(guān)系數(shù)據(jù)表來觀察和分析數(shù)據(jù)信息， 還能以更直觀的方式看到數(shù)據(jù)及其結(jié)構(gòu)關(guān)系[4]。一般而言，大數(shù)據(jù)的可視化復(fù)雜且難以理解，需要經(jīng)過抽取、清洗、轉(zhuǎn)化、挖掘 等一系列過程才能展示潛在價值信息[5]。目前，大數(shù)可視化形式主要包括文本可視化、網(wǎng)絡(luò)（圖）可視化、時空數(shù)據(jù)可視化和多維數(shù)據(jù)可視化[6]，豐富多樣的可視化形式極大程度的為人們獲取關(guān)鍵信息帶來便利。

本文通過多種類別圖形的方式來反映歐洲各國疫情數(shù)據(jù)的變化趨勢，直觀地體現(xiàn)出不同指標(biāo)下的數(shù)據(jù)差異。具體來說，根據(jù)9月14日歐洲新冠肺炎疫情數(shù)據(jù)，利用Hive與大數(shù)據(jù)架Hadoop對疫情數(shù)據(jù)進(jìn)行處理，借助Tableau組件對歐洲9月14日疫情情況進(jìn)行可視化展示，獲得了歐洲各國在不同指標(biāo)下的相關(guān)圖表。

1 可視化內(nèi)容設(shè)計

Tableau是大數(shù)據(jù)領(lǐng)域中常用數(shù)據(jù)可視化軟件，能夠基于海量的數(shù)據(jù)靈活、快捷地生成多種圖形，能夠?qū)⒋罅繑?shù)據(jù)智能地轉(zhuǎn)變成各類圖表。Tableau 利用便捷的數(shù)據(jù)接口快速提取數(shù)據(jù)[7] ，能夠兼容許多主流的數(shù)據(jù)庫或者數(shù)據(jù)倉庫工具，通過接口驅(qū)動進(jìn)行連接，對于存儲在數(shù)據(jù)庫的大量數(shù)據(jù)能夠方便快捷地進(jìn)行可視化。本文數(shù)據(jù)來源于百度新冠實時肺炎疫情數(shù)據(jù)[8]，利用Tableau對其進(jìn)行處理與展示，獲得相應(yīng)的圖形。

1.1 歐洲各國疫情柱狀圖

下面，借助于Tableau生成歐洲各國疫情柱狀圖。從柱狀圖，可以直觀地看到各個國家確診、死亡以及治愈人數(shù)，方便人們從整體上了解新冠疫情嚴(yán)重程度。

圖1（a）中橫軸為歐洲各個具體國家，縱軸是確診人數(shù)，可以看出俄羅斯、西班牙、法國、英國、意大利等國確診人數(shù)較多。圖1（b）中橫軸為歐洲各個具體國家，縱軸是死亡人數(shù)，可以看出英國、意大利、法國、西班牙、俄羅斯等國死亡人數(shù)較多。圖1（c）中橫軸為歐洲各個具體國家，縱軸是治愈人數(shù)，可以看出俄羅斯、德國、意大利、西班牙等國治愈人數(shù)較多。

1.2 歐洲各國新冠疫情確診情況地理圖

借助于Tableau軟件生成的歐洲各國新冠疫情確診、死亡、治愈情況地理圖。以地理圖形式，具體清晰地展現(xiàn)相關(guān)指標(biāo)下每個國家人數(shù)的情況。顏色越深，代表人數(shù)越多。以鼠標(biāo)懸浮的形式可以查看具體的國家和人數(shù)。

就確診情況而言，從圖2（a）可以直觀地看出俄羅斯的顏色最深，其確診人數(shù)最多;其次是歐洲西南部的國家依次為西班牙、英國、法國等國。就治愈情況而言，從圖2（b）可以直觀地看出俄羅斯的顏色最深，其治愈人數(shù)最多;其次是歐洲西南部的國家依次為德國、意大利、西班牙等國。就死亡情況而言，從圖2（c）可以直觀地看出英國的顏色最深，其死亡人數(shù)最多;其他歐洲西南部的國家如法國、意大利、西班牙等國死亡人數(shù)也較多。而地圖上俄羅斯的顏色較前幾個國家淡，死亡人數(shù)較少。

1.3 歐洲各國在確診、死亡、治愈指標(biāo)下的人數(shù)氣泡圖

下面是借助Tableau軟件生成的氣泡圖，分別是確診人數(shù)氣泡圖、治愈人數(shù)氣泡圖、死亡人數(shù)氣泡圖、現(xiàn)存確診人數(shù)氣泡圖。

圖3中，氣泡越大代表確診人數(shù)越多，其中俄羅斯確診人數(shù)最多，為1068320人，其次是西班牙，確診人數(shù)為593730人。圖4中，氣泡越大代表治愈人數(shù)越多，其中俄羅斯確診人數(shù)最多為878700人，其次是德國，確診人數(shù)為237550人。圖5中，氣泡越大代表死亡人數(shù)越多，其中英國死亡人數(shù)最多為41637人，其次是意大利，確診人數(shù)為35624人。圖6中，氣泡越大代表現(xiàn)存確診人數(shù)越多，其中西班牙現(xiàn)存確診人數(shù)最多，為1068320人，其次是英國，現(xiàn)存確診人數(shù)為327336人。

1.4 歐洲各國在確診、死亡、治愈、現(xiàn)存確診指標(biāo)下的人數(shù)比值餅圖

為了解在各指標(biāo)下，每個國家指標(biāo)人數(shù)占總額的比值，本文借助Tableau，生成確診人數(shù)總額比餅圖、治愈人數(shù)總額百分比餅圖、死亡人數(shù)總額百分比餅圖、現(xiàn)存確診人數(shù)總額百分比餅圖。

從圖7可以看出，俄羅斯確診人數(shù)占總額百分比最多，為39.20%，其次是德國，占比為10.60%;從圖8可以看出，俄羅斯的治愈人數(shù)占總額百分比最多為25.90%，其次是西班牙，為14.39%;從圖9可以看出，英國的現(xiàn)存確診人數(shù)占總額百分比最多，為19.56%，其次為法國，為14.54%;從圖10可以看出，西班牙的死亡人數(shù)占總額百分比最多，為21.96%，其次是英國，為19.59%。

2 系統(tǒng)架構(gòu)與實現(xiàn)

2.1 整體架構(gòu)

整體架構(gòu)分為三層：數(shù)據(jù)存儲層、數(shù)據(jù)處理層以及數(shù)據(jù)展示層。如圖11（a）所示，數(shù)據(jù)存儲層利用Hadoop中的模塊Hdfs分布式文件存儲系統(tǒng)來進(jìn)行數(shù)據(jù)存儲;數(shù)據(jù)處理層利用Hive編寫Hql來進(jìn)行數(shù)據(jù)的處理;數(shù)據(jù)展示層利用Tableau連接Hive中的庫來進(jìn)行圖表化的展示。

2.2 具體實現(xiàn)

⑴ 數(shù)據(jù)存儲層

通過Hdfs存儲數(shù)據(jù)。數(shù)據(jù)存儲層利用Hadoop中的Hdfs分布式文件存儲系統(tǒng)，將獲取的相關(guān)疫情信息進(jìn)行存儲。如圖11（b），Hdfs，采用分布式設(shè)計與按塊存儲設(shè)計，可以使其存儲大量數(shù)據(jù)，并且減少一定的數(shù)據(jù)傳輸時間。由于疫情數(shù)據(jù)數(shù)據(jù)量大的特點，所以選用Hadoop中的Hdfs模塊來進(jìn)行數(shù)據(jù)存儲。

⑵ 數(shù)據(jù)處理層

通過Hive進(jìn)行數(shù)據(jù)處理。對于獲取的新冠疫情數(shù)據(jù)，我們依舊需要進(jìn)行處理，來刪選出我們所需要的重要字段。Hadoop里的MapReduce是大數(shù)據(jù)離線計算框架，能夠?qū)dfs上的數(shù)據(jù)進(jìn)行讀取、清洗、聚合，從而獲得所需要的干凈數(shù)據(jù)。圖11為Hive具體架構(gòu)圖。

Hive是數(shù)據(jù)倉庫工具，如圖11（c），Hive的底層運行的依舊是MapReduce，它能夠?qū)dfs上數(shù)據(jù)通過編寫類SQL語句，通過解釋器、編譯器、優(yōu)化器、執(zhí)行器轉(zhuǎn)化成MapReducer程序，進(jìn)行自定義處理與清洗。本系統(tǒng)將Hdfs上的疫情數(shù)據(jù)通過HQL語句來篩選出歐洲各國的疫情信息，然后再存儲到Hdfs上，方便通過Hive來查看數(shù)據(jù)。將數(shù)據(jù)處理完成后，獲取到相應(yīng)字段如表1所示，以及對應(yīng)的數(shù)據(jù)。

⑶ 數(shù)據(jù)展示層

本文通過Tableau與相關(guān)ODBC驅(qū)動連接Hive，將Hive中處理過后的數(shù)據(jù)，按照確診、死亡、治愈、現(xiàn)存確診人數(shù)指標(biāo)生成對應(yīng)指標(biāo)下的柱狀圖、地理圖、氣泡圖和相關(guān)人數(shù)總額比值餅圖。數(shù)據(jù)展示層以多種形式的圖形，從多個角度展示歐洲各國疫情情況，做到了真正意義上的數(shù)據(jù)可視化。

3 結(jié)束語

大數(shù)據(jù)可視化將數(shù)據(jù)以圖表形式進(jìn)行展示，提高數(shù)據(jù)的可讀性。本系統(tǒng)借助Tableau以及Hadoop和Hive大數(shù)據(jù)框架，對歐洲各國的疫情數(shù)據(jù)實現(xiàn)了可視化，生成相關(guān)柱狀圖、地理圖、氣泡圖以及餅圖，方便直觀了解歐洲疫情，對從事歐洲相關(guān)活動的人們做好疫情防控起到至關(guān)重要的作用。

參考文獻(xiàn)（References）：

[1] 艾廷華.大數(shù)據(jù)驅(qū)動下的地圖學(xué)發(fā)展[J].測繪地理信息，2016.41（2）：1-7

[2] 曾悠.大數(shù)據(jù)時代背景下的數(shù)據(jù)可視化概念研究[D].浙江大學(xué)，2014.

[3] 陳鐳，劉玉，楊琴.高校實驗室大數(shù)據(jù)可視化平臺研究[J].計算機時代，2020.11：43-46

[4] 劉勘，周曉崢，周洞汝.數(shù)據(jù)可視化的研究與發(fā)展[J].計算機工程，2002.8：1-2，63

[5] 賀群，楊明川.基于Web GIS的大數(shù)據(jù)可視化研究與優(yōu)化[J].電信技術(shù)，2015.6（8）：37-40

[6] 王露，楊晶晶，黃銘.基于R語言和Tableau的氣象數(shù)據(jù)可視化分析[J].計算機與網(wǎng)絡(luò)，2017.43（24）：69-71

[7] 任磊，杜一，馬帥等.大數(shù)據(jù)可視分析綜述[J].軟件學(xué)報，2014，25（9）：1901-1936

[8] 百度新冠肺炎實時數(shù)據(jù)：http：//voice.baidu.com/act/newpneumonia/newpneumonia.