新冠肺炎疫情大數(shù)據(jù)可視化平臺的設(shè)計(jì)與實(shí)現(xiàn)

阮燦華，梁煒彬，林曉宇

(福建農(nóng)林大學(xué) 計(jì)算機(jī)與信息學(xué)院，福建福州350002)

目前國內(nèi)疫情得到基本控制，現(xiàn)如今國內(nèi)社會情況相對穩(wěn)定，而世界范圍內(nèi)疫情卻始終未能得到有效控制，人們對疫情情況還是非常關(guān)注。大數(shù)據(jù)背景下，網(wǎng)絡(luò)時(shí)刻產(chǎn)生海量疫情方面數(shù)據(jù)，這些數(shù)據(jù)只有被合理解讀與展示，民眾才能更好了解其中奧秘[1-2]。借助網(wǎng)絡(luò)爬蟲技術(shù)和echarts 技術(shù)，在通過爬蟲從網(wǎng)上獲取到每日疫情的各項(xiàng)權(quán)威數(shù)據(jù)后，清洗、轉(zhuǎn)化和挖掘后通過echarts 整理成各種可視化統(tǒng)計(jì)圖[3-4]，這些可視化統(tǒng)計(jì)圖包括至今國內(nèi)的疫情圖，世界疫情圖，國內(nèi)各項(xiàng)疫情數(shù)據(jù)情況統(tǒng)計(jì)圖，世界各項(xiàng)疫情數(shù)據(jù)情況統(tǒng)計(jì)圖，以及每日熱點(diǎn)熱搜圖等以多種多樣的可視化形式呈現(xiàn)在人們面前，通過疫情可視化頁面，使人們能快速直觀的了解現(xiàn)在的疫情發(fā)展情況以及每日疫情感染人數(shù)的增長和治愈及死亡情況。全球防疫形勢依然非常嚴(yán)峻，對疫情預(yù)防和控制仍然是當(dāng)今全球共同使命。通過可視化系統(tǒng)及時(shí)準(zhǔn)確評估疫情傳播、根據(jù)每日疫情情況了解疫情過去的情況，分析疫情發(fā)展趨勢對于政府制定防控措施有著重要意義。

1 疫情及熱搜數(shù)據(jù)抓取

1.1 中國疫情數(shù)據(jù)及國外疫情數(shù)據(jù)抓取

疫情可視化系統(tǒng)要主動抓取疫情數(shù)據(jù)[5]，包括國內(nèi)疫情數(shù)據(jù)和海外疫情數(shù)據(jù)，每天丁香園、騰訊疫情、UC 疫情、新浪疫情等這些平臺都會轉(zhuǎn)載國家和各地衛(wèi)健委每日發(fā)布的疫情數(shù)據(jù)。借助chrome 瀏覽器的開發(fā)者工具，從騰訊疫情的requests 模塊中，獲取騰訊提供的疫情實(shí)時(shí)數(shù)據(jù)。進(jìn)入騰訊疫情實(shí)時(shí)追蹤網(wǎng)站之后，利用抓包工具找到以json 格式保存疫情數(shù)據(jù)的url，再使用python 的request 請求得到需要的國內(nèi)疫情和全球疫情各項(xiàng)相關(guān)數(shù)據(jù)接口[6]。

在本次疫情數(shù)據(jù)爬取中，系統(tǒng)調(diào)用了以下四個(gè)數(shù)據(jù)接口，并封裝入變量，供方法調(diào)用，分別是：中國疫情數(shù)據(jù)、中國城市疫情數(shù)據(jù)、外國疫情數(shù)據(jù)、全球疫情數(shù)據(jù)。通過以上url 數(shù)據(jù)接口[7]，獲得所有疫情可視化系統(tǒng)所需要的數(shù)據(jù)，并存入數(shù)據(jù)庫中，爬取全球疫情累計(jì)數(shù)據(jù)及全球?qū)崟r(shí)疫情數(shù)據(jù)，并存入global_history_url 中，通過request 請求獲得response 數(shù)據(jù)后進(jìn)行分組便可得到全球疫情累計(jì)數(shù)據(jù)和全球?qū)崟r(shí)疫情數(shù)據(jù)，在遍歷每組數(shù)據(jù)并進(jìn)行處理后，就可以得到一條符合數(shù)據(jù)庫表結(jié)構(gòu)數(shù)據(jù)，最后一并存入數(shù)據(jù)庫中[8]。

1.2 今日熱搜數(shù)據(jù)抓取

疫情是當(dāng)前國內(nèi)乃至全社會的最大熱點(diǎn)，而作為熱點(diǎn)，自然常常占據(jù)著熱搜榜。百度提供全網(wǎng)熱度前五十搜索的今日熱點(diǎn)。系統(tǒng)今日熱搜數(shù)據(jù)通過爬取百度風(fēng)云榜今日熱點(diǎn)所獲得。利用Web 自動化測試工具python-selenium 庫模擬用戶操作瀏覽器進(jìn)入百度熱搜榜地址后，用谷歌開發(fā)者工具的調(diào)試找到今日熱搜數(shù)據(jù)所在的標(biāo)簽地址以獲取相應(yīng)的每天熱搜數(shù)據(jù)及其排名與熱度值。設(shè)置好模擬人為使用chrome 瀏覽器的操作配置，包括調(diào)用chrome 瀏覽器、設(shè)置瀏覽器的User-Agent、添加chrome 瀏覽器參數(shù)、配置使用chrome 瀏覽器相對應(yīng)版本的webdriver 等，配置好后進(jìn)行數(shù)據(jù)調(diào)試獲取。得到今日熱搜的數(shù)據(jù)后，經(jīng)過數(shù)據(jù)處理在系統(tǒng)前端動態(tài)圖中顯示，根據(jù)每條的熱搜的內(nèi)容，對每條熱搜進(jìn)行關(guān)鍵字提取并根據(jù)相應(yīng)熱度值顯示該條熱搜大小，該熱搜顯示越大，說明該熱點(diǎn)關(guān)注度越高，熱度值也越大，并且在數(shù)據(jù)庫設(shè)計(jì)中，每條熱搜與其熱度值共同存儲在content 內(nèi)容字段中，利用python-jieba 模塊對內(nèi)容字段進(jìn)行熱搜與熱度值切割。

2 系統(tǒng)設(shè)計(jì)

2.1 可視化內(nèi)容設(shè)計(jì)

本系統(tǒng)是基于網(wǎng)絡(luò)爬蟲技術(shù)的可視化項(xiàng)目開發(fā)[9]。疫情數(shù)據(jù)與熱搜數(shù)據(jù)獲取方面是利用requests模塊獲取騰訊提供的疫情實(shí)時(shí)數(shù)據(jù)，包含國內(nèi)最新、國內(nèi)歷史、全球最新、全球歷史的各項(xiàng)關(guān)于疫情確診、治愈、死亡人數(shù)的累計(jì)和每日數(shù)據(jù)，以及利用selenium 模塊獲取最新百度熱搜榜關(guān)鍵詞，并將獲取的結(jié)構(gòu)化數(shù)據(jù)存儲到sqlite3 中。系統(tǒng)可視化展示頁面部分是利用echarts 圖表技術(shù)，繪制需要的中國地圖以及世界地圖，以及想要展示的各項(xiàng)統(tǒng)計(jì)圖例如柱狀圖、折線圖、熱搜熱度動態(tài)展示圖等。利用js 加入實(shí)時(shí)北京時(shí)間精確至秒的時(shí)間模塊，在界面中每秒刷新，使用戶對查看疫情數(shù)據(jù)是個(gè)實(shí)時(shí)數(shù)據(jù)，提高用戶體驗(yàn)感。

2.2 功能設(shè)計(jì)

系統(tǒng)設(shè)置全國疫情與全球疫情兩個(gè)地圖。全國疫情圖根據(jù)各省疫情確診數(shù)量分為五個(gè)確診人數(shù)范圍顏色，全球疫情根據(jù)各國疫情確診數(shù)據(jù)分為五個(gè)確診人數(shù)范圍顏色，點(diǎn)擊相應(yīng)顏色可以進(jìn)行調(diào)節(jié)過濾。

全國疫情數(shù)據(jù)可視化是通過全國疫情折線圖來實(shí)現(xiàn)[10]。分別是關(guān)于疫情至今的累計(jì)數(shù)據(jù)統(tǒng)計(jì)圖和新增數(shù)據(jù)統(tǒng)計(jì)圖等兩張折線統(tǒng)計(jì)圖。累計(jì)數(shù)據(jù)統(tǒng)計(jì)圖包括累計(jì)確診、現(xiàn)有疑似、累計(jì)治愈、累計(jì)死亡數(shù)據(jù)的統(tǒng)計(jì)；新增數(shù)據(jù)統(tǒng)計(jì)圖包括新增確診、新增疑似、新增治愈、新增死亡數(shù)據(jù)的統(tǒng)計(jì)。單擊任何數(shù)據(jù)，都能對其進(jìn)行過濾，支持多項(xiàng)數(shù)據(jù)過濾最后只留一項(xiàng)數(shù)據(jù)，并對其重新制作折線統(tǒng)計(jì)圖，從而使想觀察的數(shù)據(jù)更加清晰，一目了然。

全球疫情數(shù)據(jù)可視化是全球疫情折線圖來實(shí)現(xiàn)。分別是關(guān)于疫情至今的全球累計(jì)數(shù)據(jù)的統(tǒng)計(jì)圖和全球新增確診的統(tǒng)計(jì)圖等兩張折線統(tǒng)計(jì)圖。累計(jì)數(shù)據(jù)統(tǒng)計(jì)圖包括累計(jì)確診、累計(jì)治愈、累計(jì)死亡。其余特點(diǎn)同中國折線統(tǒng)計(jì)圖。

3 系統(tǒng)架構(gòu)與實(shí)現(xiàn)

3.1 關(guān)鍵數(shù)據(jù)庫物理設(shè)計(jì)

本系統(tǒng)數(shù)據(jù)庫使用集成型數(shù)據(jù)庫sqlite3。

china_history 表用來存儲中國至今每日累計(jì)的疫情相關(guān)數(shù)據(jù)。Date 字段是存儲每日疫情數(shù)據(jù)的日期，confrim、overseas_inputs、dead、heal 字段是疫情開始到該日期統(tǒng)計(jì)時(shí)的累計(jì)確診、累計(jì)境外輸入、累計(jì)死亡、累計(jì)治愈的人數(shù)，suspect 字段是現(xiàn)存疑似感染新冠肺炎未確診的人數(shù)。china_history 表的具體字段及結(jié)構(gòu)如表1 所示。

表1 china_history 表

china_lasted 表用來存儲統(tǒng)計(jì)到今日為止全國每個(gè)省份中每個(gè)城市疫情的累計(jì)情況和新增情況。id 字段是存儲每個(gè)城市統(tǒng)計(jì)時(shí)的序號，作為主鍵自增，update_time 字段是統(tǒng)計(jì)時(shí)間，suspect 字段是每個(gè)城市現(xiàn)存疑似人數(shù)，每次統(tǒng)計(jì)將以前統(tǒng)計(jì)的數(shù)據(jù)邏輯刪除，插入新統(tǒng)計(jì)的數(shù)據(jù)，確保每座城市的唯一性，并按照國家、省份、城市字段升序排序。

hotsearch 表用來存儲爬取的百度今日熱點(diǎn)排名前五十的熱搜數(shù)據(jù)，id 字段作為每次更新每條熱搜的序號，作為主鍵自增，content 字段是存儲熱點(diǎn)與熱度值兩個(gè)數(shù)據(jù)，每次更新邏輯刪除舊的數(shù)據(jù)，插入更新的數(shù)據(jù)。

3.2 系統(tǒng)實(shí)現(xiàn)

3.2.1 系統(tǒng)主界面

疫情可視化系統(tǒng)開發(fā)主界面包括全國疫情追蹤界面及全球疫情追蹤界面，界面效果如圖1 和圖2 所示。

圖1 全國疫情追蹤界面

圖2 全球疫情追蹤界面

3.2.2 疫情地圖

制作疫情地圖及其他一些統(tǒng)計(jì)圖、熱搜圖借助了Apache Echarts 繪畫圖表技術(shù)，Echarts 是基于js的開源數(shù)據(jù)可視化圖標(biāo)庫，繪畫圖表簡便快捷，效果簡潔好看。在規(guī)劃了繪制地圖區(qū)域后準(zhǔn)備中國地圖信息的js 文件，下載一個(gè)可用的導(dǎo)入到項(xiàng)目中后，編寫echarts 圖表配置信息，根據(jù)各省疫情確診的人數(shù)劃分為5 個(gè)等級，確診人數(shù)由少到多，顏色隨嚴(yán)重程度的加深而加深，在左下角進(jìn)行顏色的說明。疫情地圖包括全國疫情圖和全球疫情圖，如圖3、圖4 所示。從圖中可以看出，湖北疫情累計(jì)確診人數(shù)是全國最多，其余各省得益于黨和國家及廣大人民群眾的不懈努力，都沒有達(dá)到最深顏色的程度，以圖中選中區(qū)域福建來說，累計(jì)確診人數(shù)統(tǒng)計(jì)到今天為止，一共598 名，并且沒有現(xiàn)有確診存在，疫情基本得到控制。全球疫情的實(shí)現(xiàn)及數(shù)據(jù)說明同中國疫情圖。

圖3 中國疫情圖

圖4 全球疫情圖

3.2.3 折線統(tǒng)計(jì)圖

疫情統(tǒng)計(jì)折線圖如圖5 和圖6 所示。從全國累計(jì)趨勢和新增趨勢可以看出，我國疫情情況現(xiàn)在比較穩(wěn)定，能夠得到有效控制[11]，但全球范圍內(nèi)，疫情確診人數(shù)卻持續(xù)增加，說明疫情在全球范圍內(nèi)未得到控制，且越來越嚴(yán)重。折線圖可以選擇只顯示一種數(shù)據(jù)，并為數(shù)據(jù)重新制作折線圖，便于更好分析疫情發(fā)展情況，我國疑似人數(shù)趨勢，隱藏其他數(shù)據(jù)，如圖7 所示。將鼠標(biāo)移到相應(yīng)線段可以展示是哪一天的數(shù)據(jù)，可以看到，一旦有疑似，可以很快確認(rèn)是否被確診，說明我國對新冠肺炎已經(jīng)有有效措施進(jìn)行排查，效果也很顯著，側(cè)面說明疫情得到控制。

圖5 全國累計(jì)趨勢與新增趨勢折線圖

圖6 全球累計(jì)趨勢與新增趨勢折線圖

圖7 全國現(xiàn)有疑似與新增疑似折線

3.2.4 柱狀圖

如圖8 和圖9 所示，根據(jù)中國除湖北外的城市確診情況和全球各國確診情況制作柱狀統(tǒng)計(jì)圖?？梢钥闯?，在中國，香港確診人數(shù)相較其他城市來說，需要加強(qiáng)防護(hù)與監(jiān)管。而在世界范圍內(nèi)，可以看到，美國、印度、巴西國家確診人數(shù)突破千萬級別，在這些國家，疫情并未得到及時(shí)控制。

圖8 全國確診城市排名柱狀圖

圖9 全球確診國家排名柱狀圖

3.2.5 疫情熱搜圖

疫情熱搜為今日熱搜圖，是今日搜索度和熱度值排名前五十的熱點(diǎn)，每日更新，利用后臺數(shù)據(jù)處理提取關(guān)鍵字和熱度值后使用echarts 繪畫出動態(tài)熱搜圖，如圖10 所示。由圖中可以看出，今日熱搜中安徽六安新冠疫情情況最多人關(guān)注，熱度值為379158，將鼠標(biāo)移到每個(gè)關(guān)鍵詞，可以看到該熱搜的熱度值，熱度值越高，熱搜字體越大，也代表更多人關(guān)注；每一次切換頁面都會根據(jù)關(guān)鍵字重新渲染熱搜圖，做出動態(tài)熱搜效果。

圖10 今日熱搜動態(tài)圖

4 結(jié)語

本系統(tǒng)是基于網(wǎng)絡(luò)爬蟲技術(shù)的疫情可視化系統(tǒng)開發(fā)，借助requests 模塊和selenium 模塊進(jìn)行疫情數(shù)據(jù)爬取，借助jieba 等模塊進(jìn)行返回?cái)?shù)據(jù)處理，借助echarts 繪畫圖表技術(shù)進(jìn)行可視化界面設(shè)計(jì)開發(fā)。系統(tǒng)開發(fā)完成可以方便人們隨時(shí)進(jìn)行疫情的查看，根據(jù)每日疫情的結(jié)果也可推斷出我國疫情的控制過程以及世界疫情未來的發(fā)展趨勢。

系統(tǒng)設(shè)計(jì)難點(diǎn)主要在于疫情數(shù)據(jù)的獲取后如何整合出每一項(xiàng)想要的數(shù)據(jù)，并確保數(shù)據(jù)的實(shí)時(shí)性與準(zhǔn)確性。所以疫情數(shù)據(jù)必須定時(shí)爬取更新，確保正確性必須多方多維度多次確認(rèn)才能保證。

（注：文中顯示數(shù)據(jù)為2021年5月15日）