基于大數(shù)據(jù)的智能數(shù)據(jù)采集及可視化分析系統(tǒng)設(shè)計(jì)與研究

田肖，楊帥鵬，賈會(huì)梅，李進(jìn)曌，霍賀婧，李賀

（1.南陽(yáng)醫(yī)學(xué)高等?？茖W(xué)校衛(wèi)生管理系，河南南陽(yáng)，473004；2.北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京，100876；3.南陽(yáng)師范學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南省數(shù)字圖像大數(shù)據(jù)智能處理工程研究中心，河南南陽(yáng)，473061；4.西安恒品電子科技有限公司，陜西西安，710086；5.河南中光學(xué)集團(tuán)有限公司，河南南陽(yáng)，473003）

0 引言

智能數(shù)據(jù)采集和大數(shù)據(jù)分析技術(shù)解決了傳統(tǒng)數(shù)據(jù)收集中特色數(shù)據(jù)難統(tǒng)一、數(shù)據(jù)匯總繁瑣、分析復(fù)雜等問(wèn)題，可在短時(shí)間內(nèi)收集整理數(shù)據(jù)、分析數(shù)據(jù)趨勢(shì)，有利于緊急事件的及時(shí)研判和提高日常工作效率。本文設(shè)計(jì)的智能數(shù)據(jù)采集及可視化分析系統(tǒng)能夠收集和管理數(shù)據(jù)，也可以根據(jù)需求快速創(chuàng)建任何表單，利用大數(shù)據(jù)可視化技術(shù)進(jìn)行分析展示，滿足應(yīng)急事件、日常辦公等多應(yīng)用場(chǎng)景的需求，極大提高工作效率。

1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

1.1 平臺(tái)總體架構(gòu)

智能數(shù)據(jù)采集及可視化分析系統(tǒng)技術(shù)架構(gòu)如圖1所示，本系統(tǒng)采用前后端分離模式，嚴(yán)守企業(yè)級(jí)架構(gòu)和規(guī)范，采用主流后端技術(shù)棧Spring Cloud+Mysql+Redis+RabbitMQ等微服務(wù)、分布式、微架構(gòu)。微服務(wù)架構(gòu)易于開(kāi)發(fā)和維護(hù)，技術(shù)棧不受限，可以根據(jù)需求合理選擇，還可以按需伸縮，實(shí)現(xiàn)細(xì)粒度的擴(kuò)展。可將系統(tǒng)架構(gòu)具體分為用戶層、業(yè)務(wù)層、信息處理層和數(shù)據(jù)存儲(chǔ)層。

用戶層提供可視化的數(shù)據(jù)匯總、分析界面；數(shù)據(jù)處理層實(shí)現(xiàn)智能數(shù)據(jù)收集及可視化分析系統(tǒng)的具體功能，包括表單創(chuàng)建、數(shù)據(jù)收集、數(shù)據(jù)匯總及數(shù)據(jù)分析可視化等功能；數(shù)據(jù)存儲(chǔ)層完成對(duì)所收集數(shù)據(jù)的備份存儲(chǔ)等。

圖1 系統(tǒng)技術(shù)架構(gòu)

1.2 用戶層

用戶利用系統(tǒng)提供大量控件自主創(chuàng)建表單，并支持拖拽式全屏編輯，使得采集表單更加清晰結(jié)構(gòu)化。如圖2所示。

圖2 用戶編輯頁(yè)面

支持設(shè)定標(biāo)簽，使用標(biāo)簽也能進(jìn)行分類，或用來(lái)標(biāo)識(shí)特定屬性的表單，以實(shí)現(xiàn)表單的快速定位。添加表單介紹可以讓采集人員或填表人員更加明確采集的內(nèi)容和要求.表單發(fā)布時(shí)對(duì)已創(chuàng)建的表單關(guān)聯(lián)選擇填表成員進(jìn)行發(fā)布，填表成員需要登陸賬號(hào)進(jìn)行數(shù)據(jù)填報(bào)；支持多種分發(fā)模式：所有人可填、按部門采集、選擇人員可填等。

1.3 網(wǎng)絡(luò)傳輸層

本系統(tǒng)采用的是微服務(wù)架構(gòu)，通過(guò)Hystrix庫(kù)用于隔離訪問(wèn)遠(yuǎn)程系統(tǒng)，服務(wù)或者第三方庫(kù)，防止級(jí)聯(lián)失敗，從而提升系統(tǒng)的可用性和容錯(cuò)性。使用Zuul構(gòu)建服務(wù)網(wǎng)關(guān)，利用Zuul過(guò)濾器進(jìn)行用戶身份驗(yàn)證、壓力測(cè)試、負(fù)載均衡等功能。以及使用Spring CloudConfig統(tǒng)一管理微服務(wù)配置。通過(guò)以上內(nèi)容保證用戶數(shù)據(jù)安全、完善使用體驗(yàn)、提高工作效率。

1.4 數(shù)據(jù)處理層

系統(tǒng)通過(guò)調(diào)取用戶提交的表單或者用戶手動(dòng)導(dǎo)入的方式進(jìn)行數(shù)據(jù)收集，經(jīng)過(guò)智能化數(shù)據(jù)匯總，數(shù)據(jù)清洗后，為用戶提供可視化界面，分析顯示數(shù)據(jù)分布、趨勢(shì)、比例等隱含內(nèi)容，為用戶進(jìn)一步?jīng)Q策提供有效數(shù)據(jù)參考。

2 平臺(tái)功能設(shè)計(jì)

（1）表單創(chuàng)建：基礎(chǔ)模塊、布局模塊及高級(jí)模塊多種方式相結(jié)合，包含靜態(tài)文本、單行文本框、復(fù)選框、信息區(qū)、隱藏域、下拉框、列表框、單選框、按鈕、日歷組件、意見(jiàn)框、字典、會(huì)議室、明細(xì)、組織結(jié)構(gòu)、圖形、圖像域、日期、地圖、文件上傳等30多種控件，滿足各類信息收集需求。支持向?qū)浇ū?，支持拖拽式全屏編輯，操作?jiǎn)單、更加人性化、合理化。

（2）表單分發(fā)：表單發(fā)布時(shí)對(duì)已創(chuàng)建的表單關(guān)聯(lián)選擇填表成員進(jìn)行發(fā)布，填表成員需要登陸賬號(hào)進(jìn)行數(shù)據(jù)填報(bào)；支持多種分發(fā)模式：所有人可填、按部門采集、選擇人員可填等。

（3）表單收集：本系統(tǒng)可通過(guò)PC端采集、移動(dòng)端采集、Web在線采集等多種采集方式，且多端數(shù)據(jù)互聯(lián)，用戶操作不受約束。填表人可以通過(guò)表單提交或文件導(dǎo)入的方式進(jìn)行數(shù)據(jù)收集。經(jīng)過(guò)智能化數(shù)據(jù)匯總，數(shù)據(jù)清洗后，創(chuàng)表人可通過(guò)表格方式看到采集到的數(shù)據(jù)，并且數(shù)據(jù)自動(dòng)填充填表人員、填表部門、填表時(shí)間等信息，使得數(shù)據(jù)更加得豐富、檢索更快捷。

圖3 數(shù)據(jù)可視化分析展示

（4）表單匯總分析、可視化：系統(tǒng)對(duì)所收集數(shù)據(jù)進(jìn)行匯總分析，支持一鍵發(fā)布、一鍵關(guān)閉，并且可以選擇采集的開(kāi)始時(shí)間和截止時(shí)間，使得數(shù)據(jù)采集更加方便有效。數(shù)據(jù)統(tǒng)計(jì)是強(qiáng)大的匯總、分析數(shù)據(jù)的工具，幫助用戶了解、對(duì)比數(shù)據(jù)情況、趨勢(shì)和數(shù)據(jù)中隱藏的模式，數(shù)據(jù)可視化提供了一種非常清晰的溝通方式，可以讓數(shù)據(jù)更快的呈現(xiàn)在人們面前，便于人們對(duì)于數(shù)據(jù)的理解。

3 平臺(tái)工作流程

用戶在使用本系統(tǒng)時(shí)首先可通過(guò)導(dǎo)入表單方式進(jìn)行數(shù)據(jù)分析或根據(jù)需求創(chuàng)建表單，再選擇關(guān)聯(lián)填表成員進(jìn)行發(fā)布，填表成員需要登陸賬號(hào)進(jìn)行數(shù)據(jù)填報(bào)，系統(tǒng)支持多種分發(fā)模式：所有人可填、按部門采集、選擇人員可填等。發(fā)布者可通過(guò)系統(tǒng)查看表單填寫(xiě)回收情況，系統(tǒng)將所收集表單進(jìn)行匯總，用戶可按需選取內(nèi)容進(jìn)行可視化顯示。實(shí)現(xiàn)對(duì)表單數(shù)據(jù)的快速創(chuàng)建、分發(fā)、收集、匯總分析、可視化等。

4 關(guān)鍵技術(shù)

4.1 微服務(wù)架構(gòu)

本系統(tǒng)采用Spring Cloud框架進(jìn)行開(kāi)發(fā)，此框架具有Netflix、Eureka、Hystrix等一系列完善的開(kāi)發(fā)組件，更精準(zhǔn)的制定優(yōu)化服務(wù)方案，提高系統(tǒng)的可維護(hù)性，采用去中心化思想，服務(wù)之間采用Restful等輕量級(jí)通訊，比ESB更輕量。能夠?yàn)橛脩籼峁└涌焖佟⒎€(wěn)定的服務(wù)。

4.2 Hystrix實(shí)現(xiàn)微服務(wù)的容錯(cuò)處理

Hystrix是由Netflix開(kāi)源的一個(gè)延遲和容錯(cuò)庫(kù)，用于隔離訪問(wèn)遠(yuǎn)程系統(tǒng)，服務(wù)或者第三方庫(kù)，防止級(jí)聯(lián)失敗，從而提升系統(tǒng)的可用性和容錯(cuò)性。Hystrix主 要通過(guò)包裹請(qǐng)求、跳閘機(jī)制、資源隔離、監(jiān)控、回退機(jī)制、自我修復(fù)等實(shí)現(xiàn)延遲和容錯(cuò)。實(shí)現(xiàn)機(jī)制如圖4所示。

圖4 Hystrix 實(shí)現(xiàn)機(jī)制

4.3 大數(shù)據(jù)處理技術(shù)

本系統(tǒng)利用大數(shù)據(jù)處理技術(shù)對(duì)用戶收集數(shù)據(jù)進(jìn)行可視化分析展示，幫助用戶直觀對(duì)比了解數(shù)據(jù)情況，預(yù)測(cè)發(fā)展趨勢(shì)等數(shù)據(jù)中隱藏模式。在Hadoop平臺(tái)下利用HDFS分布式存儲(chǔ)框架，MapReduce分布式計(jì)算框架，Yarn資源調(diào)度平臺(tái)，能夠支撐大量數(shù)據(jù)的同時(shí)處理、存儲(chǔ)，為系統(tǒng)提供穩(wěn)定支撐。