基于WebSocket和node.js的多終端數(shù)據(jù)采集系統(tǒng)研究

蔣凌燕 李中科

摘要：隨著互聯(lián)網(wǎng)+的進(jìn)一步發(fā)展，接入網(wǎng)絡(luò)的設(shè)備和需要處理的數(shù)據(jù)均大量增長，對實時響應(yīng)的要求也越來越高。根據(jù)現(xiàn)在各種場景中人和設(shè)備的數(shù)據(jù)獲取、傳輸、處理、存儲的需求，使用各種終端和設(shè)備作為數(shù)據(jù)采集客戶端，設(shè)計實現(xiàn)基于node.js的多終端數(shù)據(jù)采集系統(tǒng)來提供高并發(fā)環(huán)境下的數(shù)據(jù)采集服務(wù)。通過研究和比較實時通訊技術(shù)的各種實現(xiàn)方法，采用WebSocket和node.js作為系統(tǒng)的基礎(chǔ)支撐技術(shù)，分析了系統(tǒng)的核心功能包括數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)顯示與搜索等，完善了系統(tǒng)的架構(gòu)設(shè)計。

關(guān)鍵詞：數(shù)據(jù)采集;多終端;WebSocket;node.js;實時通訊

中圖分類號：TP311? ? 文獻(xiàn)標(biāo)識碼：A? ? ? 文章編號：1009-3044（2018）31-0006-03

Research on multi-terminal data acquisition system based on WebSocket and node. js

JIANG Ling-yan， LI Zhong-ke

（Nanjing Institute of Industry and Technology， Nanjing 210046， China）

Abstract： With the further development of Internet +， the equipment of access network and the data that need to be processed are all increasing， and the requirement of real-time response is more and more high. According to the demand of large amount of data acquisition， transmission， processing and storage of human and equipment in various application scenarios， using various terminals and devices as data acquisition client， the multi-terminal acquisition system based on node. JS is designed to provide data acquisition service in high concurrency environment. By studying and comparing the various realization methods of real-time communication technology， using WebSocket and node. js as the basic supporting technology of the system， the core functions of the system including data acquisition， data storage， data display and search are analyzed， and the architecture design of the system is perfected.

Key words： data acquisition; multi-terminal; WebSocket; node.js; real-time communication

1 背景

在互聯(lián)網(wǎng)+的時代，數(shù)據(jù)采集系統(tǒng)需要處理的用戶請求不論是數(shù)據(jù)的規(guī)模還是請求頻率都不斷提高，同時對于響應(yīng)的實時性要求也越來越高，因此為了滿足需求實時推送和及時響應(yīng)技術(shù)在各種軟件系統(tǒng)中大量應(yīng)用，基于Web的實時通訊技術(shù)也在不斷地發(fā)展中。傳統(tǒng)數(shù)據(jù)采集功能主要面向單個應(yīng)用，存在功能重復(fù)、維護(hù)復(fù)雜、信息交換共享不足等問題。[1]該文對多終端環(huán)境下接入各種設(shè)備時的數(shù)據(jù)采集系統(tǒng)實現(xiàn)進(jìn)行分析、設(shè)計與研究。

2 實時通訊相關(guān)技術(shù)

在瀏覽器和服務(wù)器之間的常用實時通信技術(shù)有以下幾種：長、短輪詢、長連接，Adobe 的Flash Socket、WebSocket等等。這幾種技術(shù)各有特點，適用于不同的情況。

2.1 短輪詢

短輪詢以ajax技術(shù)為基礎(chǔ)，通過在客戶端定時發(fā)送重復(fù)連接請求來獲得新的數(shù)據(jù)，服務(wù)器會立即返回請求，連接時如果客戶端數(shù)量較多或者傳輸?shù)臄?shù)據(jù)量較大引起網(wǎng)絡(luò)延遲均會產(chǎn)生一些問題，適合在數(shù)據(jù)規(guī)模不大的請求頻率低且一次性請求較多的應(yīng)用中使用，一般是中小規(guī)模的應(yīng)用，服務(wù)器端程序結(jié)構(gòu)簡單編寫容易。

2.2 長輪詢

長輪詢通過在服務(wù)器端阻塞用戶的請求延遲返回來保持鏈接，并減少請求的次數(shù)，但同時占用一定的服務(wù)器資源保持鏈接線程，適合用戶一次請求需要多次發(fā)送數(shù)據(jù)并長時間保持連接的情況，如Web，QQ。長輪詢可以通過ajax技術(shù)在服務(wù)器端掛起請求來實現(xiàn)，客戶端使用ajax提交請求并建立連接。長輪詢也可以通過iframe實現(xiàn)，主要用于頁面動態(tài)刷新，多用于實時聊天和信息推送，采用xml和json來進(jìn)行數(shù)據(jù)交換，在穿越防火墻保持鏈接方面兼容性較好，現(xiàn)在使用得非常廣泛，大規(guī)模應(yīng)用系統(tǒng)中成功使用，但對服務(wù)器數(shù)據(jù)處理和網(wǎng)絡(luò)連接的負(fù)載要求很高，反復(fù)建立鏈接開銷大。

2.3 長連接

長連接技術(shù)通過服務(wù)器發(fā)送事件（Server-Sent Events，簡稱SSE）提出的API創(chuàng)建請求，通過發(fā)送心跳包來維持鏈接，服務(wù)器端和客戶端持續(xù)交換數(shù)據(jù)，服務(wù)器維持長鏈接有開銷，同時部分代理和防火墻無法穿透，在gmail及時消息中有使用。長連接技術(shù)使用不同于長短輪詢的方式，所建立的連接可以從服務(wù)器端主動推送信息到客戶端而不需要客戶端反復(fù)發(fā)送請求到客戶端，適合服務(wù)器大量推送消息的應(yīng)用場景。

2.4 Flash Socket

Flash Socket是Flash系列的工具提供的實時發(fā)送功能可以保持連接，但是非http協(xié)議的，也無法穿越防火墻，客戶端也需要安裝插件，適用于已使用Flash系列的工具開發(fā)的系統(tǒng)中實現(xiàn)實時發(fā)送功能，在客戶端和服務(wù)器系統(tǒng)通過socket建立連接進(jìn)行通訊，這種實時通訊現(xiàn)在網(wǎng)頁游戲互動使用較多。

2.5 WebSocket

HTML5定義了WebSocket協(xié)議，目的是在實現(xiàn)服務(wù)器實時與用戶交換數(shù)據(jù)同時維持對服務(wù)器資源和網(wǎng)絡(luò)帶寬的低耗占用。WebSocket建立在TCP協(xié)議的基礎(chǔ)上，和已有的幾種 web實時通信大多采用http協(xié)議不同，WebSocket以事件處理的方式建立雙工鏈接，使用很小報文傳送信息從而以較小的代價維持鏈接，實現(xiàn)了瀏覽器和服務(wù)器之間的雙向數(shù)據(jù)推送，為web模式下的大規(guī)模高效的數(shù)據(jù)實時交換提供另一種模式，解決了HTTP協(xié)議下的請求響應(yīng)模式的一些缺點。WebSocket通過onopen，onmessage，onclose和onerror四個事件來處理整個數(shù)據(jù)交換的過程，瀏覽器端中的腳本程序簡便易行，服務(wù)器端的實現(xiàn)各種技術(shù)平臺都提供了相應(yīng)的組件庫支持WebSocket服務(wù)器端程序。本質(zhì)上WebSocket是長期保持鏈接的，適合提供數(shù)據(jù)采集服務(wù)。

3 所采用的技術(shù)方案

3.1 服務(wù)器技術(shù)

該系統(tǒng)服務(wù)器端采用node.js技術(shù)。在各種服務(wù)器技術(shù)中，node.js是一個較新的技術(shù)，采用最新的編譯技術(shù)，適合快速響應(yīng)易擴(kuò)展的系統(tǒng)。 Node.js處理用戶請求時采用基于事件的非阻塞處理模式，在服務(wù)器端實現(xiàn)單線程模式的大規(guī)模并發(fā)請求的處理，并保持系統(tǒng)結(jié)構(gòu)的簡單、輕量和高效。通過比較和測試node.js和其他類型的服務(wù)器技術(shù)如PHP和JAVA WEB等，在數(shù)據(jù)流量大、并發(fā)多但處理流程簡單的情況下適合使用node.js，數(shù)據(jù)采集系統(tǒng)符合這種特征，因此多終端數(shù)據(jù)采集系統(tǒng)中選擇node.js作為Web服務(wù)器使用。

Node.js處理事件的時候采用“非阻塞”方式來循環(huán)處理并發(fā)請求，不管是網(wǎng)絡(luò)資源還是存儲資源均以事件回調(diào)的方式訪問，請求處理過程中通過專用接口訪問文件系統(tǒng)、數(shù)據(jù)庫、云存儲等資源，為大量并發(fā)的數(shù)據(jù)采集的功能實現(xiàn)提供了有效支持。

3.2 實時數(shù)據(jù)推送技術(shù)

在大規(guī)模的數(shù)據(jù)采集系統(tǒng)中，數(shù)據(jù)采集終端（用戶）和服務(wù)器之間需要長時間保持鏈接并以一定的時間間隔發(fā)送數(shù)據(jù)，在實時數(shù)據(jù)推送技術(shù)方面選擇WebSocket。

WebSocket解決了Web實時化數(shù)據(jù)雙向推送的效率問題，通過在瀏覽器中建立長期存在和服務(wù)器保持?jǐn)?shù)據(jù)交換的連接，實現(xiàn)服務(wù)器和客戶端之間的一個低耗雙向數(shù)據(jù)交換，和傳統(tǒng)推送技術(shù)比，通過建立TCP連接來實現(xiàn)數(shù)據(jù)推送的，比傳統(tǒng)技術(shù)使用Http連接更加輕量級，可以顯著減少保持連接過程中傳送的數(shù)據(jù)量。

Socket.IO是node.js提供的開源WebSocket庫，包含服務(wù)器端和客戶端的庫，實現(xiàn)了全雙工實時通訊。Socket.IO支持：WebSocket、htmlfile、xhr-polling、jsonp-polling這幾種方式來實現(xiàn)B/S模式下的實時通訊，該文選擇使用WebSocket來實現(xiàn)系統(tǒng)功能。

4 系統(tǒng)重要功能設(shè)計

數(shù)據(jù)采集系統(tǒng)的用戶/設(shè)備數(shù)據(jù)采集功能、數(shù)據(jù)存儲、數(shù)據(jù)雙向傳輸、數(shù)據(jù)顯示和搜索分別設(shè)計如下。

4.1 數(shù)據(jù)采集功能

數(shù)據(jù)采集模塊可以在瀏覽器中通過使用表單輸入數(shù)據(jù)，或者從各種設(shè)備客戶端獲取原始數(shù)據(jù)。用網(wǎng)頁表單方式獲取數(shù)據(jù)可以支持各種移動終端，包括PC電腦、手機(jī)、pad等，自適應(yīng)網(wǎng)頁也可以很好適應(yīng)多終端的使用環(huán)境，通過表單獲取到的數(shù)據(jù)以WebSocket方式提交到服務(wù)器處理;通過各種設(shè)備獲取的原始數(shù)據(jù)可以使用專用接口編寫專用客戶端程序，客戶端程序通過設(shè)備接口獲取從各種設(shè)備采集的數(shù)據(jù)，再在客戶端引用 org.java_WebSocket庫等實現(xiàn)Java-WebSocket客戶端程序，從而將從設(shè)備中采集的數(shù)據(jù)提交到服務(wù)器，這種方式降低了服務(wù)器獲取采集數(shù)據(jù)的代價，同時盡量減少數(shù)據(jù)顯示的延遲。系統(tǒng)結(jié)構(gòu)如圖1所示。

4.2 數(shù)據(jù)存儲功能

數(shù)據(jù)存儲模塊根據(jù)需要可以存儲在客戶端、redis緩存、數(shù)據(jù)庫、云存儲和文件系統(tǒng)中。

客戶端存儲將部分采集的數(shù)據(jù)存在本地可以減少數(shù)據(jù)鏈接傳輸保持的時間和與服務(wù)器數(shù)據(jù)交換的頻率，也可以在客戶端失去網(wǎng)絡(luò)連接時作暫存。在網(wǎng)頁表單采集數(shù)據(jù)的模式下，本地存儲實現(xiàn)可以通過靜態(tài)網(wǎng)頁、本地文件存儲或者是HTML5的LocalStorage來實現(xiàn)。瀏覽器本地文件存儲是使用ActiveXObject支持的Scripting.FileSystemObject對象，瀏覽器需要進(jìn)行專門的設(shè)置，且不同的瀏覽器存在兼容性問題;通過HTML5的LocalStorage來實現(xiàn)本地存儲有5MB的限制，一般情況下也足夠使用了。java-WeSocket專用客戶端（手機(jī)端或者嵌入式設(shè)備）可以通過文件或者本地的數(shù)據(jù)庫如sqlite等方式來本機(jī)存儲數(shù)據(jù)。

服務(wù)器端存儲實現(xiàn)方式多種多樣，可以通過redis緩存、文件系統(tǒng)、數(shù)據(jù)庫、云存儲等方式，按數(shù)據(jù)是否穩(wěn)定來使用redis緩存和數(shù)據(jù)庫及文件系統(tǒng)存儲，在高頻數(shù)據(jù)采集系統(tǒng)中使用redis緩存可以有效地減少服務(wù)器負(fù)荷，提高響應(yīng)時間。

數(shù)據(jù)存儲如圖2所示。

4.3 基于socket.io實現(xiàn)數(shù)據(jù)雙向傳輸功能

Socket.io作為node.js技術(shù)中封裝實時通訊的模塊，支持多種類型的終端設(shè)備，可以在瀏覽器和服務(wù)器端調(diào)用，在瀏覽器中通過引入腳本庫文件，創(chuàng)建socket對象和服務(wù)器建立連接，接著使用socket注冊message事件并定義回調(diào)函數(shù)，當(dāng)服務(wù)器通過socket連接發(fā)送消息時調(diào)用回調(diào)函數(shù)處理數(shù)據(jù)并顯示到頁面中，也可以自定義事件，并注冊到服務(wù)器上去。

服務(wù)器端使用socket.io時，首先創(chuàng)建服務(wù)器對象，接著創(chuàng)建socket模塊中的監(jiān)聽服務(wù)器，定義監(jiān)聽的端口，調(diào)用listen方法開始監(jiān)聽，對瀏覽器客戶端發(fā)送來的各種事件和消息進(jìn)行處理，最后使用emit方法發(fā)送返回結(jié)果給瀏覽器。Socket.io支持TCP、UDP、HTTP各種協(xié)議，可以根據(jù)具體需要按消息處理和轉(zhuǎn)發(fā)的過程來選擇相應(yīng)的協(xié)議，定義事件和回調(diào)函數(shù)完成服務(wù)器和瀏覽器之間的通訊過程處理。

node.js以非阻塞異步單線程方式處理用戶請求，但當(dāng)有需要大量計算或者耗時較長的任務(wù)處理時會顯著降低系統(tǒng)的響應(yīng)時間，對于這類cpu高占用任務(wù)需要單獨進(jìn)行優(yōu)化處理，使用cluster模塊進(jìn)行進(jìn)程管理。

4.4 數(shù)據(jù)顯示、查詢功能

在數(shù)據(jù)顯示模塊，根據(jù)用戶的需求來顯示實時數(shù)據(jù)或者歷史數(shù)據(jù)。顯示實時數(shù)據(jù)時系統(tǒng)中的服務(wù)器和顯示終端（瀏覽器）之間通過WebSocket維持長鏈接，接受數(shù)據(jù)時顯示終端會立即部分刷新內(nèi)容，大大降低了Web模式下從采集終端到顯示終端的顯示延遲，同時，在顯示終端存儲部分臨時數(shù)據(jù)，既可以作為數(shù)據(jù)備份，也可以減少數(shù)據(jù)服務(wù)器發(fā)送的數(shù)據(jù)。

數(shù)據(jù)查詢功能分為客戶端頁面內(nèi)數(shù)據(jù)查詢和服務(wù)器端查詢兩種，具體設(shè)計時根據(jù)實際情況來調(diào)用不同的查詢模塊，頁面內(nèi)查詢不用連接數(shù)據(jù)庫，通過腳本在頁面內(nèi)完成為小范圍內(nèi)查詢實時數(shù)據(jù)提供了便捷，服務(wù)器端查詢可以查詢redis緩存、數(shù)據(jù)庫、文件系統(tǒng)以及云存儲中的數(shù)據(jù)，適合復(fù)雜功能大量數(shù)據(jù)的查詢。

5 結(jié)束語

在B/S模式下進(jìn)行實時通訊有多種技術(shù)方案可選，適合不同的需求場景。在對各種技術(shù)進(jìn)行分析比較研究后，按照實時數(shù)據(jù)采集系統(tǒng)的特征和需求，采用node.js和html5支持的WebSocket實現(xiàn)系統(tǒng)功能是切實可行的，對系統(tǒng)的核心功能包括數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)顯示查詢、數(shù)據(jù)雙向傳遞等功能進(jìn)行了設(shè)計和實現(xiàn)，即在node.js技術(shù)和WebSocket的支持下實現(xiàn)大量用戶（終端）的實時信息交互功能。

參考文獻(xiàn)：

[1] 杜鵬， 陶洪鑄， 高保成， 等. 面向多應(yīng)用的通用數(shù)據(jù)采集技術(shù)方案[J]. 電力系統(tǒng)自動化， 2015， 39（1）： 26-30.

[2] 殷建軍， 張鐵民， 可欣榮， 等. 面向田園監(jiān)測的低成本多光譜圖像遠(yuǎn)程采集節(jié)點設(shè)計[J]. 農(nóng)業(yè)工程學(xué)報， 2016， 32（13）： 118-124.

[3] 牟雅琳， 丁浩哲， 郭茂林， 等. 基于Node.js的大學(xué)生自助學(xué)習(xí)答疑系統(tǒng)的設(shè)計與實現(xiàn)[J]. 電腦知識與技術(shù)， 2018， 14（21）： 107-109.

[4] 仇晶， 黃巖， 柴瑜晗. 基于Node.js中間層Web開發(fā)的研究與實現(xiàn)——以微信圖書借閱平臺為例[J]. 河北工業(yè)科技， 2017， 34（2）： 118-124.

[5] 韓立， 劉正捷， 李暉， 等. 基于情境感知的遠(yuǎn)程用戶體驗數(shù)據(jù)采集方法[J]. 計算機(jī)學(xué)報， 2015， 38（11）： 2234-2246.

[6] 熊才權(quán)， 李元， 林松， 等. 基于WebSocket的研討過程控制方法[J]. 湖北工業(yè)大學(xué)學(xué)報， 2018， 33（4）： 70-74.

[7] 黃艷庭， 谷玉海， 王菊遠(yuǎn). 基于WebSocket的風(fēng)電機(jī)組Web實時監(jiān)測系統(tǒng)設(shè)計[J]. 設(shè)備管理與維修， 2018（13）： 67-69.

[8] 金楓. Web前端MVC框架的意義與前端發(fā)展方向展望[J]. 電腦知識與技術(shù)， 2016， 12（3）： 75-77.