基于時(shí)序數(shù)據(jù)庫的分布式網(wǎng)絡(luò)波動(dòng)監(jiān)控系統(tǒng)

文/柴亞剛

1.業(yè)務(wù)場(chǎng)景及需求

隨著數(shù)據(jù)中心系統(tǒng)規(guī)模的不斷擴(kuò)大，應(yīng)用系統(tǒng)間通信經(jīng)常跨越多個(gè)機(jī)房或者多個(gè)核心網(wǎng)絡(luò)區(qū)域，網(wǎng)絡(luò)通信質(zhì)量波動(dòng)的概率大幅增加，直接影響應(yīng)用系統(tǒng)的正常運(yùn)行。因此，全網(wǎng)網(wǎng)絡(luò)波動(dòng)監(jiān)控就成為基礎(chǔ)平臺(tái)監(jiān)控中不可或缺的基礎(chǔ)環(huán)節(jié)。網(wǎng)絡(luò)波動(dòng)監(jiān)控主要是對(duì)可用性、可靠性和用戶體驗(yàn)進(jìn)行監(jiān)測(cè)，具體為以下幾方面:（1）選取每個(gè)網(wǎng)絡(luò)區(qū)域的隨機(jī)節(jié)點(diǎn)作為采集點(diǎn)，同時(shí)對(duì)跨機(jī)房和跨網(wǎng)絡(luò)區(qū)域的ICMP探測(cè)響應(yīng)往返時(shí)間進(jìn)行持續(xù)監(jiān)測(cè)。（2）選取用戶端網(wǎng)絡(luò)節(jié)點(diǎn)作為采集點(diǎn)，對(duì)所有服務(wù)域名和關(guān)鍵URL的響應(yīng)時(shí)間、響應(yīng)狀態(tài)和響應(yīng)內(nèi)容等持續(xù)監(jiān)測(cè)。（3）能夠?qū)v史數(shù)據(jù)進(jìn)行實(shí)時(shí)查詢，能夠?qū)σ欢〞r(shí)期內(nèi)的監(jiān)測(cè)指標(biāo)進(jìn)行聚合計(jì)算，通過各類圖表形式展示網(wǎng)絡(luò)響應(yīng)。（4）能夠定義告警策略，當(dāng)采集指標(biāo)符合告警策略時(shí)，通過Web Hook、Email等方式進(jìn)行告警。網(wǎng)絡(luò)波動(dòng)監(jiān)控的數(shù)據(jù)類型主要是時(shí)間序列數(shù)據(jù)，因此，考慮用時(shí)序數(shù)據(jù)庫，配合分布式采集工具、消息系統(tǒng)以及監(jiān)控前端系統(tǒng)來實(shí)現(xiàn)。

2.時(shí)序數(shù)據(jù)庫的當(dāng)前發(fā)展

與普通數(shù)據(jù)不同，每條時(shí)間序列數(shù)據(jù)都帶有一個(gè)時(shí)間戳，反映的是某個(gè)時(shí)間點(diǎn)的度量情況。時(shí)間序列數(shù)據(jù)庫（Time Series Database）則是針對(duì)時(shí)間戳或時(shí)間序列數(shù)據(jù)而優(yōu)化的數(shù)據(jù)庫，專門用于跟蹤、監(jiān)控、聚合和處理隨時(shí)間變化的度量或者事件，這里的度量可以是服務(wù)器指標(biāo)、應(yīng)用性能監(jiān)控?cái)?shù)據(jù)、網(wǎng)絡(luò)性能數(shù)據(jù)、傳感器數(shù)據(jù)、事件、點(diǎn)擊、市場(chǎng)交易以及其他各類數(shù)據(jù)。

時(shí)間序列數(shù)據(jù)庫并不是新生事物，但其早期主要用于交易系統(tǒng)，用來監(jiān)測(cè)股票交易的波動(dòng)性。然而，過去十年中，隨著PC服務(wù)器逐步替代大型機(jī)和小型機(jī)，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)飛速發(fā)展，各類時(shí)間序列數(shù)據(jù)、指標(biāo)和事件隨時(shí)隨地、無時(shí)無刻在產(chǎn)生，隨著數(shù)據(jù)源的變化而衍生的對(duì)數(shù)據(jù)生命周期管理、長時(shí)間跨度下實(shí)時(shí)快速查詢和聚合計(jì)算、根據(jù)歷史數(shù)據(jù)對(duì)未來趨勢(shì)進(jìn)行預(yù)判等新的業(yè)務(wù)需求，要求底層數(shù)據(jù)基礎(chǔ)架構(gòu)也隨之變化，需要更適合互聯(lián)網(wǎng)的分布式時(shí)間序列數(shù)據(jù)庫。

在時(shí)間序列數(shù)據(jù)庫領(lǐng)域，InfluxDB、RRDtool、Graphite和OpenTSDB、Druid、Prometheum的排名比較靠前，使用也更為廣泛。如下圖所示。

時(shí)序數(shù)據(jù)庫11月份排名情況（摘自db-engines.com[1]）

3.時(shí)序數(shù)據(jù)庫的幾個(gè)關(guān)鍵概念

以使用最廣泛的Influxdb為例，有以下幾個(gè)關(guān)鍵概念:

（1）field key/field value/field set，度量指標(biāo)數(shù)據(jù)，field key為度量指標(biāo)字段，filed value為對(duì)應(yīng)的值，兩者構(gòu)成field set。Field key沒有索引，基于field的過濾查詢都是全表掃描。Field value的值類型只能為字符串、浮點(diǎn)數(shù)、整型數(shù)或者布爾類型。每條度量指標(biāo)數(shù)據(jù)都和一個(gè)時(shí)間戳綁定。

（2）tag key/tag value/tag set，可選的索引標(biāo)簽，tag key為索引標(biāo)簽字段，tag value為對(duì)應(yīng)的值，兩者構(gòu)成tag set。在查詢語句中，可以跟在where短語后面。

（3）measurement，類似于關(guān)系型數(shù)據(jù)庫中的表，存放tags、fields以及對(duì)應(yīng)的時(shí)間戳。

（4）retention policies，數(shù)據(jù)存儲(chǔ)策略，默認(rèn)為永久保存，可以為數(shù)據(jù)表設(shè)置過期時(shí)間，influxdb會(huì)定期清理。

（5）database，類似于關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)庫，邏輯概念，包含用戶權(quán)限、存儲(chǔ)策略、時(shí)序數(shù)據(jù)等。

（6）series，數(shù)據(jù)序列，相同的數(shù)據(jù)表、存儲(chǔ)策略和tag set，構(gòu)成1個(gè)series。一般情況下，表中有tag標(biāo)簽時(shí)，根據(jù)不同tag標(biāo)簽的排列組合會(huì)形成多條數(shù)據(jù)序列。這是時(shí)序數(shù)據(jù)庫中最關(guān)鍵的概念。

4.實(shí)時(shí)監(jiān)控技術(shù)架構(gòu)

由于采集網(wǎng)絡(luò)范圍廣、節(jié)點(diǎn)多、采集時(shí)間間隔短、數(shù)據(jù)插入并發(fā)高，因此，網(wǎng)絡(luò)波動(dòng)指標(biāo)數(shù)據(jù)的采集處理選用分布式架構(gòu)。在全網(wǎng)采集點(diǎn)上部署采集工具，分別以JSON標(biāo)準(zhǔn)格式上傳到消息系統(tǒng)，接收處理入庫程序，從消息系統(tǒng)接收消息，處理后插入時(shí)間序列數(shù)據(jù)庫。前端監(jiān)控系統(tǒng)從時(shí)間序列數(shù)據(jù)庫讀取數(shù)據(jù)，并在前臺(tái)進(jìn)行展示，依據(jù)定制策略進(jìn)行告警。如下圖所示。

網(wǎng)絡(luò)波動(dòng)監(jiān)控系統(tǒng)架構(gòu)

采集工具選用HeartBeat，屬于Elastic Stack中的輕量型數(shù)據(jù)采集器Beats工具集中的一種。它采用Go語言開發(fā)，并發(fā)性能較高，支持icmp/http/tcp三種類型的心跳監(jiān)控，動(dòng)態(tài)地添加和刪除目標(biāo)，既支持直接輸出到ElasticSearch和Logstash，也支持輸出到Kafka和Redis消息隊(duì)列。消息系統(tǒng)選用Kafka，屬于Apache基金會(huì)項(xiàng)目，被定義為分布式流處理平臺(tái)，通常用于實(shí)時(shí)流數(shù)據(jù)的管道或者流數(shù)據(jù)處理應(yīng)用。它采用Java語言開發(fā)，并發(fā)性能高，支持發(fā)布/訂閱的消息系統(tǒng)場(chǎng)景以及日志存儲(chǔ)場(chǎng)景。

時(shí)序數(shù)據(jù)庫選用InfluxDB，是InfluxData所開源的項(xiàng)目。在db-engines.com所公布的時(shí)序數(shù)據(jù)庫中長期排名第一，是目前應(yīng)用最廣泛的時(shí)序數(shù)據(jù)庫。它支持對(duì)時(shí)序數(shù)據(jù)定期存儲(chǔ)，可以根據(jù)數(shù)據(jù)量和時(shí)間定時(shí)清理過期數(shù)據(jù)，避免磁盤空間超標(biāo)；支持對(duì)時(shí)序數(shù)據(jù)進(jìn)行mean/min/max/last/first/avg等各種快速聚合計(jì)算。

監(jiān)控告警前端選用Grafana，支持InfluxDB、ElasticSearch、Graphite、Prometheus等各類數(shù)據(jù)源，支持圖表、表格、儀表盤等各類展示方式，通過自定義告警水位和告警信息實(shí)現(xiàn)告警。

5.時(shí)序數(shù)據(jù)存儲(chǔ)與查詢

網(wǎng)絡(luò)波動(dòng)以ICMP和HTTP響應(yīng)結(jié)果指標(biāo)數(shù)據(jù)為主，分別存儲(chǔ)在不同數(shù)序數(shù)據(jù)庫中，每個(gè)數(shù)據(jù)庫中根據(jù)數(shù)據(jù)來源、時(shí)間等字段適當(dāng)拆表，同時(shí)對(duì)響應(yīng)狀態(tài)錯(cuò)誤的結(jié)果數(shù)據(jù)復(fù)制一份入庫到錯(cuò)誤表，方便查詢。

由于是對(duì)網(wǎng)絡(luò)波動(dòng)度量指標(biāo)數(shù)據(jù)進(jìn)行監(jiān)測(cè)，因此，field數(shù)據(jù)主要是ICMP和HTTP請(qǐng)求的響應(yīng)時(shí)長數(shù)據(jù)，將采集器名稱、監(jiān)測(cè)目標(biāo)、返回狀態(tài)等作為tag數(shù)據(jù)。

ICMP響應(yīng)的指標(biāo)數(shù)據(jù)僅有一個(gè)rtt時(shí)長，HTTP響應(yīng)的指標(biāo)數(shù)據(jù)較為復(fù)雜。各列數(shù)據(jù)的含義為:time為時(shí)間戳，wreponse_status表示響應(yīng)狀態(tài)，wup表示是否有響應(yīng)，wresolve_rtt表示DNS解析時(shí)間，wtcp_connect表示tcp連接時(shí)間，whttp_rtt表示http響應(yīng)時(shí)。

Influxdb的查詢語法與SQL類似，增加和優(yōu)化了對(duì)一定時(shí)間范圍內(nèi)的指標(biāo)數(shù)據(jù)進(jìn)行最大值/最小值/平均數(shù)計(jì)算。以網(wǎng)絡(luò)區(qū)域間ICMP響應(yīng)序列查詢?yōu)槔x取某個(gè)區(qū)域節(jié)點(diǎn)的ICMP響應(yīng)時(shí)長的平均值進(jìn)行聚合查詢，用時(shí)間間隔作為聚合依據(jù)。以下為查詢語句。

相較于網(wǎng)絡(luò)區(qū)域間ICMP響應(yīng)監(jiān)控，重點(diǎn)網(wǎng)站的URL監(jiān)控的HTTP響應(yīng)數(shù)據(jù)的指標(biāo)更多，包括TCP連接時(shí)間、DNS解析時(shí)間、HTTP響應(yīng)時(shí)間，HTTP響應(yīng)狀態(tài)。以下為查詢語句:

6.總結(jié)與展望

本文從跨機(jī)房和網(wǎng)絡(luò)區(qū)域的網(wǎng)絡(luò)質(zhì)量波動(dòng)監(jiān)控實(shí)際需求出發(fā)，設(shè)計(jì)了基于時(shí)序數(shù)據(jù)庫的分布式網(wǎng)絡(luò)波動(dòng)監(jiān)測(cè)系統(tǒng)。通過消息隊(duì)列系統(tǒng)實(shí)現(xiàn)指標(biāo)數(shù)據(jù)的管道傳輸，使得分布部署在不同機(jī)房和網(wǎng)絡(luò)區(qū)域的采集節(jié)點(diǎn)和數(shù)據(jù)接收處理模塊解耦，有效地?cái)U(kuò)大了監(jiān)控范圍和容量；通過時(shí)序數(shù)據(jù)庫來存儲(chǔ)網(wǎng)絡(luò)質(zhì)量指標(biāo)數(shù)據(jù)，通過前端展示組件實(shí)現(xiàn)指標(biāo)數(shù)據(jù)的圖表展示，有效解決了網(wǎng)絡(luò)質(zhì)量和波動(dòng)的實(shí)時(shí)監(jiān)測(cè)和歷史數(shù)據(jù)查詢的可視化監(jiān)控需求。

[1]林芝.基于信息論網(wǎng)絡(luò)的時(shí)序數(shù)據(jù)庫挖掘[J]計(jì)算機(jī)工程與應(yīng)用，2003（01）.

[2]黃河.時(shí)序數(shù)據(jù)庫中快速相似搜索的算法研究[J]模式識(shí)別與人工智能，2003（02）.

[3]郭四穩(wěn).基于小波技術(shù)的網(wǎng)絡(luò)時(shí)序數(shù)據(jù)挖掘[J]計(jì)算機(jī)工程，2007（02）.