大規(guī)模軟件系統(tǒng)日志匯集服務(wù)平臺設(shè)計與實現(xiàn)

湯網(wǎng)祥 王金華 赫凌俊 李敏敬

(中國電子科技集團(tuán)公司第三十二研究所 上海 201808)

0 引 言

隨著大數(shù)據(jù)技術(shù)發(fā)展、高速互聯(lián)網(wǎng)以及DevOps[1]的興起，大規(guī)模軟件[2]運行日志收集及維護(hù)系統(tǒng)得到快速的發(fā)展?；ヂ?lián)網(wǎng)界興起了一些專門針對日志提供存儲和分析服務(wù)的公司。這類公司搭建日志收集及分析平臺，為用戶提供各類數(shù)據(jù)采集的接口，讓用戶自行配置日志源或提交日志文件，提供針對日志內(nèi)容的分析和查詢能力，可以給軟件運維帶來便利，也可以基于日志中獲得更深的業(yè)務(wù)價值[3-4]。

這類系統(tǒng)是需要大量應(yīng)用人員參與的系統(tǒng)，大家各自管理維護(hù)自己的數(shù)據(jù)。但對一些專用的大規(guī)模復(fù)雜業(yè)務(wù)軟件系統(tǒng)來說，這類日志收集分析系統(tǒng)的數(shù)據(jù)采集方式難以提供采集和分析服務(wù)。應(yīng)用軟件量大，部署范圍廣，軟件交互非常復(fù)雜，機(jī)器軟件組合成千上萬級。除了服務(wù)端以外，還需要采集終端應(yīng)用的日志，現(xiàn)有的日志采集模式下需要大量的人力和時間去維護(hù)采集源，同時也需要相當(dāng)多的技術(shù)人員來進(jìn)行數(shù)據(jù)分析和系統(tǒng)維護(hù)。在一些封閉性要求比較高、使用人員技術(shù)能力較弱、維護(hù)人員少的環(huán)境下，這種數(shù)據(jù)接入方式難以使用。另外，很多軟件對自己的業(yè)務(wù)操作都有審計的需要，都需要針對這些信息設(shè)計并實現(xiàn)一套業(yè)務(wù)日志系統(tǒng)以供事后審計，在一個大型系統(tǒng)中造成重復(fù)設(shè)計和實現(xiàn)。同時，在這類環(huán)境下，對重要日志的存儲時間是較長的，但日志數(shù)據(jù)的存儲空間和計算資源是受限的，無法做到互聯(lián)網(wǎng)界商業(yè)模式下的存儲與計算資源的大量供應(yīng)。

本文針對這類大規(guī)模復(fù)雜軟件系統(tǒng)的日志采集和維護(hù)需求，結(jié)合當(dāng)前的大數(shù)據(jù)存儲分析技術(shù)和分布式索引技術(shù)，設(shè)計了一套日志匯集服務(wù)平臺，提供基于集中控制模式的全系統(tǒng)日志數(shù)據(jù)采集與匯集能力，提供數(shù)據(jù)分析與查詢展現(xiàn)能力，為軟件研發(fā)過程和運維過程提供全過程支撐。

1 相關(guān)技術(shù)

本文的日志匯集服務(wù)平臺著眼于全局控制體系，在此基礎(chǔ)上集成優(yōu)秀的開源產(chǎn)品，主要包括Flume Agent、Kafka、HBase、Elastic Search等。Flume Agent是Flume[5]的一個數(shù)據(jù)采集組件，可以提供豐富的數(shù)據(jù)資源采集能力；Kafka[6]是一個分布式的消息系統(tǒng)，便于橫向擴(kuò)展，吞吐量高，可以保證消息的有序性和可靠性，可以為高速流數(shù)據(jù)的處理提供支持；HBase[7]是一個高性能、可擴(kuò)展的分布式列式數(shù)據(jù)庫存儲系統(tǒng)；Elastic Search是一個準(zhǔn)實時的分布式搜索引擎，可以支持所有類型文檔的搜索。通過HBase與Elastic Search的整合[8]，構(gòu)建二級索引，可以處理PB級的數(shù)據(jù)，同時保持很高的處理性能。

2 軟件設(shè)計方案

2.1 整體框架

本文的大規(guī)模軟件系統(tǒng)日志匯集服務(wù)平臺，后續(xù)簡稱為日志服務(wù)平臺，其整體框架如圖1所示。

圖1 日志服務(wù)整體框架圖

日志服務(wù)平臺包含日志采集、日志匯集與存儲兩部分?；诜植际酱鎯Α⒎植际搅惺綌?shù)據(jù)庫、分布式索引服務(wù)、分布式消息服務(wù)等提供日志的采集服務(wù)和日志匯集與存儲服務(wù)，日志采集提供各類終端和服務(wù)器日志數(shù)據(jù)的采集能力；日志匯集與存儲提供匯集的集中控制功能，以及控制規(guī)則的數(shù)據(jù)定向匯集能力，涵蓋日志開發(fā)、收集、存儲、應(yīng)用、銷毀的全生命周期服務(wù)，為基于日志的各類數(shù)據(jù)分析提供數(shù)據(jù)支撐。

2.2 日志采集

本文日志服務(wù)平臺日志采集包含兩類方式：專用日志采集、通用日志采集，數(shù)據(jù)處理流程如圖2所示。專用日志采集，通過擴(kuò)展開發(fā)包進(jìn)行采集，多用于終端日志采集和新建系統(tǒng)的日志采集，支持采集普通日志和業(yè)務(wù)日志，采集內(nèi)容更加豐富；通用日志采集，是對現(xiàn)有軟件系統(tǒng)輸出日志數(shù)據(jù)的直接采集，不影響現(xiàn)有軟件系統(tǒng)運行，支持現(xiàn)有系統(tǒng)的多種數(shù)據(jù)源，包括文件、系統(tǒng)事件等[9-10]。兩種方式采集出的數(shù)據(jù)基于統(tǒng)一的標(biāo)準(zhǔn)格化式后進(jìn)行緩存，也可以基于軟件選擇全解析，以支持本地信息復(fù)雜搜索、展現(xiàn)，方便開發(fā)過程問題快速定位。

圖2 日志采集數(shù)據(jù)處理流程圖

專用日志擴(kuò)展包針對現(xiàn)有常用日志開發(fā)包進(jìn)行擴(kuò)展，保留現(xiàn)有開發(fā)接口，增加業(yè)務(wù)類日志接口，記錄業(yè)務(wù)操作信息，統(tǒng)一內(nèi)部日志級別定義，標(biāo)準(zhǔn)化內(nèi)部數(shù)據(jù)格式，提供本地端口可靠提交能力。采用異步傳輸機(jī)制，降低日志網(wǎng)絡(luò)傳輸對屬主應(yīng)用性能的影響，升級配置文件，通過配置文件的方式注入軟件日志信息。例如對于Java類應(yīng)用程序，通過替換開發(fā)包，簡單修改配置文件，就可以實現(xiàn)日志的統(tǒng)一接入。

日志數(shù)據(jù)直接采集針對不便于進(jìn)行開發(fā)包替換的應(yīng)用或系統(tǒng)的現(xiàn)有日志數(shù)據(jù)提供專用的日志數(shù)據(jù)采集能力，可以監(jiān)控這些應(yīng)用或系統(tǒng)的日志輸出，自動采集新產(chǎn)生的日志數(shù)據(jù)，進(jìn)行解析處理，并使用標(biāo)準(zhǔn)化格式存入本地緩存系統(tǒng)。這一部分是目前商用日志系統(tǒng)進(jìn)行采集的主要方式，可以有選擇地進(jìn)行集成，融合進(jìn)本文日志采集體系。該部分采集參數(shù)的配置提供本地可視化手段，并將配置控制納入遠(yuǎn)程集中控制體系，開源軟件Flume，基于Java開發(fā)，具有很好的平臺兼容性，是不錯的整合選擇。

本地匯集服務(wù)提供本地默認(rèn)采集端口服務(wù)，收集本地開發(fā)包提交的日志對收集到的數(shù)據(jù)進(jìn)行初步解析處理，使用標(biāo)準(zhǔn)化格式存入本地緩存系統(tǒng)，并提供基于日志級別和特征值的數(shù)據(jù)統(tǒng)計，支撐軟件性能數(shù)據(jù)的監(jiān)控和軟件運行問題的快速發(fā)現(xiàn)。同時可以減少大量日志內(nèi)容的提交，降低網(wǎng)絡(luò)和服務(wù)端資源的開銷。在軟件研發(fā)過程中，結(jié)合選擇性的全解析能力，通過緩存查詢工具查看應(yīng)用輸出的日志，進(jìn)行日志過濾查看，快速獲取日志內(nèi)容，進(jìn)行日志分析，定位軟件問題。既可以輔助規(guī)范化日志的輸出，也可以輔助研發(fā)人員確定需要輸出哪些信息，有助于軟件運維過程中問題的定位，支撐實際運行過程中基于日志的軟件問題排查定位和操作審計。

日志采集需要有廣泛的兼容性，本地匯集服務(wù)會面對各類復(fù)雜的使用場景，需要有很高的兼容能力：操作系統(tǒng)的兼容，物理平臺的兼容，獨立應(yīng)用輸出與插件輸出的兼容，擴(kuò)展開發(fā)包輸出信息和現(xiàn)有數(shù)據(jù)源直接采集信息的兼容，以及內(nèi)部定義有差異的不同日志開發(fā)包進(jìn)行擴(kuò)展時的兼容。本日志服務(wù)平臺為各類接入的日志源定義了統(tǒng)一的日志級別，統(tǒng)一的數(shù)據(jù)格式，對不同的原始定義進(jìn)行了調(diào)整和整合。

日志級別相關(guān)規(guī)范信息如表1所示。

表1 日志級別定義表

用于集中存儲的統(tǒng)一規(guī)范的日志信息如表2所示。

表2 主要日志屬性定義表

很多軟件的日志輸出速度非常高，本地匯集要能對這類數(shù)據(jù)有相應(yīng)的承載能力或應(yīng)對能力。本文的匯集服務(wù)對數(shù)據(jù)的接收和處理過程使用內(nèi)存處理模式，通過管道過濾器樣式進(jìn)行設(shè)計，結(jié)合多線程并行模式，充分利用CPU的處理能力，大大提高數(shù)據(jù)處理速度。設(shè)計圖如圖3所示。

圖3 本地數(shù)據(jù)接收與處理設(shè)計圖

本地匯集服務(wù)需要具備磁盤使用控制能力，數(shù)據(jù)采集持續(xù)運轉(zhuǎn)，同時又要在本地保留一定量的存儲，支持本地的日志快速查詢，緩存數(shù)據(jù)的存儲和管控模式是關(guān)鍵。本文通過循環(huán)數(shù)據(jù)表的方式進(jìn)行數(shù)據(jù)存儲，支持快速復(fù)雜查詢，通過循環(huán)存儲模式結(jié)合表定量模式，進(jìn)行本地緩存數(shù)據(jù)量的磁盤空間控制?？刂茍D如圖4所示。

圖4 日志本地緩存控制圖

2.3 日志匯集與存儲

本文日志服務(wù)平臺的日志匯集提供日志匯集控制系統(tǒng)，可對匯集進(jìn)行全方位控制；采用分級匯集機(jī)制，降低系統(tǒng)資源最低需求，適應(yīng)各類應(yīng)用場景；采用異步處理模式，應(yīng)對數(shù)據(jù)潮涌現(xiàn)象，同時可以提高業(yè)務(wù)處理速度；提供自主集群機(jī)制，分?jǐn)偩W(wǎng)絡(luò)帶寬和數(shù)據(jù)處理壓力，降低系統(tǒng)資源需求，同時提高系統(tǒng)的可用性；根據(jù)時間段分庫存儲，控制常規(guī)運行態(tài)所接觸的數(shù)據(jù)空間，保持全系統(tǒng)持續(xù)運行下的系統(tǒng)性能的穩(wěn)定性，不會因為數(shù)據(jù)持續(xù)積累導(dǎo)致系統(tǒng)的運轉(zhuǎn)速度的降低，使系統(tǒng)永遠(yuǎn)保持年輕。功能設(shè)計如圖5所示。

圖5 日志網(wǎng)絡(luò)匯集與存儲圖

1) 匯集管控：本文日志服務(wù)提供日志內(nèi)容匯集控制系統(tǒng)，能夠?qū)μ峤幌到y(tǒng)進(jìn)行精確控制，可以控制是否要提交，全部提交還是指定某些計算機(jī)提交；可以指定提交的時間范圍，全時段提交，還是指定時間段提交，支持指定跨天時間段提交；可以指定提交內(nèi)容，能夠指定匯集信息的計算機(jī)、軟件、時間段、日志級別，種類等要素，篩選或提取指定的日志內(nèi)容；可以指定提交格式和提交目的地，除了處理全局?jǐn)?shù)據(jù)的數(shù)據(jù)存儲服務(wù)集群之外，還可以為消息服務(wù)器集群、明細(xì)數(shù)據(jù)存儲與分析集群提交數(shù)據(jù)，為準(zhǔn)實時數(shù)據(jù)分析用、交互數(shù)據(jù)分析等各類數(shù)據(jù)分析提供全局管理支撐。另外，提供終端統(tǒng)計數(shù)據(jù)匯集控制機(jī)制，可以設(shè)置統(tǒng)計內(nèi)容模式、統(tǒng)計間隔等，為無日志內(nèi)容匯集下的軟件性能分析提供支撐。

2) 數(shù)據(jù)調(diào)度與載入：通過集中控制的匯集管控管理功能構(gòu)建分析用數(shù)據(jù)調(diào)度策略，確定數(shù)據(jù)傳輸通道和緩存空間構(gòu)建機(jī)制，可以獲得分析任務(wù)所需的數(shù)據(jù)內(nèi)容。將歷史數(shù)據(jù)和實時數(shù)據(jù)按照適當(dāng)?shù)念l率調(diào)度到指定的數(shù)據(jù)緩存空間，為各類日志分析系統(tǒng)[11]提供數(shù)據(jù)支撐，包括準(zhǔn)實時數(shù)據(jù)分析[12-13]、交互式數(shù)據(jù)分析[14]、批量數(shù)據(jù)分析[15]。目前常用的分析用數(shù)據(jù)緩存技術(shù)有hive、Kafka、Elastic Search等。這些技術(shù)可以映射現(xiàn)有數(shù)據(jù)，或者是將數(shù)據(jù)進(jìn)行分類且時序化存儲，或者提供數(shù)據(jù)索引，針對不同的數(shù)據(jù)分析需求采用不同的技術(shù)手段。調(diào)度與載入數(shù)據(jù)流圖如圖6所示。

3) 異步分級匯集機(jī)制：日志服務(wù)是屬于輔助型系統(tǒng)，不應(yīng)該對業(yè)務(wù)系統(tǒng)有太大的影響，在必要時還需要能夠自動暫停部分能力為業(yè)務(wù)讓步。因此，日志數(shù)據(jù)在本地匯集和網(wǎng)絡(luò)集中匯集過程需要使用異步緩沖機(jī)制，降低系統(tǒng)前端的異常狀態(tài)對后續(xù)處理的影響，以及系統(tǒng)后端流程對前端業(yè)務(wù)的影響，例如經(jīng)常會出現(xiàn)的日志數(shù)據(jù)潮涌現(xiàn)象以及網(wǎng)絡(luò)斷連現(xiàn)象。本文日志服務(wù)平臺中比較典型的需要使用異步機(jī)制的地方有：開發(fā)包提交、本地匯集緩存、網(wǎng)絡(luò)匯集存儲等，通過異步機(jī)制，不但可以化解異常的傳遞，保證系統(tǒng)的平穩(wěn)運行，還便于引入更多計算資源，提高系統(tǒng)的整體性能。日志服務(wù)平臺會有保存較長時間日志的能力，但持續(xù)運行情況下中往往會面臨配給的集中存儲資源不足的問題，難以提供全部匯集所需相應(yīng)的存儲空間，數(shù)據(jù)量龐大，后續(xù)處理系統(tǒng)無法及時應(yīng)對。因此需要將日志數(shù)據(jù)分級處理，近期的全量日志保留在客戶端，只提交統(tǒng)計量和部分需要的數(shù)據(jù)提交到服務(wù)端，需要更詳細(xì)的日志數(shù)據(jù)時通過構(gòu)建專用提取策略進(jìn)行提取。比如：為了發(fā)現(xiàn)軟件問題，默認(rèn)只提交警告級以上日志，詳細(xì)的日志后續(xù)再通過專用策略進(jìn)行提取；為了業(yè)務(wù)分析，只提交操作類日志數(shù)據(jù)等。異步分級匯集數(shù)據(jù)流程如圖7所示。

圖7 調(diào)度與載入數(shù)據(jù)流圖

4) 集群擴(kuò)展能力：為處理全局?jǐn)?shù)據(jù)存儲的存儲服務(wù)提供集群化服務(wù)能力，多個服務(wù)處理節(jié)點能夠自行組合為服務(wù)集群，為全部數(shù)據(jù)接入點提供匯集服務(wù)，分?jǐn)倲?shù)據(jù)處理壓力?；谧灾骷簷C(jī)制，可以通過橫向擴(kuò)展的方式增加數(shù)據(jù)處理能力，提高系統(tǒng)的整體性能；提供集群自動調(diào)度能力，能夠根據(jù)各服務(wù)節(jié)點的負(fù)載量、可用計算資源、處理速度、匯集速度，集中控制等因素自動調(diào)整數(shù)據(jù)匯集流向；充分利用計算資源，降低數(shù)據(jù)積壓，保障數(shù)據(jù)處理的及時性；能自動處理服務(wù)節(jié)點的接入和斷開，基于最小變化原則重新調(diào)整數(shù)據(jù)匯集方向，進(jìn)行保障系統(tǒng)的平穩(wěn)運行。

集群調(diào)度算法主流程如圖8所示。

圖8 集群調(diào)度主要處理流程圖

集群調(diào)度處理流程算法明細(xì)如下：

(1) 提取活躍服務(wù)器清單數(shù)據(jù)、服務(wù)器處理能力數(shù)據(jù)、服務(wù)器積壓量數(shù)據(jù)，以及服務(wù)器承擔(dān)功能模塊清單；

(2) 提取活躍客戶機(jī)清單以及歷史平均提交速度數(shù)據(jù)；

(3) 將積壓量折算為處理能力數(shù)據(jù)，將功能模塊折算為處理能力數(shù)據(jù)；

(4) 通過原始處理能力數(shù)據(jù)減去積壓量、功能模塊等折算的處理能力，獲得最終用于計算的各服務(wù)器的相對處理能力；

(5) 個別服務(wù)器因承擔(dān)過重，被排除出待分配的服務(wù)器列表，最終形成用于調(diào)度的服務(wù)器清單；

(6) 根據(jù)總相對處理能力和總提交量進(jìn)行對比換算，形成各服務(wù)器的處理能力度量值，總度量值的和略超出提交量，各服務(wù)器的度量值與相對處理能力等比；

(7) 通過各服務(wù)器根據(jù)度量值進(jìn)行對當(dāng)前服務(wù)器分配進(jìn)行調(diào)整，優(yōu)先保留已有的提交量較大的終端，如果終端提交量超出了度量值，多出的終端放入統(tǒng)一調(diào)度清單，如果服務(wù)器當(dāng)前負(fù)載不足，會形成負(fù)載空缺，留待統(tǒng)一分配；

(8) 將統(tǒng)一調(diào)度清單中的終端根據(jù)提交量和服務(wù)器負(fù)載空缺量進(jìn)行分配，也是優(yōu)先將提交量大的向負(fù)載空缺量大的服務(wù)器進(jìn)行分配；

(9) 最后剩余的個別無法分配出去的終端根據(jù)提交量大小和空缺大小進(jìn)行強(qiáng)制分配，大的配大的，不考慮度量值超量問題。

該算法雖然無法每次調(diào)度都做到絕對的負(fù)載均衡，但它的分配結(jié)果要比單純的數(shù)據(jù)包個數(shù)、機(jī)器個數(shù)、數(shù)據(jù)量等的簡單調(diào)度模式要合理很多，而且計算邏輯簡單，處理速度快，各類參考數(shù)據(jù)都是在隨著系統(tǒng)動態(tài)形成、持續(xù)變化，系統(tǒng)在持續(xù)運行中會形成一個動態(tài)的負(fù)載均衡。

5) 分片存儲：日志數(shù)據(jù)具有天然的時效性，數(shù)據(jù)的使用也是基于時間的維度。日志的數(shù)據(jù)量相當(dāng)龐大，即便是大數(shù)據(jù)平臺，超量的數(shù)據(jù)放在一張表中，數(shù)據(jù)查詢也會占用掉較多的時間，而且數(shù)據(jù)越舊，使用的機(jī)率就越低。為保證系統(tǒng)的持續(xù)高效運行，不會因為時間的關(guān)系變得緩慢，在使用分布式列式數(shù)據(jù)庫提高大數(shù)量數(shù)據(jù)存儲和管理性能的基礎(chǔ)之上，采用按月為粒度的分表存儲。各條日志數(shù)據(jù)都存入對應(yīng)時間段的庫中，永遠(yuǎn)保持系統(tǒng)常規(guī)處理數(shù)據(jù)量的有限態(tài)。日志數(shù)據(jù)內(nèi)容具有較大的重復(fù)性，使用數(shù)據(jù)壓縮存儲的方式可以有效減少存儲空間；結(jié)合分布式列式數(shù)據(jù)庫數(shù)據(jù)分塊存儲方式和數(shù)據(jù)的使用模式，優(yōu)化rowkey的構(gòu)建模型，提高數(shù)據(jù)使用效率。采用分布式索引系統(tǒng)對數(shù)據(jù)內(nèi)容進(jìn)行準(zhǔn)實時索引，提高數(shù)據(jù)即時查詢能力，通過索引和數(shù)據(jù)內(nèi)容的映射關(guān)系，索引采用同樣時間粒度的分庫機(jī)制，提高近期數(shù)據(jù)的處理效率，保持系統(tǒng)性能的穩(wěn)定型。

6) 系統(tǒng)運行監(jiān)控：對系統(tǒng)各部分的運行狀態(tài)數(shù)據(jù)進(jìn)行采集，并通過內(nèi)部匯集機(jī)制進(jìn)行匯總，提供可視化的圖表展現(xiàn)方式對內(nèi)部運行狀態(tài)數(shù)據(jù)進(jìn)行展現(xiàn)。被監(jiān)控數(shù)據(jù)主要有終端接收速度、處理速度、存儲速度、上存速度、緩存量、內(nèi)部各服務(wù)狀態(tài)、服務(wù)端接收速度、積壓量、處理速度、存儲速度、內(nèi)部各服務(wù)運行狀態(tài)等。運行監(jiān)控系統(tǒng)可以對系統(tǒng)運行狀態(tài)進(jìn)行監(jiān)控，故障排查，并輔助系統(tǒng)性能調(diào)優(yōu)。

3 結(jié) 語

本文針對大規(guī)模軟件系統(tǒng)中日志的采集、匯集存儲和分析提出了全套的設(shè)計方案。覆蓋日志的全生命周期，可以對全系統(tǒng)的日志采集、調(diào)度、存儲、查看、分析進(jìn)行統(tǒng)一管控，解決系統(tǒng)大規(guī)模部署下日志采集配置復(fù)雜，難以集中控制的問題，解決有限資源條件下數(shù)據(jù)處理和長時間存儲資源不足的問題。并針對眾多軟件日志集中管控的特點，提出了幾點日志分析方向，發(fā)掘日志的深入價值。

本文設(shè)計的日志服務(wù)平臺目前已經(jīng)完成了日志數(shù)據(jù)的采集、調(diào)度和存儲體系。支持基于集中控制的策略將所需的日志數(shù)據(jù)調(diào)度到指定的位置進(jìn)行存儲，提供日志統(tǒng)計分析能力和數(shù)據(jù)內(nèi)容查看能力。可以縱觀系統(tǒng)運行狀態(tài)，發(fā)現(xiàn)哪些軟件什么時間段出現(xiàn)問題，可以提取和查看詳細(xì)日志內(nèi)容，輔助研發(fā)人員進(jìn)行故障診斷。圖9所示是日志統(tǒng)計分析縱覽圖，可以查看指定月、天、時的運行分析結(jié)果，結(jié)合折線點的明細(xì)數(shù)據(jù)，確定異常日志來源于哪個軟件，分析軟件運行趨勢。

圖9 統(tǒng)計分析結(jié)果展示圖

本文下一步的工作是豐富日志數(shù)據(jù)分析能力。結(jié)合二次解析、深度學(xué)習(xí)、語義分析等手段從日志數(shù)據(jù)中發(fā)現(xiàn)更多的價值，為全系統(tǒng)運維提供強(qiáng)大且智能化的支撐。