借助機器大數(shù)據(jù)的統(tǒng)計與分析提升運維管理水平

黃杰

（上海財經(jīng)大學 信息化辦公室，上海200433）

一、前言

據(jù)調(diào)查，現(xiàn)在當頁面加載時間超過4秒時，用戶流失率就達到了25%！[1]一秒鐘的延誤或3秒鐘的等待，會將顧客滿意度減低16個百分點[2]。電商界的鼻祖Amazon也曾表示，網(wǎng)站延遲100毫秒將導致其收入下降1%。根據(jù)Google Analytics數(shù)據(jù)統(tǒng)計，目前移動網(wǎng)頁平均加載時間至少要7秒；根據(jù)Nielsen Norman Group的調(diào)研結(jié)果[3]：如果移動網(wǎng)頁加載時間超過1秒，將開始影響用戶的使用，導致用戶產(chǎn)生反感。

因此，性能是應用的命脈，與用戶體驗、服務穩(wěn)定性、息息相關(guān)。在互聯(lián)網(wǎng)環(huán)境日益復雜的今天，性能監(jiān)測與用戶行為分析的價值在不斷提升。與之相關(guān)的內(nèi)容涵蓋了系統(tǒng)監(jiān)測、網(wǎng)絡服務、應用代碼、性能優(yōu)化能各個環(huán)節(jié)。如果從科學化、系統(tǒng)化、專業(yè)化的視角來看，應用性能管理獎逐漸成為應用研發(fā)體系中不可或缺的一環(huán)，并為用戶體驗保駕護航。

二、應用性能管理

應用性能管理的基本要求是，性能問題暴露前，盡早發(fā)現(xiàn)應用性能問題，減少對用戶的持續(xù)影響；性能問題發(fā)現(xiàn)時，盡快修復主要性能問題，減小應用性能影響力度，最大程度改進用戶體驗；性能問題優(yōu)化后，杜絕再次發(fā)生，可持續(xù)保持應用性能優(yōu)化成果，防止性能退化。

應用性能管理主要圍繞監(jiān)測、分析、優(yōu)化三個核心步驟。當然，第一步，監(jiān)測最關(guān)鍵。監(jiān)測好比是掌握應用性能的“眼睛”，包括監(jiān)測的對象、監(jiān)測的數(shù)據(jù)，數(shù)據(jù)分析與展示，有了數(shù)據(jù)，后續(xù)的分析與優(yōu)化就水到渠成。

（1）監(jiān)測。通過監(jiān)測軟件系統(tǒng)在各種終端、各種產(chǎn)品形態(tài)下的性能。如PC、手機、平板、操作系統(tǒng)、網(wǎng)絡、應用等。

（2）分析。通過建立評價指標，來評估頁面、應用、網(wǎng)絡等性能，提供預警和告警指標，為后續(xù)的優(yōu)化提供數(shù)據(jù)支撐。

（3）優(yōu)化。通過網(wǎng)絡、系統(tǒng)、前端、應用、數(shù)據(jù)庫等各層進行體系優(yōu)化，提高用戶體驗為核心目標。

三、應用性能關(guān)鍵指標體系

應用性能監(jiān)測平臺不僅要能全方位監(jiān)測性能數(shù)據(jù)，而且還需要具備科學、合理的數(shù)據(jù)分析能力。也就是說，應用性能監(jiān)測平臺會成為我們的眼、腦和手。首先，它是我們的眼睛，幫我們7×24小時掌握整個系統(tǒng)的健康狀況；其次它是我們的腦，能夠根據(jù)歷史的數(shù)據(jù)和策略規(guī)則，快速診斷并定位問題；最后它還是我們的手，協(xié)助我們快速進行排障和性能優(yōu)化。

1.監(jiān)測數(shù)據(jù)類型（如表1所示）

應用性能監(jiān)測平臺是對應用性能數(shù)據(jù)進行分析和展示的平臺。它可以用來查看頁面性能的各種關(guān)鍵數(shù)據(jù)，并發(fā)現(xiàn)其中存在的問題。應用性能監(jiān)測平臺也通過跟蹤頁面性能變化的歷史，了解功能升級對性能的影響。

2.應用監(jiān)測步驟

（1）采集數(shù)據(jù)

數(shù)據(jù)采集是第一步，并且數(shù)據(jù)采集不僅需要完整全面，也要隨著軟件系統(tǒng)的變化而變化。初期需要關(guān)注基礎的網(wǎng)絡性能、系統(tǒng)性能以及應用性能；中期需要在此基礎上對多終端真實用戶性能、代碼性能、數(shù)據(jù)庫性能等方面的全面采集和管理；到了數(shù)據(jù)采集中后期，還需要補充所有基礎架構(gòu)及關(guān)聯(lián)關(guān)系的性能數(shù)據(jù)。

表1

（2）數(shù)據(jù)分析

數(shù)據(jù)分析是指將采集到所有維度的有價值的數(shù)據(jù)提煉并按有利于發(fā)現(xiàn)問題的方式進行可視化的過程。這個過程是持續(xù)的、多樣的，是承上啟下關(guān)鍵一步，也是最具有挑戰(zhàn)的一個階段。

（3）形成決策

決策是經(jīng)過采集數(shù)據(jù)和數(shù)據(jù)分析之后，在變化的生產(chǎn)環(huán)境中，自傷而下的觀察業(yè)務的性能影響，并且能夠快速解決應用瓶頸，從而提高應用性能和用戶體驗。最終經(jīng)過多次性能優(yōu)化后，講產(chǎn)品用戶體驗優(yōu)化到最佳狀態(tài)。

四、應用統(tǒng)計與分析平臺的實現(xiàn)

1.方案設計

近年來，隨著上海財經(jīng)大學信息化水平的日益提高，各種IT基礎設施資源的建設也日益完善，但內(nèi)部缺少掌握和分析應用訪問情況的高效技術(shù)手段，無法量化評估相關(guān)系統(tǒng)問題，無法在一個平臺上實時的展示各個核心服務系統(tǒng)的訪問狀態(tài)和進行故障定位的關(guān)聯(lián)分析；同時信息辦作為全校信息化建設主管部門，無法統(tǒng)計和直觀展示各應用系統(tǒng)的訪問情況，因而需要建設統(tǒng)一的機器大數(shù)據(jù)分析平臺，達到掌握和分析各應用系統(tǒng)訪問情況和提高用戶體驗的目的。

因此，上海財經(jīng)大學設計并開發(fā)了一套應用應用統(tǒng)計與分析平臺，主要為了第一時間發(fā)現(xiàn)、定位并修復性能與報錯問題，從而提高用戶體驗。

為了有針對性的解決現(xiàn)有機器大數(shù)據(jù)的采集、存儲、索引與分析等問題，采用splunk大數(shù)據(jù)分析軟件,建立起一個分析各種機器數(shù)據(jù)的統(tǒng)一的平臺，提供通用日志收集、轉(zhuǎn)換和分析的功能，滿足重要信息系統(tǒng)所產(chǎn)生的大數(shù)據(jù)量、半結(jié)構(gòu)化、大并發(fā)的復雜數(shù)據(jù)分析的要求，從而使開發(fā)和管理人員能夠多維度、細粒度地分析總分部重要信息。

2.架構(gòu)概述

轉(zhuǎn)發(fā)服務器能夠通過目錄文件監(jiān)控日志增量變化，將增量變化內(nèi)容負載均衡的轉(zhuǎn)發(fā)給索引服務器導入。核心數(shù)據(jù)通過在核心交易監(jiān)控平臺上部署轉(zhuǎn)發(fā)服務獲取日志，考慮到今后機器日志的不斷增長和系統(tǒng)架構(gòu)的冗余性，我們設計了2臺轉(zhuǎn)發(fā)服務器、3臺索引服務器、2臺搜索服務器的高并發(fā)架構(gòu)。如圖1所示。

圖1 系統(tǒng)架構(gòu)

3臺日志分析服務器存儲所有的數(shù)據(jù)，而且能夠進行數(shù)據(jù)分析索引。索引服務負載均衡的接受轉(zhuǎn)發(fā)服務器轉(zhuǎn)發(fā)過來的原始日志進行存儲。索引服務器同時也接受來自搜索服務器的搜索分析請求，對數(shù)據(jù)進行搜索分析返回結(jié)果給搜索服務器進行展示。對于搜索服務器發(fā)起搜索的結(jié)果可以被寫回到索引服務器上，這樣索引服務器也存儲分析中間結(jié)果數(shù)據(jù)以及最終結(jié)果數(shù)據(jù)。

搜索服務器是所有的計劃搜索調(diào)度節(jié)點。所有報表和數(shù)據(jù)抽取都通過搜索服務器進行調(diào)度產(chǎn)生。其上不存儲任何結(jié)果數(shù)據(jù)，結(jié)果數(shù)據(jù)都寫回到索引服務器上。

搜索服務器提供Web界面展現(xiàn)。用戶可以登錄使用，查看報表、定制自己查詢邏輯和查看結(jié)果。同時也提供完整的權(quán)限控制。

3.系統(tǒng)邏輯架構(gòu)

信息系統(tǒng)分析平臺的邏輯架構(gòu)分為數(shù)據(jù)導入層、分析層、訪問層和用戶層四個層次。如圖2所示。

圖2 系統(tǒng)邏輯架構(gòu)

基于模塊化實現(xiàn)，系統(tǒng)的各個功能模塊說明和具體技術(shù)要求描述如下：

（1）數(shù)據(jù)導入層

實現(xiàn)數(shù)據(jù)收集和導入，具體需滿足表2技術(shù)要求。

表2

轉(zhuǎn)發(fā)服務器能夠通過目錄文件監(jiān)控日志增量變化，將增量變化內(nèi)容負載均衡的轉(zhuǎn)發(fā)給索引服務器導入。各種IT設備的機器數(shù)據(jù)和抓包數(shù)據(jù)先統(tǒng)一收集到轉(zhuǎn)發(fā)服務器日志，再轉(zhuǎn)發(fā)到索引服務器上。

（2）數(shù)據(jù)分析層

信息系統(tǒng)分析平臺的核心功能模塊，包括數(shù)據(jù)存儲、數(shù)據(jù)分析和參數(shù)配置三大功能模塊，具體需滿足表3技術(shù)要求。

表3

參數(shù)配置模塊是整個平臺的管理模塊，提供可配置的管理界面，實現(xiàn)用戶管理和訪問控制，以及整個平臺的管理參數(shù)配置。

（3）數(shù)據(jù)訪問層

該功能模塊為訪問引擎分析結(jié)果數(shù)據(jù)提供兩種不同的訪問接口，一種是內(nèi)部標準訪問接口，用于平臺本身提供的報表或儀表盤，以及數(shù)據(jù)檢索功能；另一種是自定義訪問接口，支持自定義格式導出數(shù)據(jù)，向外部系統(tǒng)提供數(shù)據(jù)。具體需滿足表4技術(shù)要求。

（4）用戶層

用戶層是平臺分析結(jié)果數(shù)據(jù)的使用者，使用用戶包括運維人員和關(guān)聯(lián)的運維輔助系統(tǒng)，向運維人員提供報表和儀表盤等展示功能，供運維人員查詢交易質(zhì)量分析報表，以及根據(jù)用戶分析需求進行自定義的查詢和多維度分析。以及向監(jiān)控系統(tǒng)、綜合信息系統(tǒng)等關(guān)聯(lián)的運維輔助系統(tǒng)提供交易質(zhì)量數(shù)據(jù)或數(shù)據(jù)分析服務。

表4

4.功能模塊

平臺分為八個功能模塊，分別是實時分析、趨勢分析、頁面分析、訪問頻度、訪客分析、性能分析、流量分析、訪客使用習慣分析。

實時分析，包括實時訪問KPI統(tǒng)計 （頁面瀏覽量PV、獨立訪客數(shù)UV、獨立IP數(shù)、總訪問時長、平均訪問時長、最大訪問時長等、跳出率）、用戶實時訪問分析、用戶訪問路徑分析、系統(tǒng)并發(fā)用戶數(shù)統(tǒng)計。

趨勢分析，包括時間跨度大于24小時的訪問統(tǒng)計趨勢圖（獨立訪客量UV、獨立IP數(shù)量，總訪問時長），時間跨度小于24小時的訪問統(tǒng)計趨勢圖，按功能模塊的訪問統(tǒng)計趨勢圖（獨立訪客量UV、獨立IP數(shù)量，總訪問時長，跳出率），系統(tǒng)并發(fā)訪問趨勢統(tǒng)計。

頁面分析，包括按業(yè)務系統(tǒng)的訪問統(tǒng)計（PV/UV/IP，總訪問時長，跳出率），按功能模塊的訪問統(tǒng)計（PV/UV/IP，總訪問時長，跳出率），業(yè)務系統(tǒng)的慢頁面統(tǒng)計，頁面統(tǒng)計分析（各個域名訪問統(tǒng)計比例，每個頁面的PV/UV/IP統(tǒng)計，頁面訪問占比，頁面停留時長，平均停留時長，頁面退出率）。

訪問頻度，包括業(yè)務系統(tǒng)訪客量排名，功能模塊訪客量排名，應用被獨立用戶訪問次數(shù)。

訪客分析，包括訪客信息分析（訪客來源類型分布，訪客來源分布，性別分布，訪客類型分布，學院部門分布，學生專業(yè)分布，學生校區(qū)分布），訪客系統(tǒng)環(huán)境（瀏覽器類型分布，操作系統(tǒng)類型分布），訪客地理分布（訪客地域分布表，分訪客地域分布圖），用戶活躍度分析（活躍用戶數(shù)、用戶活躍度、活躍用戶分類統(tǒng)計）。

性能分析，包括報錯分析（業(yè)務實際報錯情況，報錯模塊排序，報錯分析，報錯URL排序），頁面加載時間分析，流量分析，許可證使用情況分析。

訪客使用習慣分析，包括訪問系統(tǒng)設備、會話數(shù)、訪問頁面數(shù)、平均每個會話訪問頁面數(shù)，平均每個會話持續(xù)時間，跳出率，用戶數(shù)，訪客使用瀏覽器排名，訪客使用移動設備排名，訪客使用操作系統(tǒng)排名，訪客來源國家排名，訪客來源城市排名，訪客來源按位置排名。

五、結(jié)束語

我校建立了校級統(tǒng)一的應用統(tǒng)計與分析平臺，不同的業(yè)務系統(tǒng)、不同的項目開發(fā)、測試、運維等多個內(nèi)部和外部角色對數(shù)據(jù)監(jiān)測的需求。

（1）獲取業(yè)務系統(tǒng)并發(fā)訪問數(shù)和業(yè)務訪問高峰時段，對硬件和軟件的環(huán)境配置給出數(shù)據(jù)指導。

（2）獲取業(yè)務模塊使用頻率，得知不受歡迎的功能，深入挖掘，找出原因。

（3）獲取用戶的客戶端參數(shù)，對應用系統(tǒng)的開發(fā)提供數(shù)據(jù)支持（瀏覽器、操作系統(tǒng)、使用插件情況、移動設備的使用等）。

（4）獲取業(yè)務系統(tǒng)實際報錯情況，針對有問題的功能模塊，做深入分析，找出問題根本原因，而不是等待用戶電話投訴。

（5）獲取業(yè)務系統(tǒng)功能模塊響應時間較慢的功能及頁面，深入分析原因，定位具體是網(wǎng)絡、數(shù)據(jù)庫、服務器還是代碼問題，提升服務質(zhì)量。

綜上所述，對于運維人員，通過對各層次的數(shù)據(jù)的展示和告警設置，快速直觀的發(fā)現(xiàn)和定位故障。對于開發(fā)人員、測試人員，通過對各層次的數(shù)據(jù)展示，來反應業(yè)務的容量和性能，通過設置閾值來堆業(yè)務的容量和性能進行管理。對于部門領(lǐng)導以及校領(lǐng)導，通過對各維度、各層數(shù)據(jù)的量化，來展示業(yè)務運行的狀態(tài)。對于所有人，用數(shù)據(jù)說話很容易定位故障、分清楚責任、即使遇見重大故障，都可以在監(jiān)測數(shù)據(jù)中評估影響和責任。

[1]Softpedia.The Average Web Page Loads in 2.45 Seconds Google Reveals[EB/OL].http：//news.softpedia.com/news/The-Average-Web-Page-Loads-in-2-45-Seconds-Google-Reveals-265446.shtml.

[2]Marketingland.Top Retail Websites Not Getting Faster：Average Web PageLoadTime Is 7.25 Seconds[EB/OL].https：//marketingland.com/retail-website-load-timescontinue-to-decline-with-a-22-decrease-during-thelast-year-37604.

[3]Nielsen Norman Group.User Experience for MobileApplicationsand Websites[EB/OL].https：//www.nngroup.com/reports/mobile-website-and-applicationusability/?lm=mobile-ux&pt=article.