機器學(xué)習(xí)在大視頻運維中的應(yīng)用

屠要峰+吉鋒+文韜

摘要：通過對中興通訊大視頻運維系統(tǒng)整體架構(gòu)和關(guān)鍵模塊的介紹，以及機器學(xué)習(xí)技術(shù)在大視頻運維系統(tǒng)中端到端異常檢測、根因分析與故障預(yù)測等場景的具體應(yīng)用的分析，并結(jié)合硬盤故障預(yù)測的實例，認為隨著人工智能在運維領(lǐng)域的應(yīng)用發(fā)展，從基于規(guī)則的自動化運維轉(zhuǎn)向基于機器學(xué)習(xí)的智能運維必然成為趨勢。中興通訊適時采用了機器學(xué)習(xí)方法來提取歷史巡檢數(shù)據(jù)中蘊含的故障特征，并構(gòu)建集成預(yù)測模型來提升大視頻運維的精度和效率，目前取得了較好的效果。

關(guān)鍵詞： 大視頻；大數(shù)據(jù)；機器學(xué)習(xí)；人工智能

隨著移動互聯(lián)網(wǎng)和寬帶網(wǎng)絡(luò)的快速發(fā)展，視頻業(yè)務(wù)以廣泛的受眾、高頻次的使用、較高的付費意愿，已經(jīng)具備成為“殺手應(yīng)用”的潛質(zhì)。越來越多的電信運營商將視頻業(yè)務(wù)視為發(fā)展的新機遇，并作為與寬帶、語音并列的基礎(chǔ)業(yè)務(wù)。據(jù)Conviva用戶視頻報告的數(shù)據(jù)，35%的用戶把視頻觀看體驗作為選擇視頻服務(wù)的首要條件[1]。因此，運維保障成為視頻業(yè)務(wù)的關(guān)鍵。

當(dāng)前視頻業(yè)務(wù)發(fā)展已進入“大內(nèi)容”“大網(wǎng)絡(luò)”“大數(shù)據(jù)”“大生態(tài)”的大視頻時代。業(yè)務(wù)形態(tài)多樣，包括交互式網(wǎng)絡(luò)電視（IPTV）、基于互聯(lián)網(wǎng)應(yīng)用服務(wù)（OTT）的TV、移動視頻等；組網(wǎng)復(fù)雜，視頻在多屏之間的無縫銜接、碼率格式適配等需求對網(wǎng)絡(luò)提出了更高的要求；數(shù)據(jù)多樣性大大增加，需要從視頻碼流、終端播放器、內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）、業(yè)務(wù)平臺、網(wǎng)絡(luò)設(shè)備等各個環(huán)節(jié)獲取數(shù)據(jù)，既有結(jié)構(gòu)化數(shù)據(jù)，又有半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)；數(shù)據(jù)實時性要求大大提高，傳統(tǒng)網(wǎng)管采集數(shù)據(jù)的粒度是5 min，而大視頻業(yè)務(wù)要求秒級的數(shù)據(jù)采集和分析，數(shù)據(jù)量和計算量增加了百倍。

這些都對傳統(tǒng)的運維模式和技術(shù)方案帶來很大的挑戰(zhàn)。如何在大視頻背景下客觀評價和度量終端用戶的體驗質(zhì)量，如何界定視頻業(yè)務(wù)系統(tǒng)故障和網(wǎng)絡(luò)故障，如何快速診斷網(wǎng)絡(luò)中的故障并提前發(fā)現(xiàn)網(wǎng)絡(luò)隱患，如何發(fā)掘視頻業(yè)務(wù)運營和利潤的增長點，成為各大運營商對大視頻業(yè)務(wù)運維的關(guān)注重點。

1 大視頻智能運維系統(tǒng)的架構(gòu)及關(guān)鍵技術(shù)

在原有運維技術(shù)手段基礎(chǔ)上，進一步依托大數(shù)據(jù)及人工智能技術(shù)，對大視頻業(yè)務(wù)系統(tǒng)產(chǎn)生的各類信息進行匯聚、分析、統(tǒng)計、預(yù)測等，中興通訊形成了智能化的大視頻運維系統(tǒng)，其系統(tǒng)架構(gòu)如圖1所示。

大視頻運維系統(tǒng)有以下幾個部分組成：

（1）數(shù)據(jù)源。數(shù)據(jù)源主要指大視頻業(yè)務(wù)智能運維所需要采集的數(shù)據(jù)，包括終端的播放記錄、關(guān)鍵績效指標（KPI）數(shù)據(jù)；接入網(wǎng)絡(luò)的用戶寬帶信息、資源拓撲數(shù)據(jù)；CDN的錯誤日志、告警、鏈路狀態(tài)、碼流信息等；IPTV業(yè)務(wù)賬戶、頻道/節(jié)目信息等。

（2）數(shù)據(jù)采集及預(yù)處理。數(shù)據(jù)采集層主要是Kafka、文件傳輸協(xié)議（FTP）、超文本傳輸協(xié)議（HTTP）等用于數(shù)據(jù)采集的組件；數(shù)據(jù)預(yù)處理是指對各種異構(gòu)日志數(shù)據(jù)進行解析、轉(zhuǎn)換、清洗、規(guī)約等操作，主要完成數(shù)據(jù)使用前的必要處理及數(shù)據(jù)質(zhì)量保證。

（3）數(shù)據(jù)分析處理。數(shù)據(jù)分析處理主要包括流式計算處理框架Spark、離線批處理MR框架、人工智能計算框架、數(shù)據(jù)存儲及檢索引擎等。業(yè)務(wù)組件包括批處理、數(shù)據(jù)實時分析、機器學(xué)習(xí)等模塊。批處理模塊主要是對時效性要求不高的業(yè)務(wù)模塊的處理及數(shù)據(jù)的離線分析，包含但不限于故障及異常的根源分析、故障及特定規(guī)則閾值的動態(tài)預(yù)測、事件的依賴分析及關(guān)聯(lián)分析、異常及重要時序模式發(fā)現(xiàn)、多事件的自動分類等；數(shù)據(jù)實時處理主要是對于時效性要求較高的安全事件進行監(jiān)測控制、異常檢測與定位、可能引發(fā)嚴重故障的預(yù)警、對已知問題的實時智能決策等；機器學(xué)習(xí)模塊包括離線的機器學(xué)習(xí)訓(xùn)練平臺、算法框架和模型。

（4）業(yè)務(wù)應(yīng)用層。業(yè)務(wù)應(yīng)用層主要提供智能業(yè)務(wù)監(jiān)測控制、端到端故障定界定位、用戶體驗感知、統(tǒng)計分析與報表等主要業(yè)務(wù)場景的分析及應(yīng)用。

大視頻運維系統(tǒng)涉及的關(guān)鍵技術(shù)包括：

（1）大數(shù)據(jù)技術(shù)。該技術(shù)可以構(gòu)建基于大數(shù)據(jù)的處理平臺，實現(xiàn)數(shù)據(jù)的采集、匯聚、建模、分析與呈現(xiàn)。

（2）探針技術(shù)。該技術(shù)可以實現(xiàn)全網(wǎng)探針部署，包括機頂盒探針、直播源探針、CDN探針、無線探針、固網(wǎng)視頻探針等，通過探針技術(shù)實現(xiàn)全面的視頻質(zhì)量實時監(jiān)測控制以及數(shù)據(jù)采集。

（3）視頻質(zhì)量分析指標。該指標以用戶體驗為依據(jù)建立視頻質(zhì)量評估體系，對視頻清晰度、流暢度、卡頓等多項用戶體驗質(zhì)量（QoE）指標進行分析。

（4）人工智能技術(shù)。機器學(xué)習(xí)本身有很多成熟的算法和系統(tǒng)，以及大量的優(yōu)秀的開源工具。如果成功地將機器學(xué)習(xí)應(yīng)用到運維之中，還需要3個方面的支持：數(shù)據(jù)、標注的數(shù)據(jù)和應(yīng)用[2]。大視頻系統(tǒng)本身具有海量的日志，包括從終端、網(wǎng)絡(luò)、業(yè)務(wù)系統(tǒng)多方面的數(shù)據(jù)，在大數(shù)據(jù)系統(tǒng)中做優(yōu)化存儲；標注的數(shù)據(jù)是指日常運維工作會產(chǎn)生標注的數(shù)據(jù)，比如定位一次現(xiàn)網(wǎng)事件后，運維工程師會記錄下過程，這個過程會反饋到系統(tǒng)之中，反過來提升運維水平；應(yīng)用指運維工程師是智能運維系統(tǒng)的用戶，用戶使用過程發(fā)現(xiàn)的問題可以對智能系統(tǒng)的優(yōu)化起正向反饋作用。

2 人工智能技術(shù)在大視頻運維系統(tǒng)中的應(yīng)用

2.1 基于人工智能的端到端智能運維

傳統(tǒng)電信網(wǎng)絡(luò)、業(yè)務(wù)系統(tǒng)的運維模式通常是在故障發(fā)生后，運維、開發(fā)人員被動地進行人工故障的定位與修復(fù)。技術(shù)專家通過分析系統(tǒng)日志，依據(jù)事先制訂的系統(tǒng)運行保障規(guī)則、策略和依賴模型，判斷故障發(fā)生的原因并進行修復(fù)。這一過程不僅工作量巨大，操作繁瑣，代價高昂，容易出錯，且不能滿足持續(xù)、快速變化的復(fù)雜系統(tǒng)環(huán)境需求。

大視頻業(yè)務(wù)系統(tǒng)的故障定界定位尤其復(fù)雜且耗時耗力，原因在于：大視頻系統(tǒng)中網(wǎng)元眾多且業(yè)務(wù)流程復(fù)雜，如包括IPTV管理系統(tǒng)、電子節(jié)目菜單（EPG）、CDN、機頂盒、直播源編碼器等眾多網(wǎng)元，發(fā)現(xiàn)問題需要各個網(wǎng)元一起定位排查，對人員技能的要求很高。大視頻系統(tǒng)對網(wǎng)絡(luò)要求比較高，機頂盒經(jīng)過光網(wǎng)絡(luò)單元（ONU）、光線路終端（OLT）、寬帶遠程接入服務(wù)器（BRAS）、核心路由器（CR）等，從接入設(shè)備、承載設(shè)備到CDN服務(wù)器，中間任何一個網(wǎng)絡(luò)設(shè)備出現(xiàn)丟包、抖動等問題都會導(dǎo)致用戶的觀看體驗受影響，對這種卡頓分析是一個大難題。隨著視頻業(yè)務(wù)的快速發(fā)展和業(yè)務(wù)量不斷增長，如何快速定位問題，降低運維門檻變得越來越迫切。

端到端智能運維系統(tǒng)就是利用大數(shù)據(jù)采集分析、人工智能與機器學(xué)習(xí)等技術(shù)提升系統(tǒng)運維智能化能力，從智能化的故障定位、智能化的根因分析機制入手，覆蓋從被動式事后根源追溯到主動式事中實時監(jiān)測控制及事前提前預(yù)判的各種業(yè)務(wù)場景（如圖2所示），提供從數(shù)據(jù)收集分析，故障預(yù)判到定位，再到故障自動修復(fù)的端到端保障能力。

面向歷史的事后追溯主要有歷史故障根因分析、系統(tǒng)瓶頸分析、業(yè)務(wù)熱點分析等；面向?qū)崟r的事中告警主要有異常監(jiān)測、異常告警、事件關(guān)聯(lián)關(guān)系挖掘、實時故障根因分析等；面向未來的事前預(yù)判主要有故障預(yù)測、容量預(yù)測、趨勢預(yù)測、熱點預(yù)測等。其中，事后追溯更多面向離線、非實時的運維故障分析，事中告警和事前預(yù)判更多面向?qū)崟r或準實時的運維故障檢測、分析及預(yù)測。

機器學(xué)習(xí)技術(shù)在端到端的智能運維系統(tǒng)中有幾個應(yīng)用點。

（1）日志預(yù)處理模塊

預(yù)處理的核心問題是將半結(jié)構(gòu)、非結(jié)構(gòu)化的日志轉(zhuǎn)換為結(jié)構(gòu)化的事件對象。事件被定義為一種現(xiàn)實世界系統(tǒng)狀態(tài)的體現(xiàn)，通常涉及到系統(tǒng)狀態(tài)的改變。本質(zhì)上，事件是時序的且經(jīng)常以日志的方式進行存儲，例如：業(yè)務(wù)事務(wù)日志、股票交易日志、傳感器日志、計算系統(tǒng)日志、HTTP請求、數(shù)據(jù)庫查詢和網(wǎng)絡(luò)流量數(shù)據(jù)等。捕獲這些事件體現(xiàn)了隨著時間變化的系統(tǒng)狀態(tài)和系統(tǒng)行為以及它們之間的時序關(guān)系。事件對象可以簡單定義為： Event={時間戳，事件類型，<屬性1：屬性值1，屬性2：屬性值2 …>}。事件挖掘是一系列從歷史事件和日志數(shù)據(jù)中自動、高效地獲取有價值知識的技術(shù)，正確提取事件才能后續(xù)從時間、空間等多角度挖掘事件之間的關(guān)聯(lián)、依賴等關(guān)系。將文本日志集轉(zhuǎn)換成系統(tǒng)事件的典型技術(shù)方案包括：基于日志解析器、基于分類和基于聚類的方法。

最為直接的解決方案是采用日志解析器，該方法為每一種特定的系統(tǒng)日志實現(xiàn)對應(yīng)的日志解析器，每種類型的日志采用正規(guī)表達式或預(yù)定義模板進行抽取。這種方式需要用戶了解系統(tǒng)日志，一個日志解析器難以適配不同格式的多種系統(tǒng)日志，需要大量的人力來開發(fā)定制的日志解析器軟件。從機器學(xué)習(xí)輔助人工完成日志解析的角度，可以采用分類或聚類的方式。

日志分類方法是一種直接從日志數(shù)據(jù)中識別事件類型的方法，它通過分類器模型將一條條日志消息劃分成若干個預(yù)定義的事件類型，如圖3所示。

一種簡單的分類方法是為每一個事件類型預(yù)先定義一種對應(yīng)的正則表達式模式（如前所述的解析器或稱為過濾器）；另一種更為通用的日志消息分類方法是基于機器學(xué)習(xí)分類模型的方法，即用戶提供一些標記過的日志消息，每個消息的事件類型已被明確標注；然后，機器學(xué)習(xí)算法根據(jù)標記的數(shù)據(jù)建立一個分類模型，利用這個模型對新的日志消息進行分類。雖然這種方式帶來一定的泛化性，其主要問題在于需要大量的帶標記日志消息，需要一定數(shù)據(jù)積累與人力消耗。

另外一種基于聚類的方法，不需要大量人力且適用于多種系統(tǒng)日志，雖并非十分準確，但可以應(yīng)用于能夠容忍一些錯誤或噪音事件的事件挖掘應(yīng)用中。日志消息聚類采用無監(jiān)督方法將日志劃分為各種類型事件，因為日志消息聚類并不要求準備一系列標記過的訓(xùn)練數(shù)據(jù)，所以這種方法更加實用。業(yè)界典型的日志聚類方式包括基于日志消息簽名[3]和基于樹狀結(jié)構(gòu)的聚類[4]等算法。

在實際應(yīng)用場景中，需要根據(jù)業(yè)務(wù)的復(fù)雜度和數(shù)據(jù)積累情況，綜合選擇日志預(yù)處理解決方案：準確性要求非常高的場景需要使用專業(yè)日志解析器；而分類、聚類的機器學(xué)習(xí)方式更適合容忍一些錯誤或噪音事件的事件挖掘應(yīng)用。

（2）日志離線分析模塊

日志離線分析的核心問題是通過機器學(xué)習(xí)算法發(fā)現(xiàn)事件之間的關(guān)聯(lián)、依賴關(guān)系。離線分析負責(zé)從歷史日志數(shù)據(jù)中獲得事件間關(guān)聯(lián)性和依賴性知識并構(gòu)建知識庫。事件挖掘綜合利用數(shù)據(jù)挖掘、機器學(xué)習(xí)、人工智能等相關(guān)技術(shù)去發(fā)現(xiàn)事件之間的隱藏模式、未來的趨勢等關(guān)系。分析人員可以利用已發(fā)現(xiàn)的事件模式對未來事件的行為作預(yù)測，同時挖掘出的事件依賴關(guān)系也可以用于系統(tǒng)故障的診斷，幫助運維人員找出問題的根因，達到解決問題的目的。

事件的關(guān)聯(lián)分析，本質(zhì)上根據(jù)日志文件中的每個消息事件的時間戳，發(fā)現(xiàn)時序事件之間的關(guān)聯(lián)性。我們重點挖掘兩種類型的相關(guān)性：基于時序連續(xù)值數(shù)據(jù)的相關(guān)性和基于離散事件數(shù)據(jù)的相關(guān)性。以大視頻系統(tǒng)為例：中央處理器（CPU）使用率、內(nèi)存使用情況、磁盤讀寫數(shù)據(jù)量、網(wǎng)絡(luò)接收或發(fā)送數(shù)據(jù)量都可以表示為時間序列的連續(xù)值；而應(yīng)用程序服務(wù)器上請求和應(yīng)答序列被視作事件數(shù)據(jù)，因為每個數(shù)據(jù)項的值都是屬于某個類別的離散值，例如：CPU使用率的時序圖與磁盤讀寫數(shù)據(jù)量時序圖（如橫軸時間、縱軸數(shù)值的可視化表示）就會有很強的相關(guān)性；網(wǎng)絡(luò)異常事件與應(yīng)用程序服務(wù)器上請求和應(yīng)答異常事件，通過離散事件數(shù)據(jù)分布圖（橫軸時間、縱軸事件類型的可視化展示）分析就存在一定相關(guān)性，如兩類事件基本在同一時間點同時出現(xiàn)，具備一定的關(guān)聯(lián)性。

事件之間存在關(guān)聯(lián)性，不一定表明事件之間一定存在依賴或因果關(guān)系，比如事件A和B具備相關(guān)性，并不代表A引發(fā)B或B引發(fā)A，因此需要基于關(guān)聯(lián)關(guān)系基礎(chǔ)上進一步挖掘相互依賴關(guān)系。所謂事件依賴分析，發(fā)現(xiàn)類似A→B的依賴關(guān)系，最終形成一個事件依賴的動態(tài)概率模型圖。如圖4所示，A、B、C對應(yīng)于大視頻運維中不同事件，通過基于時間窗的事件依賴算法[5]挖掘出各種故障事件之間的依賴并形成相應(yīng)的依賴圖。

總之，離線分析主要是通過機器學(xué)習(xí)算法形成關(guān)聯(lián)、依賴的規(guī)則或概率圖模型，另外還包括利用歷史時序故障數(shù)據(jù)進行傳統(tǒng)機器學(xué)習(xí)特征工程建?；蛏疃葘W(xué)習(xí)端到端的時序建模，為接下來的在線實時故障分析、定位與預(yù)測等提供支撐。

（3）實時分析模塊

實時分析模塊負責(zé)實時處理新產(chǎn)生的日志數(shù)據(jù)并根據(jù)離線分析獲得的知識模型完成在線運維的管理操作。典型的實時分析技術(shù)主要有異常檢測、故障根因分析、故障預(yù)判和問題決策等。

對于實時的異常檢測，可選擇的方案有兩種：基于監(jiān)督學(xué)習(xí)和基于無監(jiān)督的方案。前者利用基于離線訓(xùn)練出來的檢測模型進行判斷，這種方式不如后者使用普遍。

故障預(yù)判更多的是基于歷史的數(shù)據(jù)進行分析建模，如下文即將講述的基于Smart硬盤故障預(yù)測示例。

問題決策則更為全面，對前述檢測出的異常，預(yù)判即將要出現(xiàn)的故障以及定位已知故障的原因，進行高層的資源調(diào)度，或發(fā)出設(shè)備替換的決策指令，最終避免可能出現(xiàn)的故障，自動修復(fù)已知的故障（若可以修復(fù)）或者發(fā)出告警通知運維人員進行人工修復(fù)。

（4）智能故障定位及根源分析

故障智能定位是模擬人工排查故障的流程，對可疑的故障檢查點進行逐一排查，通過采集各業(yè)務(wù)模塊的告警、性能指標、錯誤和異常日志，組織生成故障定位的基礎(chǔ)事件數(shù)據(jù)，針對故障現(xiàn)象配置對應(yīng)的檢查點及處理建議。

在故障定位時，從故障現(xiàn)象出發(fā)，通過中序遍歷方式遍歷整個故障樹。前一個節(jié)點的出參是后一個節(jié)點的入?yún)ⅲ瑱z查點調(diào)用應(yīng)用程序編程接口（API）檢查本節(jié)點的故障原因是否存在，通過API來分別從各種網(wǎng)元獲取對應(yīng)現(xiàn)象的證據(jù)信息，直至分析到葉子節(jié)點。然后將所有滿足條件的節(jié)點進行回歸，根據(jù)權(quán)重返回現(xiàn)象的原因。遍歷結(jié)束后綜合各個節(jié)點的檢查結(jié)果形成本次故障定位的診斷結(jié)論。

在用戶報障時可能對故障產(chǎn)生的時間、觸發(fā)的位置、觀看的節(jié)目等信息記憶模糊不清。在故障定位過程中首先需要從用戶的行為記錄里篩選出故障記錄，這個篩選的過程采用前述的日志聚類算法，對影響用戶感知的KPI進行聚類，對聚類結(jié)果根據(jù)預(yù)定的規(guī)則或分類器判斷出屬于故障類的記錄。如果有多條故障記錄，任選一條故障記錄進行定位。除通過算法篩選故障記錄外，另提供人工輔助篩選功能提高準確性。

智能化的根因分析，主要根據(jù)前期分析出來的事件依賴概率圖模型，建立基于歷史故障定位及處理經(jīng)驗集的專家知識庫，利用機器學(xué)習(xí)的理論與技術(shù)，在多維變量間因果關(guān)系做出權(quán)重的動態(tài)調(diào)整，調(diào)整各個檢查點的權(quán)重。故障定位方法較之前的傳統(tǒng)方法具有更精確的錯誤定位效果和更顯著的定位效率。

2.2 基于人工智能的硬盤故障預(yù)測實例

當(dāng)前大視頻運維過程中遇到的難題之一就是CDN故障硬盤的置換。為了規(guī)避軟硬件風(fēng)險，提升數(shù)據(jù)中心管理效率，制訂合理的數(shù)據(jù)備份遷移計劃，業(yè)界各大主流IT企業(yè)均展開針對硬盤故障預(yù)測的研究工作。研究者認為：在此預(yù)測技術(shù)的支撐下，可以極大地提升服務(wù)/存儲系統(tǒng)的整體可用性。我們接下來將列舉一個基于機器學(xué)習(xí)實現(xiàn)的CDN硬盤故障預(yù)判的實例。

當(dāng)前，自我監(jiān)測分析和報告技術(shù)（SMART）已經(jīng)成為工業(yè)領(lǐng)域中硬盤驅(qū)動狀態(tài)監(jiān)測和故障預(yù)警技術(shù)的事實標準[6]。研究表明：硬盤的一些屬性值如溫度、讀取錯誤率等，和硬盤是否發(fā)生故障有一定的關(guān)系。如果被檢測的屬性值超過預(yù)先設(shè)定的一個閾值，則會發(fā)出警報。然而，硬盤制造商估計，這種基于閾值的算法只能取得3%～10%的故障預(yù)測準確率和低預(yù)警率[7]。學(xué)術(shù)界和工業(yè)界在采用機器學(xué)習(xí)方法提升SMART硬盤故障預(yù)測精度方面的工作由來已久，但受限于數(shù)據(jù)集規(guī)模，現(xiàn)有方法取得的預(yù)測模型效果不佳。近年來，隨著越來越多廠商的關(guān)注，基于SMART巡檢數(shù)據(jù)的硬盤故障預(yù)測研究有了很好的數(shù)據(jù)支撐，一方面體現(xiàn)在硬盤規(guī)?？焖僭鲩L，另一方面體現(xiàn)在采樣工作正規(guī)化。在以上高質(zhì)量數(shù)據(jù)支撐下，基于SMART巡檢數(shù)據(jù)的故障預(yù)測水平得到了顯著提升。

我們在大視頻運維中基于SMART數(shù)據(jù)進行硬盤故障預(yù)測，采用了基于旋轉(zhuǎn)森林的集成預(yù)測模型方案，基本流程如圖5所示。

將SMART掃描數(shù)據(jù)集按照局點和硬盤型號進行細分，每個局點每個硬盤型號的數(shù)據(jù)分別建立預(yù)測模型，每個預(yù)測模型的構(gòu)建過程為：

（1）特征工程。特征工程是決定預(yù)測效果的關(guān)鍵步驟。我們不但需要考慮觀測點當(dāng)時的SMART取值，也需要考慮該SMART取值的歷史變化趨勢、震蕩幅度、跳變頻率等因素，主要策略包括取高價值屬性和衍生時序特征。取高價值屬性，即采用“數(shù)據(jù)驅(qū)動和領(lǐng)域知識相結(jié)合”的策略，一方面和相關(guān)硬件專家交流，聽取他們的領(lǐng)域指導(dǎo)意見；另一方面，從故障硬盤的歷史SMART記錄集出發(fā)，找出“故障硬盤和健康硬盤在該屬性上統(tǒng)計性質(zhì)存在不一致”的SMART屬性。專家知識和數(shù)據(jù)驅(qū)動結(jié)果都作為特征工程結(jié)論的一部分，寧多勿少。衍生時序特征，即在找出具有提示性效果的高價值SMART屬性后，對其時序特征做進一步衍生、調(diào)整。以上兩種特征工程策略相互補充，共同組成了模型訓(xùn)練需要的特征空間。

（2）模型訓(xùn)練。模型選擇和訓(xùn)練、優(yōu)化是構(gòu)造預(yù)測模型的直接步驟，由于基于SMART記錄集做硬盤預(yù)測是一個高維分類問題，同時正負數(shù)據(jù)嚴重不平衡，采用線性分類模型往往沒有很好結(jié)果，因此考慮采用構(gòu)造非線性模型來解決問題，主要分兩大步驟：重新平衡正負樣本和非線性建模。重新平衡正負樣本，即采用“過采樣+降采樣”結(jié)合的策略，對于負樣本（健康硬盤），考慮采用聚類方法提取聚類質(zhì)心，將質(zhì)心附近的樣本按比例提取作為該聚類的代表，從而實現(xiàn)降采樣，而聚類算法和聚類質(zhì)量評價準則需要根據(jù)實際數(shù)據(jù)分布來決定；對于正樣本（故障硬盤），考慮采用過采樣方法來提升正樣本數(shù)據(jù)分布。以上降采樣和過采樣策略結(jié)合，把正負樣本的比率從1：50重構(gòu)到1：5以內(nèi)，重構(gòu)訓(xùn)練集。非線性建模，即利用旋轉(zhuǎn)森林技術(shù)對以上訓(xùn)練集進行降維，并選擇核方法、神經(jīng)網(wǎng)絡(luò)來構(gòu)造分類超平面，擇優(yōu)選擇其中有代表性的模型，然后再將這些模型利用層疊泛化技術(shù)組合形成最后的預(yù)測模型。

（3）模型評估。模型評估即將模型訓(xùn)練階段生成的模型，在測試集上進行測試，重點關(guān)注預(yù)測準確率和故障覆蓋率（召回率），直到選出符合要求的模型。

（4）模型上線。模型上線即將通過模型評估的最終模型部署到現(xiàn)網(wǎng)環(huán)境后，每次SMART掃描得到的新樣本均需要輸入本模型，得到“未來一段時間該硬盤是否發(fā)生故障”的預(yù)測結(jié)果。

我們在Backblaze數(shù)據(jù)集（2016年Q1—Q2）[8]上選取了某型號希捷硬盤的SMART掃描記錄做驗證，其中時間跨度為6個月182天，數(shù)據(jù)粒度為每天掃描，涉及到11 890塊硬盤（連續(xù)3天掃描找不到則視為故障盤，這種盤共242塊），共2 118 925條掃描記錄。按照7：3的大致比例劃分訓(xùn)練集和測試集：測試集共3 560塊硬盤（故障盤共83塊），共634 950條掃描記錄。

我們采用如表1所示的SMART基礎(chǔ)屬性來進行建模，共有12個基礎(chǔ)屬性。

考慮到SMART屬性前后變化趨勢也可能昭示著后續(xù)硬盤故障，因此我們在以上基礎(chǔ)屬性上衍生了時序率屬性，包括每個基礎(chǔ)采集之前9天內(nèi)的相對變化率。

將以上基本SMART屬性和衍生屬性融合，作為SMART故障預(yù)測的特征參與模型構(gòu)建。我們采用的子分類器如表2所示，共4類18個。

隨著旋轉(zhuǎn)森林特征子集分塊參數(shù)的變化，生成的子分類器對故障的預(yù)測能力也在不斷調(diào)整，最終生成 不同分塊參數(shù)對應(yīng)的模型在同一測試集下不同的預(yù)測效果（如圖6所示）。當(dāng)旋轉(zhuǎn)森林特征子集分塊參數(shù)為6時，能夠取得98.8%的最高覆蓋率，同時達到5.75%的誤報率；當(dāng)旋轉(zhuǎn)森林特征子集分塊參數(shù)為5時，能夠取得3.6%的最低誤報率，同時達到97.6%的覆蓋率。

此外，在當(dāng)前測試中可以發(fā)現(xiàn)：絕大部分故障在預(yù)報30天內(nèi)可以被證實，圖7是預(yù)警提前天數(shù)的分布累計情況。

綜上所述，基于SMART的故障預(yù)測技術(shù)在當(dāng)前智能運維領(lǐng)域已經(jīng)有了長足的進步和發(fā)展，中興通訊在大視頻運維中也適時采用了機器學(xué)習(xí)方法來提取歷史巡檢數(shù)據(jù)中蘊含的故障特征，并構(gòu)建集成預(yù)測模型來提升大視頻運維的精度和效率。從當(dāng)前Backblaze數(shù)據(jù)集的測試情況來看，也取得了較好的效果。

在當(dāng)前工作的基礎(chǔ)上，我們后續(xù)將進一步提升人工智能在大視頻運維中的落地效果，包括采用半監(jiān)督學(xué)習(xí)來提高模型的數(shù)據(jù)利用率，采用遷移學(xué)習(xí)來加速模型在新局點的訓(xùn)練部署進度，使用強化學(xué)習(xí)來優(yōu)化大視頻運維的策略和流程等。

3 結(jié)束語

信息通信技術(shù)（ICT）時代，無論對于運營商網(wǎng)絡(luò)還是業(yè)務(wù)系統(tǒng)的運維支撐，都需要加速與人工智能技術(shù)的落地實踐，提供高度自動化和智能化的運維解決方案。人工智能、機器學(xué)習(xí)技術(shù)在大視頻運維的智能化提升重點體現(xiàn)在運維模式從被動式事后分析轉(zhuǎn)為積極主動預(yù)測、分析及決策。隨著人工智能技術(shù)的加速發(fā)展，大視頻運維與人工智能技術(shù)的結(jié)合會越來越緊密，大視頻運維技術(shù)將朝著更加智能化的方向演進，實現(xiàn)更加自動化和精準的故障預(yù)測和排查，主動發(fā)現(xiàn)業(yè)務(wù)系統(tǒng)中的故障或薄弱環(huán)節(jié)并加以修復(fù)。在實現(xiàn)智能運維基礎(chǔ)上，通過對視頻業(yè)務(wù)使用者的行為分析、家庭及用戶畫像等一系列的建模分析，充分挖掘海量數(shù)據(jù)的價值，衍生出新的業(yè)務(wù)形態(tài)，實現(xiàn)智能化的運營系統(tǒng)，為運營商創(chuàng)造新的商機。

參考文獻

[1] 黃珂，李銳，姜春鶴.基于大數(shù)據(jù)的視頻體驗保障[J]. 中興通訊技術(shù)（簡訊）， 2017 （3）： 22-25

[2] 基于機器學(xué)習(xí)的智能運維[EB/OL].（2017-04-22）[2017-06-25].https：//zhuanlan.zhihu.com/p/26216857

[3] TANG L， LI， T， PERNG C S. LogSig： Generating System Events from Raw Textual Logs[C]//In Proceedings ACM International Conference on Information and knowledge Management. UK：ACM， 2011：785-794

[4] TANG L， LI T. LogTree： A Framework for Generating System Events from Raw Textual Logs[C]//In Proceedings of IEEE International Conference on Data Mining （ICDM）. USA：IEEE， 2010：491-500

[5] LUO C， LOU J G， LIN Q W， et al. Correlating Events with Time Series for Incident Diagnosis[C]//In Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. USA：ACM， 2014： 1583-1592

[6] HAMERLY G， ELKAN C. Bayesian Approaches to Failure Prediction for Disk Drives[EB/OL].[2017-06-28]. http：//cseweb.ucsd.edu/～elkan/smart.pdf ICML

[7] ECKART B， CHEN X， HE X， et al. Failure Prediction Models for Proactive Fault Tolerance within Storage Systems[C]//Modeling， Analysis and Simulation of Computers and Telecommunication Systems 2008， IEEE International Symposium on. USA： IEEE， 2008. DOI：10.1109/MASCOT.2008.4770560

[8] ECKART B， CHEN X， HE X， et al. Failure Prediction Models for Proactive Fault Tolerance within Storage Systems[J]. IEEE International Symposium on Modeling， 2009，1（3）：1-8. DOI：10.1109/MASCOT.2008.4770560

[9] Hard Drive Reliability Statistics [EB/OL].[2017-06-28].https：//www.backblaze.com/b2/hard-drive-test-data.html