ML-Parser：一種高效的在線日志解析方法

蒲嘉宸 王 鵬 汪 衛(wèi)

(復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 上海 200433)

0 引 言

日志是指在各種服務(wù)、框架和程序中生成的文本消息，是開(kāi)發(fā)人員和用戶之間的重要接口。如今，日志數(shù)據(jù)的數(shù)量正在迅速增長(zhǎng)，日志數(shù)據(jù)已成為有價(jià)值的數(shù)據(jù)源，因?yàn)槠渲邪脩舻恼鎸?shí)數(shù)據(jù)，而且它是部分結(jié)構(gòu)化的，因此無(wú)須費(fèi)力即可提取某些數(shù)據(jù)。因此，數(shù)據(jù)挖掘技術(shù)通常應(yīng)用于日志數(shù)據(jù)以執(zhí)行日志分析。該工作流程廣泛應(yīng)用于服務(wù)管理。日志分析包括異常檢測(cè)、故障診斷和性能改進(jìn)等領(lǐng)域。但是，要充分利用日志數(shù)據(jù)，日志解析是首要任務(wù)。

由于日志解析的重要性，已經(jīng)有很多學(xué)者對(duì)其進(jìn)行了深入研究。隨著日志結(jié)構(gòu)的日益復(fù)雜，這些方法的效果并不理想。在解析粒度的選擇上，傾向于使用粗粒度的解析。而在相似性度量的選擇上，Drain[1]使用了相同長(zhǎng)度的日志之間的簡(jiǎn)單比較，而Spell[2]設(shè)計(jì)了基于LCS的相似度量。文獻(xiàn)[3-4]引入了細(xì)粒度的解析，但是主要應(yīng)用于離線的場(chǎng)景，使用MapReduce來(lái)處理日志解析任務(wù)。

細(xì)粒度的解析通過(guò)提取日志中的變量來(lái)提高解析的準(zhǔn)確性，例如，如果使用粗粒度分析，則“FA‖URL‖taskID [2019353678] dealloc”將表示為“*dealloc”，而在細(xì)粒度分析中，使用“FA URL taskID*dealloc”表示此日志。后者表征包含更多信息，使得查找兩條相似日志變得更加容易。與Drain中的簡(jiǎn)單比較相似性度量相比，LCS可以處理不同長(zhǎng)度的日志之間的比較。因此，理想情況下，將細(xì)粒度分析與LCS相似性度量相集成的方法具有更好的解析質(zhì)量。但是，由于通過(guò)引入細(xì)粒度的預(yù)處理而增加了單詞的數(shù)量，并且LCS的計(jì)算成本很高，因此該方法的效率不高，不適合在聯(lián)機(jī)日志解析場(chǎng)景中進(jìn)行日志解析。

本文提出了一種在線日志解析方法ML-Parser，可以高效且準(zhǔn)確地以流式的方式解析原始日志數(shù)據(jù)集。本文主要的貢獻(xiàn)包括：(1)將解析的粒度和相似性度量的選擇視為日志解析中的兩個(gè)重要因素；(2)引入了兩層框架的設(shè)計(jì)，可以高效且準(zhǔn)確地解析日志，并在理論和方法上確保每一層的比較結(jié)果保持一致；(3)對(duì)多個(gè)日志數(shù)據(jù)集進(jìn)行了大量的實(shí)驗(yàn)，測(cè)試結(jié)果表明，本文方法以較高的性能開(kāi)銷取得了更好的解析質(zhì)量。

1 相關(guān)知識(shí)

1.1 相關(guān)工作

日志可廣泛用于軟件系統(tǒng)的許多方面，例如行業(yè)中的異常檢測(cè)、使用情況分析和故障診斷。但由于它們具有非結(jié)構(gòu)化的性質(zhì)，因此無(wú)法直接進(jìn)行分析。許多研究設(shè)計(jì)了將其解析為結(jié)構(gòu)化格式的方法。傳統(tǒng)方法使用手動(dòng)定義的正則表達(dá)式來(lái)提取日志模板。為了避免傳統(tǒng)方法中的繁瑣的編寫(xiě)過(guò)程，Xu等[5]提出了一種使用源代碼知識(shí)來(lái)推斷消息模板的方法。

由于獲取所有源代碼總是不切實(shí)際的，因此在學(xué)術(shù)界和工業(yè)界都已廣泛研究了數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)日志解析方法。SLCT[6]是第一個(gè)自動(dòng)日志解析方法，利用頻繁的模式挖掘來(lái)提取日志模板，但無(wú)法提取不太頻繁的日志模板。LogSig[7]和LKE[8]設(shè)計(jì)了日志間的距離度量，并使用聚類算法將原始日志分為不同的類。IPLoM[9-10]通過(guò)日志的某些特征(例如長(zhǎng)度及單詞之間的二元關(guān)系)來(lái)迭代地劃分日志消息。一些研究使用分布式計(jì)算來(lái)處理大量日志。LogMine[11]以分層的方式提取模板，其中不同級(jí)別對(duì)應(yīng)于具有不同粒度的模板。Logan[3]是一種細(xì)粒度的日志模板提取方法，在預(yù)處理階段使用通用變量識(shí)別并基于LCS進(jìn)行相似性評(píng)分。還為日志解析方法引入了一種不需要人工標(biāo)注的評(píng)估指標(biāo)。

在過(guò)去的幾年中，一些在線方法支持以流式方式來(lái)解析日志。通過(guò)設(shè)計(jì)一種相似性度量，用于測(cè)量事件模板和原始日志之間的相似性。在處理日志消息時(shí)，選擇最相似的模板進(jìn)行合并。但是，由于模板數(shù)量眾多，計(jì)算日志消息和所有模板之間的相似度非常耗時(shí)。因此，每種方法都使用不同的技術(shù)來(lái)加快過(guò)程。在LenMa[12]中，每個(gè)日志消息都可以表示為一個(gè)由單詞長(zhǎng)度組成的向量，通過(guò)余弦相似度來(lái)計(jì)算日志之間的相關(guān)性。但是其中相同模板的日志具有相似的單詞長(zhǎng)度分布的假設(shè)太強(qiáng)，無(wú)法應(yīng)用于所有情況。Spell[2]使用LCS作為相似性度量，并利用Jaccard相似度和前綴樹(shù)來(lái)減少處理時(shí)間。本文方法優(yōu)于Spell，并且可以支持細(xì)粒度級(jí)別和粗粒度級(jí)別的日志解析。Drain[1]使用固定深度的前綴樹(shù)，以設(shè)計(jì)好的規(guī)則對(duì)需要比較的日志模板集進(jìn)行編碼，因此每個(gè)日志只需要與日志模板集中少數(shù)模板進(jìn)行比較。盡管Drain在某些數(shù)據(jù)集上表現(xiàn)良好，但對(duì)日志中單詞的長(zhǎng)度敏感，而且在日志以變量開(kāi)頭的情況下效果不佳。

1.2 日志解析中的概念與問(wèn)題定義

在本文中，日志數(shù)據(jù)集中的日志在解析過(guò)程中可轉(zhuǎn)換為日志模板。下面給出這些概念的定義。

定義1一個(gè)日志數(shù)據(jù)集由一個(gè)長(zhǎng)度為m的日志序列構(gòu)成：L=(e1,e2,…,em)，該日志序列通常按日志上的時(shí)間戳進(jìn)行排序。

定義2給定一組分割符D，一條日志可以被分割為一條單詞序列：t=(t1,t2,…,tn)，其中n為序列的長(zhǎng)度。該日志的類型被稱為日志模板，可以通過(guò)將單詞序列中的變量替換為通配符得到。

例如，在程序中有如下的輸出語(yǔ)句“print("IP:{},Port:{}-Connection open".format(ip,port)),”，則在日志中可能出現(xiàn)“IP:172.217.160.110,Port:443-Connection open.”，其對(duì)應(yīng)的日志模板為“IP:*,Port:*-Connection open”。

問(wèn)題1在線日志解析。

給定一個(gè)日志文件L=(e1,e2,…,em)，以流式的方式找出日志模板集T=(t1,t2,…,tp)，其中p是T中日志模板的數(shù)量。

日志數(shù)據(jù)集與日志模板集及其之間映射關(guān)系如圖1和圖2所示。下文將使用圖1、圖2中的日志來(lái)舉例說(shuō)明本文的方法。

圖1 日志數(shù)據(jù)集的樣例

圖2 日志模板集的樣例

1.3 具體問(wèn)題定義

盡管將日志轉(zhuǎn)換為日志模板對(duì)人來(lái)說(shuō)似乎是比較容易的，但實(shí)際上很難在日志中確定哪些部分是變量。首先，由于日志的復(fù)雜性，很難判斷某個(gè)單詞是否是變量；其次，由于存在大量的日志，因此作出上述判斷不能花費(fèi)太多時(shí)間。本文將其看成是日志上的聚類問(wèn)題，其中存在兩個(gè)關(guān)鍵問(wèn)題：① 使用哪些分割符將日志拆分為單詞序列；② 使用哪種相似性度量來(lái)確定兩條日志是否屬于同一類。

1)分割符。在早期，分隔符的選擇不是問(wèn)題，因?yàn)閮H將空格視為單詞之間的分隔符。這種情況下，分隔符可以記為Ds={space}。但是日志的結(jié)構(gòu)變得越來(lái)越復(fù)雜，例如Logan[3]和Delog[4]選擇所有非字母數(shù)字字符作為分割符。本文使用Da表示所有非字母數(shù)字字符的集合。這種分割符的選擇對(duì)于從日志中提取隱藏變量非常有效，例如，對(duì)于日志“FA‖URL‖taskID [2019353678] dealloc”，在分別使用Ds和Da作為分割符的情況下，獲得的日志模板分別為“*dealloc”和“FA Url taskID*dealloc”?？梢钥吹?，后者可以保留更多的常量信息，因此更容易分辨兩個(gè)日志模板是否相似。假設(shè)使用相同位置相同單詞占整條日志的比例作為相似性度量，在閾值為0.6的情況下，在使用粗粒度預(yù)處理時(shí)，兩個(gè)taskID不同的模板不能進(jìn)行合并，但是如果借助于細(xì)粒度預(yù)處理，那么兩條日志就可以被合并。然而，細(xì)粒度預(yù)處理引入了更多分割符，因此會(huì)生成更長(zhǎng)的單詞序列，與粗粒度預(yù)處理相比，需要更長(zhǎng)的處理時(shí)間。

2)相似性度量。作為聚類問(wèn)題，相似性度量的選擇是一個(gè)關(guān)鍵因素。對(duì)于在線日志解析器，相似性度量有兩種常見(jiàn)選擇。Spell[2]使用基于LCS[13]的相似性度量，它可以對(duì)不同長(zhǎng)度的日志進(jìn)行比較，其時(shí)間復(fù)雜度為O(n2)；而Drain[1]基于固定深度前綴樹(shù)選取日志候選集，對(duì)相同長(zhǎng)度的日志進(jìn)行比較，其計(jì)算復(fù)雜度為O(n)。

LCS是最長(zhǎng)的公共子序列的簡(jiǎn)稱，本文使用LCS(X,Y)來(lái)表示兩個(gè)序列X和Y之后的最長(zhǎng)公共子序列。

本文同時(shí)使用了基于線性比較及基于LCS的相似性度量，分別表示為：

(1)

(2)

其中:

(3)

式中：n是兩條日志的長(zhǎng)度；LCS*是LCS的一個(gè)變體，即在計(jì)算最長(zhǎng)公共子串的過(guò)程中忽略通配符。

給定分割符和相似性度量的選擇，本文要解決的問(wèn)題2可以定義如下：

問(wèn)題2給定日志數(shù)據(jù)集L，以流式的方式找出日志模板集T，即如果日志s和日志模板t滿足：

SimDa,LCS*(s,t)≥ε

(4)

則將日志s的日志模板設(shè)置為t，否則使用日志s來(lái)創(chuàng)建新的日志模板，ε是用戶指定的相似性閾值。

1.4 挑戰(zhàn)與方法概述

一個(gè)簡(jiǎn)單的解決方案是針對(duì)新的日志，遍歷所有的日志模板，然后選擇最相似日志模板的日志集與其合并，或基于該日志創(chuàng)建新的日志模板。但是，該方法具有較高的計(jì)算復(fù)雜度O(mpn2)。因此本文研究面對(duì)的主要挑戰(zhàn)是如何提高日志解析的效率。

對(duì)此，本文設(shè)計(jì)了一個(gè)兩層框架，用于計(jì)算日志s和模板t之間的相似度，如圖3所示。在第一層中，在s和每個(gè)長(zhǎng)度相同且為n的日志模板t之間計(jì)算基于粗粒度預(yù)處理的相似度SimDs,HAMD(s,t)。先過(guò)濾掉在開(kāi)始位置具有不同單詞的模板來(lái)進(jìn)一步限制搜索空間，就像在Drain[1]中所做的一樣。在第二層中，使用基于細(xì)粒度預(yù)處理的相似度SimDa,LCS*(s,t)來(lái)比較s和日志模板t。若在上一層中找到合適的日志模板t，則跳過(guò)后續(xù)層中的計(jì)算。

圖3 兩層框架示意圖

該框架將時(shí)間復(fù)雜度降低到接近O(mpn)，極大地提高了原始解決方案的性能，因?yàn)榇蠖鄶?shù)日志都可以在第一層中處理。

1.5 理論基礎(chǔ)

上文介紹了如何使用兩層的框架來(lái)加速日志解析?？蚣苤械牡谝粚涌梢燥@著加快日志解析，本節(jié)證明使用這種框架不會(huì)影響結(jié)果的正確性。

引理1給定長(zhǎng)度為n的日志s與模板t，有：

(5)

定義3線性合并條件。給定分割符Da和Ds，假設(shè)日志s與模板t從分割符Ds切換至Da后新增的單詞數(shù)的最大值為b，其中相同的單詞數(shù)為a，則線性合并條件可以寫(xiě)為:

a≥ε×b

(6)

使用線性合并條件，可以給出正確性的證明。

定理1給定長(zhǎng)度為n的日志s與模板t，若滿足:

SimDs,HAMD(s,t)≥ε

(7)

a≥ε×b

(8)

則有:

SimDa,LCS*(s,t)≥ε

(9)

證明由式(7)可以得到:

(10)

結(jié)合引理1得:

|LCS*(s,t)|≥ε×n

(11)

由式(8)和式(11)可以得到:

|LCS*(s,t)|+a≥ε×(n+b)

(12)

變換后可以得到式(9)，證畢。

通過(guò)上述證明，可以保證在第一層合并的模板，在第二層也會(huì)進(jìn)行合并，從而在提升解析速度的同時(shí)，保證了解析結(jié)果的準(zhǔn)確性。

2 日志解析方法

為了提供一個(gè)快速而有效的解決方案，本文提出了一個(gè)兩層框架來(lái)表示日志模板。當(dāng)新的原始日志出現(xiàn)時(shí)，將首先使用用戶定義的正則表達(dá)式集對(duì)其進(jìn)行預(yù)處理，然后在具有最大深度固定值的前綴樹(shù)中搜索待比較的日志模板集。如果找到合適的日志模板，則將該日志添加到該模板的日志集合中，并更新日志模板；否則，將基于該日志創(chuàng)建一個(gè)新的日志模板和一個(gè)輸出節(jié)點(diǎn)。如果生成了新的日志模板或者原有的日志模板得到了更新，則將通過(guò)使用基于LCS的相似性度量和細(xì)粒度的預(yù)處理，與較大的一組日志模板一起進(jìn)行匹配。如果找到類似的日志模板，則兩個(gè)日志模板的輸出節(jié)點(diǎn)將進(jìn)行合并，并且數(shù)據(jù)節(jié)點(diǎn)中的日志模板將更新。本節(jié)介紹使用的數(shù)據(jù)結(jié)構(gòu)以及本文方法如何逐步處理日志消息。

2.1 數(shù)據(jù)結(jié)構(gòu)

使用1.4節(jié)中介紹的兩層框架。第一層是具有最大深度的前綴樹(shù)，與Drain[1]中的固定深度前綴樹(shù)類似，主要區(qū)別在于放寬了固定深度樹(shù)的約束條件，從而可以將日志模板集存儲(chǔ)在內(nèi)部節(jié)點(diǎn)中，因而可以在較早階段將具有相同日志模板的日志集合進(jìn)行合并。第一層中的每個(gè)節(jié)點(diǎn)都指向一個(gè)輸出節(jié)點(diǎn)，該節(jié)點(diǎn)包含兩層日志模板。它們分別對(duì)應(yīng)于通過(guò)對(duì)線性匹配及采用細(xì)粒度預(yù)處理和LCS匹配生成的日志模板。

2.2 預(yù)處理

由先前的文獻(xiàn)[1，3-4]和綜述文獻(xiàn)[14]可知，預(yù)處理是提高日志解析質(zhì)量并減少日志模板數(shù)量的重要步驟。在解析之前，通過(guò)使用一些正則表達(dá)式來(lái)刪除原始日志中的一些變量。這些正則表達(dá)式由用戶提供，作為可選的領(lǐng)域知識(shí)的輸入方式。為了避免減慢日志解析的速度，預(yù)處理中僅使用了數(shù)量非常有限的簡(jiǎn)單正則表達(dá)式。使用正則表達(dá)式后，通過(guò)一些分割符將日志拆分為單詞序列。使用兩種類型的分割符Da和Ds在兩種方法之間取得平衡。例如，圖1中的第三條日志消息在分別應(yīng)用Da和Ds后轉(zhuǎn)換為“Process python.exe exited 0”和“Process python exe exited*”。

2.3 第一層中的日志模板匹配

給定新日志s，找到需要比較的日志模板，可以通過(guò)在前綴樹(shù)中進(jìn)行遍歷來(lái)實(shí)現(xiàn)。使用前綴樹(shù)的原因是因?yàn)榇蠖鄶?shù)日志滿足以下假設(shè)：(1)大多數(shù)相同類型的日志往往具有相同的長(zhǎng)度；(2)相同類型的日志的在開(kāi)始的若干個(gè)位置上可能具有相同的單詞。

根據(jù)上述假設(shè)，可以獲得與日志s長(zhǎng)度相同且在起始位置具有相同單詞的那些日志模板，這些是要比較的日志模板。這里可以基于SimDs,HAMD(s,t)找到最適合該日志消息的日志模板，即這些日志模板中具有最大相似度的日志模板。如果該日志模板與日志s的相似性大于等于用戶定義的閾值ε，則應(yīng)該將該日志添加到該日志模板的日志集合中。

在合并之前，根據(jù)定理1，還需要滿足線性合并條件。如果滿足，則應(yīng)執(zhí)行合并操作；否則，應(yīng)該拒絕這次合并，并認(rèn)為該日志沒(méi)有合適的日志模板。這一步可以減少過(guò)度合并的情況。例如，有兩條日志“Process java.exe exited with 1”和“Process java.exe exited with java.io.FileNotFoundException”，假設(shè)ε=0.5，則SimDs,HAMD=0.8≥ε，在沒(méi)有線性合并條件限制的情況下，會(huì)造成不合理的合并。此時(shí)線性合并相似度的值為0.4<ε，因此可以通過(guò)使用線性合并條件來(lái)拒絕這次合并。

如果在上一步中找到了合適的日志模板，則將日志添加到日志模板的日志模板集中，并通過(guò)在日志模板和日志的相同位置的循環(huán)比較來(lái)更新該日志模板；否則，將基于當(dāng)前日志創(chuàng)建一個(gè)新的日志模板，其日志集合僅包含該日志本身。

2.4 第二層中的日志模板匹配

第二層主要處理可變參數(shù)長(zhǎng)度的日志模板。一些單詞可能由一些與某些分隔符相連的元素組成，例如日期時(shí)間字符串(例如“12:00:00”，“2019/12/01”)、URL(例如“https://www.google.com/”)和文件路徑(例如“/usr/local/bin/root”)。盡管可以通過(guò)引入一些手工編寫(xiě)的正則表達(dá)式來(lái)識(shí)別這些元素，但用戶學(xué)習(xí)編寫(xiě)正則表達(dá)式需要付出巨大的精力。通過(guò)引入細(xì)粒度的預(yù)處理，使用戶避免編寫(xiě)正則表達(dá)式的過(guò)程的同時(shí)也能處理這些情況。

給定一個(gè)新創(chuàng)建或更新后的日志模板，需要確定應(yīng)該與之進(jìn)行比較的日志模板，這可以使用倒排索引來(lái)完成，倒排索引在數(shù)據(jù)庫(kù)領(lǐng)域中被廣泛使用。倒排索引基于單詞構(gòu)建，如圖4所示。創(chuàng)建新的日志模板時(shí)，對(duì)于ID為id的日志模板的單詞集合中的每個(gè)單詞將其記錄為(id,count)，其中count是這條日志中這個(gè)單詞的出現(xiàn)次數(shù)。對(duì)于更新后的日志模板，統(tǒng)計(jì)在模板更新階段被通配符替換的單詞，并減去這些單詞在倒排索引中的模板id的計(jì)數(shù)。通過(guò)引入倒排索引，可以減少待比較的日志模板的數(shù)量。

圖4 日志模板的倒排索引示例

通過(guò)使用倒排索引得到待比較的日志模板，然后根據(jù)相似性度量SimDa,LCS*(s,t)來(lái)尋找一個(gè)合適的日志模板。如果該日志模板與當(dāng)前日志模板的最大相似性值超過(guò)了用戶定義的閾值ε，則將當(dāng)前日志模板與日志模板的輸出節(jié)點(diǎn)合并。為避免影響第一層中的日志模板，將更新后的日志模板作為第二層中的模板存儲(chǔ)在輸出節(jié)點(diǎn)中。更新后的日志模板可以通過(guò)計(jì)算LCS得到，即將找到的日志模板中所有與當(dāng)前日志模板不匹配的單詞全部替換為通配符。例如，對(duì)于新創(chuàng)建的日志模板“Process NVIDIA Share.exe exited with 1”和找到的日志模板“Process python.exe exited with 0”，第二層中的模板應(yīng)為“Process*exe exited with*”，如圖5所示。

圖5 日志模板合并樣例

3 實(shí) 驗(yàn)

本節(jié)將ML-Parser與三種流行的、支持以流式的方式處理的在線日志解析算法在公開(kāi)數(shù)據(jù)集[15]上進(jìn)行比較，測(cè)試日志解析的效率和質(zhì)量。測(cè)試環(huán)境是在Windows計(jì)算機(jī)上構(gòu)建的，該計(jì)算機(jī)具有24核的CPU。所有日志解析算法的代碼都在Python 3.7環(huán)境下運(yùn)行。

測(cè)試中使用的數(shù)據(jù)集的信息見(jiàn)表1，其中包含大小從2 MB到2 GB的各種日志文件。它涵蓋了文獻(xiàn)[1-2，8]中介紹的常見(jiàn)測(cè)試用例。

表1 數(shù)據(jù)集信息概覽

本文從效率和質(zhì)量?jī)煞矫孢M(jìn)行評(píng)估，并選擇了三種在線方法進(jìn)行比較，分別為Spell[2]、Drain[1]和Drain的改進(jìn)版本(記為DrainV2)[16]。Spell的想法是將日志模板使用基于LCS的相似性度量進(jìn)行比較。此外，還使用基于前綴樹(shù)和簡(jiǎn)單的循環(huán)比較的方法來(lái)加快執(zhí)行速度。而Drain根據(jù)長(zhǎng)度對(duì)所有日志模板進(jìn)行分塊，然后在固定深度的前綴樹(shù)中執(zhí)行搜索。DrainV2引入了一些改進(jìn)，例如不需要定義相似性閾值，將日志最后的單詞也放入前綴樹(shù)中，以及為長(zhǎng)度不同的日志模板引入了可選的合并機(jī)制。

表2顯示了在測(cè)試中算法所使用的參數(shù)。對(duì)于Spell和Drain，使用文獻(xiàn)[15]所建議的參數(shù)值。對(duì)于DrainV2[16]僅對(duì)Proxifier數(shù)據(jù)集啟用了可選的合并機(jī)制，并且合并閾值設(shè)置為0.95。

表2 ML-Parser與其他方法的參數(shù)設(shè)置

3.1 解析質(zhì)量

本節(jié)將評(píng)估ML-Parser的有效性。為避免手動(dòng)定義日志模板的正則表達(dá)式，使用文獻(xiàn)[3]中的非監(jiān)督指標(biāo)進(jìn)行評(píng)估。此度量標(biāo)準(zhǔn)要求日志模板不應(yīng)過(guò)度泛化，也不應(yīng)有變量未被發(fā)現(xiàn)的情況。給定一組日志模板T，計(jì)算以下指標(biāo)：

AvgTokenLost(t)=AvgMatchLength(t)-|t|

(13)

LengthLoss(T)=(log|T|)θ

(14)

(15)

Loss=LengthLoss(T)+QualityLoss(T)

(16)

式中：ti是T中的模板；AvgMatchLength(t)是評(píng)估模板t的日志集合中所有原始日志與模板t的平均匹配長(zhǎng)度；LengthLoss反映了T中生成了多少模板；QualityLoss評(píng)估生成的模板是否存在過(guò)度泛化；θ是一個(gè)超參數(shù)，用于控制兩個(gè)因素之間的重要性。根據(jù)原始論文，θ設(shè)置為1.5。

本文使用細(xì)粒度的預(yù)處理將原始日志轉(zhuǎn)換為單詞序列。因此，為了使測(cè)試公平，還使用了細(xì)粒度的預(yù)處理來(lái)評(píng)估Drain和Spell的結(jié)果，在測(cè)試中以后綴“S”命名。從表3和表4所示的比較結(jié)果可以看出，采用細(xì)粒度預(yù)處理的方法可以得到較少的日志模板，并且在大多數(shù)日志中的損失較小，這可能是因?yàn)榭梢栽诩?xì)粒度預(yù)處理的幫助下找到更多隱藏的變量。SpellS和ML-Parser生成的日志模板少于其他方法。但是，SpellS在某些數(shù)據(jù)集中具有較高的損失值和較少的模板，這意味著某些重要的單詞在模板中丟失。就損失和生成模板的數(shù)量而言，ML-Parser在所有數(shù)據(jù)集中的表現(xiàn)都優(yōu)于Drain和Spell，并且在所有方法中，十個(gè)任務(wù)中有七個(gè)任務(wù)的損失最低。

表3 ML-Parser與其他方法之間的損失比較

表4 ML-Parser與其他方法之間的模板數(shù)比較

3.2 解析速度

表5顯示了ML-Parser和其他方法的性能。可以看到，采用細(xì)粒度預(yù)處理的方法運(yùn)行時(shí)間比除Spell以外的方法長(zhǎng)。SpellS之所以快速，是因?yàn)樗谇熬Y樹(shù)和簡(jiǎn)單循環(huán)進(jìn)行預(yù)過(guò)濾的過(guò)程中采用了固定的閾值0.5。通過(guò)引入更多分割符，日志會(huì)更長(zhǎng)，因此更容易找到匹配項(xiàng)，但也可能導(dǎo)致日志模板過(guò)于泛化。ML-Parser比Drain和DrainV2慢一些，這是可以預(yù)期的，因?yàn)檫@兩種方法具有相對(duì)較小的搜索空間，僅采用線性匹配，而且沒(méi)有細(xì)粒度的預(yù)處理過(guò)程。但是，本文認(rèn)為這是一個(gè)在解析質(zhì)量和解析速度之間的權(quán)衡。ML-Parser以較長(zhǎng)的運(yùn)行時(shí)間為代價(jià)，實(shí)現(xiàn)了更好的解析性能。

表5 ML-Parser與其他方法之間的運(yùn)行時(shí)間比較 單位：s

續(xù)表5

此外，由表1、表4、表5可以看出，對(duì)于兩個(gè)日志模板數(shù)和日志長(zhǎng)度相當(dāng)?shù)臄?shù)據(jù)集，例如HDFS和Apache，方法的運(yùn)行時(shí)間與日志行數(shù)基本呈正相關(guān)，這說(shuō)明了在線日志解析方法對(duì)于讀取并解析單條日志的時(shí)間基本是恒定的。而對(duì)于日志條數(shù)與日志長(zhǎng)度差別不大的數(shù)據(jù)集，比如Linux和Proxifier，方法用時(shí)的差異很小，這說(shuō)明基于流式的日志解析方法都有針對(duì)日志模板比較的過(guò)濾方式，只會(huì)對(duì)其中少量的模板進(jìn)行比較。從HPC和Hadoop的結(jié)果來(lái)看，運(yùn)行時(shí)間與日志長(zhǎng)度也基本呈正相關(guān)，然而一般日志數(shù)據(jù)集在日志長(zhǎng)度上的區(qū)別并不大。綜合以上三個(gè)因素及實(shí)驗(yàn)結(jié)果，可以分析得出三個(gè)因素對(duì)于運(yùn)行時(shí)間的影響從大到小分別為日志數(shù)量、日志長(zhǎng)度和模板個(gè)數(shù)。

3.3 詳細(xì)分析

在兩個(gè)日志數(shù)據(jù)集Hadoop和Spark上進(jìn)行詳細(xì)分析，結(jié)果如圖6所示。ML-Parser在兩個(gè)日志中都實(shí)現(xiàn)了較低的長(zhǎng)度損失，這是通過(guò)引入細(xì)粒度的預(yù)處理可以預(yù)見(jiàn)的結(jié)果。當(dāng)日志更大且更復(fù)雜時(shí)，長(zhǎng)度損失的差異更加明顯。就質(zhì)量損失而言，在Hadoop數(shù)據(jù)集上達(dá)到與Drain幾乎相同的質(zhì)量損失，而在Spark中具有較低的質(zhì)量損失。這顯示了線性合并條件的有效性，它拒絕了日志模板的過(guò)度泛化。

圖6 ML-Parser與其他方法的詳細(xì)比較

表6顯示了ML-Parser中每個(gè)步驟返回的日志模板的數(shù)量以及占原始日志的比例。在第一層中，日志模板的數(shù)量減少了99%以上。線性合并約束拒絕了基于前綴樹(shù)的將近一半的日志模板的合并，并且耗時(shí)的LCS比較涉及的日志模板數(shù)不足原始日志數(shù)的0.2%。

表6 ML-Parser每個(gè)步驟返回的模板個(gè)數(shù)與比例

4 結(jié) 語(yǔ)

本文提出了一種新的在線日志解析方法ML-Parser，該方法可以以流式方式工作。本文設(shè)計(jì)并構(gòu)建了兩層框架來(lái)存儲(chǔ)與處理日志模板；使用具有最大深度的前綴樹(shù)和具有線性合并約束條件的線性相似性搜索來(lái)加快LCS比較過(guò)程；通過(guò)引入細(xì)粒度的預(yù)處理，識(shí)別出了更多的變量并生成了更少的日志模板。本文還根據(jù)實(shí)驗(yàn)給出了詳細(xì)的評(píng)估結(jié)果，展現(xiàn)了ML-Parser在日志解析任務(wù)上的質(zhì)量和性能。