日志存儲技術的分析與研究

楊家

摘要：日志就是計算機系統(tǒng)、設備、軟件的在某種刺激下反應生成的東西。通過日志可以了解計算機硬件和軟件的運行狀態(tài)，可以找出運行問題所在。但隨著時間的增長，留存的日志記錄會很快的增長到TB或PB級。因此，日志的存儲和快速檢索分析是一個關鍵問題，在這篇論文中我們將討論日志數(shù)據(jù)的存儲格式、檢索速度，重點闡述數(shù)據(jù)庫存儲的目標、特點與優(yōu)缺點。

關鍵詞：日志；日志存儲；格式；快速檢索；數(shù)據(jù)庫存儲

中圖分類號：TP316 文獻標識碼：A 文章編號：1009-3044（2015）12-0243-03

Analysis and Research on Log Storage Technology

YANG Jia-ying

（Guangdong Trade Vocational Technical Schools， Guangzhou 510507， China）

Abstract：The log is computer system， equipment， software in a stimulus reaction. The log can understand the running status of computer hardware and software， can find out the operation problem. But with the increase of time， retained the log records will soon grow to TB or PB. Therefore， log storage and fast retrieval analysis is a key problem， in this paper we will discuss the storage format， log data retrieval speed， focusing on target， characteristics and advantages and disadvantages of database.

Key words： the log； log storage； the format； quick search； database storage

1 日志存儲需要注意的問題

1.1評估適用的依從性要求

在當今的許多行業(yè)中，誕生了一大批健全的依從性需求。這方面的例子包括支付卡行業(yè)數(shù)據(jù)安全標準，它明確規(guī)定了非常具體的日志保存周期為1年，但其他并沒有明確的存儲周期。這條原則將幫助你為留存策略打下基礎，確定最低需求。

1.2評估組織的風險態(tài)勢

內部和外部的風險導致不同長短的留存周期，對組織來說，每個風險領域的事件長度以及日志的重要性可能有很大的不同。需要注意的是，如果你的日志主要用于內部威脅調查，則需要較長的留存周期，因為事故常常是多年都未曾發(fā)現(xiàn)的，但一旦發(fā)現(xiàn)，就必須緊急的將其追查到底。

1.3關注各種日志來源和生成日志的大小

防火墻、服務器、數(shù)據(jù)庫，WEB代理服務器，不僅基于需要，也基于典型日志體積及每個日志記錄的大小和類型。各種設備或是應用程序生成的日志體積有很大的不同。例如，主防火墻會生成大量的日志內容，因此為了滿足次數(shù)據(jù)的長期留存需求，通常只存儲30天的日志。然而，應該仔細評估某些組織的依從性需要以及主防火墻的關鍵程度，決定是否采用更長的留存周期。對于某些日志來源，可能不具備必要的分析工具。

1.4評估可用的存儲方式

日志存儲選項包括硬盤、DVD、WORM、磁盤、RDBMS、日志特定存儲，以及基于云的存儲。這方面的決策取決于價格、容量、訪問速度，最重要的是以合理的周期得到正確日志記錄的能力。還必須考慮，存儲媒介的壽命和存儲媒介多長時間重寫才能滿足留存周期需求。例如，7年的時間對便宜的可寫CD以及DVD可能太長了。技術格式會過時，用于讀取軟盤驅動器可能難以購買到。

2日志存儲的格式

我們的網絡設備、應用程序以及操作系統(tǒng)會產生許多不同的日志格式，在許多情況下，日志被存儲為文本、二進制或者是壓縮的格式。

2.1文本文件

基于文本的日志記錄是目前出現(xiàn)的最多的日志類型，這主要是因為生成這類日志時需要較低的系統(tǒng)成本，以及現(xiàn)有的許多計算機語言中包含了可以很輕松生成基于文本日志的框架。此類日志文件有著許多優(yōu)點，其一是應用程序寫入時耗費CPU以及I/O資源很少；其二是目前很多常規(guī)文本工具都可以很方便的處理和查閱；其三是許多常見的基于文本的日志格式已經存在，更易于集中化及解析，創(chuàng)造一個更完善的日志管理系統(tǒng)。

2.2二進制文件

二進制日志文件是應用程序生成的機器可讀日志文件，需要專有的工具或是程序去閱讀或處理它們。較常見二進制日志文件的例子包括IIS日志以及Windows事件日志。二進制日志文件的長期存儲給工作帶來了許多挑戰(zhàn)，但卻在磁盤空間利用率上很高效。

2.3壓縮文件

大部分生成日志的系統(tǒng)一般會在日志增長到指定大小時，開始一個新的日志文件，之前的日志文件通常會重命名，并以未壓縮格式存儲于系統(tǒng)硬盤中，以便訪問和查詢。隨著時間的推移，日志會慢慢老化并且數(shù)量越來越多，以至于占用寶貴的存儲空間，系統(tǒng)中壓縮日志文件就是解決這種需求并節(jié)省寶貴磁盤空間的一種機制。

3利用數(shù)據(jù)庫存儲日志文件

到目前為止討論的許多存儲技術需要直接訪問系統(tǒng)和特定的日志審核工具集。這樣做是很快速和高效的，但是在許多情況下，我們創(chuàng)建摘要報告、過濾器、以及在多臺主機間關聯(lián)日志數(shù)據(jù)的能力常常受到嚴重的限制。許多人發(fā)現(xiàn)將日志信息寫入數(shù)據(jù)庫中，對需要日志信息的利益相關方很有用，這樣某種格式的日志信息可以快速搜索和查詢，并且便于日志審核過程中前端工具的安裝和使用。

3.1優(yōu)點

使用數(shù)據(jù)庫來實現(xiàn)日志留存主要的優(yōu)點之一是易用性，你可以使用標準的SQL查詢快速搜索和檢索日志記錄。數(shù)據(jù)庫系統(tǒng)具有健全的用戶訪問和權限系統(tǒng)，而且可能已經是組織備份和恢復計劃的一部分。現(xiàn)在有許多標準工具可以查詢數(shù)據(jù)庫。這些工具允許使用一個通用的工具集來查詢日志數(shù)據(jù)，而不是使用需要專門知識和權限的特定平臺工具。許多編程語言內建了數(shù)據(jù)庫處理的支持，可以開發(fā)用于日志數(shù)據(jù)實時查看與分析的前端工具。這減少了開發(fā)和維護內部專用系統(tǒng)將日志加載到數(shù)據(jù)庫的需求。此外，這有助于將日志數(shù)據(jù)集中到一個數(shù)據(jù)庫系統(tǒng)中。

3.2缺點

將日志數(shù)據(jù)存入數(shù)據(jù)庫系統(tǒng)并不能避免本身的一些問題和風險。向數(shù)據(jù)庫中寫日志消息會有顯著的開銷。向數(shù)據(jù)庫中寫數(shù)據(jù)明顯比寫入本地磁盤文本文件慢，主要是網絡延遲，SQL解析，索引更新以及向磁盤提交信息。使用數(shù)據(jù)庫存儲日志對磁盤的空間需求也較高，主要是因為實現(xiàn)快速搜索和檢索需要大量索引文件，壓縮數(shù)據(jù)的選項也較為有限。數(shù)據(jù)庫系統(tǒng)在一個組織中往往有多種用途，因此需面臨數(shù)據(jù)庫故障、維護以及支持日志記錄或其他內部系統(tǒng)而升級時的數(shù)據(jù)丟失風險。當留存策略不再需要日志條目時，數(shù)據(jù)的銷毀也會成為問題。若沒有合適的規(guī)劃或分區(qū)，刪除日志數(shù)據(jù)可能花費相當長的時間。日志數(shù)據(jù)一般非常巨大，因此數(shù)據(jù)的銷毀可能指示數(shù)據(jù)庫系統(tǒng)刪除數(shù)百萬甚至數(shù)十億行，并更新所有被刪除數(shù)據(jù)的索引。

3.3數(shù)據(jù)庫存儲的目標

3.3.1存儲的內容

存儲日志到數(shù)據(jù)庫時最關鍵的問題就是 “存儲什么”。當使用數(shù)據(jù)庫作為集中儲存以及日常日志審核分析時，應該保留所有的日志條目以及數(shù)據(jù)庫的日志字段。對于不通用的二進制或應用程序日志來說，要想在數(shù)據(jù)庫中維護日志數(shù)據(jù)，可能需要編寫自己的使用工具、開發(fā)自己的數(shù)據(jù)庫模式。良好的分析以及盡量保存所有字段，能避免在審核系統(tǒng)關鍵漏洞時發(fā)現(xiàn)缺少分析所需的關鍵信息。

使用數(shù)據(jù)庫作為主要日志存儲的缺點就是：從日志安全或基礎設施角度來說，數(shù)據(jù)量太龐大太臃腫了。其實，數(shù)據(jù)庫基礎設施無法在不影響客戶的情況下，支持這樣的數(shù)據(jù)容量。在這中情況下，混合的存儲方法可能會更好，原始的日志數(shù)據(jù)留存在日志系統(tǒng)中或集中在syslog服務器里。以下信息通常被存入數(shù)據(jù)庫中，以便分析系統(tǒng)和生成報告：

1）頭信息，通常包括某事件發(fā)生的時間戳以及事件涉及的ip地址，單獨存儲這些信息在構建信息、確定主機虛報、漏報以及系統(tǒng)時間的聯(lián)系時非常有用。

2）消息體，通常就是事件的消息，在數(shù)據(jù)庫中存儲這些消息主要是用來構建實時報警系統(tǒng)。例如，可以快速查詢和報告頻繁出現(xiàn)登錄失敗時消息的情況。

3）分析和總結，自定義腳本和工具可能被各個系統(tǒng)使用，以確定整體事件走向并對結果進行總結。將這些分析存入數(shù)據(jù)庫可以簡化整個企業(yè)的事件分析報告，并在較低的體數(shù)據(jù)庫存儲和可伸縮性需求的情況下，簡化組織的集中審計和摘要報告。

3.3.2快速檢索

在定義了存儲內容之后，需要進行一些審核和分析，對數(shù)據(jù)庫進行優(yōu)化，實現(xiàn)相關數(shù)據(jù)庫的快速檢索。需要定義的關鍵之一就是在日常審核或者常用查詢中被使用到的數(shù)據(jù)項。如：

1）優(yōu)先級--消息的重要性或相對重要性

2）日期和時間--表明事件什么時候發(fā)生。

3）主機--生成這個事件的系統(tǒng)。

4）消息--事件發(fā)生的詳細信息。

關于日志數(shù)據(jù)，反復提到的一個主題就是存儲大小會持續(xù)增長。即使在數(shù)據(jù)庫中構建了索引和查詢優(yōu)化，但在數(shù)萬億行數(shù)據(jù)項中搜索依舊會變得緩慢和繁瑣。許多數(shù)據(jù)庫系統(tǒng)支持分區(qū)，分區(qū)允許邏輯上的單個數(shù)據(jù)表格分裂成較小的多個區(qū)塊。在日志數(shù)據(jù)中，基于日期和時間對數(shù)據(jù)庫表進行分區(qū)是一個符合邏輯的做法。

3.3.3報告

通常需要把日志數(shù)據(jù)生成報告，以支持外部管理人員和內部利益相關方進行日志數(shù)據(jù)的分析和審核。這些表中應包含關鍵條目的匯總，這樣能加快檢索數(shù)據(jù)的速度。即使生成這些信息可能會耗費大量時間，也應該盡可能添加到存儲系統(tǒng)中，這些報告通常包含：

1）分析結果：通常是多個日志條目的組合，這些條目包含某些需要分析或者進一步采取行動的事件。

2）每個主機根據(jù)事件的重要性進行統(tǒng)計：這對于發(fā)現(xiàn)攻擊事件或者查明故障原因時非常有用。

3）基于時間的匯總：很多時候我們可能需要每日、每周或每月的報告，以便進行分析和審核。

4結束語

日志管理工作是計算機管理工作中不可分割的一部分，理解日志存儲的方式與格式，綜合分析日志存儲的優(yōu)缺點，選擇一種適合自己工作的存儲方式，能夠快速的進行檢索、分析與審核，這些都對管理工作起著事半功倍的效果。我們應該重視管理工作中日志的存儲，不斷總結、分析，讓我們獲得更多有價值、更實用的日志，使日志成為我們工作中最好的伙伴與幫手。

參考文獻：

[1] Chuvakin A A，Schmidt K J.日志管理與分析權威指南[M].北京：機械工業(yè)出版社，2014，6.

[2] 金帥資訊科技有限公司.電腦病毒日志[M].武漢：華中理工大學出版社，2009.

[3] 水清華.我是網管-網絡管理員經驗日志[M].北京：中國鐵道出版社，2014.

[4] Bryant R E，David O'Hallaron.深入理解計算機系統(tǒng)[M].北京：機械工業(yè)出版社，2011.