基于Hadoop的大數(shù)據處理與挖掘分析

張有義

基于Hadoop的大數(shù)據處理與挖掘分析

張有義

（貴州江南航天信息網絡通信有限公司 貴州遵義 563000）

大數(shù)據能夠為數(shù)據挖掘，提供更為豐富的數(shù)據源，并從中挖掘出更加具有商業(yè)價值的相關信息。以Hadoop的大數(shù)據處理作為核心項目，通過查找相關文獻資料，分析大數(shù)據的相應處理策略，為大數(shù)據處理路徑的發(fā)展提出更好指導。

Hadoop；大數(shù)據；處理；挖掘

1 引言

在數(shù)據爆炸的背景下，云計算技術逐漸流行起來，而隨著互聯(lián)網技術的發(fā)展與成熟，傳統(tǒng)產業(yè)自動化、信息化的提升，以及人們生活的數(shù)字化發(fā)展，都體現(xiàn)出了大數(shù)據在日常生產生活中的應用優(yōu)勢。而數(shù)據增長在給人們帶來巨大價值的同時，也帶來了很大挑戰(zhàn)，逐漸成為許多大型企業(yè)關注的焦點。

2 大數(shù)據處理概述

2.1 概況

目前，大數(shù)據處理逐漸發(fā)展起來，而數(shù)據更是成為企業(yè)發(fā)展的核心，為企業(yè)經營決策方面提供了重要依據。Hadoop、NoSQL等開源大數(shù)據解決方案，可以有效節(jié)約資源、提高系統(tǒng)的利用率，具有很高的性價比。Hadoop主要是由5大構造模塊構成的，分別是：名字節(jié)點（NameNode）、次名字節(jié)點（Secondary NameNode）、數(shù)據節(jié)點（DataNode）、任務跟蹤（TaskTracker）、作業(yè)跟蹤（JobTracker）。每個模塊具備不同的功能，共同完成分布式數(shù)據處理任務。

2.2 Hadoop基本原理

Hadoop的建立，屬于一種具有分布式系統(tǒng)的基礎架構，是一個能夠用于處理大規(guī)模數(shù)據的軟件平臺，其特點在于具有海量的存儲（能夠處理PB級別的數(shù)據）、成本低、高效率和可靠性等，其核心功能則主要包括兩部分：HDFS和MapReduce。

2.2.1 HDFS

HDFS是一個運行在普通PC之上的分布式文件系統(tǒng)。它采用主/從結構來搭建集群系統(tǒng)，通常由一個Master節(jié)點與多個Slave節(jié)點共同構成的，可使用兩個節(jié)點充當Master，一個為Active，另一個為Standby，如果Active節(jié)點出現(xiàn)失效，則會自動切換至Standby節(jié)點上。Master節(jié)點又被稱為名字節(jié)點，主要責任是管理元數(shù)據，包括文件系統(tǒng)名空間管理、客戶機對文件的訪問操作等；Slave節(jié)點又被稱為數(shù)據節(jié)點，主要負責對節(jié)點數(shù)據實施存儲管理，并響應客戶端讀寫請求。

2.2.2 Map/Reduce

Map/Reduce作為Hadoop平臺上，用以實施海量數(shù)據，并行運算的計算模型。該模型在處理數(shù)據時，主要有2個階段：先進行Map階段，后進行Reduce階段。其大概計算過程如下：先將數(shù)據分為若干份，然后對每一份進行處理，該過程即為Map，歸并每一份的處理結果，并對歸并后的數(shù)據進行處理，該過程稱為Reduce。

3 Hadoop在大數(shù)據處理中的應用

3.1 核心架構設計

以Hadoop為基礎，建立交互式的大數(shù)據分析查詢核心架構，具體結構如圖1所示，其中包括了遠程訪問模塊、SQL解析器、查詢優(yōu)化器、任務計劃執(zhí)行引擎、存儲插件接口、分布式緩存模塊等。

圖1 核心架構圖

（1）遠程訪問模塊，該模塊屬于一種低開的銷通信協(xié)議，通常適用于遠程過程調用。此外，C++和Java API層也用于客戶端應用程序與系統(tǒng)進行交互，在提交查詢請求之前，客戶端既可以直接與特定節(jié)點進行通信，也能通過zookeeper發(fā)現(xiàn)集群節(jié)點，從而更方便地管理維護復雜的集群。

（2）SQL解析器。基于標準SQL語句解析傳入的查詢請求，通過元數(shù)據應用程序接口請求模式信息，然后產生標準邏輯計劃以供優(yōu)化器進行優(yōu)化，其語法樹提供用戶操作接口，靈活性高且該解析器的組件與語言無關。

（3）查詢優(yōu)化器。優(yōu)化器將邏輯計劃轉化為物理計劃，包含有子查詢的SELECT語句是作為半連接執(zhí)行的，所以子查詢中每條記錄返回最少的實例，優(yōu)化器可以對表的掃描最小化并且有利于匹配內外表的SELECT記錄。

（4）任務計劃執(zhí)行引擎。為了實現(xiàn)高性能的查詢處理，引入一種分布式可擴展的執(zhí)行引擎。該引擎提供數(shù)據本地化、容錯以及基于行列的等級處理。

（5）存儲插件接口。存儲插件可以與數(shù)據源進行交互，數(shù)據的位置和優(yōu)化規(guī)則有助于提升查詢效率。

（6）分布式緩存模塊。采用分布式緩存，提高查詢性能，通過動態(tài)地增減集群節(jié)點來調節(jié)數(shù)據訪問負載，從而提高資源利用率。

3.2 數(shù)據清洗模型

3.2.1 格式清洗

在挖掘服務器日志文件時，其挖掘的重點在于文本內容，此外還包括：音頻、視頻、圖片等多媒體文件，必要的情況下，需要清洗掉文件后綴名是 avi．、mp3．、jpg．、gif．等的多媒體文件日志記錄。當用戶訪問服務器系統(tǒng)時，期間所產生的腳本文件，也不足以反應出用戶的關聯(lián)行為，因而需要將JS等腳本文件清洗掉。

3.2.2 URL清洗

在某些情況下進行的服務器請求會產生一些無關的URL記錄，所以需要對這些無關URL進行清洗。URL清洗的主要方式，是預先建立相應的URL表格，對不在表格內的URL內容，進行全面的清洗。

3.2.3 通信方式清洗

正常情況下，用戶對服務器的請求方式有三種，即GET、POST和HEAD。但是，真正能夠反映用戶請求行為的，只有GET請求，因此必須針對其他的兩種通信方式請求進行清洗，而僅保留GET請求。

3.2.4 狀態(tài)清洗

并非每一次的客戶請求，都屬于成功的請求，若遇到網絡不暢通、服務器故障等問題所造成的請求不成功問題，則需要連同相應的日志內容也一并進行清洗。經過以上四步清洗后，日志數(shù)據的規(guī)模已經大大減小，即可針對其輸出內容實施下一步的操作。

3.3 數(shù)據查詢流程

當用戶向系統(tǒng)提交了一個查詢請求時，客戶端或應用程序就會將查詢的SQL語句發(fā)送給集群中的節(jié)點。系統(tǒng)的進程在集群的節(jié)點上執(zhí)行協(xié)調、規(guī)劃、最大化查詢?？蛻舳撕蛻贸绦虿樵兒蠖斯?jié)點，然后驅動查詢的組件。具體過程如下：

（1）使用SQL解析器，對所查詢的請求實施解析，所解析的內容則包括詞法、語義等的分析。在查詢解析器中的查詢請求會被解析為邏輯計劃，而邏輯計劃描述了查詢操作的基本數(shù)據流。

（2）使用優(yōu)化器來讀取邏輯計劃，然后將其轉換成物理計劃。存儲引擎和特定的數(shù)據源進行交互，提供讀寫功能，將元數(shù)據信息提供給元數(shù)據庫，將原生功能告知執(zhí)行引擎。

（3）物理計劃的執(zhí)行通常由執(zhí)行引擎進行，而執(zhí)行引擎的運行需要依賴組件，執(zhí)行器負責轉換數(shù)據流，功能函數(shù)將數(shù)據流轉換為單獨的數(shù)據，掃描器和寫詞器負責讀寫數(shù)據。元數(shù)據庫查詢執(zhí)行框架并提供元數(shù)據信息，即時編譯器將部分物理計劃轉換成本地代碼。

3.4 基于Hadoop的網絡大數(shù)據挖掘應用

3.4.1 挖掘工具選擇

Mahout作為ASF旗下的開源項目之一，Myhout能夠提供一些可擴展機器學習領域經典算法，旨在幫助相關的開發(fā)人員，能夠更加方便快捷地進行智能應用程序的創(chuàng)建，從而實現(xiàn)聚類、分類、推薦過濾、頻繁子項的挖掘。另外，通過運用Apache的Hadoop庫，Mahout可有效擴展至云中。在算法上，Mahout具有很強的針對性，因而適用于小數(shù)量級別上的運行控制，但是，當計算機硬盤容量全部消耗完成之后，則可能會發(fā)生崩潰。

3.4.2 數(shù)據挖掘過程

利用所搭建的平臺，采用數(shù)據挖掘技術，可設計為以下幾個重要步驟：①針對所指定的訓練數(shù)據，通過相應的算法進行訓練；②在評測過程中，可以將待測試數(shù)據進行類型的劃分；③保證統(tǒng)計分類的正確率。依據實驗內容、實驗要求等，采用合適的算法，所選擇的算法應當能夠實現(xiàn)對訓練數(shù)據的訓練和對測試數(shù)據的預測，并進行與原始測試數(shù)據的計算正確率比對。

4 結語

Hadoop的內部工作機制非常復雜，且相互依存，其運行基礎為分布式系統(tǒng)原理、實用技術以及相關常識。所以，能夠合理運用Hadoop的過程是一個較為漫長的過程，需要在學習過程中進行經驗的積累與總結，從而在實際工作中進行有效的運用。

[1]宋廷山，郭思亮，韓 偉.基于HADOOP的大數(shù)據描述統(tǒng)計分析[J].統(tǒng)計與信息論壇，2015（11）：32～38.

[2]王劍宇，劉鳳良，姜薇.基于Hadoop的大數(shù)據增量計算探討[J].電腦知識與技術，2015，11（18）：8～10.

[3]肖 露，王 晶.一種基于Hadoop的大數(shù)據流量經營系統(tǒng)解決方案[J].電信工程技術與標準化，2015（2）：87～92.

TP311.13

A

1004-7344（2016）33-0263-02

2016-11-10