淺談“互聯(lián)網(wǎng)+”時代企業(yè)大數(shù)據(jù)存儲架構(gòu)建設(shè)思路

陳啟崧

【摘要】 本文通過分析“互聯(lián)網(wǎng)+”時代傳統(tǒng)企業(yè)互聯(lián)網(wǎng)化轉(zhuǎn)型，企業(yè)大數(shù)據(jù)在“存”、“管”、“用”技術(shù)支撐上面臨的問題，比較關(guān)系型數(shù)據(jù)庫系統(tǒng)與大數(shù)據(jù)技術(shù)平臺的應(yīng)用特點(diǎn)，提出了企業(yè)大數(shù)據(jù)的存儲混搭架構(gòu)思路。

【關(guān)鍵詞】 大數(shù)據(jù) 關(guān)系型數(shù)據(jù)庫 NoSQL 存儲架構(gòu)

一、引言

“互聯(lián)網(wǎng)+”時代越來越多的企業(yè)認(rèn)識到數(shù)據(jù)是企業(yè)很重要的核心資產(chǎn)，并開始通過信息應(yīng)用來改造傳統(tǒng)行業(yè)。許多傳統(tǒng)企業(yè)開始探索互聯(lián)網(wǎng)化轉(zhuǎn)型之路，企業(yè)數(shù)據(jù)爆炸性增長，隨之而來出現(xiàn)了“存”、“管”、“用”這三個方面的難題：“存”——如何解決PB 級別海量數(shù)據(jù)的存儲問題？“管”——如何解決結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)并存的管理問題？“用”——如何解決這種大規(guī)模復(fù)雜結(jié)構(gòu)下的實(shí)時應(yīng)用問題？

傳統(tǒng)關(guān)系型數(shù)據(jù)庫系統(tǒng)與新興的大數(shù)據(jù)技術(shù)平臺是兩條技術(shù)解決路線，本文將通過對比這兩種技術(shù)，為企業(yè)大數(shù)據(jù)的存儲與應(yīng)用提供一個技術(shù)解決思路。

二、企業(yè)大數(shù)據(jù)的組成與技術(shù)支持

企業(yè)的傳統(tǒng)數(shù)據(jù)主要來自于業(yè)務(wù)運(yùn)營支撐系統(tǒng)、企業(yè)管理系統(tǒng)等，主要是結(jié)構(gòu)化數(shù)據(jù)；企業(yè)當(dāng)前爆炸式增長的新數(shù)據(jù)主要來源于互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)上的圖片、文本、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)；結(jié)構(gòu)化傳統(tǒng)數(shù)據(jù)和非結(jié)構(gòu)化新數(shù)據(jù)一起構(gòu)成了企業(yè)的大數(shù)據(jù)。目前業(yè)界對大數(shù)據(jù)還沒有統(tǒng)一的定義，但各大研究機(jī)構(gòu)與國際組織對大數(shù)據(jù)的定義都至少包含這2層意思：一是要能對大體量、多類型的數(shù)據(jù)進(jìn)行快速的處理，二是在成本可接受的前提下從大數(shù)據(jù)中提取有用的價值。概括的說，企業(yè)的大數(shù)據(jù)具備“4V”的特征：超量（Volume），需要存儲的數(shù)據(jù)量越來越大；多樣（Variety），存儲的數(shù)據(jù)類型種類越來越多；高速（Velocity），數(shù)據(jù)處理速度與應(yīng)用速度要求越來越快；價值（Value），從低密度的數(shù)據(jù)中提取有價值的信息。因此，在技術(shù)層面上面臨3大挑戰(zhàn)：（1）海量數(shù)據(jù)存哪里，才能既滿足高效率存儲和訪問的需求，又使存儲成本可控制？（2）如何滿足海量數(shù)據(jù)的高并發(fā)、實(shí)時動態(tài)獲取和更新數(shù)據(jù)？（3）如何保障數(shù)據(jù)庫系統(tǒng)的高可擴(kuò)展性和7*24小時不間斷服務(wù)的高可用性需求？目前有兩條技術(shù)解決路線：一是將傳統(tǒng)關(guān)系型數(shù)據(jù)庫系統(tǒng)進(jìn)行整合升級，如Oracle、EMC等企業(yè)設(shè)計(jì)了采用Shared-Nothing與MPP體系架構(gòu)的數(shù)據(jù)庫一體機(jī)作為解決方案；二是專門設(shè)計(jì)了NoSQL數(shù)據(jù)庫系統(tǒng)，以Apache的Hadoop、IBM PureData為代表的大數(shù)據(jù)平臺為主要的解決方案。

三、關(guān)系型數(shù)據(jù)庫系統(tǒng)與大數(shù)據(jù)技術(shù)平臺的比較

3.1關(guān)系型數(shù)據(jù)庫如何應(yīng)對大數(shù)據(jù)

工程師們對關(guān)系型數(shù)據(jù)庫系統(tǒng)進(jìn)行升級與優(yōu)化，通過分庫、分表，緩解數(shù)據(jù)增長壓力；采用主從數(shù)據(jù)庫分離、讀寫分離思路，緩解寫壓力，增強(qiáng)讀庫的可擴(kuò)展性；采用主從結(jié)構(gòu)Master-Slave，增強(qiáng)讀庫的可擴(kuò)展性，并采用MMM（Master-Master Replication Manager for MySQL）技術(shù)來解決分布式存儲問題。在產(chǎn)品支持上主流數(shù)據(jù)庫廠商紛紛推出數(shù)據(jù)庫一體機(jī)產(chǎn)品，如Oracle Exadata、IBM Netezza、EMC GreenPlum等。

數(shù)據(jù)庫一體機(jī)的核心是SQL體系，可以兼顧企業(yè)中OLTP和OLAP兩類系統(tǒng)的應(yīng)用要求，但這條技術(shù)路線仍有瑕疵：如分庫、分表受業(yè)務(wù)規(guī)則影響，維護(hù)變得十分復(fù)雜，系統(tǒng)數(shù)據(jù)訪問層代碼需要大量修改；Master-Slave架構(gòu)在實(shí)時性很高的場合Slave實(shí)時性保障存在瓶頸，在高可用性上Master容易產(chǎn)生單點(diǎn)故障；MMM本身擴(kuò)展性差，一次只能允許一個Master寫入，只能解決有限數(shù)據(jù)量下的可用性。

3.2大數(shù)據(jù)技術(shù)如何應(yīng)對大數(shù)據(jù)

相對于傳統(tǒng)關(guān)系型數(shù)據(jù)庫的行存儲模式，大數(shù)據(jù)技術(shù)采用列存儲模式滿足海量數(shù)據(jù)的高效存儲和訪問要求，以NoSQL體系的非關(guān)系型數(shù)據(jù)庫服務(wù)器架構(gòu)應(yīng)用而生。其中Hadoop是一個典型代表，海量的數(shù)據(jù)交給Hadoop處理后，Hadoop提供一個分布式文件系統(tǒng)（HDFS）及分布式數(shù)據(jù)庫（Hbase）用來存儲或部署到各個計(jì)算點(diǎn)上，最終在內(nèi)部采取MapReduce的模式對其數(shù)據(jù)進(jìn)行分布式并行計(jì)算與合并處理，然后輸出處理結(jié)果。

NoSQL數(shù)據(jù)庫大都只是提供了海量數(shù)據(jù)的分布式存儲與基于索引的快速讀取機(jī)制，對復(fù)雜Join的操作性能低下，因此對OLTP系統(tǒng)的支持成為它的短板。

3.3兩種技術(shù)的異同點(diǎn)比較

從硬件集成角度上看，大數(shù)據(jù)技術(shù)與數(shù)據(jù)庫一體機(jī)基本相同。兩種技術(shù)最核心的區(qū)別在軟件體系上，具體比較如下表：

四、企業(yè)大數(shù)據(jù)的存儲架構(gòu)建設(shè)思路

針對企業(yè)大數(shù)據(jù)的存儲與應(yīng)用需求，大數(shù)據(jù)技術(shù)與關(guān)系型數(shù)據(jù)庫架構(gòu)技術(shù)是相輔相成的，而不是互相替代的。它們針對不同的應(yīng)用場景設(shè)計(jì)，可以相互補(bǔ)充與合作。

數(shù)據(jù)庫一體機(jī)較適用于存儲關(guān)系復(fù)雜的數(shù)據(jù)模型，如企業(yè)核心業(yè)務(wù)數(shù)據(jù)，并且需要限制為基于二維表的關(guān)系模型；同時適合進(jìn)行一致性與事務(wù)性要求高的計(jì)算，以及復(fù)雜的BI計(jì)算。大數(shù)據(jù)技術(shù)則更適合于存儲較簡單的數(shù)據(jù)模型，并且可以不受模式的約束，因而其可存儲管理的數(shù)據(jù)類型更豐富。大數(shù)據(jù)技術(shù)同時適合進(jìn)行一致性與事務(wù)性要求不高的計(jì)算，如NoSQL的查詢操作等，以及對超大規(guī)模海量數(shù)據(jù)的、批量的分布式并行計(jì)算。

因此，在“互聯(lián)網(wǎng)+”時代，當(dāng)前企業(yè)的大數(shù)據(jù)存儲架構(gòu)建設(shè)思路是采用大數(shù)據(jù)平臺與關(guān)系型數(shù)據(jù)庫系統(tǒng)混搭的架構(gòu)。具體來講：業(yè)務(wù)支撐系統(tǒng)仍然部署在關(guān)系型數(shù)據(jù)庫上，傳統(tǒng)關(guān)系型數(shù)據(jù)庫技術(shù)還是作為企業(yè)數(shù)據(jù)倉庫的主流技術(shù)，它存儲與計(jì)算最主要的、有重大價值的企業(yè)關(guān)鍵業(yè)務(wù)數(shù)據(jù)。大數(shù)據(jù)技術(shù)可以處理企業(yè)內(nèi)海量的、模型簡單、類型多樣的非結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)，其處理結(jié)果可以被直接使用，也同時可以被當(dāng)成是新的輸入存儲到企業(yè)級數(shù)據(jù)倉庫中，這時大數(shù)據(jù)技術(shù)相當(dāng)于是面向大數(shù)據(jù)源的新的ETL手段。

五、結(jié)束語

進(jìn)入“互聯(lián)網(wǎng)+”時代，在一個信息爆炸的環(huán)境下，企業(yè)更需要搭建合適的企業(yè)大數(shù)據(jù)存儲架構(gòu)來存儲好、管理好和使用好這些數(shù)據(jù)，以真正將企業(yè)的數(shù)據(jù)資產(chǎn)變成企業(yè)的核心競爭力。