淺析大數(shù)據(jù)架構(gòu)解決方案

阮洋 李璐

摘 要：企業(yè)大數(shù)據(jù)建設(shè)的關(guān)注點(diǎn)開始從基礎(chǔ)設(shè)施轉(zhuǎn)向以應(yīng)用牽引的運(yùn)營、使能、平臺化方向轉(zhuǎn)移應(yīng)用。本文主要從IT基礎(chǔ)架構(gòu)、智能分析軟件等方面全方位進(jìn)行考量，分析總結(jié)了大數(shù)據(jù)總體技術(shù)架構(gòu)設(shè)計(jì)原則，并提出了大數(shù)據(jù)基礎(chǔ)平臺解決方案，最后對大數(shù)據(jù)基礎(chǔ)機(jī)構(gòu)技術(shù)發(fā)展進(jìn)行了總結(jié)。

關(guān)鍵詞： 大數(shù)據(jù)；IT基礎(chǔ)架構(gòu)

0引言

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算、三網(wǎng)融合等通信新技術(shù)的迅速發(fā)展，數(shù)據(jù)規(guī)模大、類型多樣、生成快速，越來越多企業(yè)將大數(shù)據(jù)作為新的發(fā)展機(jī)遇。然而，大數(shù)據(jù)也為企業(yè)IT帶來新的挑戰(zhàn)，基礎(chǔ)架構(gòu)是其中最為關(guān)鍵的一環(huán)，大數(shù)據(jù)在帶來機(jī)會的同時，也帶來挑戰(zhàn)。

1大數(shù)據(jù)總體技術(shù)架構(gòu)設(shè)計(jì)

目前，國內(nèi)企業(yè)的大數(shù)據(jù)應(yīng)用大部分仍處于規(guī)模化部署運(yùn)營初期，基礎(chǔ)平臺的建設(shè)運(yùn)營包括硬件架構(gòu)設(shè)計(jì)、軟件平臺規(guī)劃、資源的共享與各類接口的規(guī)范制定。構(gòu)建適合大數(shù)據(jù)整合基礎(chǔ)架構(gòu)需遵循以下原則進(jìn)行規(guī)劃設(shè)計(jì)。

1.1可用性

數(shù)據(jù)中心最終目的是要滿足上層業(yè)務(wù)的高效可靠運(yùn)行，因此在構(gòu)建數(shù)據(jù)中心過程中需要保障業(yè)務(wù)的可用性。為滿足這一要求，在設(shè)計(jì)過程中可以考慮如下幾點(diǎn)：

基礎(chǔ)設(shè)施的高可用：基礎(chǔ)設(shè)施層的可用性體現(xiàn)在計(jì)算資源、存儲資源和網(wǎng)絡(luò)資源的高可用?；A(chǔ)設(shè)施層通過交換機(jī)的堆疊技術(shù)，存儲RAID等多種方案保障高可用。

應(yīng)用的高可用：在業(yè)務(wù)技術(shù)方案中要考慮高可用性，不出現(xiàn)單點(diǎn)失效問題。

容災(zāi)備份能力：通過數(shù)據(jù)備份保障主數(shù)據(jù)丟失時可以快速恢復(fù)數(shù)據(jù)；通過建設(shè)關(guān)鍵應(yīng)用的容災(zāi)系統(tǒng)，保障在災(zāi)難發(fā)生時實(shí)現(xiàn)業(yè)務(wù)的可用性，快速恢復(fù)關(guān)鍵應(yīng)用的運(yùn)行。

1.2安全性

主要包括網(wǎng)絡(luò)安全、數(shù)據(jù)安全、接入安全、主機(jī)安全、身份安全和安全管理。安全體系的建設(shè)是通過技術(shù)手段和管理手的。

1.3開放性

建設(shè)中也需要特別注意采用開放的平臺和方案，主要體現(xiàn)在如下幾點(diǎn)：

異構(gòu)原則：總體方案的各層應(yīng)支持異構(gòu)平臺和不同的供應(yīng)商。

利舊原則：在基礎(chǔ)設(shè)施層應(yīng)支持設(shè)備利舊，利用原有的設(shè)備來構(gòu)建警務(wù)云數(shù)據(jù)中心，在資源池中支持不同供應(yīng)商的服務(wù)器，存儲，網(wǎng)絡(luò)設(shè)備。

開放的接口：基礎(chǔ)設(shè)施層、虛擬化層、平臺服務(wù)、運(yùn)維系統(tǒng)等各層都應(yīng)該提供開放的接口，便于和第三方系統(tǒng)對接或者基于這些接口來進(jìn)一步構(gòu)建新的業(yè)務(wù)。

1.4擴(kuò)展性

隨著業(yè)務(wù)的不斷增長，數(shù)據(jù)中心的計(jì)算、存儲能力必然會出現(xiàn)無法滿足業(yè)務(wù)需求的情況。當(dāng)數(shù)據(jù)中心計(jì)算能力不足時，能夠采用增加計(jì)算資源的方式擴(kuò)容，無需對運(yùn)行的應(yīng)用停機(jī)就能夠增加應(yīng)用的處理能力，實(shí)現(xiàn)計(jì)算能力擴(kuò)展。

2大數(shù)據(jù)基礎(chǔ)平臺解決方案

基礎(chǔ)平臺目的在于提供集約管理和池化運(yùn)營的基礎(chǔ)能力，實(shí)現(xiàn)軟硬件資源的共享和快速提供，為大數(shù)據(jù)應(yīng)用提供高效和靈活的基礎(chǔ)平臺。根據(jù)當(dāng)前主流的大數(shù)據(jù)技術(shù)架構(gòu)，基礎(chǔ)平臺可劃分如下7個功能層面，為各類大數(shù)據(jù)應(yīng)用提供共享的基礎(chǔ)服務(wù)。

大數(shù)據(jù)采集和整合，解決傳統(tǒng)煙囪式IT系統(tǒng)間重復(fù)采集、存儲分散、建設(shè)成本高等問題。提供能力：提供數(shù)據(jù)集成與治理服務(wù)，能有效的對原來信息架構(gòu)，多種數(shù)據(jù)源進(jìn)行整合與治理，對數(shù)據(jù)的統(tǒng)一采集、存儲和統(tǒng)一管理，最終實(shí)現(xiàn)數(shù)據(jù)拉通共享，從而降低成本。

大數(shù)據(jù)基礎(chǔ)設(shè)施，解決傳統(tǒng)企業(yè)級數(shù)據(jù)庫只能支持結(jié)構(gòu)化數(shù)據(jù)，無法支撐非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的存儲問題。提供能力：提供數(shù)據(jù)融合、企業(yè)級信息架構(gòu)治理、基礎(chǔ)設(shè)施集成交付服務(wù)，提供工具如內(nèi)存分析DB、DWH、MPP DB、Hadoop、數(shù)據(jù)管理等，有效支撐各類混合數(shù)據(jù)，最終為實(shí)現(xiàn)行業(yè)的穿越、數(shù)據(jù)的關(guān)聯(lián)和技術(shù)的混搭奠定了基礎(chǔ)。

企業(yè)知識引擎，客戶知識庫（標(biāo)簽、分群等）、產(chǎn)品知識庫、商業(yè)知識庫和渠道知識庫建設(shè)，同時包含互聯(lián)網(wǎng)分析、位置分析，彌補(bǔ)現(xiàn)有業(yè)務(wù)系統(tǒng)（如Campaign）大數(shù)據(jù)洞察能力的不足。提供能力：提供數(shù)據(jù)分析和業(yè)務(wù)建模服務(wù)，構(gòu)建主要的知識庫體系如客戶知識庫（CKM）、產(chǎn)品知識庫（PKM）、商業(yè)知識庫（BKM）。

實(shí)時決策支持中心，提升企業(yè)的響應(yīng)能力，解決企業(yè)實(shí)時決策閉環(huán)能力不足。由于涉及到復(fù)雜的周邊系統(tǒng)集成，只有在應(yīng)用集成架構(gòu)和信息集成架構(gòu)比較成熟的運(yùn)營商才有可能實(shí)施。用于固化各種可自動化執(zhí)行的策略和決策。提供能力：提供了數(shù)據(jù)分析建模和實(shí)時規(guī)則建模等服務(wù)，通過利用離線的大數(shù)據(jù)知識分析與洞察和實(shí)時事件信息進(jìn)行綜合的決策。

增強(qiáng)BI，為整體信息架構(gòu)和IT架構(gòu)相關(guān)成熟的企業(yè)，解決處理能力不足的問題，以有效地支持業(yè)務(wù)發(fā)展。提供能力：提供數(shù)據(jù)探索、數(shù)據(jù)集成定制服務(wù)，在原有BI基礎(chǔ)上，提升數(shù)據(jù)處理能力，降低數(shù)據(jù)處理單位成本，更好地支撐運(yùn)營商的戰(zhàn)略發(fā)展和運(yùn)營。

客戶智能，為滿足運(yùn)營商在MBB和數(shù)字業(yè)務(wù)轉(zhuǎn)型的需要，提升ARPU從而提升總收入。提供能力：提供業(yè)務(wù)分析和業(yè)務(wù)建模，通過精準(zhǔn)化的市場營銷、實(shí)時運(yùn)維洞察、提升客戶體驗(yàn)、客戶維系等手段，擴(kuò)大用戶的生命周期和減少離網(wǎng)率，最終實(shí)現(xiàn)收入的穩(wěn)步提升。

數(shù)據(jù)變現(xiàn)，運(yùn)營商尋找業(yè)務(wù)突破點(diǎn)，探索新的商業(yè)模式和數(shù)據(jù)隱私、安全方面的實(shí)踐。提供能力：提供如智慧交通、店面選址、店面經(jīng)營等服務(wù)，并可提供輔助運(yùn)營服務(wù)。通過數(shù)據(jù)變現(xiàn)，幫助運(yùn)營商從傳統(tǒng)Scale-Up模型向Scale-Out轉(zhuǎn)變的一種產(chǎn)品形態(tài)。

3結(jié)束語

大數(shù)據(jù)建設(shè)成功的重要開端就是打造一個適合大數(shù)據(jù)整合的基礎(chǔ)架構(gòu)，聚焦大數(shù)據(jù)采集與整合和大數(shù)據(jù)基礎(chǔ)設(shè)施的解決方案，同時，站在大數(shù)據(jù)行業(yè)的未來發(fā)展趨勢的判斷，企業(yè)知識引擎和客戶智能將實(shí)現(xiàn)客戶精確營銷。未來在對大數(shù)據(jù)的不斷探索研究下，大數(shù)據(jù)必將帶來更多價(jià)值。