計(jì)算機(jī)分布式存儲算法設(shè)計(jì)

文/喻永生

1　引言

為了簡化用戶端的使用，我們可以通過分布式緩存系統(tǒng)來提供對此分布式存儲系統(tǒng)的訪問接口以及本地?cái)?shù)據(jù)緩沖以降低網(wǎng)絡(luò)壓力。建設(shè)計(jì)算機(jī)分布式存儲系統(tǒng)應(yīng)該與國家相關(guān)部門的規(guī)定、要求相契合。通過與上級應(yīng)急指揮調(diào)度的響應(yīng)，立足實(shí)戰(zhàn)應(yīng)用，使指揮效能提升、指揮手段完善，在輔助指揮環(huán)節(jié)當(dāng)中最大限度地發(fā)揮系統(tǒng)功能功效。計(jì)算機(jī)分布式存儲系統(tǒng)應(yīng)該將現(xiàn)階段所具備的系統(tǒng)資源最大限度的整合，使得網(wǎng)絡(luò)與通信設(shè)備最大限度利用起來，將信息數(shù)據(jù)予以有效共享，樹立實(shí)用與經(jīng)濟(jì)理念，預(yù)防出現(xiàn)重復(fù)建設(shè)。

2　分布式存儲算法分析

分布式存儲系統(tǒng)，是將數(shù)據(jù)分散存儲在多臺獨(dú)立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù)，存儲服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿足大規(guī)模存儲應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。分布式存儲中心是基于計(jì)算機(jī)網(wǎng)絡(luò)數(shù)據(jù)共享的基礎(chǔ)上，利用大數(shù)據(jù)搭建通信數(shù)據(jù)中心以實(shí)現(xiàn)數(shù)據(jù)資源的采編、審核、清洗、分析、挖掘的等一系列的功能，為業(yè)務(wù)系統(tǒng)和信息服務(wù)提供深入、全面的數(shù)據(jù)基礎(chǔ)，并提供相應(yīng)數(shù)據(jù)接口。數(shù)據(jù)中心的主要功能有數(shù)據(jù)交換與共享、數(shù)據(jù)存儲，數(shù)據(jù)處理三大部分。實(shí)現(xiàn)對采集到的各種信息進(jìn)行分類和存儲等功能，能夠按照數(shù)據(jù)來源、數(shù)據(jù)類別、數(shù)據(jù)時(shí)間等多種維度進(jìn)行管理，且具備統(tǒng)計(jì)分析、監(jiān)控、報(bào)表制作等功能。在數(shù)據(jù)的存儲上要求能夠存儲和管理結(jié)構(gòu)化數(shù)據(jù)，也能夠存儲和管理非結(jié)構(gòu)化數(shù)據(jù)。能夠應(yīng)對大數(shù)據(jù)量、多數(shù)據(jù)類型的情況。

3　計(jì)算機(jī)分布式存儲體系的構(gòu)建

3.1　數(shù)據(jù)管理

在大數(shù)據(jù)環(huán)境下，數(shù)據(jù)規(guī)模和復(fù)雜度的增加往往非常迅速，對系統(tǒng)的擴(kuò)展性能要求較高。實(shí)現(xiàn)存儲系統(tǒng)的高可擴(kuò)展性首先要解決兩個(gè)方面的重要問題，包含元數(shù)據(jù)的分配和數(shù)據(jù)的透明遷移。因此數(shù)據(jù)中心配備包括支撐以上功能的硬件基礎(chǔ)設(shè)施、大型外部設(shè)備、數(shù)據(jù)庫管理商用軟件、數(shù)據(jù)處理專業(yè)商用軟件、數(shù)據(jù)管理應(yīng)用軟件、數(shù)據(jù)服務(wù)應(yīng)用軟件、數(shù)據(jù)交換系統(tǒng)，以及相應(yīng)的專業(yè)人員。 數(shù)據(jù)中心硬件配置一般包括：服務(wù)器（業(yè)務(wù)應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、交換服務(wù)器）；存儲系統(tǒng)（SAN光纖交換機(jī)、磁盤陣列、NAS文件存貯）；交換機(jī)（核心交換機(jī)、服務(wù)器群子網(wǎng)交換機(jī)、部門接入子網(wǎng)交換機(jī)）；大型外設(shè)；全冗余的硬件設(shè)備及鏈路。 數(shù)據(jù)中心軟件配置包括：網(wǎng)管軟件；應(yīng)用服務(wù)器軟件；數(shù)據(jù)庫管理系統(tǒng)；GIS軟件；數(shù)據(jù)備份軟件；目錄服務(wù)及元數(shù)據(jù)發(fā)布軟件；LDAP服務(wù)器；安全管理軟件；消息中間件；云虛擬機(jī)管理軟件等。整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)可以建立在云計(jì)算平臺之上，所有的應(yīng)用系統(tǒng)服務(wù)器均由虛擬化服務(wù)器提供，這樣的好處在于可以按需配置服務(wù)器資源，保障服務(wù)器資源的充分利用和靈活調(diào)度。

3.2　通信監(jiān)控

現(xiàn)代計(jì)算機(jī)分布式存儲系統(tǒng)應(yīng)當(dāng)可以實(shí)現(xiàn)以下功能，探測功能主要指的是系統(tǒng)可以對發(fā)生異常信號的地區(qū)能夠準(zhǔn)確快速的進(jìn)行探測，主要有又可以分為危險(xiǎn)行為的探測和目標(biāo)識別探測，它們所應(yīng)用的區(qū)域是不一樣的，危險(xiǎn)行為探測主要是進(jìn)行危險(xiǎn)報(bào)警，而目標(biāo)識別主要是用于安檢。響應(yīng)主要是指通信系統(tǒng)對檢測到的信號能夠有所反應(yīng)，主要包括報(bào)警信號以及系統(tǒng)的自動記錄與控制等。通信系統(tǒng)的管理功能主要實(shí)現(xiàn)日常操作的智能化管理，能夠?qū)τ谝恍┏绦蛄鞒?，進(jìn)行自動化的施行。通信系統(tǒng)的信息存儲主要包括探測信息、管理信息以及系統(tǒng)日志的存儲三大方面。

3.3　數(shù)據(jù)存儲

數(shù)據(jù)中心由兩臺高性能計(jì)算機(jī)作為數(shù)據(jù)庫載體，配以大容量的磁盤陣列和磁帶機(jī)，系統(tǒng)通過光纖存儲交換機(jī)相連，采用雙鏈路備份的方式，保證數(shù)據(jù)庫的可用性與可靠性。系統(tǒng)涉及到整合其他業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，其他寫數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)庫可能有Oracle或者SQLServer等結(jié)構(gòu)化數(shù)據(jù)庫，也有NoSQL類型的數(shù)據(jù)庫，或者分布式數(shù)據(jù)庫，同時(shí)考慮到與政務(wù)大數(shù)據(jù)平臺相結(jié)合，因此，本方案設(shè)計(jì)系統(tǒng)把采集過來的數(shù)據(jù)存儲在由Hadoop搭建的分布式存儲系統(tǒng)上，通過HBase進(jìn)行結(jié)構(gòu)化數(shù)據(jù)存儲，通過逐步建立分布式數(shù)據(jù)分析模型，不斷的豐富系統(tǒng)提供的服務(wù)。

3.4　數(shù)據(jù)共享

MapReduce是由Google提供的建立在HDFS之上的一個(gè)并行計(jì)算框架；我們需要通過MapReduce框架設(shè)計(jì)對共享數(shù)據(jù)的檢索與分析，為各種業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)。HBase是一個(gè)類似于Google BigTable的分布式NoSQL列數(shù)據(jù)庫；Hive是由Facebook貢獻(xiàn)的一個(gè)數(shù)據(jù)倉庫工具提供類SQL查詢方法，使得上層數(shù)據(jù)應(yīng)用程序可以通過關(guān)系型數(shù)據(jù)庫訪問的方式查詢分布式文件系統(tǒng)中的數(shù)據(jù)；Zookeeper是由Facebook提供的一個(gè)分布式鎖設(shè)施，在整個(gè)平臺中起到協(xié)調(diào)各種操作的作用。Pig是一個(gè)大數(shù)據(jù)分析平臺，為用戶提供多種接口，在系統(tǒng)中主要通過其方便的腳本編程接口為上層數(shù)據(jù)應(yīng)用程序提供服務(wù)。

4　總結(jié)

計(jì)算機(jī)分布式存儲系統(tǒng)在設(shè)計(jì)過程當(dāng)中必須確保擁有相應(yīng)的前瞻性，借助成熟、先進(jìn)設(shè)計(jì)理念，在保證性價(jià)比高的前提下，選取可靠成熟的技術(shù)方法與中高端設(shè)備，使開發(fā)出來的計(jì)算機(jī)分布式存儲系統(tǒng)科技含量在整個(gè)計(jì)算機(jī)分布式存儲系統(tǒng)行業(yè)中處于先進(jìn)位置，處于合理性價(jià)比條件處于國內(nèi)領(lǐng)先地位。