大數(shù)據(jù)MPP產(chǎn)品測評研究

周潤松

為了對大數(shù)據(jù)產(chǎn)品做深入了解，我們選擇了其中一個(gè)模塊MPP的數(shù)據(jù)庫產(chǎn)品做了測試。

為何選擇MPP數(shù)據(jù)庫

MPP數(shù)據(jù)庫有什么好處呢？過去我們更多的是結(jié)構(gòu)化的數(shù)據(jù)，現(xiàn)在數(shù)據(jù)傳感設(shè)備采集成本越來越低，視頻、傳感器非結(jié)構(gòu)化數(shù)據(jù)越來越多，通常又分為高密度數(shù)據(jù)和低密度數(shù)據(jù)，我們的傳感器持續(xù)采集，但大多時(shí)候沒有太大價(jià)值，只有在某些突變的時(shí)候會(huì)產(chǎn)生比較有價(jià)值的數(shù)據(jù)。對于傳統(tǒng)的高密度數(shù)據(jù)，我們以前是用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫來管理，現(xiàn)在隨著數(shù)據(jù)容量的增大，到了TB級和PB級的話，傳統(tǒng)數(shù)據(jù)庫不一定能應(yīng)付。

MPP數(shù)據(jù)庫產(chǎn)品有哪些特色？他能做到大運(yùn)維處理，他是一種Shared Nothing Cluster方式，存儲使用統(tǒng)一存儲，我們把這些信息存儲在不同的主機(jī)節(jié)點(diǎn)上?，F(xiàn)在我們看到大的MPP的部署模式，可以支撐到數(shù)百臺的節(jié)點(diǎn)規(guī)模，同時(shí)他能夠支持到TB或者PB的處理，他的處理手段保證了我們系統(tǒng)的可擴(kuò)展性和可用性，還有對于ACID的要求，MPP也做相應(yīng)的支持。

指標(biāo)體系的研究

我們的測試和研究得到國內(nèi)很多廠商的支持，對于MPP測試指標(biāo)，我們聯(lián)合了華為、武漢達(dá)夢、人大金倉、神州通用、南大通用五家企業(yè)，做了大量工作。我們的測試主要關(guān)注功能性指標(biāo)，包括安全性、兼容性、容錯(cuò)性、可擴(kuò)展性、效率。

我們在傳統(tǒng)上會(huì)把數(shù)據(jù)處理分析分成兩個(gè)類型，一種是OLTP面向事務(wù)處理；另一種是OLAP連接事務(wù)分析。在TPC國際標(biāo)準(zhǔn)組織發(fā)布一系列的基準(zhǔn)測試模型或者標(biāo)準(zhǔn)，大家經(jīng)常會(huì)聽到TPC-C，-E、-H，-C，-E是事務(wù)性，-H是數(shù)據(jù)庫OLAP的業(yè)務(wù)，大量的統(tǒng)計(jì)分析或者實(shí)時(shí)查詢的內(nèi)容。TPC推出了-DS和-DI的標(biāo)準(zhǔn)，我們對-C、-E、-H做測試。后續(xù)對多數(shù)據(jù)融合業(yè)務(wù)類型會(huì)采用TPC-DI的標(biāo)準(zhǔn)做檢測，TPC-DS的模型模擬了大型的企業(yè)系統(tǒng)，它的商店銷售或者庫存等相應(yīng)的一些業(yè)務(wù)系統(tǒng)，有14個(gè)維度表，這樣組成了一個(gè)相應(yīng)的數(shù)據(jù)庫模型。

我們的測試有一個(gè)很重要原則，能夠模擬到實(shí)際的應(yīng)用系統(tǒng)，人們經(jīng)常會(huì)問我們測出來一個(gè)數(shù)據(jù)，到底對我們現(xiàn)行的行業(yè)業(yè)務(wù)系統(tǒng)有多大參考價(jià)值？這就是業(yè)務(wù)模型存在的重要性，通過TPC-DS對MPP的數(shù)據(jù)庫或者對數(shù)據(jù)查詢系統(tǒng)做相應(yīng)的性能測試評價(jià)。

相對于傳統(tǒng)的TPC-H有很多拓展，真正模擬大型的商業(yè)系統(tǒng)，其中有很多查詢的業(yè)務(wù)類型，我們提到傳統(tǒng)的分析報(bào)告類型，或者迭代的OLAP型查詢，相對TPC+DS更加增強(qiáng)高性能的支持，對標(biāo)準(zhǔn)規(guī)范也有相應(yīng)的支持，在表的容量和SQL語句進(jìn)行增長，更加公正反映出真實(shí)的使用情況。

這個(gè)測試，前面提到的幾家企業(yè)都參與了三個(gè)輪次智能規(guī)范的編審。在安全性測試方面，有三個(gè)主要部分：身份鑒別、訪問控制、安全審計(jì)。身份鑒別里，數(shù)據(jù)庫基本上支持傳統(tǒng)的身份標(biāo)識，有對口令的要求，對登錄次數(shù)沒有限制，在安全上有考慮，你重復(fù)用三次不允許你用一個(gè)號或者一定時(shí)間。有相應(yīng)的角色劃分和權(quán)限控制。

可以看到，基本上數(shù)據(jù)庫是支持訪問控制的，部分廠商在用戶權(quán)限和授權(quán)方面是通過授權(quán)方式實(shí)現(xiàn)的，另外隔離沒有超出用戶的限制。

安全審計(jì)方面也是一樣，對于一個(gè)數(shù)據(jù)庫，他的訪問日志從安全角度來說是比較重要的，從訪問日志里會(huì)詳細(xì)記錄某一個(gè)人對一個(gè)系統(tǒng)做了怎樣的操作和變更。

兼容性方面，我們也做了很多探索。以符合我國推進(jìn)安全可靠、自主可控的方式。目前硬件兼容方面，兼容龍芯CPU、飛騰CUP、軟件兼容方面，兼容中標(biāo)麒麟操作系統(tǒng)、中科方德操作系統(tǒng)、普華操作系統(tǒng)等，

在容錯(cuò)性方面，我們的節(jié)點(diǎn)恢復(fù)時(shí)效也是作為重點(diǎn)考量測定的，實(shí)際我們的節(jié)點(diǎn)能夠自動(dòng)切換過來，有些廠商能做到主節(jié)點(diǎn)回來以后能再次切換回來備份。

擴(kuò)展性相對來說是非常重要的環(huán)節(jié)，在這個(gè)系統(tǒng)里，可以動(dòng)態(tài)添加一個(gè)節(jié)點(diǎn)或者刪除一個(gè)節(jié)點(diǎn)，刪除的節(jié)點(diǎn)對我們的意義不是很重要，添加節(jié)點(diǎn)時(shí)有些廠商需要手動(dòng)將數(shù)據(jù)重新做一次分配，對數(shù)據(jù)部分廠商能知道做到增量的數(shù)據(jù)平均分布，這是我們的指標(biāo)測試。

數(shù)據(jù)庫測試結(jié)果

國產(chǎn)MPP數(shù)據(jù)庫安全性層面上還需加強(qiáng)，可參照GB/T20273-2006《數(shù)據(jù)庫管理系統(tǒng)安全基本要求》

國產(chǎn)MPP數(shù)據(jù)庫對國產(chǎn)主流芯片和操作系統(tǒng)兼容，產(chǎn)品本身具有自主知識產(chǎn)權(quán)，為大數(shù)據(jù)基礎(chǔ)軟件的安全可控奠定基礎(chǔ)

國產(chǎn)MPP數(shù)據(jù)庫在大規(guī)模數(shù)據(jù)倉庫、集市、分析決策系統(tǒng)中已投入使用，效益良好

國產(chǎn)MPP數(shù)據(jù)庫是大數(shù)據(jù)系統(tǒng)混合模式（關(guān)系數(shù)據(jù)庫、數(shù)據(jù)倉庫和新型大數(shù)據(jù)技術(shù)）下優(yōu)選策略

國產(chǎn)MPP數(shù)據(jù)庫在性能表現(xiàn)上還有進(jìn)一步優(yōu)化的空間

未來，仍希望繼續(xù)推動(dòng)行業(yè)的應(yīng)用基準(zhǔn)的測試，且測試更加貼近行業(yè)應(yīng)用，具體來看，可能在這幾方面：

行業(yè)大數(shù)據(jù)應(yīng)用基準(zhǔn)測試模型研究

大數(shù)據(jù)平臺類產(chǎn)品比對測評

服務(wù)于行業(yè)用戶第三方產(chǎn)品與原型系統(tǒng)選型測試

大數(shù)據(jù)分析算法驗(yàn)證測試

大數(shù)據(jù)可視化驗(yàn)證測評

大數(shù)據(jù)行業(yè)示范應(yīng)用系統(tǒng)測評

大數(shù)據(jù)系統(tǒng)安全測評（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）