TD數(shù)據(jù)倉庫的海量存儲

顏廷熙

摘 要 TD （Teradata Data Warehouse Appliance） 廣泛適用于新采用數(shù)據(jù)倉庫或想要補(bǔ)充現(xiàn)有企業(yè)級數(shù)據(jù)倉庫的公司。該平臺可用作整合數(shù)據(jù)倉庫、周期性數(shù)據(jù)集市、災(zāi)難恢復(fù)或應(yīng)用程序?qū)嵤┯?EDW 中前的測試分析沙箱。是數(shù)據(jù)倉庫一體機(jī) ，能對數(shù)據(jù)倉庫的海量和長期存儲，并增加您的數(shù)據(jù)和分析功能。

關(guān)鍵詞 數(shù)據(jù)倉庫 海量存儲 數(shù)據(jù)恢復(fù)

TD數(shù)據(jù)倉庫是集成、細(xì)致和豐富的數(shù)據(jù)的一個集中的和歷史的存儲庫，為多個集團(tuán)的多決策應(yīng)用程序提供支持并且是企業(yè)數(shù)據(jù)分析的單一來源。

TD（Teradata）數(shù)據(jù)結(jié)構(gòu)-邏輯結(jié)構(gòu)：

1 TD優(yōu)勢說明

以城市軌道交通6條線路為例；提供軌道交通數(shù)據(jù)源的多元異構(gòu)數(shù)據(jù)及衍生數(shù)據(jù)的海量存儲和長期存儲。

數(shù)據(jù)采集平臺系統(tǒng)（DAP）：按每年300G；清分系統(tǒng)（ACC）：每天15M，按后期增加票種票價(jià)計(jì)算，每天約30M，合計(jì)每年20G；線網(wǎng)運(yùn)維管理系統(tǒng)（OMC）：按每年20G；應(yīng)急指揮中心系統(tǒng)（ETC）：按每年20G， 則上述數(shù)據(jù)總計(jì)：DAP+ACC+OMC+ETC=300*6+20+20*6+20*6=2060G，約3T。按100T容量計(jì)量，預(yù)留TD數(shù)據(jù)空間預(yù)留20T，則可以存儲約25年。

在實(shí)際建設(shè)使用過程中，還可以采用數(shù)據(jù)壓縮手段進(jìn)一步提高數(shù)據(jù)容量。數(shù)據(jù)壓縮的將采用MVC（多值壓縮）、ALC（算法壓縮）、BLC（塊壓縮）三種不同手段，根據(jù)不同數(shù)據(jù)情況采用適用的方式進(jìn)行壓縮處理。

ALC（算法壓縮）：允許用戶自MVC（多值壓縮）：對于大表中經(jīng)常出現(xiàn)重復(fù)值的字段，通過在table header存儲字段值，在記錄行中僅存儲標(biāo)識符的方式進(jìn)行數(shù)據(jù)壓縮；

定義壓縮和解壓縮算法，或使用Teradata標(biāo)準(zhǔn)函數(shù)來支持?jǐn)?shù)據(jù)壓縮；算法壓縮必須以UDF的方式預(yù)先定義，并且在建表語句中詳細(xì)說明；

BLC（塊壓縮）：BLC塊壓縮是指對于此表的整個磁盤數(shù)據(jù)塊進(jìn)行壓縮，以減少數(shù)據(jù)存儲空間。

2效率高

采用 MPP（Massively Parallel Processing，大規(guī)模并行數(shù)據(jù)處理系統(tǒng)）架構(gòu)設(shè)計(jì)，構(gòu)建類似“動車組”的一體機(jī)數(shù)據(jù)處理系統(tǒng)，中心包括12個一體機(jī)單元，各一體機(jī)單元并行處理，集中調(diào)度管理。

每個一體機(jī)單元能夠支持120個會話并行處理。每個會話能夠并行處理80個線程。

實(shí)例：使用刀片70萬數(shù)據(jù)匹配出行數(shù)據(jù)、約120分鐘；TD約10分鐘。

Teradata數(shù)據(jù)庫可實(shí)現(xiàn)負(fù)載均衡和負(fù)載優(yōu)先級的管理。通過系統(tǒng)信息能夠偵測報(bào)表和查詢在系統(tǒng)響應(yīng)時間上是否有提升，這些提升可以通過Teradata負(fù)載管理以及負(fù)載限制來實(shí)現(xiàn)。負(fù)載管理的原則是為需求資源較少的負(fù)載分配較多的資源，使其能迅速結(jié)束，從而很快釋放出資源。

同時根據(jù)TEADATA虛擬存儲技術(shù)從數(shù)據(jù)“溫度”這一視角來自動、智能地進(jìn)行數(shù)據(jù)放置管理的數(shù)據(jù)庫管理軟件。這一內(nèi)置的智能可以在不干擾用戶或管理員的前提下自動將使用最頻繁的數(shù)據(jù)或者叫“熱”數(shù)據(jù)放到速度最快的存儲單元并將使用頻率最低的數(shù)據(jù)或者叫“冷”數(shù)據(jù) 放到速度最慢的存儲單元。數(shù)據(jù)的合理放置可支持熱數(shù)據(jù)的高性能訪問從而助力實(shí)時決策，同時在數(shù)據(jù)漸漸成為歷史或日益變“冷”并遷移到成本較低的磁盤時提供自動化的生命周期管理流程。這樣客戶就能以較低的成本實(shí)現(xiàn)存儲容量最大化，并獲得更高的性能。

3可靠性高

（1）能夠提供存儲數(shù)據(jù)的安全保護(hù)功能：Teradata用到的有RAID1和RAID5技術(shù)。

（2）Disk Arrays -磁盤陣列，Teradata用到的有RAID1和RAID5技術(shù)。

RAID1的特點(diǎn)：數(shù)據(jù)鏡像，提供最好的數(shù)據(jù)可用性和性能，但是空間損失很高；

優(yōu)點(diǎn)：數(shù)據(jù)可用性最高，更高的讀能力，寫操作沒有性能損失，快速恢復(fù)能力；

缺點(diǎn)：50%的空間損失。

（1）Clique - node 級的容錯機(jī)制，通過Vproc Migration技術(shù)，當(dāng)一個TPA節(jié)點(diǎn)失敗時，Teradata自動重啟然后原來運(yùn)行在失敗節(jié)點(diǎn)上的Vproc漂移到clique內(nèi)的其它節(jié)點(diǎn)上運(yùn)行。

（2）Locks -保證數(shù)據(jù)一致性，防止多個用戶同時修改相同的數(shù)據(jù)。

（3）Fallback - AMP級的容錯機(jī)制，可以在數(shù)據(jù)庫級和表級定義。當(dāng)一個AMP因?yàn)橛布蜍浖脑虻艟€的時候，使用Fallback機(jī)制的表對用戶都是可用的，當(dāng)此AMP被修正并重新上線時，關(guān)聯(lián)的Vdisk上的數(shù)據(jù)根據(jù)Down-AMP Recovery Journal自動恢復(fù)。

參考文獻(xiàn)

[1] 李偉章，徐幼銘，林瑜筠等.城市軌道交通通信[M].北京：中國鐵道出版社，2008.

[2] 曾小旭，劉慶磊.地鐵網(wǎng)絡(luò)化運(yùn)營集中式控制中心架構(gòu)方案研究[J].城市軌道交通研究，2016（04）.