TD數(shù)據(jù)倉庫的海量存儲

顏廷熙

摘 要 TD （Teradata Data Warehouse Appliance） 廣泛適用于新采用數(shù)據(jù)倉庫或想要補充現(xiàn)有企業(yè)級數(shù)據(jù)倉庫的公司。該平臺可用作整合數(shù)據(jù)倉庫、周期性數(shù)據(jù)集市、災難恢復或應用程序?qū)嵤┯?EDW 中前的測試分析沙箱。是數(shù)據(jù)倉庫一體機 ，能對數(shù)據(jù)倉庫的海量和長期存儲，并增加您的數(shù)據(jù)和分析功能。

關(guān)鍵詞 數(shù)據(jù)倉庫 海量存儲 數(shù)據(jù)恢復

TD數(shù)據(jù)倉庫是集成、細致和豐富的數(shù)據(jù)的一個集中的和歷史的存儲庫，為多個集團的多決策應用程序提供支持并且是企業(yè)數(shù)據(jù)分析的單一來源。

TD（Teradata）數(shù)據(jù)結(jié)構(gòu)-邏輯結(jié)構(gòu)：

1 TD優(yōu)勢說明

以城市軌道交通6條線路為例；提供軌道交通數(shù)據(jù)源的多元異構(gòu)數(shù)據(jù)及衍生數(shù)據(jù)的海量存儲和長期存儲。

數(shù)據(jù)采集平臺系統(tǒng)（DAP）：按每年300G；清分系統(tǒng)（ACC）：每天15M，按后期增加票種票價計算，每天約30M，合計每年20G；線網(wǎng)運維管理系統(tǒng)（OMC）：按每年20G；應急指揮中心系統(tǒng)（ETC）：按每年20G， 則上述數(shù)據(jù)總計：DAP+ACC+OMC+ETC=300*6+20+20*6+20*6=2060G，約3T。按100T容量計量，預留TD數(shù)據(jù)空間預留20T，則可以存儲約25年。

在實際建設使用過程中，還可以采用數(shù)據(jù)壓縮手段進一步提高數(shù)據(jù)容量。數(shù)據(jù)壓縮的將采用MVC（多值壓縮）、ALC（算法壓縮）、BLC（塊壓縮）三種不同手段，根據(jù)不同數(shù)據(jù)情況采用適用的方式進行壓縮處理。

ALC（算法壓縮）：允許用戶自MVC（多值壓縮）：對于大表中經(jīng)常出現(xiàn)重復值的字段，通過在table header存儲字段值，在記錄行中僅存儲標識符的方式進行數(shù)據(jù)壓縮；

定義壓縮和解壓縮算法，或使用Teradata標準函數(shù)來支持數(shù)據(jù)壓縮；算法壓縮必須以UDF的方式預先定義，并且在建表語句中詳細說明；

BLC（塊壓縮）：BLC塊壓縮是指對于此表的整個磁盤數(shù)據(jù)塊進行壓縮，以減少數(shù)據(jù)存儲空間。

2效率高

采用 MPP（Massively Parallel Processing，大規(guī)模并行數(shù)據(jù)處理系統(tǒng)）架構(gòu)設計，構(gòu)建類似“動車組”的一體機數(shù)據(jù)處理系統(tǒng)，中心包括12個一體機單元，各一體機單元并行處理，集中調(diào)度管理。

每個一體機單元能夠支持120個會話并行處理。每個會話能夠并行處理80個線程。

實例：使用刀片70萬數(shù)據(jù)匹配出行數(shù)據(jù)、約120分鐘；TD約10分鐘。

Teradata數(shù)據(jù)庫可實現(xiàn)負載均衡和負載優(yōu)先級的管理。通過系統(tǒng)信息能夠偵測報表和查詢在系統(tǒng)響應時間上是否有提升，這些提升可以通過Teradata負載管理以及負載限制來實現(xiàn)。負載管理的原則是為需求資源較少的負載分配較多的資源，使其能迅速結(jié)束，從而很快釋放出資源。

同時根據(jù)TEADATA虛擬存儲技術(shù)從數(shù)據(jù)“溫度”這一視角來自動、智能地進行數(shù)據(jù)放置管理的數(shù)據(jù)庫管理軟件。這一內(nèi)置的智能可以在不干擾用戶或管理員的前提下自動將使用最頻繁的數(shù)據(jù)或者叫“熱”數(shù)據(jù)放到速度最快的存儲單元并將使用頻率最低的數(shù)據(jù)或者叫“冷”數(shù)據(jù) 放到速度最慢的存儲單元。數(shù)據(jù)的合理放置可支持熱數(shù)據(jù)的高性能訪問從而助力實時決策，同時在數(shù)據(jù)漸漸成為歷史或日益變“冷”并遷移到成本較低的磁盤時提供自動化的生命周期管理流程。這樣客戶就能以較低的成本實現(xiàn)存儲容量最大化，并獲得更高的性能。

3可靠性高

（1）能夠提供存儲數(shù)據(jù)的安全保護功能：Teradata用到的有RAID1和RAID5技術(shù)。

（2）Disk Arrays -磁盤陣列，Teradata用到的有RAID1和RAID5技術(shù)。

RAID1的特點：數(shù)據(jù)鏡像，提供最好的數(shù)據(jù)可用性和性能，但是空間損失很高；

優(yōu)點：數(shù)據(jù)可用性最高，更高的讀能力，寫操作沒有性能損失，快速恢復能力；

缺點：50%的空間損失。

（1）Clique - node 級的容錯機制，通過Vproc Migration技術(shù)，當一個TPA節(jié)點失敗時，Teradata自動重啟然后原來運行在失敗節(jié)點上的Vproc漂移到clique內(nèi)的其它節(jié)點上運行。

（2）Locks -保證數(shù)據(jù)一致性，防止多個用戶同時修改相同的數(shù)據(jù)。

（3）Fallback - AMP級的容錯機制，可以在數(shù)據(jù)庫級和表級定義。當一個AMP因為硬件或軟件的原因掉線的時候，使用Fallback機制的表對用戶都是可用的，當此AMP被修正并重新上線時，關(guān)聯(lián)的Vdisk上的數(shù)據(jù)根據(jù)Down-AMP Recovery Journal自動恢復。

參考文獻

[1] 李偉章，徐幼銘，林瑜筠等.城市軌道交通通信[M].北京：中國鐵道出版社，2008.

[2] 曾小旭，劉慶磊.地鐵網(wǎng)絡化運營集中式控制中心架構(gòu)方案研究[J].城市軌道交通研究，2016（04）.