高性能計算系統(tǒng)在大數(shù)據(jù)分析中的應(yīng)用探究

姜斌

（海軍潛艇學(xué)院，山東 青島 266000）

0 引言

近年來，數(shù)據(jù)密集型和處理密集型的工作開始頻繁出現(xiàn)并且發(fā)展速度較快。專家們就如何將上述工作更加快速有效的完成展開了研究并得到了有效的研究成果[1]。高性能計算系統(tǒng)（HPC，High Performance Computing）可以有效的解決該類應(yīng)用程序的系列問題。隨著大數(shù)據(jù)內(nèi)容的增多，其復(fù)雜性也在不斷的變高，為了得到有效的大數(shù)據(jù)分析結(jié)果，應(yīng)當(dāng)通過良好的設(shè)施及平臺來完成[2]。在大數(shù)據(jù)時代中，高性能計算的發(fā)揮，可以有效滿足大數(shù)據(jù)有關(guān)于存儲、索引、處理、分析及挖掘的各類要求。

1 HPC的概念

計算在數(shù)學(xué)中的概念是一種行為，通過已知量的可能組合，得到新的量，也就是集合之間的映射。而HPC的概念就是作為單個極其的一部分，使用很多處理器或集群中組織的多臺計算機的計算系統(tǒng)和環(huán)境。簡單來說就是多臺服務(wù)器來完成技術(shù)工作的負載，至于究竟需要多少臺服務(wù)器并不重要。在性能較高的環(huán)境中，網(wǎng)絡(luò)系統(tǒng)和主題之間的潛伏期較短，所以能夠有效改變網(wǎng)絡(luò)的性能及傳輸速度[3]。

2 大數(shù)據(jù)的概念

在現(xiàn)實世界中，很多事物都可以通過建立模型等方式轉(zhuǎn)變成詳細的計算機語言，這些無數(shù)的信息數(shù)據(jù)有著明顯的區(qū)別。而大數(shù)據(jù)有著規(guī)模性、變化性、真實性。在大數(shù)據(jù)中，利用先進的計算機技術(shù)能夠很好的大數(shù)據(jù)的要求給予滿足。

3 在大數(shù)據(jù)分析中的HPC

大數(shù)據(jù)具有多樣性，其規(guī)模性、變化性、真實性等給高性能計算帶來不小的挑戰(zhàn)。大數(shù)據(jù)對于一些基礎(chǔ)設(shè)施要求較高，例如為了得到高性能計算，采取集中及分布的方式用來保證高性能及高吞吐量的方法，對稱多處理和大規(guī)模多處理解決方案較多；例如實現(xiàn)高性能辦法，共享內(nèi)存、磁盤和無共享等；集群計算，即集群的建構(gòu)、監(jiān)管、度量、管理、維護等。這些無疑推動了HPC，使集群獲得了空前的成功并歸功于簡單的架構(gòu)，通過傳統(tǒng)的方式商用服務(wù)器把互聯(lián)網(wǎng)有效的進行了連接。

4 高性能計算系統(tǒng)在大數(shù)據(jù)分析中的運用

4.1 數(shù)據(jù)倉庫設(shè)備分析

伴隨著數(shù)據(jù)源和數(shù)據(jù)量的增加，傳統(tǒng)計算機系統(tǒng)平臺和設(shè)施在應(yīng)對方面都顯示出了明顯的吃力感，傳統(tǒng)處理方式也無法應(yīng)對大數(shù)據(jù)的需求。可以說傳統(tǒng)IT的環(huán)境痛點就在于數(shù)據(jù)的存儲、管理以及處理。使用原有的系統(tǒng)來處理數(shù)據(jù)信息，不但耗時，而且還需要花費大量的技術(shù)資源解決需求。但如果在架構(gòu)上把數(shù)據(jù)庫、服務(wù)器、存儲繼承為一個專門用來管理的系統(tǒng)并把數(shù)據(jù)移動降到最低，就能有效的快速提升分析數(shù)據(jù)、建模、數(shù)據(jù)評分的效率。通過當(dāng)前最前沿的創(chuàng)新分析技術(shù)，能夠給大規(guī)模的數(shù)據(jù)提供較好的性能。集硬件、軟件和存儲為一體的設(shè)備，可以有效的節(jié)約規(guī)劃時間，降低在商業(yè)分析中被無意義消耗的時間。

4.2 In-database 處理

與應(yīng)用程序服務(wù)器或其他的一些桌面程序不同，Indatabase 處理是專門用來分析一些數(shù)據(jù)庫管理系統(tǒng)功能的，可以有效的提升企業(yè)分析性能、數(shù)據(jù)管理型和可拓展性。很多數(shù)據(jù)因為其中的數(shù)據(jù)量相對較大，又從網(wǎng)絡(luò)中重復(fù)復(fù)制過，所以數(shù)據(jù)與實際相差較大。利用In-database技術(shù)能夠?qū)υ摂?shù)據(jù)庫平臺進行有力分析，該類平臺存在的本身目的就是為了高效數(shù)據(jù)訪問而設(shè)計，所以再遇到海量數(shù)據(jù)時也可以輕松應(yīng)對。利用MPP的架構(gòu)能夠拓展并分析計算性能，在短時間內(nèi)大幅度加快分析計算的時間，以便快速得到結(jié)果[4]。

4.3 高性能存儲設(shè)備

在現(xiàn)代社會中，營運中的企業(yè)每隔兩年數(shù)據(jù)庫中的存儲量就會翻倍，而這些數(shù)據(jù)所需要的能耗比數(shù)據(jù)中心的電能消耗還超出40%，所以對于企業(yè)來說，擁有一個規(guī)模較大又具備擴展性和智能性的存儲解決方案至關(guān)重要[5]。這樣的方案還需要方便管理，效率高且能為企業(yè)創(chuàng)造較多的收益等。由于很多大小規(guī)模不同的企業(yè)在面對大數(shù)據(jù)時都較為艱難，所以有無數(shù)人在大數(shù)據(jù)的浪潮中一直在維持著生產(chǎn)力和競爭力，但結(jié)果卻只是越陷越深。擁有一個擁有必要性能并且能夠?qū)崿F(xiàn)擴展的文件系統(tǒng)是當(dāng)前企業(yè)所需要的。HDFS系統(tǒng)可以有效的實現(xiàn)并拓展數(shù)據(jù)，幫助集群提供了巨大的空間。其中還包含了直連存儲模式，能夠有效的減少隨機讀取時產(chǎn)生的延遲問題，但其拓展性和性能方面相對來說局限性較大，這是因為其本身采用的空間服務(wù)器較為單一[6]。文件系統(tǒng)本身的機制時存儲、組織、提取以及更新數(shù)據(jù)。當(dāng)系統(tǒng)出現(xiàn)問題需要解決時就會給企業(yè)帶來另外的額外負擔(dān)，這就需要提供一定的技術(shù)資源。時間和經(jīng)濟投入等。很多工作組比較喜愛選擇網(wǎng)絡(luò)附屬存儲，這是因為簡單的性和可以利用以太網(wǎng)是關(guān)鍵需求。但很多網(wǎng)絡(luò)附屬存儲的解決方案并不能實現(xiàn)擴展，也無法滿足大數(shù)據(jù)及數(shù)據(jù)密集型時運用的程序需求。所以還需要另外的方案來應(yīng)對大數(shù)據(jù)存在的問題。

4.4 高性能計算的大型機

大型機系統(tǒng)的基本架構(gòu)多為特殊設(shè)備的預(yù)制網(wǎng)絡(luò)，這些特殊設(shè)備都會被統(tǒng)一進行管理，用來為大數(shù)據(jù)分析工作并負荷其所需的性能及可拓展性。很多大型機比分布式系統(tǒng)相對來說更為可靠，這是因為他們經(jīng)過了幾十年的發(fā)展已經(jīng)逐漸完善，慢慢成為了很多人用于工作負載的理想平臺[7]。大型機的系統(tǒng)擁有將硬件資源虛擬化的功能。從硬件角度來說，大型機并不能算是計算機，它更像是計算機的各類組件形成的網(wǎng)絡(luò)，其中涵蓋了可以主存的重要處理器、用來管理網(wǎng)絡(luò)及外圍設(shè)備的通道。在操作系統(tǒng)時大多使用符號名稱，這也讓用戶能夠通過更加動態(tài)的方式對虛擬機和磁盤卷進行重新部署。這樣就可以把一些常見的硬件資源放在不同的項目中，許多不同的系統(tǒng)進行混合，也讓共享使用變得更加簡單。

5 高性能存儲基礎(chǔ)設(shè)施

在HPC的存儲系統(tǒng)中有很多不足，導(dǎo)致系統(tǒng)在應(yīng)用于高性能計算架構(gòu)時出現(xiàn)無法滿足需求的情況。這其中的主要缺陷分別來自于配置及調(diào)優(yōu)過程的有限自動化，缺乏對管理軟件的關(guān)注。當(dāng)機構(gòu)的規(guī)模開始增加之后，問題就變得更加復(fù)雜。配置的管理、維護、集成等任務(wù)都變得非常艱巨，想要解決這些問題就需要不斷的增加成本。為了更好的解決這些問題，應(yīng)當(dāng)采取專業(yè)的存儲基礎(chǔ)設(shè)施用來完成高性能計算應(yīng)用的各類需求。通過一些傳統(tǒng)存儲基礎(chǔ)的設(shè)施也可以用來更來當(dāng)前的HPC存儲，目前有以下幾種主要的存儲模式。

①直連式存儲：在早期階段，存儲區(qū)通常被設(shè)置成客戶端或服務(wù)器的系統(tǒng)，通過總線的互聯(lián)介質(zhì)方式將其從其中一組連接到另外一組并進行存儲。有時客戶系統(tǒng)還可以直接與同存儲的設(shè)備進行通信。這類型的設(shè)備通信被稱為直連式存儲；②網(wǎng)絡(luò)附屬：網(wǎng)絡(luò)附屬就是將存儲設(shè)備與服務(wù)器進行共享，保存文件的專用功能，該類文件經(jīng)過連接后可以訪問不同類型的客戶端及服務(wù)器，也就是說，網(wǎng)絡(luò)附屬存儲的方式可以共享文件服務(wù)器。由于其存儲開銷非常小，所以很適合用來做文件共享。但由于其文件共享的性能原因，可能會出現(xiàn)某一數(shù)據(jù)被同時進行點擊，導(dǎo)致性能出現(xiàn)瓶頸；③云存儲：云計算的方式給存儲信息和運行程序都帶來了較大的幫助和變化，不再是過去單個的臺式機或筆記本電腦來運行保存，而是都通過“云保存”的方式來存儲。

6 結(jié)語

綜上所述，本文就大數(shù)據(jù)分析中的高性能技術(shù)及計算進行了淺顯的分析，隨著大數(shù)據(jù)時代的到來，過去傳統(tǒng)的數(shù)據(jù)提取方式、處理方式以及技術(shù)分析方式都受到了很多的限制，有些是因為沒有并行能力，但更多的還是因為沒有容錯能力，通過融合的方式對一些基礎(chǔ)設(shè)施和多功能平臺進行彈性的使用才是用來應(yīng)對數(shù)據(jù)的最好辦法。