云環(huán)境下大數(shù)據(jù)服務(wù)性能的測(cè)試與優(yōu)化研究

王 萌

(南京曉莊學(xué)院，江蘇 南京 211171)

0 引言

BDaaS主要是指運(yùn)用云環(huán)境向外提供大數(shù)據(jù)計(jì)算處理相關(guān)服務(wù)，用戶在處理大數(shù)據(jù)業(yè)務(wù)期間，只需要將注意力集中在大數(shù)據(jù)業(yè)務(wù)本身處理上即可，云環(huán)境自動(dòng)收集和整理計(jì)算集群、計(jì)算框架、算法模型等影響大數(shù)據(jù)計(jì)算過程的要素。一旦BDaaS性能不穩(wěn)定，會(huì)直接影響數(shù)據(jù)資源的有效利用，降低用戶的使用體驗(yàn)。因此，在云環(huán)境下，如何科學(xué)地測(cè)試和優(yōu)化大數(shù)據(jù)服務(wù)性能是技術(shù)人員必須思考和解決的問題。

1 相關(guān)技術(shù)研究

1.1 云計(jì)算

云計(jì)算作為一種常用的可用性模式，通過利用互聯(lián)網(wǎng)，按需付費(fèi)的方式，對(duì)服務(wù)器、存儲(chǔ)、服務(wù)等相關(guān)計(jì)算資源進(jìn)行有效獲取，這些資源通常被集中存儲(chǔ)于特定的資源共享池中，便于其他人員的查看和調(diào)用，這種數(shù)據(jù)獲取和調(diào)用方式具有省力、高效等特點(diǎn)，以部署模式為劃分原則，對(duì)云計(jì)算進(jìn)行劃分，使其被劃分為社區(qū)云、混合云、公有云和私有云。以服務(wù)模式為劃分標(biāo)準(zhǔn)，可以將云計(jì)算劃分為以下組成部分，分別是基礎(chǔ)設(shè)施(Iaas)、系統(tǒng)平臺(tái)(Paas)、應(yīng)用軟件(Saas)。

1.2 大數(shù)據(jù)計(jì)算框架

目前，比較常用的大數(shù)據(jù)計(jì)算框架主要包含Hadoop框架、Spark框架、Storm框架、GraphLab框架，這些框架主要是為了滿足大數(shù)據(jù)工作負(fù)載管控需求所形成的，這些框架在實(shí)際使用中，首先，要將集群構(gòu)建在指定的物理節(jié)點(diǎn)上，然后，根據(jù)物理結(jié)點(diǎn)的處理需求，選用合適的大數(shù)據(jù)計(jì)算框架，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的分析、篩選和處理，極大地提高了數(shù)據(jù)處理效率和效果 。

1.3 BDaaS

BDaaS是“大數(shù)據(jù)即服務(wù)”的簡(jiǎn)稱，云環(huán)境上的分析工具、大數(shù)據(jù)存儲(chǔ)等各種類型大數(shù)據(jù)功能都可以被看成是BDaaS。BDaaS主要是指在使用云環(huán)境和服務(wù)的基礎(chǔ)上，利用互聯(lián)網(wǎng)，獲得大數(shù)據(jù)處理過程所對(duì)應(yīng)的生命周期，然后，對(duì)外提供相關(guān)服務(wù)功能[1]。因此，BDaaS 具有過程完整性特點(diǎn)，主要包含以下3個(gè)要素，分別是數(shù)據(jù)源、處理框架、工作負(fù)載。

2 BDaaS資源管理與使用

對(duì)于大數(shù)據(jù)計(jì)算而言，當(dāng)其存儲(chǔ)環(huán)境從物理環(huán)境變?yōu)樵骗h(huán)境后，其資源管理與使用發(fā)生了極大的變化，對(duì)BDaaS性能產(chǎn)生極大的影響，這無疑增加了大數(shù)據(jù)計(jì)算框架構(gòu)建和處理的復(fù)雜性，為了解決這一問題，需要根據(jù)計(jì)算資源的隔離性、存儲(chǔ)資源的多樣性以及網(wǎng)絡(luò)資源的靈活性，利用資源管理接口，對(duì)BDaaS環(huán)境中資源進(jìn)行科學(xué)合理地管理和分析。首先，要利用平臺(tái)虛擬化技術(shù)，對(duì)資源進(jìn)行管理和隔離處理，從而提高計(jì)算資源管理效率和效果。其次，要利用Openstack框架，對(duì)多種存儲(chǔ)資源進(jìn)行收集和整理，并盡可能突出存儲(chǔ)設(shè)備的虛擬化特點(diǎn)，確保用戶能夠享受到更加優(yōu)質(zhì)的數(shù)據(jù)存儲(chǔ)服務(wù)體驗(yàn)。最后，對(duì)資源的管理和使用進(jìn)行封裝處理，并融入多種BDaaS性能提升策略，向外提供相應(yīng)的數(shù)據(jù)使用接口，提高重要數(shù)據(jù)的利用率。

3 BDaaS on Openstack優(yōu)化方案設(shè)計(jì)與實(shí)現(xiàn)

本文將Openstack設(shè)置為云環(huán)境，將Openstack Sahara設(shè)置為BDaaS 最終解決方案，然后，根據(jù)影響B(tài)DaaS性能因素，設(shè)計(jì)出多個(gè)優(yōu)化方案，該方案主要涉及了以下3個(gè)部分，分別是塊設(shè)備以及Sahara接口優(yōu)化、虛擬化性能瓶頸解決、數(shù)據(jù)源使用策略，通過將這些優(yōu)化方案的思想科學(xué)、合理地應(yīng)用于其他BdaaS解決方案中，可以進(jìn)一步提高BDaaS性能，從而提高用戶的使用體驗(yàn)[2]。

3.1 基于云環(huán)境下塊設(shè)備以及Sahara接口的解決方案

現(xiàn)階段，利用Openstack Sahara方案對(duì)虛擬集群進(jìn)行構(gòu)建期間，所用到的塊設(shè)備管理接口過于簡(jiǎn)單，不能用于比較復(fù)雜的應(yīng)用場(chǎng)景中，同時(shí)，在實(shí)際測(cè)試中，發(fā)現(xiàn)BDaaS內(nèi)塊設(shè)備出現(xiàn)若干個(gè)影響B(tài)DaaS性能的因素，所以，技術(shù)人員要做好對(duì)這些接口的全面優(yōu)化和完善。

對(duì)于Openstack Sahara而言，其內(nèi)部含有塊設(shè)備，塊設(shè)備主要利用數(shù)據(jù)結(jié)構(gòu)，相關(guān)定義的配置，node_group_templates 參數(shù)如表1所示，這些參數(shù)直觀地體現(xiàn)了塊設(shè)備的所有相關(guān)配置項(xiàng)，反映出某類結(jié)點(diǎn)對(duì)存儲(chǔ)資源的使用效果產(chǎn)生的影響。同時(shí)，通過利用Horizon界面，可以實(shí)現(xiàn)對(duì)各種存儲(chǔ)資源的整理和劃分[3]。此外，在優(yōu)化和完善塊設(shè)備管理接口期間，要從以下幾個(gè)方面入手：(1)將鏡像文件和塊設(shè)備設(shè)置為兩者并存的狀態(tài)，與塊設(shè)備相比，確保文件類型具有強(qiáng)大的虛擬化功能，一旦啟動(dòng)比較高效，塊設(shè)備的讀寫性能會(huì)得以大幅度提升。(2)數(shù)據(jù)在實(shí)際分流期間，通常會(huì)觸發(fā)接口的并發(fā)讀寫功能，這無疑降低了硬盤的讀寫能力，為了避免這一情況的出現(xiàn)，需要利用BDaaS大數(shù)據(jù)計(jì)算框架，做好對(duì)相關(guān)底層信息的配置，確保用戶向獨(dú)立的后端中配置相應(yīng)的并發(fā)讀寫目標(biāo)。(3)要將塊設(shè)備與實(shí)例進(jìn)行有效的連接，此外，通過采用簡(jiǎn)單直接的連接方式，對(duì)本地塊設(shè)備進(jìn)行科學(xué)化連接，避免出現(xiàn)過多的協(xié)議層。(4)塊設(shè)備不同，所對(duì)應(yīng)的塊設(shè)備管理也存在一定的差異[4]，因此，做好對(duì)多個(gè)塊設(shè)備的靈活化配置，是塊設(shè)備的參數(shù)主要包含類型、大小等。總之，通過對(duì)塊設(shè)備管理接口進(jìn)行不斷地修正、優(yōu)化和完善，可以更好地滿足多種復(fù)雜化場(chǎng)景的應(yīng)用需求，為進(jìn)一步提高塊設(shè)備的管理效率和效果 打下堅(jiān)實(shí)的基礎(chǔ) 。

表1 node_group_templates 參數(shù)

3.2 克服云環(huán)境下虛擬化帶來的性能瓶頸的解決方案

對(duì)塊設(shè)備管理接口進(jìn)行完善后，可以提高塊設(shè)備管理的針對(duì)性和有效性，數(shù)據(jù)流中含有相應(yīng)的虛擬化層，對(duì)虛擬化層的影響因素較多，因此，技術(shù)人員要在綜合考慮這些影響因素的基礎(chǔ)上，對(duì)虛擬化層的性能瓶頸進(jìn)行科學(xué)測(cè)試，經(jīng)過測(cè)試后發(fā)現(xiàn)，虛擬化層的性能瓶頸問題主要體現(xiàn)在兩個(gè)方面：(1)由于計(jì)算資源被隔離而導(dǎo)致內(nèi)存使用率過低問題[5]。(2)虛擬化層技術(shù)使用不合理造成的不良影響。通常情況下，一旦出現(xiàn)虛擬化層性能瓶頸問題，往往會(huì)對(duì)云環(huán)境帶來極大的損耗，為了進(jìn)一步提高BDaaS性能，現(xiàn)提出以下兩種優(yōu)化方案。

3.2.1 物理環(huán)境HDFS

物理環(huán)境HDFS主要是指從云環(huán)境獲得硬盤讀寫操作，并將其與物理環(huán)境進(jìn)行有效的結(jié)合，避免對(duì)虛擬化層技術(shù)的使用產(chǎn)生不良影響。一旦發(fā)現(xiàn)宿主機(jī)上出現(xiàn)大量的讀寫現(xiàn)象，需要利用宿主機(jī)，對(duì)相關(guān)存儲(chǔ)內(nèi)存進(jìn)行統(tǒng)一化緩存處理，這樣一來，不僅可以有效地提高內(nèi)存資源利用率，還能使得硬盤讀寫性能得以大幅度提升[6]，從而保證BDaaS具有較高的性能。通過對(duì)塊設(shè)備管理接口進(jìn)行科學(xué)改進(jìn)，以滿足不同物理環(huán)境HDFS使用需求，其物理環(huán)境HDFS方法實(shí)施步驟如下：(1)通過對(duì)虛擬集群進(jìn)行構(gòu)建，確保HDFS服務(wù)與宿主機(jī)進(jìn)行有效的結(jié)合，同時(shí)，還要在科學(xué)配置Yarn服務(wù)器相關(guān)參數(shù)的基礎(chǔ)上，做好對(duì)相同服務(wù)進(jìn)程管理，避免這些進(jìn)程實(shí)例同時(shí)存在于某一個(gè)計(jì)算節(jié)點(diǎn)上。(2)對(duì)數(shù)據(jù)源進(jìn)行科學(xué)定義，Data Source所支持的數(shù)據(jù)類型主要包含以下兩類，分別是Swift類和HDFS類，但是，Data Source所對(duì)應(yīng)的HDFS服務(wù)接口僅僅對(duì)password-less類型給予一定的支持[7]，無法滿足物理HDFS場(chǎng)景的應(yīng)用需求，技術(shù)人員要利用Data Source對(duì)外部物理HDFs進(jìn)行科學(xué)定義，從而獲得相應(yīng)的數(shù)據(jù)源。(3)對(duì)任務(wù)進(jìn)行執(zhí)行，在以上兩個(gè)操作步驟的基礎(chǔ)上，對(duì)任務(wù)進(jìn)行精確定義，并選用合適的虛擬集群，然后，將輸入數(shù)據(jù)源和輸出數(shù)據(jù)源統(tǒng)一設(shè)置為物理環(huán)境HDFS，以實(shí)現(xiàn)對(duì)相關(guān)任務(wù)的正常、穩(wěn)定地運(yùn)行。

3.2.2 緩存統(tǒng)一管理

為了從根本上解決虛擬化層性能瓶頸問題，現(xiàn)提出一種行之有效的緩存統(tǒng)一管理方案，該方案在實(shí)際運(yùn)用中，首先，要將BDaaS內(nèi)存管理服務(wù)設(shè)置到服務(wù)器層面上，利用該管理服務(wù)功能，統(tǒng)一化、集中化管控BDaaS所對(duì)應(yīng)的緩存內(nèi)存資源，同時(shí)，還要利用大數(shù)據(jù)計(jì)算框架接口，將各個(gè)服務(wù)器進(jìn)行集成化處理，從而為多種存儲(chǔ)資源的處理提供極大的支持。此外，還要做好對(duì)虛擬集群的構(gòu)建，根據(jù)各個(gè)計(jì)算服務(wù)節(jié)點(diǎn)多問題，對(duì)相關(guān)內(nèi)存進(jìn)行科學(xué)化分配，同時(shí)，還要降低對(duì)內(nèi)存的使用量，確保存儲(chǔ)服務(wù)具有較高的讀寫性能，最后，還要利用BDaaS數(shù)據(jù)流，對(duì)內(nèi)存管理服務(wù)進(jìn)行緩存處理，從而實(shí)現(xiàn)對(duì)內(nèi)存管理服務(wù)水平的大幅度提升。

3.3 數(shù)據(jù)源使用策略

數(shù)據(jù)源使用策略主要是指通過利用指Sahara接口，對(duì)典型數(shù)據(jù)源使用模式提供相應(yīng)的支持，該策略在實(shí)際運(yùn)用中，首先，要做好對(duì)工作負(fù)載的管控，提高BDaaS的性能，還要根據(jù)CPU密集型處理需求，并使用Swift數(shù)據(jù)，做好對(duì)BDaaS的管理，避免出現(xiàn)數(shù)據(jù)源被大量輸出現(xiàn)象的發(fā)生。其次，要不斷提高響應(yīng)效率，通過利用備份模式，對(duì)數(shù)據(jù)源的寫入順序進(jìn)行控制，先在本地寫入相應(yīng)的HDFS數(shù)據(jù)源，然后將這些數(shù)據(jù)源拷貝到指定的Swift中，使得數(shù)據(jù)源的拷貝效率得以大幅度提升。最后，要做好對(duì)作業(yè)模板的拷貝，對(duì)于數(shù)據(jù)源而言，其拷貝方式在實(shí)際運(yùn)用中，需要為其提供比較抽象的支持，同時(shí)，還要根據(jù)所設(shè)置的作業(yè)建模，將HDFS服務(wù)與關(guān)系型數(shù)據(jù)庫進(jìn)行有效的結(jié)合，簡(jiǎn)化數(shù)據(jù)源的拷貝流程，此外，還要利用數(shù)據(jù)源拷貝模板，對(duì)各種拷貝工具進(jìn)行集成化處理，確保相關(guān)方案與作業(yè)模板進(jìn)行充分融合。

4 結(jié)語

綜上所述，在云環(huán)境下，為了進(jìn)一步提高大數(shù)據(jù)服務(wù)性能，技術(shù)人員要嚴(yán)格按照塊設(shè)備以及Sahara 接口優(yōu)化、虛擬化性能瓶頸解決、數(shù)據(jù)源使用策略3個(gè)方面入手，提出BDaaS 性能優(yōu)化方案，該優(yōu)化方案在實(shí)際運(yùn)用中，將測(cè)試結(jié)果和應(yīng)用場(chǎng)景進(jìn)行了有效的結(jié)合，快速找出影響B(tài)DaaS性能相關(guān)因素，從而有效地驗(yàn)證了該方案的可靠性、有效性和正確性。