基于虛擬化的大數(shù)據(jù)分布式實(shí)驗(yàn)平臺(tái)的研究與實(shí)踐

摘要：針對(duì)高職院校大數(shù)據(jù)技術(shù)專業(yè)多門(mén)核心課程的實(shí)驗(yàn)環(huán)境復(fù)雜與學(xué)生實(shí)驗(yàn)困難問(wèn)題，提出基于虛擬化的分布式大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)輔助課程實(shí)驗(yàn)教學(xué)。本文從職業(yè)院校大數(shù)據(jù)技術(shù)專業(yè)全國(guó)申報(bào)情況、大數(shù)據(jù)專業(yè)實(shí)驗(yàn)系統(tǒng)現(xiàn)狀、實(shí)驗(yàn)平臺(tái)方案、實(shí)驗(yàn)平臺(tái)技術(shù)路線中的關(guān)鍵技術(shù)與工具介紹、總結(jié)效果等方面，詳細(xì)介紹了虛擬化的分布式大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)的技術(shù)原理及客戶端與服務(wù)器端軟件版本信息。該平臺(tái)融入大數(shù)據(jù)行業(yè)企業(yè)的實(shí)際崗位技能需求、全國(guó)職業(yè)院校技能大賽大數(shù)據(jù)賽項(xiàng)規(guī)范、大數(shù)據(jù)技術(shù)專業(yè)核心課程要求與“1+X”大數(shù)據(jù)平臺(tái)運(yùn)維職業(yè)技能等級(jí)證書(shū)標(biāo)準(zhǔn)等要求。通過(guò)實(shí)踐教學(xué)分析，該方法方便學(xué)生學(xué)習(xí)大數(shù)據(jù)專業(yè)相關(guān)核心課程的實(shí)踐操作，提高了學(xué)習(xí)效果。

關(guān)鍵詞：虛擬化；大數(shù)據(jù)；分布式實(shí)驗(yàn)平臺(tái)；Hadoop；VirtualBox

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）23-0085-04

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

0 引言

2021年，工業(yè)和信息化部發(fā)布《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》。數(shù)據(jù)已成為重要的生產(chǎn)要素，大數(shù)據(jù)產(chǎn)業(yè)作為以數(shù)據(jù)生成、采集、存儲(chǔ)、加工、分析、服務(wù)為主的戰(zhàn)略性新興產(chǎn)業(yè)，是激活數(shù)據(jù)要素潛能的關(guān)鍵支撐，是加快經(jīng)濟(jì)社會(huì)發(fā)展質(zhì)量變革、效率變革、動(dòng)力變革的重要引擎。面對(duì)新一輪科技革命和產(chǎn)業(yè)變革深入發(fā)展的機(jī)遇期，世界各國(guó)紛紛出臺(tái)大數(shù)據(jù)戰(zhàn)略，開(kāi)啟大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新發(fā)展新賽道，聚力數(shù)據(jù)要素多重價(jià)值挖掘。

2022年，江西省發(fā)布《關(guān)于深入推進(jìn)數(shù)字經(jīng)濟(jì)做優(yōu)做強(qiáng)“一號(hào)發(fā)展工程”的意見(jiàn)》文件，提到服務(wù)“數(shù)字技術(shù)創(chuàng)新工程”“上云用數(shù)賦智工程”等，培養(yǎng)數(shù)字工程師，推動(dòng)數(shù)字化轉(zhuǎn)型，助力數(shù)字經(jīng)濟(jì)高質(zhì)量跨越式發(fā)展。

近五年，全國(guó)各大高職院校陸續(xù)申報(bào)開(kāi)設(shè)大數(shù)據(jù)技術(shù)專業(yè)。截至2021年，全國(guó)892所高職院校成功備案大數(shù)據(jù)技術(shù)專業(yè)，其中江西省有33所高職院校備案大數(shù)據(jù)技術(shù)專業(yè)，大數(shù)據(jù)技術(shù)專業(yè)迎來(lái)大發(fā)展。一方面，進(jìn)入大數(shù)據(jù)時(shí)代，大數(shù)據(jù)技術(shù)被應(yīng)用到社會(huì)的方方面面，包括電商商務(wù)、醫(yī)療衛(wèi)生、智慧交通、銀行金融、智慧教育、商業(yè)分析、國(guó)家安全、食品安全等，從而導(dǎo)致大數(shù)據(jù)技術(shù)人才需求量猛增，人才缺口較大。另一方面，各大高職院校積極響應(yīng)社會(huì)和市場(chǎng)的需求，陸續(xù)開(kāi)設(shè)大數(shù)據(jù)技術(shù)專業(yè)。由于大數(shù)據(jù)專業(yè)是前沿學(xué)科、實(shí)戰(zhàn)導(dǎo)向的新型復(fù)合型專業(yè)，在學(xué)好理論課的同時(shí)，對(duì)于學(xué)生的動(dòng)手能力和實(shí)戰(zhàn)經(jīng)驗(yàn)要求較高[1]。因此，如何培養(yǎng)實(shí)戰(zhàn)技能以達(dá)到該專業(yè)崗位的要求，是各職業(yè)院校大數(shù)據(jù)技術(shù)專業(yè)課程教師們關(guān)注的熱門(mén)議題。同時(shí)，在2019年，江西省職業(yè)院校技能大賽大數(shù)據(jù)賽項(xiàng)正式開(kāi)設(shè)，將大數(shù)據(jù)專業(yè)相關(guān)技術(shù)列入了大數(shù)據(jù)技術(shù)賽項(xiàng)，吸引了大量師生一起鉆研大數(shù)據(jù)技術(shù)，通過(guò)競(jìng)賽提高實(shí)操能力。

為深入培養(yǎng)大數(shù)據(jù)技術(shù)人才，各高職院校開(kāi)始不滿足于短時(shí)間的集中培訓(xùn)，嘗試將競(jìng)賽內(nèi)容推廣到全專業(yè)的課程教學(xué)中。但現(xiàn)階段實(shí)驗(yàn)資源不足，各大競(jìng)賽設(shè)備限制了學(xué)習(xí)人數(shù)。將競(jìng)賽設(shè)備推廣到全專業(yè)教學(xué)，受到設(shè)備資源不足的制約。本課題組教師具有多年大數(shù)據(jù)技術(shù)企業(yè)工作經(jīng)驗(yàn)，又有大數(shù)據(jù)技術(shù)競(jìng)賽實(shí)踐指導(dǎo)經(jīng)驗(yàn)，決定借鑒競(jìng)賽備賽設(shè)備，開(kāi)發(fā)基于虛擬化的大數(shù)據(jù)分布式實(shí)驗(yàn)平臺(tái)，為完善大數(shù)據(jù)技術(shù)專業(yè)課程實(shí)驗(yàn)做出有價(jià)值的研究。

1 目前職業(yè)院校大數(shù)據(jù)專業(yè)實(shí)驗(yàn)系統(tǒng)現(xiàn)狀

高職院校的大數(shù)據(jù)實(shí)驗(yàn)教學(xué)平臺(tái)一般以開(kāi)源Apache Hadoop為基礎(chǔ)。經(jīng)過(guò)課題組成員調(diào)研了解到，實(shí)驗(yàn)平臺(tái)建設(shè)主要有以下幾類方案：

1） 普通單物理機(jī)方案。不采用虛擬化計(jì)算。在一臺(tái)單物理PC機(jī)上直接安裝Linux操作系統(tǒng)（CentOS） ，然后在CentOS中直接安裝JDK，進(jìn)而安裝部署Hadoop平臺(tái)。該方案的不足：實(shí)驗(yàn)環(huán)境只有一個(gè)機(jī)器，只能配置成單機(jī)模式或偽分布模式集群，不利于學(xué)生練習(xí)搭建多節(jié)點(diǎn)的集群學(xué)習(xí)[2]。在傳統(tǒng)學(xué)校機(jī)房，一般PC機(jī)器都安裝Windows系統(tǒng)，多門(mén)課程共同使用，直接安裝Linux操作系統(tǒng)與實(shí)際情況不太符合，利用率不高。

2） 基于企業(yè)開(kāi)發(fā)的大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)。企業(yè)開(kāi)發(fā)的大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)采用云計(jì)算和虛擬化技術(shù)，將底層計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)資源集中進(jìn)行了虛擬化云端管理，實(shí)驗(yàn)平臺(tái)按需分配和管理硬件資源。在進(jìn)行實(shí)驗(yàn)時(shí)，學(xué)生可以在Web頁(yè)面上進(jìn)行實(shí)驗(yàn)，根據(jù)實(shí)際的需求，動(dòng)態(tài)地進(jìn)行資源分配。學(xué)校需要購(gòu)買(mǎi)大容量高性能專業(yè)的服務(wù)器與實(shí)驗(yàn)平臺(tái)，花費(fèi)較高。該方案的不足：實(shí)驗(yàn)環(huán)境在機(jī)房集群，學(xué)生一般只有上專業(yè)課才能使用，使用受時(shí)間與空間的約束。

3） 基于物理機(jī)+虛擬化技術(shù)。為避免上述不足之處，采用在單臺(tái)物理機(jī)Windows系統(tǒng)上安裝VirtualBox軟件[3]，虛擬出若干臺(tái)可同時(shí)運(yùn)行的虛擬機(jī)，在虛擬機(jī)上搭建大數(shù)據(jù)集群環(huán)境。在新建的虛擬機(jī)上，安裝Linux操作系統(tǒng)、配置局域網(wǎng)、安裝JDK軟件等，進(jìn)一步在多個(gè)虛擬機(jī)上安裝部署Hadoop集群。學(xué)生在普通機(jī)房（PC機(jī)器內(nèi)存大于等于16 G性能會(huì)更佳），可以搭建完全分布式Hadoop集群進(jìn)行實(shí)驗(yàn)操作，并且可以將實(shí)驗(yàn)過(guò)程的虛擬機(jī)系統(tǒng)導(dǎo)出為鏡像文件，存儲(chǔ)在移動(dòng)U盤(pán)或硬盤(pán)；在VirtualBox軟件上導(dǎo)入鏡像文件，可以繼續(xù)課程實(shí)驗(yàn)部分內(nèi)容，不受時(shí)空限制，有利于學(xué)生專業(yè)學(xué)習(xí)與實(shí)操技能提升。該方案的優(yōu)點(diǎn)：在VirtualBox軟件上搭建基于虛擬化的大數(shù)據(jù)分布式實(shí)驗(yàn)平臺(tái)，為大數(shù)據(jù)專業(yè)核心課程提供學(xué)生實(shí)驗(yàn)環(huán)境，解決實(shí)驗(yàn)環(huán)境復(fù)雜，學(xué)生實(shí)操技能不足的難題。

2 大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)建設(shè)

2.1 實(shí)驗(yàn)方案

基于虛擬化的大數(shù)據(jù)分布式實(shí)驗(yàn)平臺(tái)分解成六層：物理集群層、數(shù)據(jù)來(lái)源層、數(shù)據(jù)傳輸層、數(shù)據(jù)存儲(chǔ)層、資源管理層與數(shù)據(jù)計(jì)算層，符合軟件平臺(tái)設(shè)計(jì)的高內(nèi)聚低耦合原則，從技術(shù)的角度可以實(shí)現(xiàn)。

1） 物理集群層。通過(guò)虛擬化工具VirtualBox在一臺(tái)安裝Windows系統(tǒng)的PC機(jī)上創(chuàng)建3個(gè)虛擬機(jī)，并且安裝Linux系統(tǒng)（CentOS 7） 。三臺(tái)虛擬機(jī)配置局域網(wǎng)IP地址（Master機(jī)器：192.168.56.101；Slave1機(jī)器：192.168.56.102；Slave2機(jī)器：192.168.56.103） ，三臺(tái)機(jī)器之間可以互相連通，形成三臺(tái)機(jī)器集群，并且每臺(tái)機(jī)器都要關(guān)閉防火墻。

2） 數(shù)據(jù)來(lái)源層。數(shù)據(jù)可以來(lái)源于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)（MySQL、Oracle） 、系統(tǒng)的日志文件、互聯(lián)網(wǎng)Web網(wǎng)頁(yè)數(shù)據(jù)與圖片視頻數(shù)據(jù)等；數(shù)據(jù)可以分為結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)[4]。

3） 數(shù)據(jù)傳輸層。通過(guò)數(shù)據(jù)傳輸工具Sqoop和日志收集工具Flume，將數(shù)據(jù)來(lái)源層的異構(gòu)數(shù)據(jù)傳輸?shù)綌?shù)據(jù)存儲(chǔ)層。

4） 數(shù)據(jù)存儲(chǔ)層。在Linux系統(tǒng)之上安裝Hadoop系統(tǒng)，具備HDFS分布式文件系統(tǒng)，三臺(tái)Linux系統(tǒng)形成了邏輯上的文件系統(tǒng)集群，可以存儲(chǔ)相關(guān)數(shù)據(jù)；非關(guān)系型數(shù)據(jù)庫(kù)HBase把數(shù)據(jù)存儲(chǔ)在HDFS分布式文件系統(tǒng)，可以實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)與查詢；關(guān)系型數(shù)據(jù)庫(kù)MySQL存儲(chǔ)相關(guān)分析與計(jì)算的結(jié)果數(shù)據(jù)。

5） 資源管理層。Hadoop平臺(tái)包括YARN資源管理器。YARN的引入有利于Hadoop平臺(tái)集群的資源統(tǒng)一管理、數(shù)據(jù)共享和利用率，提升平臺(tái)的健壯性[5]。

6） 數(shù)據(jù)計(jì)算層。數(shù)據(jù)計(jì)算層在資源管理層之上，可以通過(guò)MapReduce框架處理大數(shù)據(jù)的離線計(jì)算任務(wù)；通過(guò)Spark框架在內(nèi)存技術(shù)（比MapReduce框架的計(jì)算效率更高）；通過(guò)Flink框架進(jìn)行數(shù)據(jù)的實(shí)時(shí)計(jì)算，適用于實(shí)時(shí)性要求較高的計(jì)算任務(wù)。

系統(tǒng)的服務(wù)器端利用基于虛擬化工具VirtualBox開(kāi)發(fā)，支持鏡像文件導(dǎo)出，學(xué)生可以自由通過(guò)PC機(jī)導(dǎo)入鏡像文件進(jìn)入實(shí)驗(yàn)環(huán)境，不受地理位置限制。利用現(xiàn)有大數(shù)據(jù)實(shí)訓(xùn)室的硬件條件，能夠?qū)崿F(xiàn)平臺(tái)的測(cè)試與試運(yùn)行。此外，師生也能通過(guò)個(gè)人PC機(jī)導(dǎo)入鏡像文件進(jìn)入實(shí)驗(yàn)環(huán)境，實(shí)現(xiàn)課堂教學(xué)到課外應(yīng)用的全覆蓋。

具體實(shí)現(xiàn)方案，如圖1所示。

2.2 技術(shù)路線

VirtualBox是一款開(kāi)源虛擬機(jī)軟件，可創(chuàng)建的虛擬系統(tǒng)包括Linux、Windows、Mac OS等操作系統(tǒng)。本實(shí)驗(yàn)通過(guò)VirtualBox軟件創(chuàng)建多臺(tái)虛擬機(jī)，配置虛擬機(jī)網(wǎng)絡(luò)環(huán)境，實(shí)現(xiàn)虛擬機(jī)之間互相連通，模擬多臺(tái)物理機(jī)。

SSH客戶端用于遠(yuǎn)程連接Linux系統(tǒng)服務(wù)器，可以執(zhí)行服務(wù)器操作命令，上傳文件到服務(wù)器，對(duì)服務(wù)器進(jìn)行管理。

Chrome是Google開(kāi)發(fā)的一款設(shè)計(jì)簡(jiǎn)單、高效的Web瀏覽工具，流行于軟件開(kāi)發(fā)者群體，特別適用于Hadoop平臺(tái)的Web訪問(wèn)。

Hadoop是由Apache基金會(huì)開(kāi)發(fā)的免費(fèi)開(kāi)源的分布式系統(tǒng)平臺(tái)，包括三大核心組件：HDFS分布式文件存儲(chǔ)系統(tǒng)、MapReduce離線計(jì)算框架和YARN資源管理。

ZooKeeper是Google的Chubby的一個(gè)開(kāi)源實(shí)現(xiàn)，是Hadoop和HBase的重要組件，在平臺(tái)中負(fù)責(zé)分布式應(yīng)用程序協(xié)調(diào)。

Hive是一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以提取、轉(zhuǎn)化與加載數(shù)據(jù)。Hive可以通過(guò)HQL語(yǔ)言（類似SQL結(jié)構(gòu)化查詢語(yǔ)言）進(jìn)行查詢、分析和存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)。

Flume是一款開(kāi)源高可用的分布式海量日志采集、傳輸和聚合的軟件，在數(shù)據(jù)收集的過(guò)程中，可以支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方[6]。

Sqoop是一款開(kāi)源工具，主要用于在Hadoop （Hive） 與傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)（MySQL） 間進(jìn)行數(shù)據(jù)的雙向傳遞。它可以將HDFS的數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)中，也可以將關(guān)系型數(shù)據(jù)庫(kù)MySQL中的數(shù)據(jù)導(dǎo)入到Hadoop的HDFS。

Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，可以與Hadoop平臺(tái)協(xié)調(diào)處理線上和離線的消息，為平臺(tái)集群提供實(shí)時(shí)的消息流。

Spark是開(kāi)源的通用并行計(jì)算框架，為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用計(jì)算引擎。與Hadoop MapReduce計(jì)算框架類似，因中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫(xiě)HDFS，因此，Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的算法場(chǎng)景。

Flink是開(kāi)源實(shí)時(shí)流數(shù)據(jù)處理框架，由Apache軟件基金會(huì)開(kāi)發(fā)，其核心是通過(guò)Java和Scala編寫(xiě)的分布式流數(shù)據(jù)處理引擎。

HBase是Apache Hadoop項(xiàng)目的子項(xiàng)目，基于列存儲(chǔ)數(shù)據(jù)，不同于關(guān)系數(shù)據(jù)庫(kù)基于行存儲(chǔ)，適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。

具體客戶端與服務(wù)器端軟件版本信息，如表1所示。

2.3 效果展示

在開(kāi)源軟件VirtualBox上創(chuàng)建3臺(tái)虛擬機(jī)，通過(guò)CRT工具連接虛擬機(jī)，如圖2所示。

在連接上Master機(jī)器的CRT上運(yùn)行命令start-all.sh，啟動(dòng)Hadoop集群。在Chrome瀏覽器查看Hadoop集群的HDFS分布式文件系統(tǒng)，如圖3所示。

高職院校大數(shù)據(jù)技術(shù)專業(yè)的核心專業(yè)課程包括：Hadoop技術(shù)基礎(chǔ)、Spark技術(shù)、大數(shù)據(jù)應(yīng)用開(kāi)發(fā)等課程。上述課程都需要Hadoop實(shí)驗(yàn)平臺(tái)的支撐，本實(shí)驗(yàn)平臺(tái)可以用于上述課程Hadoop平臺(tái)相關(guān)的實(shí)驗(yàn)。

3 總結(jié)

1） 開(kāi)發(fā)基于虛擬化的大數(shù)據(jù)分布式實(shí)驗(yàn)平臺(tái)。通過(guò)虛擬化技術(shù)，在一臺(tái)PC上，模擬出多臺(tái)機(jī)器，并將多臺(tái)機(jī)器配置成分布式大數(shù)據(jù)實(shí)驗(yàn)集群，在集群上搭建大數(shù)據(jù)平臺(tái)；解決高職院校在大數(shù)據(jù)技術(shù)專業(yè)課程中通常只能使用單臺(tái)機(jī)器實(shí)驗(yàn)，不能進(jìn)行分布式多臺(tái)機(jī)器實(shí)驗(yàn)教學(xué)的難題。

2）方便學(xué)生進(jìn)行大數(shù)據(jù)技術(shù)課程實(shí)驗(yàn)。通過(guò)鏡像文件使用實(shí)驗(yàn)平臺(tái)，學(xué)生可以在個(gè)人計(jì)算機(jī)上進(jìn)行核心課程實(shí)驗(yàn)，方便學(xué)生隨時(shí)隨地進(jìn)行專業(yè)課程實(shí)驗(yàn)，解決大數(shù)據(jù)技術(shù)多門(mén)專業(yè)核心課程實(shí)驗(yàn)環(huán)境復(fù)雜，以及競(jìng)賽設(shè)備不能覆蓋全專業(yè)的實(shí)驗(yàn)資源不足的難題。

3）提高學(xué)生大數(shù)據(jù)技術(shù)的實(shí)操技能。在平臺(tái)開(kāi)發(fā)設(shè)計(jì)中，將大數(shù)據(jù)技術(shù)行業(yè)企業(yè)崗位技能工具（Hadoop、ZooKeeper、Hive、HBase、Flume、Sqoop、Kafka、Spark、Flink等）運(yùn)用到課堂教學(xué)實(shí)驗(yàn)中，豐富課堂教學(xué)內(nèi)容，提高學(xué)生大數(shù)據(jù)技術(shù)工具使用與實(shí)操技能。

綜上所述，基于虛擬化的大數(shù)據(jù)分布式實(shí)驗(yàn)平臺(tái)適合高職院校的大數(shù)據(jù)技術(shù)專業(yè)核心課程的教學(xué)實(shí)驗(yàn)。參考大數(shù)據(jù)行業(yè)企業(yè)的崗位需求及所需職業(yè)能力的分析，依據(jù)全國(guó)職業(yè)院校技能大賽大數(shù)據(jù)賽項(xiàng)規(guī)范、大數(shù)據(jù)技術(shù)專業(yè)核心課程標(biāo)準(zhǔn)、“1+X”大數(shù)據(jù)平臺(tái)運(yùn)維職業(yè)技能等級(jí)證書(shū)標(biāo)準(zhǔn)等要求，在VirtualBox軟件上搭建基于虛擬化的大數(shù)據(jù)分布式實(shí)驗(yàn)平臺(tái)，為大數(shù)據(jù)專業(yè)多門(mén)核心課程提供學(xué)生實(shí)驗(yàn)環(huán)境，解決實(shí)驗(yàn)環(huán)境復(fù)雜與學(xué)生實(shí)操技能不足的難題。

參考文獻(xiàn)：

[1] 林子雨.大數(shù)據(jù)技術(shù)原理與應(yīng)用課程建設(shè)經(jīng)驗(yàn)分享[J].大數(shù)據(jù)，2018，4（6）：29-37.

[2] 吳小東，林國(guó)新.大數(shù)據(jù)課程實(shí)踐教學(xué)平臺(tái)的建設(shè)[J].福建電腦，2022，38（8）：119-121.

[3] 江接寶，王朝暉.《大數(shù)據(jù)技術(shù)》課程實(shí)踐改革研究[J].電腦知識(shí)與技術(shù)，2020，16（35）：107-108.

[4] 張倩，李國(guó)慶.企業(yè)知識(shí)圖譜在通信行業(yè)的應(yīng)用探索[J].郵電設(shè)計(jì)技術(shù)，2023（7）：75-80.

[5] 鄭靈逸，李擎.一種基于HiveSQL的增加任務(wù)并行度與建立中間表組合的優(yōu)化查詢方法[J].現(xiàn)代計(jì)算機(jī)，2021，27（36）：55-59.

[6] 張亮，楊春麗，馬媛媛.大數(shù)據(jù)應(yīng)用部署研究[J].電信網(wǎng)技術(shù)，2016（5）：30-36.

【通聯(lián)編輯：唐一東】