基于遞歸隨機搜索算法的Hadoop平臺大數(shù)據(jù)軟件系統(tǒng)研究

齊超 崔然

摘 ?要： 隨著互聯(lián)網(wǎng)時代的到來，互聯(lián)網(wǎng)數(shù)據(jù)的產(chǎn)生和收集數(shù)量呈爆炸式發(fā)展。使用金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)處理和存儲相關(guān)數(shù)據(jù)成為許多商業(yè)機構(gòu)和研究機構(gòu)的常態(tài)化選擇，金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)可以簡化使用者對于信息傳輸和信息計算的具體操作，便于提高使用者的使用效率和準(zhǔn)確率。本文研究的金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)通過Python和Java語言完成，主要包括：金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)分析模塊、金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)優(yōu)化模塊、金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)預(yù)測模塊。在研究的過程當(dāng)中本文采用了遞歸隨機搜索算法、Java圖形界面、Hadoop平臺進行設(shè)計研究。經(jīng)過測試，在選用服務(wù)器為Intel Atom D510時，金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)優(yōu)化模塊在Hadoop集群上開展優(yōu)化，系統(tǒng)任務(wù)執(zhí)行時間變短，比原來的數(shù)據(jù)時間縮短了5%以上，優(yōu)化有效。

關(guān)鍵詞： 金融機構(gòu)大數(shù)據(jù);大數(shù)據(jù)軟件系統(tǒng);Hadoop平臺

中圖分類號： TP391. 77 ? ?文獻標(biāo)識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2020.06.037

本文著錄格式：齊超，崔然. 于遞歸隨機搜索算法的Hadoop平臺大數(shù)據(jù)軟件系統(tǒng)研究[J]. 軟件，2020，41（06）：177184

【Abstract】： With the advent of the Internet era， the generation and collection of Internet data have exploded. Using the big data capture software system of financial institutions to process and store relevant data has become a regular choice for many commercial and research institutions. The big data capture software system of financial institutions can simplify the specific operation of users on information transmission and information calculation， and facilitate the use efficiency and accuracy of users. The big data capture software system of financial institution is completed by Python and Java language， including： analysis module of big data capture software of financial institution and big data capture software of financial institution ?System optimization module， financial institutions big data capture software system prediction module. In the process of research， this paper adopts recursive random search algorithm， Java graphical interface， Hadoop platform to design research. After testing， when the server is selected as Intel Atom D510， the big data grab software system optimization module of financial institutions carries out optimization on Hadoop cluster， and the execution time of the system task becomes shorter than that of the original data， and the optimization is effective.

【Key words】： Financial institution big data; Big data software system; Hadoop platform

0 ?引言

隨著互聯(lián)網(wǎng)時代的到來，互聯(lián)網(wǎng)數(shù)據(jù)的產(chǎn)生和收集數(shù)量呈爆炸式發(fā)展。使用金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)處理和存儲相關(guān)數(shù)據(jù)成為許多商業(yè)機構(gòu)和研究機構(gòu)的常態(tài)化選擇，金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)可以簡化使用者對于信息傳輸和信息計算的具體操作，便于提高使用者的使用效率和準(zhǔn)確率。但是，金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)雖然為使用者帶來了較大的便利，卻也限制了使用者對金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)底層運行方式的了解和熟悉，這不利于使用者發(fā)揮金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)全部性能，不利于使用者對金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)進行升級和優(yōu)化。本文旨在通過開發(fā)優(yōu)化金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)的自動解析工具，幫助使用者自動對金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)進行合理優(yōu)化，發(fā)揮金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)的全部功能。

1 ?相關(guān)工作

1.1 ?分布式計算存儲系統(tǒng)

Hadoop是Apache之下的產(chǎn)品。Hadoop經(jīng)過長時間的發(fā)展，目前已擁有多個分項。它的主要組成部分是分布式計算系統(tǒng)和Hadoop（DHFS）[1]。同時，它還擁有Common、Avro、Chukwa、Hive、Hbase等分項，這些分項可以幫助Hadoop完成更多不同類型的數(shù)據(jù)收集和處理任務(wù)，是Hadoop功能的進化和衍生，為Hadoop擴充功能，提升適用范圍提供了幫助[2]。

（1）高可靠性。系統(tǒng)擁有多個數(shù)據(jù)支持副本，可以保證在某個節(jié)點出現(xiàn)問題時仍可以切換到其他副本進行信息數(shù)據(jù)處理[3]。

（2）高擴展性。該系統(tǒng)通過集簇進行數(shù)據(jù)的收集和計算。集簇可以隨時進行擴展，每個集簇的擴展能力很強，可以同時的向無數(shù)節(jié)點進行擴展[4]。

（3）高效性。系統(tǒng)數(shù)據(jù)可以隨時隨地地移動，同時可以確保節(jié)點之間的平衡性。也因此，系統(tǒng)在處理數(shù)據(jù)時方便、快捷。

（4）高容錯性。Hadoop可以隨時對副本進行存儲，對于沒有辦法繼續(xù)進行的任務(wù)，系統(tǒng)會重新安排副本進行計算[5]。

1.2 ?Hadoop分布式計算系統(tǒng)

Hadoop分布式計算系統(tǒng)模型可以進行數(shù)據(jù)編程和計算。它的語言環(huán)境包括（Java， Python， C++等），可以保障數(shù)量龐大的數(shù)據(jù)分析任務(wù)[6]。分布式計算系統(tǒng)是通過各自為戰(zhàn)的方式進行相關(guān)演算。它是把整個數(shù)據(jù)信息進行拆分，然后分別下發(fā)到各個分節(jié)點中進行運算，再將運算結(jié)果進行匯總，最后得到總體結(jié)果的運算過程[7]。也可以說，分布式計算系統(tǒng)是分解數(shù)據(jù)，計算，匯總數(shù)據(jù)，得到結(jié)果[8]。

1.3 ?Java性能跟蹤工具

B Trace可以對Java平臺的數(shù)據(jù)進行動態(tài)跟蹤，是一款較為有效的數(shù)據(jù)跟蹤工具[9]。B Trace對于查找代碼有著較為良好的應(yīng)用，可以幫助使用者進行錯誤代碼的追查，對未知流量的監(jiān)測。B Trace監(jiān)測的情況一般具有偶然性和特殊性，很難重復(fù)發(fā)生[10]。

B Trace通過（Hotswap）對Java程序中的相關(guān)代碼進行跟蹤，并通過指令執(zhí)行進行替換[11]。它的語言是Java，具有較強的普遍性，應(yīng)用起來也較為簡單。它對Java平臺代碼的監(jiān)控和追查可以在不改變當(dāng)前程序的前提下進行，這對于B Trace的具體實施難度無疑降低了很多[12]。目標(biāo)JVM是一個動態(tài)插入B Trace的代理。B Trace對代理發(fā)出指令，代理對B Trace的指令進行反饋[13]。

1.4 ?遞歸隨機搜索算法

遞歸隨機搜索由隨機搜索算法中轉(zhuǎn)變發(fā)展得出。遞歸隨機搜索算法相較于傳統(tǒng)的算法在效率方面有著顯著的優(yōu)勢。傳統(tǒng)的算法在計算少量樣本時可以快速的得出最優(yōu)解范圍，而如果抽樣變多，樣本空間變小，傳統(tǒng)算法是計算速度就會明顯變慢，同時增加得到最優(yōu)解的資源消耗[14]。而遞歸隨機搜索算法適合于大型數(shù)據(jù)的抽樣計算，可以保持較為穩(wěn)定的速度，同時計算效率相較于傳統(tǒng)計算方法要快很多。由于遞歸隨機搜索的種種優(yōu)勢，被普遍的應(yīng)用到諸多領(lǐng)域的運算當(dāng)中[15]。

2 ?分析設(shè)計

上一章對系統(tǒng)程序研發(fā)具體技術(shù)進行了詳細闡述。本章的重點是金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)的相關(guān)內(nèi)容進行具體的闡述，并對其基本設(shè)計思路進行解析。

2.1 ?需求分析

Hadoop存在著使用者對底層數(shù)據(jù)的了解和應(yīng)用缺乏知識和概念，對于優(yōu)化Hadoop，提升Hadoop最大作用存在較大的困難[16]。為了解決這一困難，需要相應(yīng)的金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)抓取軟件幫助。金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)抓取軟件可以幫助使用者在不了解金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)底層運行細節(jié)的前提下對金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)進行優(yōu)化調(diào)節(jié)，提升金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)運行效率。這有利于降低金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)使用者要求，降低使用者使用成本和時間成本[17]。

2.2 ?設(shè)計思路

對Hadoop的影響因素進行解析，有助于對Hadoop進行合理優(yōu)化。影響Hadoop的主要因素有以下方面：（1）分布式程序。（2）相關(guān)輸入數(shù)據(jù)。（3）擁有的相關(guān)資源。（4）配置參數(shù)。這四方面是影響Hadoop的主要因素。（Perf=F（p，d，r，c）。這里面p表示Hadoop分布式程序，d表示相關(guān)輸入數(shù)據(jù)，r表示擁有的相關(guān)資源，c表示配置參數(shù)。金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)性能的優(yōu)化的最直觀表現(xiàn)是金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)在處理數(shù)據(jù)時所使用時間的長短，如果進行優(yōu)化后的金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)在進行數(shù)據(jù)處理過程中比原有的程序所用的時間短，那么可以說新的優(yōu)化是有效的[18]。

2.3 ?工作原理

大數(shù)據(jù)性能分析工具是利用對系統(tǒng)配置參數(shù)的調(diào)整，工作原理系統(tǒng)運行速度和運行效果的提升。它需要對節(jié)點的數(shù)據(jù)信息進行隨機抓取，了解各個節(jié)點相關(guān)信息，并對這些有效信息進行加工和分析，以保證對配置參數(shù)的調(diào)整依據(jù)和預(yù)測依據(jù)[19]。其運行原理是：第一，使用者在Hadoop平臺上進行腳本安裝，發(fā)送編輯好的B Trace程序到Slave目錄下[20]。第二，運行腳本，對相關(guān)數(shù)據(jù)進行隨機抓取。在抓取數(shù)據(jù)完成后，將抓取到的數(shù)據(jù)發(fā)送給Master節(jié)點。使用者可以根據(jù)自身需求選擇合適的程序和功能，并對需要設(shè)置的參數(shù)進行有效預(yù)測和開啟優(yōu)化功能。第三，用戶通過預(yù)測結(jié)果給出的參數(shù)配置信息進行參數(shù)配置，工作原理系統(tǒng)的優(yōu)化目標(biāo)[21]。如圖1。

2.4 ?大數(shù)據(jù)抓取軟件系統(tǒng)系統(tǒng)架構(gòu)

針對金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)的設(shè)計思路，本文對金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)進行了系統(tǒng)架構(gòu)繪圖，如圖2所示，金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)主要由三部分組成，它們分別是：金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)分析模塊、金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)預(yù)測模塊、金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)優(yōu)化模塊[22]。

3 ?算法過程

3.1 ?執(zhí)行分析模塊設(shè)計

根據(jù)Hadoop的運行機制可以知道，Hadoop平臺的運行機制主要包括Map階段和Reduce階段。Map階段是通過數(shù)據(jù)讀取、映射、集合、重整、合并工作原理的，具體流程如圖3所示。

各個環(huán)節(jié)有以下功能：

（1）洗牌（Shuffle）：對兩個階段的數(shù)據(jù)進行轉(zhuǎn)化，使原數(shù)據(jù)符合Reduce階段數(shù)據(jù)需求。

（2）合并（Merge）：將原數(shù)據(jù)進行整合。

（3）化簡（Reduce）：在Reduce階段運行相關(guān)程序?qū)υ瓟?shù)據(jù)進行加工，得到簡化數(shù)據(jù)。

（4）寫數(shù)據(jù)（Write）：將產(chǎn)生的新數(shù)據(jù)寫入系統(tǒng)。

在Hadoop平臺系統(tǒng)下，大數(shù)據(jù)系統(tǒng)軟件分析模塊通過使用profile.py腳本進行啟動。待模塊正式運行后，通過agent將B Trace Job大數(shù)據(jù)系統(tǒng)軟件分析類的on Job Client 提交工作內(nèi)方法和org.apache. hadoop.mapred.Job Client類的提交工作內(nèi)方法連接在一起。當(dāng)Hadoop使用提交工作內(nèi)時同時開始運作，并記錄運轉(zhuǎn)時間。而使用org.apache.hadoop.分布式計算系統(tǒng).Job與wait For Completion方法綁定，確定運行結(jié)束時間[23]。B Trace Task And Mem Profile可以對各階段數(shù)據(jù)進行有效收集。Hadoop平臺的數(shù)據(jù)參數(shù)配置通過XML Cluster Parser工作原理[42]。另外，XML Profile Parser將收集到的數(shù)據(jù)轉(zhuǎn)化為XML文件進行輸出。XML文件上傳至分布式的過程是利用Up datexml中的Up datexml工作原理的如圖4。

3.2 ?預(yù)測模塊設(shè)計

企業(yè)要建立完善的大數(shù)據(jù)預(yù)測的數(shù)學(xué)模式，就要對Hadoop平臺系統(tǒng)任務(wù)各個環(huán)節(jié)參數(shù)配置及資源損耗情況進行分別計算，并最終進行整體匯總，得到總體計算模型，這樣的結(jié)果更加客觀。如圖5所示，是對map階段的緩存（io.sort.mb參數(shù)）進行調(diào)整后，與之相對于的真實時間和時間和與測試時間情況圖。

通過圖5得出，預(yù)測時間和實際時間之間仍舊不是完全相同的，這是因為抓取數(shù)據(jù)工具BTrac相對的系統(tǒng)資源，影響了實際操作的結(jié)果。但是抓取數(shù)據(jù)工具BTrac所占用的系統(tǒng)資源非常小，對于最終結(jié)果的影響十分有限，在計算誤差允許范圍內(nèi)[48]。

在通過金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)預(yù)測模塊對Hadoop平臺進行具體測算時，并不能完全掌握Hadoop平臺的全部數(shù)據(jù)，如圖6，Hadoop平臺系統(tǒng)數(shù)據(jù)的鍵值對等信息就無法進行觀測。觀測得出結(jié)果后，系統(tǒng)會自動生成相關(guān)文件記錄，文件生成在第一步設(shè)置的路徑中。使用者可以使用軟件對該文件進行讀取，得到直觀的模擬演算信息。

3.3 ?優(yōu)化模塊設(shè)計

遞歸隨機搜索算法需要擁有明確的樣本區(qū)間，如果樣本區(qū)間過大就會對系統(tǒng)資源造成不必要的損耗。這里可以通過配置參數(shù)的特性進行遞歸隨機搜索算法樣本區(qū)間的界定。如，io.sort.record.percent可以通過界定百分比區(qū)間進行區(qū)間劃分;io.sort.mb的取值范圍是服務(wù)器緩存大小到1，可以以此進行區(qū)間界定。金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)優(yōu)化模塊的流程圖如圖，7所示。

金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)優(yōu)化模塊的類圖如圖8所示。

金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)優(yōu)化模塊的入口是Driver類的Job優(yōu)化工具。通過使用Job工具優(yōu)化類達到讀取前配置參數(shù)和讀取CPU相關(guān)指標(biāo)的目的。

智能作業(yè)優(yōu)化：類對系統(tǒng)相關(guān)配置參數(shù)進行調(diào)取，利用參數(shù)特征，使用遞歸隨即搜索算法確定適配區(qū)間。通過使用Recur sive Random Seash類對適配區(qū)間進行隨機數(shù)據(jù)抓取，利用金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)預(yù)測模塊對抓取數(shù)據(jù)進行相關(guān)預(yù)測，最小值為系統(tǒng)任務(wù)執(zhí)行時間最短值，即最優(yōu)配置參數(shù)。

利用Export XML類的Export XML，達到將數(shù)據(jù)輸出形成XML文件的目的。

4 ?系統(tǒng)性能分析及測試

4.1 ?測試環(huán)境及軟件平臺

測試環(huán)境如表1所示。

4.2 ?系統(tǒng)性能分析

本文以金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)預(yù)測模塊的特性作為研究和設(shè)計測試用例的出發(fā)點，通過對參數(shù)配置、數(shù)據(jù)輸入大小和服務(wù)器個數(shù)三個方面進行具體測算，得出相應(yīng)測算結(jié)果。將測算結(jié)果相互比較得出較優(yōu)值。經(jīng)過測試可以得出以下結(jié)果：金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)執(zhí)行模塊相關(guān)輸入數(shù)據(jù)量調(diào)整后，平臺任務(wù)輸入數(shù)據(jù)量調(diào)整后實際執(zhí)行時間和輸入數(shù)據(jù)量調(diào)整后虛擬執(zhí)行時間的差別在運行誤差區(qū)間內(nèi)，差別很小，預(yù)測結(jié)果可以作為依據(jù)正常使用。

表3為第三個測試用例。旨在對金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)預(yù)測模塊Hadoop集群服務(wù)器個數(shù)調(diào)整后任務(wù)執(zhí)行時間的虛擬結(jié)果測算。利用平臺任務(wù)Hadoop集群服務(wù)器個數(shù)調(diào)整實際執(zhí)行時間和Hadoop集群服務(wù)器個數(shù)調(diào)整后虛擬執(zhí)行時間的比較判斷預(yù)測結(jié)果的準(zhǔn)確度。

4.3 ?遞歸隨機搜索算法在銀行大數(shù)據(jù)系統(tǒng)中的導(dǎo)入應(yīng)用

（1）導(dǎo)入數(shù)據(jù)。通過應(yīng)用遞歸隨機算法原理導(dǎo)入，得出的銀行信貸數(shù)據(jù)一共有256條數(shù)據(jù)，每條數(shù)據(jù)包括5個屬性，分別是月收入、存款總額、客戶信用、客戶貢獻度、是否貸款。其中客戶信用和客戶貢獻度字段有兩種取值：“一般”和“高”;是否貸款字段也有兩種取值，分別用“Y”表示同意貸款，“N”表示不同意貸款。數(shù)據(jù)導(dǎo)入后如圖9所示。

（2）建立數(shù)據(jù)挖掘模型數(shù)據(jù)導(dǎo)入后，根據(jù)對數(shù)據(jù)的分析，我們得知下面的工作就是通過建立遞歸隨機算法模型對以上數(shù)據(jù)進行分類，將“是否貸款”字段定義為輸出屬性，其它字段為輸入屬性，所得數(shù)據(jù)流圖如圖10所示。

我們通過“是否貸款”節(jié)點可以查看“是否貸款”字段中值的分布比例，如圖11所示。

執(zhí)行數(shù)據(jù)流圖中的遞歸隨機算法節(jié)點，得到一些決策規(guī)則，如圖12所示。

通過對上圖的分析，我們可以將這些規(guī)則解釋為：

（1）對月收入低于6000元的客戶，不提供貸款。

（2）對月收入高于6000元，存款總額低于100000元的客戶不提供貸款。

（3）對月收入高于6000元，存款總額高于100000元的但客戶貢獻度一般的客戶不提供貸款。

（4）對月收入高于6000元，存款總額高于100000元的但客戶貢獻度高的客戶提供貸款。

（5）對月收入高于6000元，并且客戶信用高的客戶提供貸款。

對這些規(guī)則進行分析，管理人員通過以上規(guī)則可以將信貸客戶分類，以后審批貸款時可以將客戶數(shù)據(jù)和已分類的數(shù)據(jù)進行比較，就可以更好、更快的進行決策判斷。

4.4 ?測試結(jié)果

最后生成的數(shù)據(jù)報表如下表4所示。

通過測試對比可以看出，優(yōu)化后的數(shù)據(jù)抓取時間比原來的時間總體減少了5秒以上，優(yōu)化有效。如圖13。

后臺作業(yè)PrepareCleanup， kinit對系統(tǒng)做了初始化設(shè)置，然后分別對各張臨時表的歷史數(shù)據(jù)進行清理，共耗時41秒;LoadTradedata節(jié)為數(shù)據(jù)裝載總控作業(yè)，負(fù)責(zé)導(dǎo)入線上線下的交易流水?dāng)?shù)據(jù)，共耗時27秒;fetchCCBData節(jié)作業(yè)負(fù)責(zé)獲取增量數(shù)據(jù)更新，若無更新則直接進行下階段處理，此處耗時28秒;etl_stage節(jié)為ETL處理流程，對基礎(chǔ)數(shù)據(jù)進行清洗、轉(zhuǎn)換等預(yù)處理，耗時4分36秒;loadStaticData節(jié)為靜態(tài)數(shù)據(jù)裝載作業(yè)，運行耗時26秒;analyticsMonthly節(jié)為月報計算作業(yè)，調(diào)用Hive進行數(shù)據(jù)計算，共耗時11分30秒;genReport節(jié)為報表結(jié)果匯總作業(yè)，運行耗時2分14秒。經(jīng)過測試后，在選用服務(wù)器為Intel Atom D510時，銀行大數(shù)據(jù)抓取軟件系統(tǒng)優(yōu)化模塊在Hadoop集群上開展優(yōu)化，系統(tǒng)任務(wù)執(zhí)行時間變短，比原來的數(shù)據(jù)時間縮短了5%以上，優(yōu)化有效。運行結(jié)果如圖14。

5 ?結(jié)論

大數(shù)據(jù)系統(tǒng)軟件可以較好的提升企業(yè)大數(shù)據(jù)的分析效率，對企業(yè)大數(shù)據(jù)的應(yīng)用具有重要的意義。不僅利于降低大數(shù)據(jù)系統(tǒng)使用者要求，降低使用者使用成本和時間成本，還對于大數(shù)據(jù)系統(tǒng)自身提升系統(tǒng)運算能力、儲存優(yōu)化、尋找系統(tǒng)優(yōu)化途徑等方面也有著顯著的作用。本文的創(chuàng)新之處在于使用了遞歸算法進行設(shè)計，遞歸算法適合于大型數(shù)據(jù)的抽樣計算，可以保持較為穩(wěn)定的速度，同時計算效率相較于傳統(tǒng)計算方法要快很多。該算法在大數(shù)據(jù)平臺中應(yīng)用還較少，所以是一個顯著特色。

參考文獻

[1] Michael Gerndt， Bernd Mohr， Jesper Larsson Tr?ff. A test suite for parallel performance analysis tools[J]. Concurrency and Computation： Practice and Experience， 2017， 19（11）.

[2] John Mellor-Crummey， Robert J. Fowler， Gabriel Marin， Nathan Tallent. HPCVIEW： A Tool for Top-down Analysis of Node Performance[J]. The Journal of Supercomputing， 2015， 23（1）.

[3] Shajulin Benedict. Performance issues and performance analysis tools for HPC cloud applications： a survey[J]. Computing， 2013， 95（2）： 42-25.

[4] 袁芬， 徐從富. 基于機會協(xié)作的農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)設(shè)計[J]. 計算機應(yīng)用， 2014， 34（07）： 2136-2139.

[5] 張鋼， 謝曉珊， 黃英， 王春茹. 面向大數(shù)據(jù)流的半監(jiān)督在線多核學(xué)習(xí)算法[J]. 智能系統(tǒng)學(xué)報， 2014， 9（03）： 355-363.

[6] 程學(xué)旗， 靳小龍， 王元卓， 郭嘉豐， 張鐵贏， 李國杰.金融機構(gòu)大數(shù)據(jù)抓取軟件系統(tǒng)和分析技術(shù)綜述[J]. 軟件學(xué)報， 2014， 25（09）： 1889-1908.

[7] 張濱， 樂嘉錦. 基于列存儲的MapReduce并行連接算法[J]. 計算機工程， 2014， 40（08）： 70-75+85.

[8] 方巍， 鄭玉， 徐江. 大數(shù)據(jù)： 概念、技術(shù)及應(yīng)用研究綜述[J]. 南京信息工程大學(xué)學(xué)報（自然科學(xué)版）， 2014， 6（05）： 405-419.

[9] 宮宇新， 何滿潮， 汪政紅， 尹雨婷. 巖石破壞聲發(fā)射時頻分析算法與瞬時頻率前兆研究[J]. 巖石力學(xué)與工程學(xué)報， 2013， 32（04）： 785-799.

[10] 覃雄派， 王會舉， 李芙蓉， 李翠平， 陳紅， 周烜， 杜小勇， 王珊. 數(shù)據(jù)管理技術(shù)的新格局[J]. 軟件學(xué)報， 2013， 24（02）： 175-197.

[11] 李從宏.基于遞歸調(diào)用技術(shù)的關(guān)鍵字搜索軟件設(shè)計[J].電腦編程技巧與維護， 2018（12）： 60-62.

[12] Sato Wataru， Kochiyama Takanori， Uono Shota， Usui Naotaka， Kondo Akihiko， Matsuda Kazumi， Usui Keiko， Toichi Motomi， Inoue Yushi. Analyzing Neural Activity and Connectivity Using Intracranial EEG Data with SPM Software[J]. Journal of visualized experiments ： JoVE， 2018（140）.

[13] Polasky Daniel A， Dixit Sugyan M， Fantin Sarah M， Ruotolo Brandon T. CIUSuite 2： Next-Generation Software for the Analysis of Gas-Phase Protein Unfolding Data[J]. Analytical chemistry， 2019.

[14] Cypress Brigitte S. Data Analysis Software in Qualitative Research： Preconceptions， Expectations， and Adoption[J]. Dimensions of critical care nursing ： DCCN， 2019， 38（4）.

[15] Grüning Bj?rn A， Lampa Samuel， Vaudel Marc， Blankenberg Daniel. Software engineering for scientific big data analysis[J]. GigaScience， 2019， 8（5）.

[16] Hershman Ronen， Henik Avishai， Cohen Noga. CHAP： Open- source software for processing and analyzing pupillometry data[J]. Behavior research methods， 2019， 51（3）.

[17] Jair Kamwing， McCann Chase D， Reed Harrison， Castel Amanda D， Pérez-Losada Marcos， Wilbourn Brittany， Greenberg Alan E， Jordan Jeanne A. Validation of publicly- available software used in analyzing NGS data for HIV-1 drug resistance mutations and transmission networks in a Washington， DC， Cohort[J]. PloS one， 2019， 14（4）.

[18] Jones-Diette Julie S， Dean Rachel S， Cobb Malcolm， Brennan Marnie L. Validation of text-mining and content analysis techniques using data collected from veterinary practice management software systems in the UK[J]. Preventive veterinary medicine， 2019， 167.

[19] Buckle Adam， Gilbert Nick， Marenduzzo Davide， Brackley Chris A. capC-MAP： software for analysis of Capture-C data[J]. Bioinformatics （Oxford， England）， 2019.

[20] Asif Muhammad Khan， Nambiar Phrabhakaran， Ibrahim Norliza， Al-Amery Samah M， Khan Iqra Muhammad. Three- dimensional image analysis of developing mandibular third molars apices for age estimation： A study using CBCT data enhanced with Mimics & 3-Matics software[J]. Legal medicine （Tokyo， Japan）， 2019， 39.

[21] ]Schrode Benedikt， Pachmajer Stefan， Dohr Michael， R?thel Christian， Domke Jari， Fritz Torsten， Resel Roland， Werzer Oliver. GIDVis：a comprehensive software tool for geometry- independent grazing-incidence X-ray diffraction data analysis and pole-figure calculations[J]. Journal of applied crystallography， 2019， 52（Pt 3）.

[22] S. Jovanovic， D. Jovanovic， G. Bratic， M. A. Brovelli. ANALYSIS OF FREE ROAD DATA IN TANZANIA， UGANDA AND KENYA USING FREE AND OPEN SOURCE SOFTWARE[J]. ISPRS - International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2019， XLII-2/W13.

[23] Brigitte S. Cypress. Data Analysis Software in Qualitative Research： Preconceptions， Expectations， and Adoption[J]. Dimensions of Critical Care Nursing， 2019， 38（4）.