大數(shù)據(jù)背景下數(shù)據(jù)科學(xué)分析工具現(xiàn)狀及發(fā)展趨勢(shì)

周琪棟 薛冰潔

【摘 要】在大數(shù)據(jù)背景下，利用云計(jì)算等智能型平臺(tái)對(duì)大數(shù)據(jù)進(jìn)行相應(yīng)的分析，已經(jīng)成為一種必然的趨勢(shì)，而開放式共享與個(gè)性化定制也逐漸成為軟件發(fā)展的一種主流途徑。本文基于大數(shù)據(jù)背景下，首先介紹了數(shù)據(jù)科學(xué)分析工具的發(fā)展現(xiàn)狀，接著探討了數(shù)據(jù)分析工具在未來的發(fā)展趨勢(shì)，以期為相關(guān)人員提供一定的參考。

【關(guān)鍵詞】大數(shù)據(jù)背景；數(shù)據(jù)科學(xué)；發(fā)展趨勢(shì)

大數(shù)據(jù)的出現(xiàn)，也衍生出一門全新的科學(xué)——“數(shù)據(jù)科學(xué)”，其作用則是利用自動(dòng)化的方式去分析大量的數(shù)據(jù)，然后從中得到一些有用的信息。但是從現(xiàn)階段的發(fā)展現(xiàn)狀來看，數(shù)據(jù)分析工具在實(shí)際應(yīng)用的時(shí)候，還面臨著一些難題，基于此，相關(guān)人員就應(yīng)該強(qiáng)化對(duì)這些數(shù)據(jù)分析工具的研究工作，著重突顯出大數(shù)據(jù)的分析能力。

一、數(shù)據(jù)科學(xué)分析工具的現(xiàn)狀

大數(shù)據(jù)正改變著人們的生活方式和思維模式，對(duì)于文化和一些學(xué)術(shù)研究也產(chǎn)生了一定的影響。一方面，大數(shù)據(jù)時(shí)代給各個(gè)學(xué)科領(lǐng)域都帶來了一些機(jī)遇，將“知識(shí)范式”逐漸的轉(zhuǎn)變成為“數(shù)據(jù)范式”。但是另一方面，也增加了數(shù)據(jù)獲得與儲(chǔ)存的難度性，各個(gè)學(xué)科領(lǐng)域中的傳統(tǒng)知識(shí)與新興數(shù)據(jù)之間的矛盾也愈加突出，當(dāng)傳統(tǒng)知識(shí)已經(jīng)無法有效的適應(yīng)現(xiàn)階段的新型知識(shí)時(shí)，就會(huì)促使傳統(tǒng)理論和方式發(fā)生一些革命性的變化。同時(shí)，從現(xiàn)階段的發(fā)展情況來看，大數(shù)據(jù)已經(jīng)受到了各個(gè)領(lǐng)域的高度重視，也成為計(jì)算機(jī)學(xué)和統(tǒng)計(jì)學(xué)等多個(gè)科學(xué)領(lǐng)域研究的重點(diǎn)內(nèi)容，這也表示當(dāng)前不同領(lǐng)域中數(shù)據(jù)研究開始向著一個(gè)高度融合的趨勢(shì)發(fā)展。

二、現(xiàn)階段數(shù)據(jù)科學(xué)分析工具面臨的挑戰(zhàn)

（一）數(shù)據(jù)的多樣性

大數(shù)據(jù)可以看作是數(shù)據(jù)科學(xué)的一部分，無論是在科學(xué)領(lǐng)域，還是在教學(xué)范疇中，都為這些行業(yè)的發(fā)展提供了巨大的機(jī)會(huì)，但是在發(fā)展的過程中，也存在著諸多的挑戰(zhàn)。首先就是數(shù)據(jù)格式的多樣化，當(dāng)我們開始進(jìn)入大數(shù)據(jù)時(shí)代的時(shí)候，數(shù)據(jù)量也會(huì)有所上升，數(shù)據(jù)的格式也開始向著一個(gè)多樣化的方向發(fā)展。如企業(yè)、銀行的數(shù)據(jù)一般是以文本的形式存在的，而YouTube中的數(shù)據(jù)則是以視頻或者是語音的方式出現(xiàn)。這些數(shù)據(jù)形式除了傳統(tǒng)的關(guān)系數(shù)據(jù)之外，還包含了一些網(wǎng)頁搜索、電子郵件和社交媒體軟件等，這些實(shí)際上就是屬于一種非結(jié)構(gòu)和半結(jié)構(gòu)的數(shù)據(jù)。因此，在面對(duì)數(shù)據(jù)量如此龐大的情況下，就要求在應(yīng)用數(shù)據(jù)分析工具的時(shí)候，最好是可以將結(jié)構(gòu)與非結(jié)構(gòu)的數(shù)據(jù)有效的聯(lián)系在一起。

（二）傳統(tǒng)數(shù)據(jù)算法的失效

現(xiàn)階段，數(shù)據(jù)科學(xué)還沒有一個(gè)比較明確的基礎(chǔ)理論，所以人們對(duì)于它的定義也各不相同。而在進(jìn)行數(shù)據(jù)分析的時(shí)候，就需要選擇一個(gè)有效的數(shù)據(jù)算法，傳統(tǒng)的數(shù)據(jù)算法是聚類算法，這是一種非常典型的N立方規(guī)模，當(dāng)N變大的時(shí)候，一些方式就會(huì)實(shí)效。因此，在如此龐大的數(shù)據(jù)背景下，就必須要選擇一些適合時(shí)代發(fā)展的數(shù)據(jù)算法，這樣才能更好的應(yīng)對(duì)PB級(jí)別的數(shù)據(jù)。此外大數(shù)據(jù)還具備實(shí)時(shí)性的特點(diǎn)，這種情況下，就需要在準(zhǔn)確性與實(shí)時(shí)性之間選擇一個(gè)比較平衡的方式。

三、數(shù)據(jù)科學(xué)分析工具的發(fā)展趨勢(shì)

（一）一體化和可視化的發(fā)展趨勢(shì)

科學(xué)大數(shù)據(jù)智能分析中包含了數(shù)據(jù)處理、分析，而現(xiàn)有的大數(shù)據(jù)框架和平臺(tái)中，也存在著曲線高、開發(fā)代價(jià)大的問題。因此，在傳統(tǒng)化的“編程式”的開發(fā)模式中，還需要為該領(lǐng)域的科學(xué)家們提供一些簡(jiǎn)單而且方便的“拼裝式”發(fā)展環(huán)境。最好是利用一些高質(zhì)量以及可重復(fù)的模型與算法，這樣在進(jìn)行大數(shù)據(jù)分析的時(shí)候，就可以實(shí)現(xiàn)數(shù)據(jù)集中、流程設(shè)計(jì)等一體化的支撐體系。例如Data Analytics，這是一種輕量級(jí)的業(yè)務(wù)數(shù)據(jù)可視化分析平臺(tái)，可以將各種數(shù)據(jù)源類型和海量的數(shù)據(jù)集合在一起，然后接入Excel等數(shù)據(jù)文件和服務(wù)平臺(tái)等，這樣便能輕松的整合相關(guān)業(yè)務(wù)。數(shù)據(jù)分析實(shí)際上就是數(shù)據(jù)處理的重點(diǎn)內(nèi)容，但是如果最后分析的結(jié)果是正確的，但是缺乏一個(gè)合適的方式來解釋它的結(jié)構(gòu)，這就會(huì)讓用戶難以理解。而直觀有效的展示出整體的分析結(jié)果，往往更容易讓人接受數(shù)據(jù)分析所傳遞的信息。尤其是在大數(shù)據(jù)背景下，龐大而且繁瑣的數(shù)據(jù)量，能夠幫助人們更為直觀的去發(fā)現(xiàn)數(shù)據(jù)中潛在的信息與知識(shí)，而可視化的發(fā)展則是最為有效的方式之一。

（二）云服務(wù)的發(fā)展趨勢(shì)

云服務(wù)的科學(xué)大數(shù)據(jù)智能分析軟件，不需要在本地進(jìn)行數(shù)據(jù)的安裝和維護(hù)，一方面，瀏覽器逐漸成為數(shù)據(jù)挖掘與分析的一種工具，另一方面，模型和數(shù)據(jù)源則是以在線API的形式進(jìn)行共享與復(fù)用，這一種形式也可以被稱之為“功能性的服務(wù)”。同時(shí)，大數(shù)據(jù)時(shí)代下，則是要求數(shù)據(jù)科學(xué)分析工具可以更好的適應(yīng)海量數(shù)據(jù)的分析工作，其次，數(shù)據(jù)的價(jià)值同數(shù)據(jù)的種類之間也有著一定的聯(lián)系，通常情況下，數(shù)據(jù)種類越多，那么包含的信息量也就越大，挖掘的潛在信息也越多。因此，為了實(shí)現(xiàn)全數(shù)據(jù)分析的發(fā)展，就要求數(shù)據(jù)分析工具應(yīng)該具備一些格式多樣化的分析模式。無論是直接統(tǒng)計(jì)分析，還是可視化分析，數(shù)據(jù)科學(xué)工具對(duì)于數(shù)據(jù)的建設(shè)都具有積極的作用，例如Keras數(shù)據(jù)分析工具，這是使用Python編寫的開源神經(jīng)網(wǎng)絡(luò)庫，通過深度神經(jīng)網(wǎng)絡(luò)來進(jìn)行實(shí)驗(yàn)，就可以直接運(yùn)行微軟Cognitive，它的優(yōu)勢(shì)點(diǎn)在于高位模式匹配。同時(shí)，在圖像和自然語言的處理中，也支持一些完善的深度學(xué)習(xí)分析模式，在實(shí)際應(yīng)用的時(shí)候，可以節(jié)省掉大量的時(shí)間。而在添加這項(xiàng)新工具時(shí)的主要標(biāo)志則是讓數(shù)據(jù)科學(xué)家的工作變得更加的簡(jiǎn)單。

（三）開放共享的發(fā)展趨勢(shì)

交叉科學(xué)在發(fā)展的過程中，包含了多領(lǐng)域的分析模型與算法，匯聚跨領(lǐng)域的共性模型，實(shí)際上可以形成一種類型豐富而且性能優(yōu)異的算法庫，這極大的降低了該領(lǐng)域交叉綜合分析模型的開發(fā)難度，提高了整體的開發(fā)效率。同時(shí)，各個(gè)領(lǐng)域科學(xué)團(tuán)隊(duì)也通過共享的模型和算法，讓軟件系統(tǒng)得以繼續(xù)的演練，系統(tǒng)更具備吸引力。例如R語言算法庫，這就是CRAN交叉領(lǐng)域算法的一種典型，而且從現(xiàn)階段的發(fā)展情況來看，這種算法在未來也會(huì)有非常廣的應(yīng)用空間。除此之外，在數(shù)據(jù)時(shí)代下，如果僅僅是依靠單一的數(shù)據(jù)分析工具，這是無法滿足現(xiàn)階段的發(fā)展需求的，而采用開放共享的模式，用于提高系統(tǒng)的擴(kuò)展性已經(jīng)成為一種必然。在這種情況下，R語言則受到了很多數(shù)據(jù)科學(xué)專業(yè)人員的喜愛，它能幫助科研人員更加簡(jiǎn)單和專注的進(jìn)行數(shù)據(jù)科學(xué)研究。具有非常復(fù)雜的機(jī)器學(xué)習(xí)和統(tǒng)計(jì)作用，可以快速的查看平均值、中位數(shù)，還能創(chuàng)建圖表，以及創(chuàng)建測(cè)試數(shù)據(jù)集，輕松的共享并導(dǎo)出CSV格式。

四、結(jié)束語

在傳統(tǒng)的數(shù)據(jù)研究中，主要是強(qiáng)調(diào)將一些復(fù)雜的數(shù)據(jù)轉(zhuǎn)變成為簡(jiǎn)單的數(shù)據(jù)。而在大數(shù)據(jù)背景下，如果可以更加有效的組織和使用這些數(shù)據(jù)，人們才能更好的利用科學(xué)技術(shù)來推動(dòng)現(xiàn)代社會(huì)的發(fā)展。因此，在數(shù)據(jù)分析工具不斷發(fā)展的過程中，準(zhǔn)確、高效的利用數(shù)據(jù)中的潛在價(jià)值，實(shí)際上就是衡量數(shù)據(jù)分析工具的關(guān)鍵所在。當(dāng)數(shù)據(jù)科學(xué)逐漸成為一門獨(dú)立性學(xué)科的時(shí)候，相關(guān)的研究人員也應(yīng)該完善相應(yīng)的理論技術(shù)和學(xué)科技術(shù)，這樣才能被更多的人所理解與認(rèn)同。

【參考文獻(xiàn)】

[1]徐禮文. 大數(shù)據(jù)背景下工科院校理學(xué)院數(shù)據(jù)科學(xué)創(chuàng)新團(tuán)隊(duì)與平臺(tái)建設(shè)[J].教育教學(xué)論壇， 2017（22）：95-96.

[2]佚名. 數(shù)據(jù)科學(xué)與大數(shù)據(jù)人才專業(yè)課程體系分析[J].計(jì)算機(jī)工程與科學(xué)， 2018， 40（z1）.

[3]數(shù)據(jù)科學(xué)研究的現(xiàn)狀與趨勢(shì)[J].計(jì)算機(jī)科學(xué)， 2018， 45（1）：1-13.