大數(shù)據(jù)應(yīng)用及新時期所面臨的挑戰(zhàn)研究

王興宏

(阜陽幼兒師范高等?？茖W(xué)?？茖W(xué)與健康系，阜陽236015)

由于許多新技術(shù)的突破，包括物聯(lián)網(wǎng)[1-5]，云計算[6-11]的激增，5G 網(wǎng)絡(luò)的發(fā)展[12-19]以及智能設(shè)備[20]的普及，如今人們每天都以前所未有的速度從各種來源(例如衛(wèi)生，政府，社交網(wǎng)絡(luò)，營銷，財務(wù)等)生成大量數(shù)據(jù)。另一方面，強大的系統(tǒng)和分布式應(yīng)用程序正在支持新型的可并行連接的復(fù)雜系統(tǒng)(例如，智能電網(wǎng)系統(tǒng)[21]、醫(yī)療保健系統(tǒng)[22]、沃爾瑪商業(yè)系統(tǒng)[23]及政府系統(tǒng)[24]等。在大數(shù)據(jù)革命之前，企業(yè)無法長時間存儲所有存檔，也無法有效地管理海量數(shù)據(jù)集。實際上，傳統(tǒng)技術(shù)的存儲容量有限，管理工具嚴格且價格昂貴，缺乏大數(shù)據(jù)環(huán)境所需的可伸縮性，靈活性等性能。實際上，大數(shù)據(jù)管理需要大量資源，新方法和強大技術(shù)。更準(zhǔn)確地說，大數(shù)據(jù)需要清理，處理，分析，保護并提供對大規(guī)模演進數(shù)據(jù)集的細粒度訪問。公司和行業(yè)越來越意識到，數(shù)據(jù)分析正日益成為提高競爭力，發(fā)現(xiàn)新見解以及提供個性化服務(wù)等的重要因素。由于可以從大數(shù)據(jù)中提取重要價值，因此很多國家都發(fā)起了關(guān)于大數(shù)據(jù)的重要研究項目。美國是抓住大數(shù)據(jù)機會的領(lǐng)導(dǎo)者之一。2012年3月，奧巴馬政府啟動了預(yù)算為2億美元的大數(shù)據(jù)研究與開發(fā)計劃。在日本，大數(shù)據(jù)開發(fā)已成為2012年7月國家技術(shù)戰(zhàn)略的重要軸心[25]。聯(lián)合國發(fā)表了一份題為《大數(shù)據(jù)促進發(fā)展:機遇與挑戰(zhàn)》的報告，旨在概述有關(guān)大數(shù)據(jù)所面臨的挑戰(zhàn)及大數(shù)據(jù)如何為國際發(fā)展服務(wù)的主要問題。由于世界各地開展了眾多不同的大數(shù)據(jù)項目，許多大數(shù)據(jù)模型、框架和新技術(shù)正不斷被提出。同時，已經(jīng)開發(fā)了新的解決方案以確保數(shù)據(jù)隱私和安全，與傳統(tǒng)技術(shù)相比，此類解決方案提供了更大的靈活性，可擴展性和性能。另一方面，由于持續(xù)的技術(shù)進步，大多數(shù)硬件存儲和處理解決方案的成本不斷下降。鑒于大數(shù)據(jù)的重大利用價值和持續(xù)不斷的技術(shù)突破，已經(jīng)出現(xiàn)有許多關(guān)于大數(shù)據(jù)的在不同領(lǐng)域的應(yīng)用，盡管如此，大數(shù)據(jù)的普及和廣泛運用仍然面臨極大的挑戰(zhàn)，為此，本文總結(jié)了現(xiàn)今大數(shù)據(jù)的一些主要應(yīng)用方面，就大數(shù)據(jù)所面臨的主要挑戰(zhàn)進行了分析，為大數(shù)據(jù)未來的應(yīng)用指明了方向。

1 大數(shù)據(jù)定義

與傳統(tǒng)數(shù)據(jù)不同，“大數(shù)據(jù)”一詞指的是大型數(shù)據(jù)集，包括結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)性質(zhì)復(fù)雜，需要強大的技術(shù)和先進的算法進行分析和處理。在大數(shù)據(jù)應(yīng)用程序的情況下，傳統(tǒng)的商業(yè)工具將不再有效。

大多數(shù)數(shù)據(jù)科學(xué)家和專家通過以下三個主要特征[26，27](稱為3V)來定義大數(shù)據(jù)。

(1)數(shù)量(Volume):從數(shù)百萬種設(shè)備和應(yīng)用程序(智能手機，社交網(wǎng)絡(luò)，傳感器，日志等)連續(xù)不斷生成大量數(shù)字數(shù)據(jù)。據(jù)估計，2012年每天產(chǎn)生約2.5 EB(艾字節(jié)，1艾字節(jié)等于2的60次方字節(jié))。這個數(shù)量大約每40個月增加一倍。2013年，據(jù)國際數(shù)公司估計，全世界創(chuàng)建、復(fù)制和使用的總數(shù)字數(shù)據(jù)為4.4ZB(澤字節(jié)，1澤字節(jié)等于2的70次方字節(jié))，且每兩年翻一倍。到2015年，數(shù)字數(shù)據(jù)增長到8ZB[28]。根據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)報告，2020年，數(shù)據(jù)量將達到40ZB[29]。按照兩年翻一倍的指數(shù)增長速度，未來數(shù)據(jù)的產(chǎn)生將爆炸式增長。

(2)速度(Velocity):大數(shù)據(jù)要求數(shù)據(jù)生成速度快，能快速處理以提取有用的信息。例如，沃爾馬(國際折扣零售連鎖店)每小時從客戶交易中生成超過2.5 PB(拍字節(jié)，1拍字節(jié)等于2的50次方字節(jié))的數(shù)據(jù)。

(3)多樣性(Variety):大數(shù)據(jù)應(yīng)是從各種分布的來源生成的，格式多種多樣(例如，視頻，文檔，注釋，日志)。大型數(shù)據(jù)集由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，公共或私有，本地或遠程，共享或機密，完整或不完整等組成。

2015年，Gandomi等[30]指出可以通過添加更多的其他特征，來更好地定義大數(shù)據(jù):設(shè)計目標(biāo)、規(guī)范化、驗證、價值、復(fù)雜性(基于數(shù)據(jù)關(guān)系在不斷發(fā)展，組織和分析大數(shù)據(jù)變得非常困難)以及不變性(管理得當(dāng)?shù)那闆r下，收集和存儲的大數(shù)據(jù)可以恒定不變)。

2 大數(shù)據(jù)應(yīng)用

大數(shù)據(jù)發(fā)展迅速，現(xiàn)今已有很多關(guān)于大數(shù)據(jù)的應(yīng)用被不斷提出和實踐，本節(jié)就大數(shù)據(jù)典型應(yīng)用場景進行分析和討論。

2.1 智能電網(wǎng)

實時管理國家電子耗電量并監(jiān)控智能電網(wǎng)運行，這是通過智能電表，傳感器，控制中心和其他基礎(chǔ)設(shè)施之間的多個連接來實現(xiàn)的。大數(shù)據(jù)分析可幫助識別有風(fēng)險的變壓器，并檢測所連接設(shè)備的異常行為。因此，網(wǎng)格實用程序可以選擇最佳的處理方法或操作。生成的大數(shù)據(jù)的實時分析可以對事件場景進行建模，用于建立戰(zhàn)略性的預(yù)防計劃，以減少糾正成本。此外，能源預(yù)測分析有助于更好地管理電力需求負荷，計劃資源，以達到最大化收益的目的[31]。

2.2 電子醫(yī)療

互聯(lián)醫(yī)療平臺已用于個性化醫(yī)療服務(wù)[32，33]，醫(yī)學(xué)數(shù)據(jù)取自不同的異構(gòu)源:實驗室的臨床數(shù)據(jù)、從遠程傳感器上傳的實時患者癥狀、醫(yī)院運營情況、藥品數(shù)據(jù)等。醫(yī)學(xué)數(shù)據(jù)集的大數(shù)據(jù)分析價值深遠[34-39]，使個性化醫(yī)療服務(wù)成為可能。例如，醫(yī)生可以監(jiān)視在線患者的癥狀以調(diào)整處方，或者根據(jù)人群癥狀，疾病演變和其他參數(shù)調(diào)整公共衛(wèi)生計劃，這對優(yōu)化醫(yī)院運營和減少衛(wèi)生費用支出方面做出了卓越的貢獻[40]。

2.3 物聯(lián)網(wǎng)

物聯(lián)網(wǎng)是大數(shù)據(jù)應(yīng)用的主要方面之一[41]。物聯(lián)網(wǎng)數(shù)據(jù)對象種類繁多，其應(yīng)用也在不斷發(fā)展。如今，有各種支持物流企業(yè)的大數(shù)據(jù)應(yīng)用程序。智慧城市也是物聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用的熱門研究領(lǐng)域[42]。例如，公司管理方面可以通過傳感器，無線適配器和GPS跟蹤車輛位置，挖掘和組合各種信息(包括過去的駕駛經(jīng)驗)，此類大數(shù)據(jù)應(yīng)用程序使公司不僅可以監(jiān)督和管理員工，而且可以優(yōu)化交貨路線。

2.4 公共設(shè)施

供水、供熱、燃氣等公用基礎(chǔ)設(shè)施公司在管道中放置傳感器，用以監(jiān)視復(fù)雜供水網(wǎng)絡(luò)中的水流量。據(jù)媒體報道，班加羅爾供水和污水處理局正在實施實時監(jiān)控系統(tǒng)檢測泄漏、非法連接和遠程控制閥門，以確保向城市的不同地區(qū)公平供水。這有助于減少對閥門操作員的需求，并及時識別和修復(fù)泄漏的水管。大數(shù)據(jù)在公共設(shè)施上的主要應(yīng)用是實時收集有用的信息，并對可能出現(xiàn)的風(fēng)險進行預(yù)測，改善人們的生活。

2.5 物流運輸

大數(shù)據(jù)在企業(yè)物流方面有著很好的應(yīng)用價值[43]，許多公共道路運輸企業(yè)正在使用RFID(射頻識別)和GPS跟蹤運輸工具以探索有價值數(shù)據(jù)，用以改善當(dāng)?shù)氐姆?wù)。例如，收集到的不同路線的公交車乘客人數(shù)數(shù)據(jù)，可以用來優(yōu)化公交路線以及班次，此類實時系統(tǒng)可以為乘客提供更有價值的信息，如換乘路線以及換乘時間等。挖掘大數(shù)據(jù)還可以通過預(yù)測公共或?qū)Ｓ镁W(wǎng)絡(luò)的需求來幫助改善旅行業(yè)務(wù)。例如，在擁有全球最大鐵路網(wǎng)絡(luò)之一的印度，每天發(fā)出的預(yù)留座位總數(shù)約為25萬，可以提前60天進行預(yù)約。對此類數(shù)據(jù)進行預(yù)測分析極其復(fù)雜，依賴于很多因素，如是否為周日、節(jié)日、夜行班次、起步站、中間站等。通過使用機器學(xué)習(xí)算法，可以對過去和新的大數(shù)據(jù)進行收集、挖掘和預(yù)測[44-50]。

2.6 政治服務(wù)和政府監(jiān)控

大數(shù)據(jù)在政治服務(wù)領(lǐng)域也有很好的利用價值[51]，例如，印度和美國等許多政府正在挖掘數(shù)據(jù)以監(jiān)控政治趨勢并分析民眾情緒。此類應(yīng)用結(jié)合了眾多數(shù)據(jù)源:社交網(wǎng)絡(luò)通信、個人采訪以及選民組成等。這樣的系統(tǒng)還能夠檢測國家問題以外的地方政府問題，政府可能會使用大數(shù)據(jù)分析來優(yōu)化資源的分配，如可以將傳感器放置在供水鏈的管道中，以監(jiān)控大型網(wǎng)絡(luò)中的水流量。

3 大數(shù)據(jù)應(yīng)用在新時期面臨的挑戰(zhàn)

雖然大數(shù)據(jù)應(yīng)用在新時期帶來了許多新的機遇，但研究人員和數(shù)據(jù)處理專家在探索大數(shù)據(jù)集以及從此類信息挖掘中提取價值時面臨著許多新的挑戰(zhàn)，主要包括數(shù)據(jù)捕獲、存儲、搜索、共享、分析、管理和可視化等。此外，在大數(shù)據(jù)(尤其是在分布式數(shù)據(jù)驅(qū)動的大數(shù)據(jù)應(yīng)用中)的分析和處理過程中存在安全和隱私問題。最后，盡管大數(shù)據(jù)的大小呈指數(shù)級增長，但當(dāng)前處理和探索大數(shù)據(jù)集的技術(shù)能力僅處于相對較低的數(shù)據(jù)級別。本節(jié)將就其中較為主要的幾個挑戰(zhàn)進行分析和討論。

3.1 大數(shù)據(jù)的管理

數(shù)據(jù)科學(xué)家在處理大數(shù)據(jù)時面臨許多挑戰(zhàn)。其一是如何在較少的硬件和軟件需求的情況下，收集、集成和存儲從分布式源生成的大量數(shù)據(jù)集。其二是大數(shù)據(jù)管理[52]，良好的數(shù)據(jù)管理是大數(shù)據(jù)分析的基礎(chǔ)，大數(shù)據(jù)管理的目標(biāo)是確?？煽康臄?shù)據(jù)易于訪問、管理、正確存儲和保護，高效的管理大數(shù)據(jù)通?？梢蕴岣叽髷?shù)據(jù)應(yīng)用的易用性，減少大數(shù)據(jù)應(yīng)用的使用成本。

3.2 大數(shù)據(jù)的清洗

為了獲得可靠的分析結(jié)果，必須在使用資源之前驗證源數(shù)據(jù)質(zhì)量的可靠性。但是，數(shù)據(jù)源可能包含噪音，錯誤或不完整的數(shù)據(jù)。因此，大數(shù)據(jù)應(yīng)用面臨的另一個挑戰(zhàn)是如何清除如此龐大的數(shù)據(jù)集，以及如何確定哪些數(shù)據(jù)可靠，哪些數(shù)據(jù)有用[53]。

3.3 大數(shù)據(jù)的聚合

大數(shù)據(jù)應(yīng)用的另一個挑戰(zhàn)是使外部數(shù)據(jù)源和分布式大數(shù)據(jù)平臺(包括應(yīng)用程序、存儲庫、傳感器和網(wǎng)絡(luò)等)內(nèi)部基礎(chǔ)架構(gòu)同步。在大多數(shù)情況下，僅分析大數(shù)據(jù)應(yīng)用內(nèi)部生成的數(shù)據(jù)是不夠的，為了提取更有意義的見解和知識并增加預(yù)測模型的強度，整合內(nèi)部數(shù)據(jù)與外部數(shù)據(jù)源非常重要。外部數(shù)據(jù)可能包括有關(guān)市場波動的信息、天氣預(yù)報和交通狀況的信息、來自社交網(wǎng)絡(luò)的數(shù)據(jù)及客戶評論和公民反饋信息等。

3.4 大數(shù)據(jù)應(yīng)用系統(tǒng)容量的不平衡

大數(shù)據(jù)應(yīng)用面臨的另一個挑戰(zhàn)與計算機體系結(jié)構(gòu)和容量有關(guān)。眾所周知，遵循摩爾定律，CPU 的性能每18個月就會翻倍，而磁盤驅(qū)動器的性能也以相同的速度翻倍。但是，I/O(Input/Output，輸入輸出)性能增速緩慢[54]。這種不平衡的系統(tǒng)容量可能會減慢數(shù)據(jù)訪問速度，并影響大數(shù)據(jù)應(yīng)用程序的性能和可伸縮性。同時，系統(tǒng)訪問網(wǎng)絡(luò)資源速度慢于訪問自身存儲的速度，網(wǎng)絡(luò)存儲容量的增大也會降低系統(tǒng)性能。

3.5 大數(shù)據(jù)應(yīng)用的可視化

可視化是指使用圖形表示知識。以示意圖方式提取信息對于數(shù)據(jù)分析非常有價值，但由于數(shù)據(jù)量的快速增長和數(shù)據(jù)之間復(fù)雜性的提高，在大多數(shù)大數(shù)據(jù)應(yīng)用程序中進行可視化都有困難?，F(xiàn)有的大數(shù)據(jù)可視化工具不能在功能、響應(yīng)時間和可伸縮性方面均表現(xiàn)出理想的性能[55]。

3.6 大數(shù)據(jù)安全性

大數(shù)據(jù)分析中，安全性至關(guān)重要[56]，并受到企業(yè)的廣泛關(guān)注。在某些情況下，數(shù)據(jù)以極快的速度生成，及時識別惡意數(shù)據(jù)變得及其困難。現(xiàn)有的大多數(shù)安全技術(shù)都基于靜態(tài)數(shù)據(jù)集，而實際應(yīng)用中數(shù)據(jù)卻在動態(tài)變化。為了確保應(yīng)用的實時安全可靠性，傳統(tǒng)的安全機制需結(jié)合大數(shù)據(jù)的新特性，例如數(shù)據(jù)模式和數(shù)據(jù)變化。對于復(fù)雜的大數(shù)據(jù)流的實時性要求，設(shè)計并實現(xiàn)一套安全性高且低時延的新安全機制，挑戰(zhàn)性極大。

3.7 大數(shù)據(jù)實時性

大數(shù)據(jù)為各個行業(yè)帶來了巨大的機遇和變革潛力，例如大數(shù)據(jù)分析使企業(yè)能夠提取有價值的信息，并預(yù)測可能對業(yè)務(wù)產(chǎn)生正面或負面影響的運營模式。然而，大部分的大數(shù)據(jù)應(yīng)用都需要實時分析，例如導(dǎo)航、社交網(wǎng)絡(luò)、金融、生物醫(yī)學(xué)、天文學(xué)、智能交通系統(tǒng)等。因此，需要先進的算法或有效的數(shù)據(jù)挖掘方法來實時監(jiān)聽各個領(lǐng)域的變化并預(yù)測未來的觀察結(jié)果。雖然大數(shù)據(jù)分析技術(shù)多種多樣，包括數(shù)據(jù)挖掘、統(tǒng)計分析以及機器學(xué)習(xí)等，但增加大數(shù)據(jù)對龐大的異構(gòu)數(shù)據(jù)集的實時響應(yīng)能力仍然具有挑戰(zhàn)性。許多學(xué)者通過融合現(xiàn)有技術(shù)或者提出新技術(shù)來應(yīng)對這一難題，推動了系統(tǒng)架構(gòu)、硬件方向和軟件方向的發(fā)展，但針對數(shù)據(jù)量龐大時如何保證響應(yīng)的及時性和可靠性，仍有極大的挑戰(zhàn)。

3.8 大數(shù)據(jù)深度學(xué)習(xí)方面的挑戰(zhàn)

現(xiàn)如今，深度學(xué)習(xí)在機器學(xué)習(xí)和模式識別領(lǐng)域受到了廣泛的關(guān)注，事實上，深度學(xué)習(xí)在諸如計算機視覺、語音識別和自然語言處理之類的預(yù)測分析應(yīng)用中有很好的表現(xiàn)。傳統(tǒng)的機器學(xué)習(xí)技術(shù)和特征工程算法在處理原始形式的自然數(shù)據(jù)的能力方面受到限制，而深度學(xué)習(xí)功能更強大，可以處理大型數(shù)據(jù)集的數(shù)據(jù)分析和學(xué)習(xí)問題，有助于自動從大量無監(jiān)督和未分類的原始數(shù)據(jù)中提取復(fù)雜的數(shù)據(jù)表示形式。此外，由于深度學(xué)習(xí)基于分層學(xué)習(xí)并提取了不同級別的復(fù)雜數(shù)據(jù)抽象，因此適合簡化大數(shù)據(jù)量的分析，對于語義索引、數(shù)據(jù)標(biāo)記、信息檢索以及諸如分類和預(yù)測之類的區(qū)分性任務(wù)，深度學(xué)習(xí)具有明顯的優(yōu)勢，然而，這些優(yōu)勢遠遠不足于解決深度學(xué)習(xí)在大數(shù)據(jù)應(yīng)用中面臨的重大挑戰(zhàn)，主要體現(xiàn)在以下方面:

(1)龐大的數(shù)據(jù)源:對于針對大數(shù)據(jù)的深度學(xué)習(xí)而言，數(shù)據(jù)訓(xùn)練絕非易事，由于深度學(xué)習(xí)算法的迭代計算很難并行化，創(chuàng)建高效且可擴展的并行算法以改善深度學(xué)習(xí)模型的數(shù)據(jù)訓(xùn)練速度，仍有非常大的挑戰(zhàn)。

(2)數(shù)據(jù)復(fù)雜:大數(shù)據(jù)應(yīng)用的輸入輸出數(shù)據(jù)種類繁多，數(shù)據(jù)維度高，這對深度學(xué)習(xí)提出了巨大挑戰(zhàn)，因此，深度學(xué)習(xí)必須考慮系統(tǒng)復(fù)雜度和訓(xùn)練模型的復(fù)雜度。除此之外，如此大的數(shù)據(jù)量使得僅用單一中央處理器和存儲器訓(xùn)練深度學(xué)習(xí)算法變得不可行。

(3)分類困難:大數(shù)據(jù)的來源繁多，數(shù)據(jù)分類面臨數(shù)據(jù)不完整、缺少標(biāo)簽及標(biāo)簽繁雜等多方面的挑戰(zhàn)。

(4)不穩(wěn)定性:大數(shù)據(jù)應(yīng)用中數(shù)據(jù)以極高的速度生成，數(shù)據(jù)會隨時間或者其他因素變化，因此并不穩(wěn)定，實時處理變得非常困難，

由于存在上述問題，深度學(xué)習(xí)解決方案仍需要進一步的發(fā)展，需要通過廣泛的研究以優(yōu)化分析結(jié)果。未來的研究工作應(yīng)考慮如何改進深度學(xué)習(xí)算法，以解決實時數(shù)據(jù)分析、高維數(shù)據(jù)復(fù)雜性、模型可擴展性等問題。與此同時，還需要改善數(shù)據(jù)抽象的表述、分布式計算、語義索引、數(shù)據(jù)標(biāo)記、信息檢索等功能，以獲得良好數(shù)據(jù)表示方法以及在更多領(lǐng)域的適用性。

4 結(jié)論

大數(shù)據(jù)作為當(dāng)今熱點研究領(lǐng)域之一，許多新的成果被不斷提出，對人們的生活和工作產(chǎn)生了深遠影響。本文對大數(shù)據(jù)的典型應(yīng)用場景如智能電網(wǎng)、電子醫(yī)療、物聯(lián)網(wǎng)、公共設(shè)施、物流運輸?shù)阮I(lǐng)域進行了研究和討論，同時由于大數(shù)據(jù)本身具有結(jié)構(gòu)復(fù)雜、數(shù)據(jù)量大、難以分析等獨特性質(zhì)，大數(shù)據(jù)應(yīng)用在管理、聚合、清洗、可視化及安全性等方面正面臨具大的挑戰(zhàn)，未來大數(shù)據(jù)應(yīng)用需針對這些挑戰(zhàn)進行不斷突破，同時，深度學(xué)習(xí)作為大數(shù)據(jù)未來的分析手段，大數(shù)據(jù)深度學(xué)習(xí)方面的挑戰(zhàn)需受到更多的重視。