基于人工智能技術(shù)的大數(shù)據(jù)分析方法研究進(jìn)展

蔡敏

關(guān)鍵詞：人工智能;大數(shù)據(jù);分析方法

如今大數(shù)據(jù)在社會各個方面都發(fā)揮著非常重要的作用。而且，全球信息化的趨勢也在昭示著大數(shù)據(jù)技術(shù)將會得到更加廣泛地應(yīng)用。在各種工業(yè)發(fā)展中，也開始逐漸應(yīng)用大數(shù)據(jù)技術(shù)，我們已經(jīng)走進(jìn)了工業(yè)大數(shù)據(jù)時代，如果能夠基于人工智能技術(shù)的基礎(chǔ)上研究大數(shù)據(jù)分析方法，就可以從根本上優(yōu)化大數(shù)據(jù)的使用范圍。

一、基于人工智能技術(shù)的大數(shù)據(jù)分析方法概述

由于信息技術(shù)的飛速發(fā)展，大數(shù)據(jù)技術(shù)已經(jīng)逐漸被應(yīng)用到人們生活的方方面面，而人工智能的廣泛使用，也為人工智能基礎(chǔ)下大數(shù)據(jù)分析方法提供了有效的基礎(chǔ)，未來對于人工智能和大數(shù)據(jù)分析技術(shù)的應(yīng)用范圍只會越來越廣泛，而基于人工智能技術(shù)下大數(shù)據(jù)分析方法，主要可以分為三個部分。

（一）基于機(jī)器學(xué)習(xí)的大數(shù)據(jù)分析

在人工智能技術(shù)當(dāng)中，機(jī)器學(xué)習(xí)是非常重要的一部分，也是在大數(shù)據(jù)分析當(dāng)中最常用到的方法，不僅在國內(nèi)，有學(xué)者著手開始研究基于機(jī)器學(xué)習(xí)的大數(shù)據(jù)分析，在國外已經(jīng)有不少學(xué)者開始對這方面進(jìn)行研究，而且，部分研究成果已經(jīng)應(yīng)用到了很多領(lǐng)域。基于機(jī)器學(xué)習(xí)的大數(shù)據(jù)分析可以主要分為四點。

1.大數(shù)據(jù)聚類

大數(shù)據(jù)聚類作為所有算法當(dāng)中最難的部分，不僅需要跨學(xué)科，跨領(lǐng)域，而且還需要跨媒體，也就導(dǎo)致了這一部分的研究受到了越來越多的關(guān)注。

2.大數(shù)據(jù)關(guān)聯(lián)分析

大數(shù)據(jù)關(guān)聯(lián)分析的另一個名字叫作關(guān)聯(lián)挖掘，它的主要作用就是在眾多的數(shù)據(jù)中找到關(guān)于項目集合或者是對象之間的合適模式以及關(guān)聯(lián)性和因果結(jié)構(gòu)，是目前大數(shù)據(jù)技術(shù)當(dāng)中主要發(fā)掘的技術(shù)之一。

3.大數(shù)據(jù)分類

大數(shù)據(jù)分類也是大數(shù)據(jù)挖掘中的一個重要方法，而且大數(shù)據(jù)分類廣泛，存在于各種行業(yè)中，連網(wǎng)絡(luò)入侵檢測和醫(yī)療診斷當(dāng)中，也有大數(shù)據(jù)分類的身影。

4.大數(shù)據(jù)預(yù)測

大數(shù)據(jù)預(yù)測是整個大數(shù)據(jù)分析技術(shù)中的核心內(nèi)容，大數(shù)據(jù)預(yù)測可以在很多行業(yè)中發(fā)揮它的作用，最常見的就是價格預(yù)測元素分析以及電力負(fù)荷預(yù)測等，這都可以為行業(yè)后續(xù)的發(fā)展提供非常有利的數(shù)據(jù)支持。

（二）基于深度學(xué)習(xí)的大數(shù)據(jù)分析

深度學(xué)習(xí)是由加拿大一位教授在某期刊上所提出的。后來，基于深度學(xué)習(xí)的大數(shù)據(jù)分析，成為機(jī)器學(xué)習(xí)的一個非常矚目的研究領(lǐng)域，而且深度學(xué)習(xí)也是機(jī)器學(xué)習(xí)方法之一，它通過對圖像、語音以及語言等處理的應(yīng)用，對人工智能的發(fā)展有著非常重要的作用。而且在人工智能當(dāng)中，深度學(xué)習(xí)是需要經(jīng)過訓(xùn)練的，它歸屬于計算密集型任務(wù)。

（三）基于計算智能的大數(shù)據(jù)分析

它是人工智能中一個非常受關(guān)注的分支，因為計算智能自身有著啟發(fā)式和隨機(jī)性這兩個特點，可以更好地解決大規(guī)模問題。在我國的傳統(tǒng)發(fā)展中，優(yōu)化算法主要都采用集中式設(shè)計思想，在運算的過程中，需要顧及收斂性和收斂速度，但是如果面對一些大規(guī)模數(shù)據(jù)優(yōu)化或者是處理問題，傳統(tǒng)的集中式設(shè)計就無法進(jìn)行處理或者處理起來非常耗時，但是如果應(yīng)用計算智能來進(jìn)行大數(shù)據(jù)分析，就可以很好地解決這種大規(guī)模的數(shù)據(jù)處理問題。

二、基于人工智能技術(shù)的大數(shù)據(jù)分析應(yīng)用領(lǐng)域

（一）生態(tài)領(lǐng)域

基于人工智能技術(shù)的大數(shù)據(jù)分析技術(shù)在生態(tài)領(lǐng)域的作用主要可以分為三個方面：第一個方面是生態(tài)保護(hù)領(lǐng)域的應(yīng)用，第二個方面是生態(tài)修復(fù)領(lǐng)域的應(yīng)用，第三個方面是生態(tài)災(zāi)害防治領(lǐng)域的應(yīng)用。近年來，我國的經(jīng)濟(jì)發(fā)展十分迅速，但也導(dǎo)致了相應(yīng)的環(huán)境問題，黨中央以及相關(guān)部門也加大了對生態(tài)環(huán)境保護(hù)的重視。例如，在針對森林生態(tài)系統(tǒng)的防護(hù)過程中，需要做到的就是確保森林資源不被酸雨所影響，還要盡量注意全球變暖對于森林資源的影響。在這種情況下，可以利用人工智能和衛(wèi)星遙感技術(shù)與大數(shù)據(jù)分析相結(jié)合，針對未來的天氣情況以及氣候環(huán)境進(jìn)行實時預(yù)測以及監(jiān)控。利用人工智能對環(huán)境健康進(jìn)行監(jiān)測的同時，也可以利用大數(shù)據(jù)分析技術(shù)來調(diào)取森林近年來的生長數(shù)據(jù)，一旦發(fā)現(xiàn)有酸雨即將來臨，相關(guān)負(fù)責(zé)人員就可以提前采取措施，通過分析森林的生長情況來確認(rèn)森林是否會被酸雨所破壞，以及相關(guān)的防護(hù)措施要做到什么程度，這樣就可以提前對森林資源進(jìn)行保護(hù)。在生態(tài)修復(fù)領(lǐng)域的應(yīng)用中，可以將人工智能技術(shù)下的大數(shù)據(jù)分析技術(shù)應(yīng)用到種苗培育當(dāng)中，在生態(tài)修復(fù)的過程中，不可避免地會涉及一系列的種苗，在培育時就可以利用人工智能和大數(shù)據(jù)分析技術(shù)來分析當(dāng)?shù)氐纳鷳B(tài)環(huán)境，判斷適合種植什么樣的植物可以提高植物的存活率。將人工智能技術(shù)應(yīng)用到生態(tài)災(zāi)害防治領(lǐng)域，可以防止發(fā)生大面積的森林火災(zāi)，利用熱成像攝像機(jī)可以隨時監(jiān)測森林當(dāng)中的情況，一旦發(fā)生任何病蟲害，也可以及時發(fā)現(xiàn)。

（二）生活領(lǐng)域

人工智能技術(shù)在生活領(lǐng)域的應(yīng)用主要是關(guān)于人們的生活習(xí)慣。近年來，由于大數(shù)據(jù)技術(shù)和人工智能技術(shù)的興起，我們可以切身地體會到，我們的生活便捷性有了很大的提高，以最簡單的購物為例，以前用戶在網(wǎng)上購物的過程中，想要什么東西，可能會需要自行搜索，然后再去挑選，而且每次買東西都需要重復(fù)一樣的步驟，但是現(xiàn)在只要用戶對某一類別的產(chǎn)品感興趣，計算機(jī)就會根據(jù)用戶的喜好進(jìn)行大數(shù)據(jù)搜索，然后再推薦相似類別的東西，這就大大提高了人們購物的便捷性。目前在國內(nèi)大部分餐廳中也開始采用機(jī)器人送餐模式，這是人工智能技術(shù)和大數(shù)據(jù)分析結(jié)合的一個主要應(yīng)用，機(jī)器人在上菜過程中既定的運動軌跡以及所能承受的菜品重量，都是結(jié)合了大數(shù)據(jù)才得出的。在人們?nèi)粘５纳钪校斯ぶ悄芗夹g(shù)下的大數(shù)據(jù)技術(shù)也有很廣泛地應(yīng)用。例如，如果有身體不適需要就醫(yī)，人們可以直接在網(wǎng)上進(jìn)行掛號，掛號成功后直接到醫(yī)院而無須等待，這就是人工智能技術(shù)下大數(shù)據(jù)分析技術(shù)的另一個應(yīng)用，可以根據(jù)用戶所描述的病情來推薦合適的門診科目，再進(jìn)行網(wǎng)上掛號.這樣到了醫(yī)院以后可以節(jié)省很多等待的時間，這也在一定程度上提高了醫(yī)院的運行效率。

三、基于人工智能技術(shù)的大數(shù)據(jù)分析發(fā)展進(jìn)度及方向

（一）聚類研究進(jìn)度及方向

目前，在我國大數(shù)據(jù)分析當(dāng)中，采用的都是最傳統(tǒng)的聚類算法，但是大數(shù)據(jù)聚類由于其復(fù)雜度和困難度較高，傳統(tǒng)的聚類算法根本不能直接應(yīng)用到大數(shù)據(jù)聚類當(dāng)中，因此引用了Mapreduce和K-means兩種算法。以Mapreduce為基礎(chǔ)的大數(shù)據(jù)聚類算法，可以通過分布式來實現(xiàn)，并且應(yīng)用這種算法，可以從根本上減少大數(shù)據(jù)聚類的復(fù)雜程度，并在使用的過程中，可以更好地增加數(shù)據(jù)的延展性，而且在計算時也可以將計算時間最小化，同時對計算機(jī)硬件也沒有太大的要求。而K-means作為比較經(jīng)典的一種算法，有著非常廣泛的應(yīng)用范圍，可以在一定程度上提高數(shù)據(jù)的處理速度。

（二）關(guān)聯(lián)研究進(jìn)度及方向

前文已經(jīng)介紹過大數(shù)據(jù)關(guān)聯(lián)分析，也被稱為關(guān)聯(lián)挖掘，它是大數(shù)據(jù)挖掘當(dāng)中主要的一項發(fā)展任務(wù)。目前，我國對大數(shù)據(jù)關(guān)聯(lián)的研究進(jìn)度主要著重在Apriori關(guān)聯(lián)規(guī)則和頻繁模式增長上，而且關(guān)聯(lián)規(guī)則挖掘在我國有著非常廣泛的應(yīng)用領(lǐng)域，像我們?nèi)粘Ｉ钪械臄?shù)值分析以及日志分析和智能交通等，都可以運用到關(guān)聯(lián)規(guī)則挖掘，例如，在對于出租車軌跡研究上，利用關(guān)聯(lián)規(guī)則挖掘可以對汽車的故障進(jìn)行實時診斷，并且還能夠在一定程度上避免因為模式數(shù)過大而導(dǎo)致的計算速度過慢的問題。在未來，關(guān)聯(lián)挖掘算法在我國會有更加廣泛的應(yīng)用，因為它主要的作用是對已經(jīng)存在了的算法進(jìn)行并行化處理，這就更能符合我國未來大數(shù)據(jù)的發(fā)展趨勢。

（三）預(yù)測研究進(jìn)度及方向

大數(shù)據(jù)預(yù)測是我國目前針對人工智能技術(shù)下大數(shù)據(jù)技術(shù)的主要研究內(nèi)容，它可以應(yīng)用到很多行業(yè)當(dāng)中，但是目前我國的大數(shù)據(jù)預(yù)測研究還面臨著兩個非常困難的挑戰(zhàn)：第一就是如何能夠在預(yù)測過程中快速獲得一個趨勢輪廓，而且還需要保證數(shù)據(jù)的精確性;第二就是有越來越多的數(shù)據(jù)呈幾何倍數(shù)增長，很難在其中找到有價值的信息。和我們?nèi)粘Ｉ钪嘘P(guān)聯(lián)性最緊密的例子就是對于監(jiān)控視頻中有用價值的尋找。在幾個小時甚至是幾天內(nèi)的監(jiān)控視頻中，能夠為我們所用的數(shù)據(jù)，可能只有幾秒，那么該如何在這樣龐大的信息數(shù)據(jù)中找到我們所需要的價值，這就是我國大數(shù)據(jù)預(yù)測當(dāng)中存在的主要挑戰(zhàn)。

（四）分類研究進(jìn)度及方向

大數(shù)據(jù)分類是挖掘信息技術(shù)當(dāng)中一項非常重要的方法，無論是何種數(shù)據(jù)，它的分類問題一直都是人們所關(guān)注的一個重點，而大數(shù)據(jù)分類也被應(yīng)用在社會各個方面，近年來，我國的大數(shù)據(jù)分類研究開始逐漸由簡單的數(shù)據(jù)過渡到分布式數(shù)據(jù)集里，各種各樣的算法都需要跟隨大數(shù)據(jù)整體環(huán)境的改變而改變，所以在分類算法中，也面臨著非常嚴(yán)峻的挑戰(zhàn)。在這樣的時代背景下，一些傳統(tǒng)的分類方法已經(jīng)跟不上大數(shù)據(jù)的發(fā)展，以機(jī)器學(xué)習(xí)為基礎(chǔ)的大數(shù)據(jù)分類是我國目前研究的主要方面。在未來，有關(guān)數(shù)據(jù)分類的應(yīng)用會越來越顯著，因此，大數(shù)據(jù)分類在各個領(lǐng)域中都面臨著非常嚴(yán)峻的挑戰(zhàn)。

四、基于人工智能技術(shù)的大數(shù)據(jù)分析發(fā)展需解決的問題

（一）需不斷完善各類算法

在我國，基于人工智能技術(shù)的大數(shù)據(jù)分析發(fā)展中，所需要解決的一個問題，就是需要不斷完善各類算法。因為我們的時代在發(fā)展，每天所面臨的數(shù)據(jù)量越來越大，想要從中挑選出符合我們需求的信息以及該如何確保信息的準(zhǔn)確性，都成了大數(shù)據(jù)技術(shù)發(fā)展當(dāng)中所要面臨的主要問題。如果想要解決這一問題，那么就需要應(yīng)用到各類算法，但是目前針對信息提取這方面還沒有一個可以短時間內(nèi)查找我們所需要數(shù)據(jù)的算法，相關(guān)負(fù)責(zé)人員必須對這個問題重視起來，不斷地完善各類算法。目前在大數(shù)據(jù)分類以及預(yù)測中已經(jīng)有了很多合適的算法，但是這些算法的應(yīng)用范圍有限，在部分細(xì)節(jié)上也需要完善。算法是基于人工智能技術(shù)的大數(shù)據(jù)分析發(fā)展所需要的基礎(chǔ)，如果沒有一套完善的算法，那么大數(shù)據(jù)分析也發(fā)揮不出自身應(yīng)有的作用，例如，前文中所提到的兩種算法，雖然能夠解決各類的數(shù)據(jù)分析事件，但是從細(xì)節(jié)上來看，它的應(yīng)用范圍還受到一定的限制，只有研發(fā)出新式算法，或者是在原來的算法基礎(chǔ)上進(jìn)行優(yōu)化，才能更符合未來的大數(shù)據(jù)技術(shù)發(fā)展趨勢。

（二）需不斷降低時間成本

大數(shù)據(jù)分析需要降低時間成本。誠然，在各種信息當(dāng)中，利用一些算法確實可以查找到我們所需要的數(shù)據(jù)，但是花費的時間也很多，如果這些數(shù)據(jù)不是急需的，那么我們確實可以利用這些算法慢慢地找出我們所需要的數(shù)據(jù)。但是如果這些數(shù)據(jù)需要加急，那么在短時間內(nèi)我們根本就沒有辦法獲得有效的數(shù)據(jù)，例如，在警察偵破一系列的案件過程中，需要運用到監(jiān)控錄像來作為證據(jù)和斷案線索，但是該如何在長達(dá)幾天甚至是幾個星期的監(jiān)控視頻中找到所需要的線索，只能需要人力去一點一點觀察識別，這就會浪費大量的時間。因此，必須盡量降低大數(shù)據(jù)分析過程中所需要的時間，人工智能技術(shù)雖然在一定程度上優(yōu)化了大數(shù)據(jù)分析，但是對于時間成本問題，一直以來都沒有太大的突破。只有真正地突破了時間成本問題，才能夠讓大數(shù)據(jù)技術(shù)在社會各行各業(yè)有更加廣泛應(yīng)用。因此，在人工智能技術(shù)和大數(shù)據(jù)分析結(jié)合的過程中，除了算法問題之外，對于降低時間成本問題，也必須要重視起來。

結(jié)語

在當(dāng)下必須要對人工智能技術(shù)基礎(chǔ)上的大數(shù)據(jù)分析方法提高重視，并且充分理解人工智能技術(shù)下大數(shù)據(jù)分析的應(yīng)用領(lǐng)域，大數(shù)據(jù)分析、聚類關(guān)聯(lián)以及預(yù)測和分類都會朝著更加智能、更加前景化的方向發(fā)展。雖然目前還需要不斷完善各類算法以及降低時間和成本等，但是只要能夠真正地提高對這一方面的重視程度，并且充分認(rèn)識到人工智能技術(shù)基礎(chǔ)上的大數(shù)據(jù)分析方法的主要作用，就能夠更好地將二者結(jié)合起來。