機(jī)器學(xué)習(xí)在大數(shù)據(jù)中的常用方法及其重要性

機(jī)器學(xué)習(xí)在大數(shù)據(jù)中的常用方法及其重要性

伴隨著大數(shù)據(jù)時(shí)代的來到，大數(shù)據(jù)吸引了眾多學(xué)術(shù)界和產(chǎn)業(yè)界人士的關(guān)注。大數(shù)據(jù)的特征被歸納為5V：Volume、Velocity、Variety、Value、veracity。大數(shù)據(jù)在各種行業(yè)和領(lǐng)域已經(jīng)得到了廣泛應(yīng)用。從數(shù)據(jù)倉(cāng)庫(kù)到BI和data mining；從自動(dòng)駕駛到智能搜索；包括云計(jì)算、并行計(jì)算等在內(nèi)的技術(shù)，極大的提高了人們的生產(chǎn)生活水平，正在改變著人們的生產(chǎn)生活方式，如何從大數(shù)據(jù)中挖掘出人們需要的知識(shí)，需要充分利用機(jī)器學(xué)習(xí)原理和方法。

我們現(xiàn)在處于一個(gè)信息爆炸的時(shí)代，每天都會(huì)產(chǎn)生大量的數(shù)據(jù)，包括商業(yè)數(shù)據(jù)、天氣數(shù)據(jù)、人文數(shù)據(jù)等。看似雜亂無(wú)章的數(shù)據(jù)中，隱藏著對(duì)人類極為重要，有價(jià)值的知識(shí)。小到一個(gè)公司企業(yè)能夠從大量的、數(shù)據(jù)類型多樣的、有價(jià)值的數(shù)據(jù)中挖掘出對(duì)企業(yè)的發(fā)展有價(jià)值的信息，就能在商業(yè)風(fēng)云中立于不敗之地；大到一個(gè)民族，一個(gè)國(guó)家，利用機(jī)器學(xué)習(xí)的算法和原理，從大數(shù)據(jù)中挖掘出各類信息，就可以預(yù)測(cè)和預(yù)防災(zāi)害的發(fā)生，提高人民的生產(chǎn)生活水平。

信息時(shí)代，大數(shù)據(jù)已經(jīng)同人們密切相關(guān)，國(guó)家提出大數(shù)據(jù)發(fā)展戰(zhàn)略，利用“大數(shù)據(jù)”和“互聯(lián)網(wǎng)+”思維推動(dòng)國(guó)家經(jīng)濟(jì)文化的發(fā)展，鼓勵(lì)大眾創(chuàng)新，萬(wàn)眾創(chuàng)業(yè)，使科技的發(fā)展與創(chuàng)新惠及家家戶戶。面對(duì)大數(shù)據(jù)時(shí)代的挑戰(zhàn)，我們需要構(gòu)建機(jī)器學(xué)習(xí)原理和方法，讓大數(shù)據(jù)真正發(fā)揮出它的價(jià)值與力量。

機(jī)器學(xué)習(xí)關(guān)鍵算法及其重要性

人工神經(jīng)網(wǎng)絡(luò)及其重要性

人工神經(jīng)網(wǎng)絡(luò)是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模擬。生物的腦是由大量的神經(jīng)元組成的，人類的大腦有10∧10～10∧11個(gè)神經(jīng)元，每個(gè)神經(jīng)元又與大量的神經(jīng)元互連，構(gòu)成了一個(gè)極其復(fù)雜的神經(jīng)網(wǎng)絡(luò)。其中每個(gè)神經(jīng)元由胞體、樹突和軸突構(gòu)成。神經(jīng)元的軸突與另外神經(jīng)元的樹突相連接，構(gòu)成突觸，各類神經(jīng)信號(hào)在神經(jīng)元的突觸處理后，如果信號(hào)強(qiáng)度大于某個(gè)閾值，則該信號(hào)繼續(xù)向前傳播。根據(jù)生物神經(jīng)元，人類建立了人工神經(jīng)元網(wǎng)絡(luò)模型：

人工神經(jīng)網(wǎng)絡(luò)模型是機(jī)器學(xué)習(xí)的一種算法。人工神經(jīng)網(wǎng)絡(luò)模型包含BP人工神經(jīng)網(wǎng)絡(luò)、過程神經(jīng)網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)網(wǎng)絡(luò)等。

深度神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)中重要的一個(gè)算法，尤其是Google利用深度神經(jīng)網(wǎng)絡(luò)編寫的AlphaGo戰(zhàn)勝李世石后，深度神經(jīng)網(wǎng)絡(luò)進(jìn)一步引起了人類的關(guān)注。IBM、谷歌、百度等利用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行語(yǔ)音識(shí)別、機(jī)器翻譯，語(yǔ)義挖掘系統(tǒng)的設(shè)計(jì)，也有了很大的進(jìn)展。深度神經(jīng)網(wǎng)絡(luò)又包括幾個(gè)重要的算法，包括卷積神經(jīng)網(wǎng)絡(luò)、受限波爾茨曼機(jī)等。

深度神經(jīng)網(wǎng)絡(luò)就是通過增加隱含層神經(jīng)元的個(gè)數(shù)來提高人工神經(jīng)網(wǎng)絡(luò)的性能的。深度神經(jīng)網(wǎng)絡(luò)每一層都會(huì)設(shè)置一個(gè)權(quán)值和閾值，通過對(duì)深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，在誤差允許的范圍內(nèi)，最終確定該深度神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，從可以利用該深度神經(jīng)網(wǎng)絡(luò)進(jìn)行信號(hào)的識(shí)別，預(yù)測(cè)等功能。深度神經(jīng)網(wǎng)絡(luò)的每一層是一個(gè)特征提取的過程，一層輸出作為下一層的輸入，實(shí)現(xiàn)輸入信息的分層特征提取。以圖像識(shí)別為例，第一層提取的特征可能是點(diǎn)，而第二層提取的可能就是圖像線的特征，第三層可能就是面，最終表示層一幅完整的圖像，通過特征的組合判斷圖像是哪一種物體。

SVM算法在大數(shù)據(jù)中的應(yīng)用及其重要性

支持向量機(jī)（SVM）是機(jī)器學(xué)習(xí)算法中最具有健壯性和準(zhǔn)確性的算法之一。對(duì)于線性可分的問題，SVM是要找到間隔最大的超平面將兩種不同的樣本分開，間隔最大的超平面具有最好的泛化能力。

用變量a表示權(quán)重向量，變量b表示最優(yōu)超平面偏移，那么超平面定義為：

x樣本到最優(yōu)超平面的距離為：

r=g（x）/（||a||）為超平面確定的判別函數(shù)。SVM就是要可以最大化兩個(gè)類別之間間距的參數(shù)a和b的值。然后通過求解對(duì)偶問題得到變量a和b的值，進(jìn)而可以在非線性可分的問題中引入核函數(shù)。

現(xiàn)實(shí)世界中的許多問題都是線性不可分的，對(duì)偶問題目標(biāo)函數(shù)是無(wú)限的，那么最優(yōu)化問題是不可解的。對(duì)于線性不可分問題的解決方法有兩個(gè)：一種是軟間隔優(yōu)化，另一種都是利用核技巧將線性不可分問題轉(zhuǎn)變?yōu)榫€性可分問題。核技巧是找到一個(gè)核函數(shù)，將低維空間中的數(shù)據(jù)映射到高維空間中，使數(shù)據(jù)在高維空間中是線性可分的。軟間隔優(yōu)化是放松了限制輸入空間，允許存在某些錯(cuò)誤。但是當(dāng)遇到某些極度線性不可分問題或者分類的錯(cuò)誤過多時(shí)，軟間隔優(yōu)化是不可行的。核技巧在遇到復(fù)雜的實(shí)際問題時(shí)，也不總能保證問題是線性可分的。所以在實(shí)際應(yīng)用中我們會(huì)綜合使用兩種方法，更有效地解決線性不可分問題。

支持向量機(jī)在分類、聚類、模式識(shí)別、人臉識(shí)別、機(jī)器的故障檢測(cè)、時(shí)間序列預(yù)測(cè)、生物工程、數(shù)據(jù)挖掘、手寫體識(shí)別、函數(shù)擬合等領(lǐng)域都有廣泛的應(yīng)用。

GMM-HMM算法在大數(shù)據(jù)中的應(yīng)用及其重要性

GMM-HMM是一個(gè)用于語(yǔ)音識(shí)別的模型。Hidden Markov Model是一個(gè)有隱節(jié)點(diǎn)和可見節(jié)點(diǎn)的馬爾科夫過程。其中隱節(jié)點(diǎn)代表狀態(tài)，可見節(jié)點(diǎn)代表能夠聽到的語(yǔ)音或者看到的時(shí)序信號(hào)。我們需要首先指定一個(gè)HMM模型，在訓(xùn)練時(shí)，給出n個(gè)訓(xùn)練樣本，并且用MLE算法估計(jì)如下參數(shù)：狀態(tài)初始概率，狀態(tài)轉(zhuǎn)移概率和輸出概率。

使用HMM需要解決Likelihood、Decoding、Training三個(gè)問題。其中Likelihood表示HMM產(chǎn)生一個(gè)序列x的概率。Decoding表示給定一個(gè)序列x，從中找出最有可能從屬的HMM模型的狀態(tài)序列。Training表示給定一個(gè)序列，訓(xùn)練HMM參數(shù)。

GMM-高斯混合模型，可以簡(jiǎn)單理解為幾個(gè)高斯的疊加。每個(gè)狀態(tài)都有一個(gè)GMM，而每個(gè)GMM都有一些參數(shù)，我們要通過訓(xùn)練，得到這些概率參數(shù)，訓(xùn)練出這些參數(shù)，在給定一個(gè)序列時(shí)，就可以識(shí)別出狀態(tài)轉(zhuǎn)移的概率。

語(yǔ)音識(shí)別的過程我們可以概括為：首先將一段音頻分割成多個(gè)單詞，針對(duì)每個(gè)單詞提取MFCC特征序列，然后將該序列輸入每一個(gè)已經(jīng)訓(xùn)練好的HMM模型中，最后利用每一個(gè)單詞的狀態(tài)轉(zhuǎn)移概率算出每一個(gè)state序列生成該單詞的概率，取最大概率，為我們選出需要的詞語(yǔ)。

機(jī)器學(xué)習(xí)成為大數(shù)據(jù)的基石

我們現(xiàn)在處在大數(shù)據(jù)的時(shí)代，機(jī)器學(xué)習(xí)可以被最大化的利用起來。比如隨著人工智能、移動(dòng)穿戴等的發(fā)展，大量的數(shù)據(jù)隨之產(chǎn)生，不僅數(shù)據(jù)的數(shù)據(jù)越來越多，數(shù)據(jù)的種類也越來越豐富，比如數(shù)據(jù)即包括文字，圖片，也包括音頻，視頻等非結(jié)構(gòu)化的數(shù)據(jù)，這使得機(jī)器學(xué)習(xí)可利用的數(shù)據(jù)越來越多。同時(shí)分布式技術(shù)的發(fā)展，也使機(jī)器學(xué)習(xí)的運(yùn)行速度越來越快，可以更方便人們的使用，處在大數(shù)據(jù)的時(shí)代背景下，機(jī)器學(xué)習(xí)也正在發(fā)揮出它的優(yōu)勢(shì)。

大數(shù)據(jù)的本質(zhì)是要挖掘出數(shù)據(jù)的價(jià)值，機(jī)器學(xué)習(xí)是挖掘數(shù)據(jù)價(jià)值的關(guān)鍵。機(jī)器學(xué)習(xí)對(duì)于大數(shù)據(jù)是不可缺少的，反過來，大量的數(shù)據(jù)同時(shí)增加了機(jī)器學(xué)習(xí)算法的準(zhǔn)確度，因此機(jī)器學(xué)習(xí)的發(fā)展興亡也離不開大數(shù)據(jù)。同時(shí)在機(jī)器學(xué)習(xí)算法的速度需求方面，對(duì)于并行計(jì)算和內(nèi)存計(jì)算的需求也越來越高。因此大數(shù)據(jù)與機(jī)器學(xué)習(xí)是相互依存，相輔相成的關(guān)系。

表1　

實(shí)測(cè)半穿越阻抗>21%，滿足客戶要求。

通過結(jié)果對(duì)比看出，仿真的阻抗與實(shí)測(cè)的阻抗基本完全一致，說明仿真計(jì)算的結(jié)果非常精確。

解耦率

通過變壓器容量和繞組連接方法計(jì)算得出，高壓繞組2（HV shang）和繞組3（HV xia的額定電流為5.714A，低壓繞組1（LV shang）額定電流為729.28A。

半穿越仿真時(shí)，得出繞組2（HV shang）和繞組3（HV xia）中的電流分配如圖5。

圖5　

H V上分配的電流比例為K=5.25/5.714*100%=91.88%，解耦率>90%，滿足客戶要求，且與試驗(yàn)測(cè)得的電流分配基本一致。

結(jié)語(yǔ)

本文通過MagNet軟件仿真軸向雙分裂變壓器的全穿越、半穿越阻抗，并獲得了半穿越運(yùn)行時(shí)并聯(lián)的高壓繞組中的電流分配，從而算出解耦率。如果采用傳統(tǒng)電磁計(jì)算的方法，不論是半穿越阻抗，還是解耦率都很難算準(zhǔn)。本文為開發(fā)及設(shè)計(jì)特殊結(jié)構(gòu)變壓器，提出了一種新的、行之有效的方法。

10.3969/j.issn.1001- 8972.2016.15.019