童蓮
(江蘇海事職業(yè)技術(shù)學(xué)院,江蘇 南京 211199)
大數(shù)據(jù)(Big Data)又稱為巨量資料,指需要新的處理模式才能具有更強(qiáng)的決策力、洞察力和流程化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)概念最早由維克托·邁爾·舍恩伯格和肯尼斯·庫克耶在編寫《大數(shù)據(jù)時(shí)代》中提出,指不用隨機(jī)分析法(抽樣調(diào)查)的捷徑,而是采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)有4V特點(diǎn),即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)。小數(shù)據(jù)時(shí)代的樣本為隨機(jī)取樣,用最少的數(shù)據(jù)獲得最多的信息,而大數(shù)據(jù)時(shí)代的樣本為總體數(shù)據(jù)。比如谷歌公司曾經(jīng)通過分析整個(gè)美國幾十億條互聯(lián)網(wǎng)檢索記錄預(yù)測(cè)流感趨勢(shì)。對(duì)于小數(shù)據(jù)而言,最基本、最重要的要求就是減少錯(cuò)誤,保證質(zhì)量。比如追求更高精度的對(duì)時(shí)間、空間的測(cè)量。大數(shù)據(jù)允許不精確,放松了容錯(cuò)的標(biāo)準(zhǔn),人們可以掌握更多的數(shù)據(jù),利用這些數(shù)據(jù)做更多新的事情。如今采集和存儲(chǔ)數(shù)據(jù)的數(shù)量和規(guī)模已經(jīng)爆發(fā)式地增長,如何分析并利用這些數(shù)據(jù)是擺在眾人面前的一道難題。
機(jī)器學(xué)習(xí)和數(shù)據(jù)分析是將大數(shù)據(jù)轉(zhuǎn)換成有用知識(shí)的關(guān)鍵技術(shù)[1],并且有研究表明,在很多情況下,處理的數(shù)據(jù)規(guī)模越大,機(jī)器學(xué)習(xí)模型的效果會(huì)越好。因此,機(jī)器學(xué)習(xí)是大數(shù)據(jù)智能化分析處理應(yīng)用中的重要手段。本文通過闡述機(jī)器學(xué)習(xí)算法的實(shí)際應(yīng)用,探索如何利用海量數(shù)據(jù)。
機(jī)器學(xué)習(xí)的定義可以理解為:如果一個(gè)“程序”可以在“任務(wù)T”上,隨著“經(jīng)驗(yàn)E”的增加,“效果P”也可以隨之增加,則稱這個(gè)程序可以從經(jīng)驗(yàn)中學(xué)習(xí)。
機(jī)器學(xué)習(xí)的經(jīng)典算法主要有五種類型,分別為:聚類算法、分類算法、回歸算法、關(guān)聯(lián)規(guī)則算法、降維算法[2]。機(jī)器學(xué)習(xí)又可以分為三類:監(jiān)督式學(xué)習(xí),非監(jiān)督式學(xué)習(xí),強(qiáng)化學(xué)習(xí)[3]。監(jiān)督式學(xué)習(xí)需要提前進(jìn)行數(shù)據(jù)分類,非監(jiān)督式學(xué)習(xí)著重于挖掘規(guī)律,強(qiáng)化學(xué)習(xí)需要通過試錯(cuò)去找到解決方案。
以垃圾郵件分類為例闡述機(jī)器學(xué)習(xí)的定義:
一個(gè)程序:機(jī)器學(xué)習(xí)算法,比如回歸算法;
任務(wù)T:區(qū)分垃圾郵件的任務(wù);
經(jīng)驗(yàn)E:已經(jīng)區(qū)分過是否為垃圾郵件的歷史郵件,在監(jiān)督式機(jī)器學(xué)習(xí)問題中,這也被稱之為訓(xùn)練數(shù)據(jù);
效果P:機(jī)器學(xué)習(xí)算法在區(qū)分是否為垃圾郵件任務(wù)上的正確率。
經(jīng)典的機(jī)器學(xué)習(xí)算法在應(yīng)用時(shí),可以分為三個(gè)步驟:特征維度提取[4]、特征模型建立、模型融合。特定領(lǐng)域的模型融合完成后,即可用來分析該領(lǐng)域的大數(shù)據(jù),獲取有用信息。
所謂特征,通俗地講,就是從這些“以前的數(shù)據(jù)”中提取出來的對(duì)于分類預(yù)測(cè)有價(jià)值的變量。比如電影、電視劇分類,書籍分類,垃圾郵件分類,動(dòng)植物分類等。從維度上可以分為一維分類、二維分類、多維分類。
一維分類如圖1所示,只需設(shè)定一個(gè)閾值,即可將數(shù)據(jù)分為A類和B類。
圖1 一維分類
二維及以上的分類,通常采用歐幾里得度量(euclidean metric)(也稱歐氏距離)。這是一個(gè)通常采用的距離定義,指在m維空間中兩個(gè)點(diǎn)之間的真實(shí)距離,或者向量的自然長度(即該點(diǎn)到原點(diǎn)的距離)。在二維和三維及以上空間中的歐氏距離就是兩點(diǎn)之間的實(shí)際距離。
二維空間的公式如式(1)所示:
三維空間的公式如式(2)所示:
二維分類最終結(jié)果如圖2所示:
圖2 二維分類
維度越多意味著特征越多,需要處理的數(shù)據(jù)量級(jí)越大。在特征抽取的過程中,可適當(dāng)去掉相關(guān)度不大的特征,將更少的特征應(yīng)用于機(jī)器學(xué)習(xí)流程,即所謂的降維[5]。
有了特征之后,我們要通過各種模型建立從特征到目標(biāo)之間的關(guān)系。一個(gè)性能優(yōu)良的模型,依賴于相關(guān)度大的特征的集合。如果我們針對(duì)的是一個(gè)預(yù)測(cè)問題,例如成績排名的預(yù)測(cè),我們通常把單個(gè)模型叫作一個(gè)預(yù)測(cè)器;如果我們針對(duì)的是一個(gè)分類問題,例如把在銀行貸款的中小企業(yè)分為低違約風(fēng)險(xiǎn)和高違約風(fēng)險(xiǎn)兩類,我們通常把單個(gè)模型叫作一個(gè)分類器。這樣的模型可以是來自某種專家系統(tǒng),或者把專家的知識(shí)翻譯成模型,比如銀行的風(fēng)險(xiǎn)控制專家的很多知識(shí),都可以直接轉(zhuǎn)變?yōu)槟P汀?/p>
模型在使用之前必須經(jīng)過訓(xùn)練,模型訓(xùn)練過程中可能出現(xiàn)過擬合[6]、欠擬合兩種情況,通過調(diào)整模型的特征維度個(gè)數(shù),最終達(dá)到模型適中的目標(biāo)。所謂過擬合(over-fitting)其實(shí)就是所建的機(jī)器學(xué)習(xí)模型在訓(xùn)練樣本中表現(xiàn)得過于優(yōu)越,導(dǎo)致在驗(yàn)證數(shù)據(jù)集以及測(cè)試數(shù)據(jù)集中表現(xiàn)不佳。而欠擬合(under-fitting),則是在訓(xùn)練集上的判斷準(zhǔn)確率效果不佳。過擬合即特征維度過多,訓(xùn)練過程中需要減少特征維度;而欠擬合則是因?yàn)樘卣骶S度過少,需要增加特征維度。
過擬合、欠擬合、模型適中三種情況如圖3所示:
圖3 模型訓(xùn)練三種情況
單一模型的預(yù)測(cè)和分類結(jié)果往往不盡如人意,因此把每一個(gè)模型都叫作一個(gè)弱預(yù)測(cè)器或者弱分類器。當(dāng)我們有了成千上萬個(gè)模型后,我們就可以通過把這些模型融合起來,獲得更好的預(yù)測(cè)或者分類效果,例如分類模型;針對(duì)每一個(gè)待分類樣本,把每一個(gè)模型得到的結(jié)果都看成對(duì)這個(gè)樣本分類結(jié)果的一次投票,最后根據(jù)得票高低確定最終分類結(jié)果,投票結(jié)果經(jīng)常勝出的模型會(huì)被賦予更大的權(quán)重。
比如有兩個(gè)模型:客戶信用度評(píng)估模型1、客戶信用度評(píng)估模型2,在模型融合時(shí)占有的權(quán)重,依據(jù)它們將客戶特征維度進(jìn)行的每一次分類結(jié)果所得的投票數(shù)。成千上萬個(gè)模型融合時(shí),各自所占的權(quán)重也是依據(jù)每一次分類所得的投票數(shù)。
表1 模型融合
因?yàn)槿诤系姆桨篙^為固定,所以我們只需要維護(hù)特征庫和模型庫,而所有新的數(shù)據(jù)以及新的專家知識(shí)和專家系統(tǒng),基本上都可以映射為對(duì)特征庫和模型庫的更新,包括對(duì)特征權(quán)重的修正。盡管專家知識(shí)和專家系統(tǒng)對(duì)于特征的選擇和賦權(quán),以及模型的建立都有作用,但實(shí)際上,即便沒有任何專家知識(shí)和專家系統(tǒng),僅僅通過一般化的特征學(xué)習(xí)和常用的機(jī)器學(xué)習(xí)模型,也能得到很不錯(cuò)的結(jié)果。這就使大規(guī)模數(shù)據(jù)下的機(jī)器學(xué)習(xí),可以看作具有一般意義的解決方案。
目前,大數(shù)據(jù)技術(shù)已經(jīng)在多個(gè)領(lǐng)域得到廣泛應(yīng)用,大數(shù)據(jù)技術(shù)的發(fā)展依賴于機(jī)器學(xué)習(xí)的進(jìn)步。本文闡述了機(jī)器學(xué)習(xí)算法在一般領(lǐng)域應(yīng)用的三個(gè)步驟,也為商業(yè)解決方案提供了參考依據(jù)。
未來機(jī)器學(xué)習(xí)的研究離不開軟件和硬件的共同發(fā)展,提升機(jī)器學(xué)習(xí)算法并行性、降低算法復(fù)雜度是軟件亟待解決的問題,而CPU+GPU混合計(jì)算則是硬件研究的方向。云計(jì)算、大數(shù)據(jù)、人工智能等關(guān)聯(lián)學(xué)科的融合發(fā)展,更能為機(jī)器學(xué)習(xí)的研究增加助力。