大數(shù)據(jù)環(huán)境下關(guān)聯(lián)規(guī)則挖掘的應(yīng)用研究

摘 要：本文從大數(shù)據(jù)角度分析了現(xiàn)代數(shù)據(jù)的特點(diǎn)，概述了關(guān)聯(lián)規(guī)則的三種方法思想及優(yōu)缺點(diǎn)，并且列舉了其在幾個(gè)行業(yè)中的應(yīng)用。

關(guān)鍵詞：大數(shù)據(jù)；關(guān)聯(lián)規(guī)則；應(yīng)用

DOI：10.16640/j.cnki.37-1222/t.2017.18.134

關(guān)聯(lián)規(guī)則用于表示對(duì)象之間的關(guān)系和規(guī)律，而數(shù)據(jù)挖掘領(lǐng)域中最重要的研究?jī)?nèi)容也正是規(guī)則的提取。關(guān)聯(lián)規(guī)則挖掘吸引了諸多國(guó)內(nèi)外專(zhuān)家學(xué)者的研究興趣，并取得了良好成果，如Apriori 算法和FP-Growth算法。經(jīng)過(guò)多年多為學(xué)者的研究，商業(yè)決策、醫(yī)療數(shù)據(jù)分析等各個(gè)領(lǐng)域都對(duì)關(guān)聯(lián)規(guī)則相關(guān)算法進(jìn)行了驗(yàn)證，并產(chǎn)生了良好的經(jīng)濟(jì)和社會(huì)價(jià)值。

1 大數(shù)據(jù)

隨著網(wǎng)絡(luò)和移動(dòng)互聯(lián)的發(fā)展，企業(yè)所獲得的數(shù)據(jù)越來(lái)越多、結(jié)構(gòu)也越來(lái)越復(fù)雜，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)已經(jīng)不能滿足需求，這就促使企業(yè)在收集數(shù)據(jù)之余，也開(kāi)始尋求新方法來(lái)解決大量數(shù)據(jù)無(wú)法存儲(chǔ)和處理分析的問(wèn)題。由此，“大數(shù)據(jù)”應(yīng)運(yùn)而生。

從“Data”到“BigData”，數(shù)據(jù)的數(shù)量和質(zhì)量都有了本質(zhì)的區(qū)別。在“數(shù)據(jù)時(shí)代”專(zhuān)家學(xué)者都是用聯(lián)機(jī)分析處理（OLAP）、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘等方式處理數(shù)據(jù)，而在“大數(shù)據(jù)時(shí)代”，數(shù)據(jù)已不僅僅是需要分析處理的內(nèi)容，人們更看重的是使用更為高端專(zhuān)業(yè)的技術(shù)從大量繁雜的數(shù)據(jù)中，進(jìn)行整理和分析，得出有意義的關(guān)聯(lián)信息，為社會(huì)經(jīng)濟(jì)生活中各個(gè)行業(yè)的預(yù)測(cè)、規(guī)劃和決策做出支持。

如何在大數(shù)據(jù)時(shí)代的繁雜數(shù)據(jù)中抽取出更有價(jià)值的關(guān)聯(lián)規(guī)則，對(duì)各個(gè)行業(yè)的發(fā)展決策起指導(dǎo)性作用就顯得尤為重要。

2 關(guān)聯(lián)規(guī)則

2.1 關(guān)聯(lián)規(guī)則定義

關(guān)聯(lián)規(guī)則是數(shù)據(jù)庫(kù)中不同數(shù)據(jù)項(xiàng)之間有意義和價(jià)值的聯(lián)系，可用A =>B 表示，其中 A 、B 均為非空項(xiàng)集。通過(guò)描述數(shù)據(jù)項(xiàng)之間預(yù)先未知的和被隱藏的潛在規(guī)則，找出滿足給定支持度（support）和置信度（confidence）閾值的多個(gè)數(shù)據(jù)項(xiàng)之間的依賴(lài)關(guān)系。例如，由R.Arawal等人首先提出的“啤酒與尿布”典型例子，就是：“80%的男士在為自己買(mǎi)啤酒的同時(shí)也會(huì)為孩子買(mǎi)尿布”。

2.2 Apriori算法

Apriori算法由R.Arawal提出，是最經(jīng)典的以概率為基礎(chǔ)的挖掘布爾關(guān)聯(lián)規(guī)則頻繁項(xiàng)集的算法。它使用逐層搜索的迭代方法：設(shè)有數(shù)據(jù)集D，算法在第一次遍歷D時(shí)僅僅計(jì)算每個(gè)項(xiàng)目的具體數(shù)量值，用來(lái)確定頻繁1-項(xiàng)目集（L1），然后，通過(guò)L1自身連接、剪枝兩個(gè)步驟，得到頻繁2-項(xiàng)集L2（L2），如此下去，通過(guò)L2 找出L3 ，直到k-項(xiàng)集（LK）不是頻繁項(xiàng)集為止。需要注意的是，找出每個(gè)Lk 均需要一次數(shù)據(jù)庫(kù)的完整掃描。

之后很多學(xué)者對(duì)Apriori算法進(jìn)行了改進(jìn)，但無(wú)論怎么改進(jìn)，該類(lèi)算法都有一缺憾，就是在搜索過(guò)程的連接、剪枝兩個(gè)步驟會(huì)產(chǎn)生大量的候選集，計(jì)算和存儲(chǔ)這些候選集會(huì)大大消耗時(shí)間、空間成本。

2.3 FP-Growth 算法

為了解決Apriori一類(lèi)算法的缺憾，JiaWeihan提出了摒掉產(chǎn)生候選集的新思路—FP-Growth算法。利用高度壓縮的數(shù)據(jù)結(jié)構(gòu)方式在生成頻繁項(xiàng)集的時(shí)候不必產(chǎn)生候選集。

該算法分為兩個(gè)步驟：

（1）構(gòu)造FP樹(shù)。第一次遍歷數(shù)據(jù)庫(kù)生成全部頻繁1-項(xiàng)集，并按照支持度從大到小存儲(chǔ)在表中，在進(jìn)行第二次數(shù)據(jù)庫(kù)的遍歷，將每一次的頻繁項(xiàng)集保存在FP樹(shù)中的相應(yīng)分枝上。

（2）在上步的頻繁項(xiàng)集基礎(chǔ)上提出發(fā)現(xiàn)算法FP-Growth。具體是從頻繁i項(xiàng)集（記作Li）的條件模式庫(kù)中采用由底向上的搜索方法發(fā)現(xiàn)所有包含Li的頻繁項(xiàng)集。這樣就將一個(gè)大型樹(shù)結(jié)構(gòu)分解成多個(gè)小的子樹(shù)結(jié)構(gòu)，相應(yīng)地就將一個(gè)大型的復(fù)雜搜索問(wèn)題轉(zhuǎn)化成了多個(gè)小簡(jiǎn)單的搜索問(wèn)題。

2.4 并行關(guān)聯(lián)規(guī)則挖掘算法

FP-Growth 算法雖簡(jiǎn)化了時(shí)間和空間成本，但是并不適用于大型的數(shù)據(jù)庫(kù)。并行計(jì)算是指能夠同時(shí)對(duì)多條指令、多個(gè)任務(wù)或者多個(gè)數(shù)據(jù)集進(jìn)行處理，將并行計(jì)算應(yīng)用到關(guān)聯(lián)規(guī)則挖掘中，能夠有效提高挖掘效率。

并行關(guān)聯(lián)規(guī)則挖掘算法也是僅需要掃描兩次數(shù)據(jù)庫(kù)就能挖掘頻繁項(xiàng)集。步驟如下：首先將整個(gè)數(shù)據(jù)庫(kù)D隨機(jī)分割成n個(gè)非重疊且大小相似的區(qū)域。以此類(lèi)推，每個(gè)區(qū)域還可分別劃分成更小互不影響的區(qū)域進(jìn)行挖掘，從而實(shí)現(xiàn)了挖掘過(guò)程的分層執(zhí)行。

3 關(guān)聯(lián)規(guī)則挖掘的應(yīng)用

3.1 關(guān)聯(lián)規(guī)則在商業(yè)決策中的應(yīng)用

將關(guān)聯(lián)規(guī)則應(yīng)用商業(yè)決策中，從大量的數(shù)據(jù)中經(jīng)過(guò)深層分析，有助于從商務(wù)信息系統(tǒng)的大型數(shù)據(jù)庫(kù)中提取對(duì)企業(yè)決策者有價(jià)值的信息，會(huì)大大提升決策效率和正確度。比如，在制訂銷(xiāo)售配貨、產(chǎn)品目錄設(shè)計(jì)、產(chǎn)品定價(jià)和促銷(xiāo)以及顧客的購(gòu)買(mǎi)行為模式等商業(yè)決策時(shí)給企業(yè)決策者予以指導(dǎo)，有利于提高企業(yè)經(jīng)濟(jì)效益，提升競(jìng)爭(zhēng)優(yōu)勢(shì)。

3.2 關(guān)聯(lián)規(guī)則在醫(yī)療中的應(yīng)用

隨著醫(yī)療數(shù)據(jù)的與日俱增，對(duì)臨床疾病監(jiān)測(cè)與診斷、藥物治療效果的評(píng)價(jià)及疾病預(yù)防事件的主觀判斷越來(lái)越困難，如何將關(guān)聯(lián)規(guī)則運(yùn)用其中，從繁雜的醫(yī)學(xué)數(shù)據(jù)中找出其內(nèi)在關(guān)聯(lián)規(guī)則，提升診斷效率和正確率，顯得尤為重要。

比如，分析醫(yī)學(xué)數(shù)據(jù)特點(diǎn)，使用Apriori算法對(duì)婚檢數(shù)據(jù)中各類(lèi)傳染病、血液關(guān)系、肝病之間的關(guān)系，為其制定全面科學(xué)體檢方案；兒童肺炎的治療，建立治療用藥字典，從治療效果和維護(hù)患者利益的角度出發(fā)，為其規(guī)范性用藥提供決策依據(jù)，制定最佳用藥方案。

3.3 關(guān)聯(lián)規(guī)則在推薦系統(tǒng)中的應(yīng)用

推薦系統(tǒng)是在數(shù)據(jù)挖掘的基礎(chǔ)上建立的一種高級(jí)商務(wù)智能平臺(tái)，根據(jù)用戶的個(gè)性化和興趣愛(ài)好，向其推薦感興趣的商品和信息?；陉P(guān)聯(lián)規(guī)則的推薦系統(tǒng)是把用戶已經(jīng)購(gòu)商品作為規(guī)則頭，將推薦對(duì)象作為規(guī)則體。首先經(jīng)過(guò)數(shù)據(jù)清理后計(jì)算兩兩商品或信息之間的支持度和執(zhí)行度，將低于設(shè)定的最小值的規(guī)則去掉，再找出某種商品或信息的所有規(guī)則，按置信度從大到小排序，Top-N即為與該商品或信息最相關(guān)的前N中上品或信息。

4 小結(jié)

本文從大數(shù)據(jù)角度分析了現(xiàn)代數(shù)據(jù)的特點(diǎn)，概述了關(guān)聯(lián)規(guī)則的三種方法思想及優(yōu)缺點(diǎn)，并且列舉了其在幾個(gè)行業(yè)中的應(yīng)用。

課題：本文系山東協(xié)和學(xué)院校級(jí)課題：大數(shù)據(jù)環(huán)境下OLAP關(guān)聯(lián)規(guī)則挖掘在國(guó)有固定資產(chǎn)統(tǒng)計(jì)中的研究（項(xiàng)目編號(hào)：XHXY201616）；山東省統(tǒng)計(jì)局課題：大數(shù)據(jù)環(huán)境下OLAP關(guān)聯(lián)規(guī)則挖掘在高校固定資產(chǎn)統(tǒng)計(jì)中的研究（項(xiàng)目編號(hào)：KT16218）。

作者簡(jiǎn)介：陳梅（1982-），女，山東武城人，碩士研究生，講師，研究方向：大數(shù)據(jù)和教學(xué)研究。endprint