探析數(shù)據(jù)挖掘技術(shù)在煙草行業(yè)中的應(yīng)用

呂斐斐 王瑞軍

摘 要：隨著信息技術(shù)的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長(zhǎng)，與此同時(shí)也出現(xiàn)了一門能從海量的數(shù)據(jù)中提取有用知識(shí)的技術(shù)——數(shù)據(jù)挖掘技術(shù)。文章正是探討如何將數(shù)據(jù)挖掘技術(shù)更加廣泛地應(yīng)用于煙草行業(yè)管理和經(jīng)營(yíng)的數(shù)據(jù)分析上，以期從中發(fā)掘潛在的有價(jià)值的信息，用于指導(dǎo)卷煙經(jīng)營(yíng)，提高煙草企業(yè)綜合競(jìng)爭(zhēng)力，實(shí)現(xiàn)“卷煙上水平”，更好的服務(wù)廣大煙草零售戶和消費(fèi)者。

關(guān)鍵詞：煙草行業(yè)；數(shù)據(jù)挖掘；時(shí)間序列；孤立點(diǎn)；遺傳算法

引言

隨著市場(chǎng)經(jīng)濟(jì)體制的不斷完善和對(duì)外開放的不斷擴(kuò)大以及我國(guó)的入世，煙草行業(yè)作為一個(gè)相對(duì)封閉的國(guó)家壟斷行業(yè)，面臨前所未有的嚴(yán)峻形勢(shì)。為迎接挑戰(zhàn)，煙草行業(yè)信息化建設(shè)在黨的十六大提出的以信息化帶動(dòng)工業(yè)化、以工業(yè)化促進(jìn)信息化，走新型工業(yè)化道路的戰(zhàn)略指引下，按照“統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一平臺(tái)、統(tǒng)一數(shù)據(jù)、統(tǒng)一網(wǎng)絡(luò)”的總體要求，逐步實(shí)現(xiàn)了系統(tǒng)集成、資源整合、信息共享。煙草行業(yè)信息化發(fā)展迅猛，業(yè)務(wù)系統(tǒng)、物流系統(tǒng)、專賣系統(tǒng)等一系列應(yīng)用系統(tǒng)，在支撐企業(yè)日常運(yùn)營(yíng)管理工作的同時(shí)，已積累了大量的、豐富的數(shù)據(jù)，如何有效地從這些數(shù)據(jù)中清理、歸納、挖掘出潛在的有價(jià)值的關(guān)系和規(guī)則，以更好的預(yù)測(cè)未來的發(fā)展趨勢(shì)，制定有效的營(yíng)銷策略、指導(dǎo)商業(yè)行為、提供決策支持都顯得至關(guān)重要。近年來，數(shù)據(jù)挖掘作為信息領(lǐng)域運(yùn)用最廣泛的技術(shù)之一，它可以高度自動(dòng)化地分析所獲得的數(shù)據(jù)，從中發(fā)現(xiàn)有價(jià)值的信息，更好的輔助銷售分析和預(yù)測(cè)，幫助決策者做出正確的決策。

1 數(shù)據(jù)挖掘概述

1.1 數(shù)據(jù)挖掘的定義

所謂數(shù)據(jù)挖掘[1]（Data Mining），就是一個(gè)利用各種分析方法和分析工具從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的，但又是潛在有用的信息和知識(shí)的過程。從商業(yè)的角度來看，就是將數(shù)據(jù)庫中積累的大量的業(yè)務(wù)數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換、分析，從中發(fā)現(xiàn)隱含的、有意義的關(guān)鍵性數(shù)據(jù)，從而為公司決策層的決策提供依據(jù)。

1.2 數(shù)據(jù)挖掘的過程

數(shù)據(jù)挖掘的過程包含以下五個(gè)步驟[2]：

（1）確定研究對(duì)象：清晰地定義出業(yè)務(wù)問題，包括分析業(yè)務(wù)需求，定義問題的范圍，定義計(jì)算機(jī)模型所使用的度量，以及定義數(shù)據(jù)挖掘項(xiàng)目的特定目標(biāo)，這是數(shù)據(jù)挖掘的重要一步。

（2）數(shù)據(jù)準(zhǔn)備：現(xiàn)實(shí)世界的數(shù)據(jù)一般是含噪聲的、冗余的、不完整的和不一致的，這將嚴(yán)重地影響數(shù)據(jù)挖掘的質(zhì)量，因此需要對(duì)數(shù)據(jù)進(jìn)行一定的處理，包括數(shù)據(jù)的選擇、數(shù)據(jù)的預(yù)處理和數(shù)據(jù)的轉(zhuǎn)換。

（3）數(shù)據(jù)挖掘：對(duì)所得到的經(jīng)過轉(zhuǎn)換的數(shù)據(jù)進(jìn)行挖掘，除了完善所選擇的挖掘算法外，其余一切工作都能自動(dòng)地完成。

（4）結(jié)果分析：解釋并評(píng)估結(jié)果，其使用的分析方法一般根據(jù)數(shù)據(jù)挖掘操作而定，通常會(huì)用到可視化技術(shù)。

（5）知識(shí)同化：將分析所得到的知識(shí)應(yīng)用于決策，或集成到業(yè)務(wù)信息系統(tǒng)的組織結(jié)構(gòu)中。

圖1 數(shù)據(jù)挖掘過程框圖

1.3 數(shù)據(jù)挖掘的主要方法

1.3.1 關(guān)聯(lián)分析。它是形如X→Y的蘊(yùn)涵式，其中X和Y分別稱為關(guān)聯(lián)規(guī)則的先導(dǎo)和后繼。用關(guān)聯(lián)規(guī)則可以從大量數(shù)據(jù)項(xiàng)集中挖掘出它們之間有趣的聯(lián)系。此外，關(guān)聯(lián)規(guī)則也可用于序列模式發(fā)現(xiàn)。

1.3.2 分類。它能將數(shù)據(jù)庫中的數(shù)據(jù)項(xiàng)，映射到給定類別中的一個(gè)。分類[3]定義了一種從屬性到類別的映射關(guān)系，給定樣本的屬性值，根據(jù)已知的模式將其劃分到特定的類中。

1.3.3 聚類分析。聚類是根據(jù)一定的規(guī)則，按照相似性把樣本歸成若干類別。在對(duì)樣本合理劃分后，對(duì)不同的類進(jìn)行描述。聚類通常用于將客戶細(xì)分成不同的客戶群，如有相同愛好的客戶群。

1.3.4 時(shí)間序列。按照時(shí)間的順序把隨機(jī)事件變化發(fā)展的過錯(cuò)記錄下來就構(gòu)成了一個(gè)時(shí)間序列。對(duì)時(shí)間序列進(jìn)行觀察、研究，找尋它變化發(fā)展的規(guī)律，預(yù)測(cè)它將來的走勢(shì)就是時(shí)間序列分析。

1.3.5 孤立點(diǎn)分析。孤立點(diǎn)在數(shù)學(xué)上是指坐標(biāo)滿足曲線方程，但并不落在曲線上的點(diǎn)。它也可以被看作是在數(shù)據(jù)集合中與大多數(shù)數(shù)據(jù)特征不一致的數(shù)據(jù)。對(duì)孤立點(diǎn)進(jìn)行分析極有可能發(fā)現(xiàn)重要的隱藏信息。

1.3.6 遺傳算法。它是一類借鑒生物界的進(jìn)化規(guī)律（適者生存，優(yōu)勝劣汰遺傳機(jī)制）演化而來的隨機(jī)化搜索方法；是一個(gè)以適應(yīng)度為目標(biāo)函數(shù)，對(duì)種群個(gè)體施加遺傳操作，實(shí)現(xiàn)群體結(jié)構(gòu)重組，經(jīng)迭代而達(dá)到總體優(yōu)化的過程。

目前，將數(shù)據(jù)挖掘技術(shù)應(yīng)用于煙草行業(yè)的研究逐步受到重視。歐陽秀君，劉文在《數(shù)據(jù)挖掘技術(shù)在煙草CRM中的應(yīng)用》一文中[4]，主要探討如何將數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則、聚類、分類方法應(yīng)用于煙草CRM中。康江峰，陳輝[5]將基于數(shù)據(jù)挖掘的技術(shù)應(yīng)用于對(duì)煙草精準(zhǔn)營(yíng)銷策略的研究。王辛盟[6]采用數(shù)據(jù)挖掘技術(shù)，利用SPSS統(tǒng)計(jì)軟件，以某煙草配送中心的訂單數(shù)據(jù)和客戶資料數(shù)據(jù)為數(shù)據(jù)源，用聚類的方法對(duì)客戶群進(jìn)行細(xì)分。鄭陽洋、劉希玉[7]采用基于多層次關(guān)聯(lián)規(guī)則挖掘技術(shù)，對(duì)2007年山東省內(nèi)某地級(jí)市卷煙商業(yè)企業(yè)的銷售數(shù)據(jù)進(jìn)行分析，得到“消費(fèi)者在購買品名為紅河（軟甲）的客戶中，有57%會(huì)同時(shí)購買類名為八喜的卷煙”的規(guī)則。但以上對(duì)于煙草行業(yè)的數(shù)據(jù)挖掘研究的方法主要集中在關(guān)聯(lián)規(guī)則、聚類分析和分類三種方法上，在接下來的研究中，我將探討如何將更多的數(shù)據(jù)挖掘方法應(yīng)用于煙草行業(yè)的數(shù)據(jù)分析上。

2 數(shù)據(jù)挖掘技術(shù)在煙草行業(yè)中的應(yīng)用

2.1 聚類分析在卷煙銷售中的應(yīng)用

為了便于日常卷煙銷售及統(tǒng)計(jì)，通常根據(jù)卷煙的屬性對(duì)進(jìn)卷煙行分類，常見的卷煙分類方法如下：一是按照價(jià)位段劃分，5元以下、5-10元、10元以上等；二是按照利潤(rùn)貢獻(xiàn)度，分為一類煙、二類煙、三類煙、四類煙和五類煙；三是按照卷煙品牌劃分，泰山系列、黃鶴樓系列、七匹狼系列等；四是按照產(chǎn)地劃分，魯產(chǎn)煙、滬產(chǎn)煙、外產(chǎn)煙等；五是按照焦油含量劃分，低焦油卷煙和高焦油卷煙。以上就卷煙的某一單一屬性對(duì)卷煙類別進(jìn)行區(qū)分，極大的方便卷煙的銷售管理工作，然而，消費(fèi)者在選擇卷煙時(shí)，往往會(huì)考慮多方面的屬性，因此單一屬性的卷煙分類無法解釋消費(fèi)者偏好。因此需要引入基于多屬性的卷煙分類方法，由于卷煙規(guī)格多且本身具有多重屬性，基于主觀判別分類方法難以滿足分類要求，需借助統(tǒng)計(jì)學(xué)的方法對(duì)卷煙進(jìn)行科學(xué)分類。

聚類分析指將物理或抽象對(duì)象的集合分組成為由類似的對(duì)象組成的多個(gè)類的分析過程，同一類別的樣本表現(xiàn)出較高的相似性。因此，可將聚類分析用于解決上述卷煙分類問題，根據(jù)多屬性相似程度將卷煙分成幾個(gè)類別，消費(fèi)者在同一類別中的香煙偏好無顯著差異，即同一類別中的香煙具有較高的替代效應(yīng)。在實(shí)際銷售過程中，當(dāng)某一牌號(hào)的卷煙斷貨、緊俏時(shí)，可推薦此牌號(hào)所在類別的其它牌號(hào)的卷煙給消費(fèi)者作為有效替代。

2.2 時(shí)間序列用于卷煙銷售趨勢(shì)預(yù)測(cè)

卷煙銷售市場(chǎng)季節(jié)性特別顯著，主要表現(xiàn)為兩個(gè)方面：一是市場(chǎng)以節(jié)假日為節(jié)點(diǎn)，節(jié)前卷煙銷售迅猛，節(jié)后消費(fèi)趨于平淡；二是夏季是旅游市場(chǎng)的旺盛，旅游業(yè)帶動(dòng)外來人口流動(dòng)增加，卷煙銷售量也隨同增加。同時(shí)，卷煙市場(chǎng)也受經(jīng)濟(jì)、人口結(jié)構(gòu)等方面因素影響，使得卷煙銷售量存在明顯的非線性特征，波動(dòng)范圍比較大，傳統(tǒng)線性預(yù)測(cè)模型難以準(zhǔn)確預(yù)測(cè)。為了提高卷煙銷售預(yù)測(cè)精度，建立一個(gè)基于時(shí)間序列、能夠精確預(yù)測(cè)卷煙銷售量的模型已經(jīng)成為一種必然趨勢(shì)。

時(shí)間序列由四個(gè)影響成分所組成，分別是長(zhǎng)期趨勢(shì)、循環(huán)變動(dòng)、季節(jié)變動(dòng)、不規(guī)則變動(dòng)。這四個(gè)影響成分與卷煙銷售市場(chǎng)的變動(dòng)規(guī)律相吻合。通過建立卷煙銷售時(shí)間序列模型，對(duì)以往銷售的歷史數(shù)據(jù)進(jìn)行分析，能夠有效地預(yù)測(cè)未來卷煙銷售市場(chǎng)的走勢(shì)和發(fā)展規(guī)律，更好地掌握卷煙市場(chǎng)的供需關(guān)系。在此基礎(chǔ)上，做好備貨工作，設(shè)立合理庫存，實(shí)現(xiàn)有效的貨源供應(yīng)。通過對(duì)區(qū)域市場(chǎng)變化趨勢(shì)的預(yù)測(cè)并結(jié)合客戶實(shí)時(shí)經(jīng)營(yíng)狀況，能夠?qū)蛻舻男枨罂偭孔龀鱿噙m應(yīng)的預(yù)測(cè)，確保做好客戶的合理定量工作，保障不同零售客戶需求。預(yù)測(cè)結(jié)果還可為制定公平合理的貨源投放政策提供依據(jù)，使得各類貨源能夠投放至有相應(yīng)銷售能力的客戶手中，更好的滿足消費(fèi)者的需求。

2.3 孤立點(diǎn)分析用于煙草專賣執(zhí)法

數(shù)據(jù)挖掘中的孤立點(diǎn)分析方法可以通過計(jì)算數(shù)據(jù)點(diǎn)之間的距離，稠密度等來模擬用戶之間的屬性差異，由此找到那些屬性特征與正常點(diǎn)差異非常大的用戶數(shù)據(jù)點(diǎn)。人們普遍認(rèn)為孤立點(diǎn)的存在極有可能是度量或執(zhí)行錯(cuò)誤所導(dǎo)致的，因其不符合數(shù)據(jù)的一般模型，所以在研究普遍現(xiàn)象時(shí)，人們總是試圖使孤立點(diǎn)的影響最小化，而盡可能排除它們。然而，孤立點(diǎn)可能隱藏著比一般的數(shù)據(jù)更有價(jià)值的信息。近些年來，孤立點(diǎn)挖掘作為一個(gè)重要的研究課題，已被廣泛用于信用卡詐騙監(jiān)測(cè)、市場(chǎng)內(nèi)部交易偵測(cè)、工業(yè)設(shè)備故障探測(cè)等領(lǐng)域。

在已建立的煙草分銷數(shù)據(jù)庫中儲(chǔ)存著大量客戶訂單信息，這些訂單信息包含多個(gè)維度，如用戶ID、商品編號(hào)、訂購數(shù)量、需求數(shù)量、同一品牌訂貨間隔等等?？衫霉铝Ⅻc(diǎn)挖掘算法對(duì)客戶訂單數(shù)據(jù)進(jìn)行分析，建立客戶評(píng)估監(jiān)測(cè)模型，找到以下“孤立點(diǎn)”：訂單金額高的，敏感牌號(hào)訂購量大的，敏感牌號(hào)訂購頻繁的，以往訂購敏感牌號(hào)頻率低但最近一段時(shí)間頻繁訂購的，按照商圈不具備高端敏感牌號(hào)銷路的卻頻繁訂購等等。這類訂單“異常”的客戶，或者稱為“孤立點(diǎn)”，可以被認(rèn)為是存在相當(dāng)大的“違規(guī)”可能性，我們的專賣執(zhí)法人員應(yīng)該對(duì)這一類的零售戶采取進(jìn)一步的跟蹤調(diào)查。孤立點(diǎn)數(shù)據(jù)分析，勢(shì)必成為專賣執(zhí)法的又一利器。

2.4 遺傳算法用于車輛配送線路優(yōu)化

卷煙商業(yè)企業(yè)的銷售收益主要來自于訂單，銷售成本主要產(chǎn)生在物流配送的環(huán)節(jié)。所以，在假設(shè)銷售量不變的情況下，如何優(yōu)化線路配置，降低成本，最大化公司利潤(rùn)，在當(dāng)前煙草行業(yè)面臨巨大的挑戰(zhàn)和壓力下，顯得尤為重要。因此，采用科學(xué)的、合理的方法來確定配送線路將是車輛優(yōu)化調(diào)度工作的重中之重，是物流系統(tǒng)優(yōu)化、物流科學(xué)化的關(guān)鍵。

煙草商業(yè)企業(yè)已有的線路優(yōu)化系統(tǒng)中儲(chǔ)存有客戶商店位置、道路情況等信息，可以在此基礎(chǔ)上，利用遺傳算法對(duì)配送線路問題進(jìn)行優(yōu)化。將一系列實(shí)際中車輛配送的約束條件，轉(zhuǎn)換成二進(jìn)制編碼（染色體）并隨機(jī)產(chǎn)生初始種群，通過模擬達(dá)爾文的遺傳選擇和自然淘汰的生物進(jìn)化過程，并借助于自然遺傳學(xué)的遺傳算子進(jìn)行組合交叉和變異，逐代演化產(chǎn)生出越來越好的近似解，末代種群中的最優(yōu)個(gè)體經(jīng)過解碼，可以作為最終問題的近似最優(yōu)解，用以實(shí)現(xiàn)對(duì)車輛的優(yōu)化調(diào)度，即合理地進(jìn)行配貨優(yōu)化、貨物配裝優(yōu)化，特別是配送路線優(yōu)化。從而達(dá)到提高里程利用率，降低行駛費(fèi)用，減少車輛空駛里程，增加貨運(yùn)量，節(jié)約燃料，降低大修費(fèi)等，為企業(yè)帶來更大的經(jīng)濟(jì)效益。另外，車輛優(yōu)化調(diào)度在減少廢氣排放量，降低城市空氣污染方面也起到積極作用。

3 結(jié)束語

我國(guó)加入WTO已有十年的時(shí)間，在這十年間，許多行業(yè)逐步實(shí)現(xiàn)了對(duì)外開放，無論在國(guó)內(nèi)市場(chǎng)還是國(guó)際市場(chǎng)上，我們都面臨著來自國(guó)際大型跨國(guó)公司的巨大競(jìng)爭(zhēng)壓力。然而，在對(duì)數(shù)據(jù)進(jìn)行分析，從中挖掘出隱藏的信息和規(guī)則，用以輔助我們的生產(chǎn)、決策和規(guī)劃方面，我國(guó)企業(yè)已遠(yuǎn)遠(yuǎn)落后于國(guó)外發(fā)達(dá)國(guó)家?？上驳氖?，現(xiàn)在越來越多的企業(yè)認(rèn)識(shí)到利用數(shù)據(jù)挖掘技術(shù)分析數(shù)據(jù)的重要性——數(shù)據(jù)挖掘給企業(yè)帶來的潛在投資回報(bào)幾乎是無止境的。一個(gè)企業(yè)要想在復(fù)雜的環(huán)境中獲得成功，必須要有詳實(shí)的事實(shí)和數(shù)據(jù)作為支持，因此，隨著數(shù)據(jù)挖掘技術(shù)的不斷改進(jìn)和日益成熟，它必將為更多的企業(yè)提供強(qiáng)有力的信息支撐。文章通過數(shù)據(jù)挖掘技術(shù)在煙草行業(yè)中的應(yīng)用探析，將當(dāng)下應(yīng)用比較成熟的數(shù)據(jù)挖掘技術(shù)：時(shí)間序列算法、孤立點(diǎn)挖掘算法、遺傳算法引進(jìn)到對(duì)煙草行業(yè)日常管理和經(jīng)營(yíng)數(shù)據(jù)的分析上，期待從大量的數(shù)據(jù)中，發(fā)現(xiàn)我們想要的知識(shí)，用以實(shí)現(xiàn)“卷煙上水平”，更好的服務(wù)煙草零售戶和消費(fèi)者。

參考文獻(xiàn)

[1]牛承珍，馬季蘭.淺談數(shù)據(jù)挖掘應(yīng)用[J].山西科技，2008（3）.

[2]蔣宗禮.人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論[M].高等教育出版社，2001.

[3]李紅梅，曹建河.數(shù)據(jù)挖掘技術(shù)在煙草銷售行業(yè)中應(yīng)用探析[J].現(xiàn)代商貿(mào)工業(yè)，2011（14）.

[4]歐陽秀軍，劉文.數(shù)據(jù)挖掘技術(shù)在煙草CRM中的應(yīng)用[J].井岡山學(xué)院學(xué)報(bào)（自然科學(xué)），2009（6）.

[5]康江峰，陳輝.基于數(shù)據(jù)挖掘的煙草精準(zhǔn)營(yíng)銷策略研究[J].商業(yè)經(jīng)濟(jì)，2012（4）.

[6]王辛盟.數(shù)據(jù)挖掘訂單分析系統(tǒng)在煙草行業(yè)CRM中的研究和應(yīng)用[D].山東大學(xué)，2006，4：20-27.

[7]鄭陽洋，劉希玉.基于多層次關(guān)聯(lián)規(guī)則的卷煙銷售策略[J].管理學(xué)家，2009（3）.

作者簡(jiǎn)介：呂斐斐（1984-），女，漢族，山東省文登市，山東威海煙草有限公司，中級(jí)經(jīng)濟(jì)師，碩士學(xué)位，研究方向：數(shù)據(jù)挖掘方向。