基于高斯混合模型的一種工業(yè)供應(yīng)鏈銷售預(yù)測方法

戎荷婷 姚 蘭 楊佳云 高福祥

(東北大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院 遼寧 沈陽 110819)

0 引 言

隨著計算機(jī)技術(shù)不斷革新，工業(yè)供應(yīng)鏈中的產(chǎn)品銷售相關(guān)數(shù)據(jù)可以被采集、存儲，并且正在以前所未有的速度增長。大數(shù)據(jù)實時分析推動學(xué)術(shù)界和業(yè)界不斷深入研究與探討更有效的分析工具與方法。針對大數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)及人工智能分析系統(tǒng)受到越來越多研究者的關(guān)注，其中人工智能延伸出來的機(jī)器學(xué)習(xí)理論，是從樣本中尋找規(guī)律對未來樣本或無法觀測的數(shù)據(jù)進(jìn)行預(yù)測輸出的一種理論方法，其將非結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)變換成結(jié)構(gòu)化數(shù)據(jù)，并進(jìn)行建模分析，由此成為當(dāng)前研究熱點。

現(xiàn)有的工業(yè)供應(yīng)鏈銷售系統(tǒng)中的成交預(yù)測方法大都是通過定性的方法進(jìn)行銷售預(yù)測，這些方法大都理論性強、可操作性弱，預(yù)測結(jié)果往往達(dá)不到客戶與企業(yè)的心理預(yù)期。以機(jī)電產(chǎn)品銷售系統(tǒng)為例，其銷售數(shù)據(jù)往往存在數(shù)據(jù)量大、特征值較多、數(shù)據(jù)不整齊等特征，無法明確哪些特征值對預(yù)測結(jié)果有較大參考價值。對此，傳統(tǒng)方法采用定性的銷售預(yù)測分析，不僅對人力財力物力消耗大、要求高，而且難以將市場、不同用戶群體等因素全面考慮進(jìn)去，從而導(dǎo)致預(yù)測結(jié)果誤差較大。

因此，本文提出了一種基于高斯混合模型(GMM)的工業(yè)供應(yīng)鏈銷售預(yù)測方法。通過處理銷售系統(tǒng)中歷史業(yè)務(wù)數(shù)據(jù)，分析客戶消費習(xí)慣和消費能力，在此基礎(chǔ)上，用GMM對銷售數(shù)據(jù)集進(jìn)行預(yù)測訓(xùn)練，評估不同特征值和聚類簇數(shù)下的模型性能，生成較為成熟的模型，最終實現(xiàn)銷售預(yù)測。

1 相關(guān)工作

文獻(xiàn)[1]指出銷售預(yù)測是企業(yè)供應(yīng)鏈管理的關(guān)鍵環(huán)節(jié)，通過銷售預(yù)測，企業(yè)可以制定科學(xué)合理的原材料采購計劃、生產(chǎn)計劃、人員配備計劃、庫存計劃及營銷計劃。因此，銷售預(yù)測決策支持系統(tǒng)對企業(yè)的經(jīng)營決策具有重要的研究意義。銷售數(shù)據(jù)是一種動態(tài)的、非線性的、不規(guī)則的時間序列數(shù)據(jù)，受季節(jié)氣候、突發(fā)事件、經(jīng)銷商的銷售能力、下級經(jīng)銷商的數(shù)量等各種因素的影響。在早期，銷售預(yù)測都是銷售人員基于產(chǎn)品市場以及銷售經(jīng)驗人為判別，這種方法人工成本較高且領(lǐng)域可移植性較差。后來，隨著大數(shù)據(jù)和數(shù)據(jù)處理技術(shù)急劇發(fā)展，越來越多的國內(nèi)外學(xué)者對各行各業(yè)銷售預(yù)測方法展開了更多深入研究。

其中應(yīng)用較為廣泛的方法主要有神經(jīng)網(wǎng)絡(luò)預(yù)測法、聚類預(yù)測法等。文獻(xiàn)[2-4]提出了基于神經(jīng)網(wǎng)絡(luò)的銷售預(yù)測模型，為企業(yè)制定銷售策略提供了依據(jù)。文獻(xiàn)[5-6]對基于神經(jīng)網(wǎng)絡(luò)的銷售預(yù)測方法進(jìn)行改進(jìn)。其中：文獻(xiàn)[5]基于遺傳算法對BP神經(jīng)網(wǎng)絡(luò)優(yōu)化，并用某超市一段時間的真實銷售數(shù)據(jù)進(jìn)行實驗，結(jié)果表明該方法可較好地解決BP神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)的缺陷及預(yù)測結(jié)果精度較低的問題，一定限度上提高了銷售預(yù)測的準(zhǔn)確率；文獻(xiàn)[6]提出一種自適應(yīng)和聲算法與遺傳算法混合優(yōu)化BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值的算法，通過對機(jī)票銷量的預(yù)測實驗表明該算法在一定限度上解決了神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)值與收斂速度慢的問題。

雖然國內(nèi)外學(xué)者不斷致力于解決神經(jīng)網(wǎng)絡(luò)的局部最優(yōu)值與收斂問題，并取得了一定進(jìn)展，但在面對龐大銷售數(shù)據(jù)時，依舊不能高性能地完成銷售預(yù)測。因此，越來越多的學(xué)者開始從聚類方法的角度對銷量預(yù)測做進(jìn)一步研究。文獻(xiàn)[7]提出了一種基于銷售數(shù)據(jù)的產(chǎn)品重分類預(yù)測模型，該模型利用K-means聚類方法，就銷量特征的共性表現(xiàn)對產(chǎn)品進(jìn)行聚類，在此基礎(chǔ)上利用時間序列預(yù)測方法與隱馬爾可夫預(yù)測方法，分別對產(chǎn)品銷量進(jìn)行定性與定量預(yù)測，以某電商網(wǎng)站的某單品類真實銷售數(shù)據(jù)作為實驗數(shù)據(jù)，結(jié)果表明該預(yù)測模型在一定程度上實現(xiàn)了對電商產(chǎn)品的銷量預(yù)測功能。文獻(xiàn)[8]從服裝企業(yè)的管理者角度出發(fā)，提出了一種聚類分析和CAST決策樹算法相結(jié)合的銷售預(yù)測模型，進(jìn)一步探究影響服裝銷售額的因素，在此基礎(chǔ)上對銷售額進(jìn)行預(yù)測，通過實證分析表明該方法在一定程度上對于預(yù)測營業(yè)額是有效果的。K-means聚類算法不僅在銷售預(yù)測中應(yīng)用較多，在相似的推薦系統(tǒng)問題中也被越來越多的國內(nèi)外學(xué)者研究分析。文獻(xiàn)[9]指出推薦系統(tǒng)旨在分析用戶的興趣，主動為用戶推薦合適的資源，常用的算法為協(xié)同過濾算法。文獻(xiàn)[10]提出了一種基于用戶項目類偏好值的聚類的電子商務(wù)推薦方法，該方法用于解決目標(biāo)用戶對未評分商品的興趣程度的預(yù)測，采用開源數(shù)據(jù)集MovieLens作為實驗數(shù)據(jù)，結(jié)果表明該方法較好地解決了由于用戶空間增大而導(dǎo)致推薦系統(tǒng)性能下降的問題。

隨著國內(nèi)外學(xué)者對聚類算法的深入研究，GMM作為一種使用概率進(jìn)行描述數(shù)據(jù)點分類的算法，因其嚴(yán)謹(jǐn)性開始引起學(xué)者們的關(guān)注，并逐漸被應(yīng)用在文本聚類、預(yù)測問題、推薦系統(tǒng)等方面。文獻(xiàn)[12]基于GMM對相似度高的音樂特征文本進(jìn)行聚類，實現(xiàn)音樂推薦的個性化服務(wù)。文獻(xiàn)[13]提出了一種基于GMM的文本聚類方法，實現(xiàn)對電商產(chǎn)品的品牌實體歸一化。文獻(xiàn)[14]提出了一種基于GMM的軌跡預(yù)測算法，通過大量真實軌跡數(shù)據(jù)集的實驗，結(jié)果表明，與相同參數(shù)設(shè)置下的傳統(tǒng)算法相比，該算法的預(yù)測準(zhǔn)確性和時效性顯著增強。文獻(xiàn)[15]則面向稀疏數(shù)據(jù)構(gòu)建基于GMM的位置推薦框架，通過GMM預(yù)測用戶在不同地區(qū)出現(xiàn)的概率，進(jìn)而實現(xiàn)位置推薦，用真實的數(shù)據(jù)集進(jìn)行實驗，結(jié)果表明該方法能有效地提高稀疏數(shù)據(jù)中位置推薦的準(zhǔn)確度。文獻(xiàn)[16]基于GMM的方法對社交網(wǎng)絡(luò)中的用戶興趣進(jìn)行預(yù)測，并用真實的實驗數(shù)據(jù)集進(jìn)行實驗驗證，結(jié)果表明GMM具有良好的預(yù)測精度。文獻(xiàn)[17]基于GMM對傳統(tǒng)推薦系統(tǒng)使用的協(xié)同過濾算法進(jìn)行了改進(jìn)，并用公開數(shù)據(jù)集MovieLens對算法進(jìn)行驗證，結(jié)果表明該算法有更強的預(yù)測準(zhǔn)確率。文獻(xiàn)[18]提出一種基于GMM的知識推薦系統(tǒng)以預(yù)測用戶對知識項的評分，進(jìn)而實現(xiàn)對用戶個性化知識推薦，用開源數(shù)據(jù)集fisheriris和MovieLens進(jìn)行實驗，結(jié)果表明該方法的預(yù)測準(zhǔn)確率較高。

目前將GMM應(yīng)用于銷售價格預(yù)測的研究較少，但很多相關(guān)研究已表明GMM在處理預(yù)測問題方面具有良好的性能，因此針對數(shù)據(jù)量大、數(shù)據(jù)屬性值較為復(fù)雜且包含較大信息量的機(jī)電產(chǎn)品銷售數(shù)據(jù)，本文選擇GMM作為處理方法，并采用人工神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)作為對比。

2 方法設(shè)計

因其較大的置信區(qū)間和數(shù)值化的概率值預(yù)測結(jié)果，高斯分布常被應(yīng)用于預(yù)測問題中。本文的實驗數(shù)據(jù)較為復(fù)雜，特征數(shù)較多且數(shù)據(jù)分布不服從單一高斯分布，需使用多個單高斯模型的混合。GMM理論上可以擬合任意分布的樣本，適用于本文的實驗數(shù)據(jù)?；贕MM的用戶模型構(gòu)建過程包括4個步驟。

2.1 用戶數(shù)據(jù)獲取與處理

本文以加拿大某機(jī)電產(chǎn)品銷售公司的真實銷售數(shù)據(jù)作為數(shù)據(jù)源，經(jīng)過脫敏處理后保留了418 282條原數(shù)據(jù)作為實驗的標(biāo)準(zhǔn)數(shù)據(jù)集。

2.1.1數(shù)據(jù)分析

本文的原始數(shù)據(jù)集中包含的數(shù)據(jù)特征有id(交易記錄編號)、RFQ(企業(yè)與顧客協(xié)議記錄的編號)、ACCT(顧客編號)、Coverage、SKU、SKU_Category、EB_Flag、RFQ_TYPE(企業(yè)與顧客所協(xié)議的產(chǎn)品類型)、List_Price(產(chǎn)品的標(biāo)價)、RFQ_Price(企業(yè)與顧客所協(xié)議的產(chǎn)品價格)、RFQ_Qty(企業(yè)與顧客所協(xié)議的產(chǎn)品數(shù)量)、Order_Qty(顧客最終訂購產(chǎn)品的數(shù)量)。本文先計算出數(shù)據(jù)集各特征的均值、最大值、最小值、中位數(shù)等，了解數(shù)據(jù)不同特征的數(shù)值分布情況。然后計算數(shù)據(jù)各個特征間的相關(guān)性，比較特征的重要程度，為后續(xù)工作提供依據(jù)。

2.1.2數(shù)據(jù)清洗

數(shù)據(jù)清洗規(guī)則主要包括填充缺省值、平滑噪聲數(shù)據(jù)和識別離群點。缺省值、噪聲數(shù)據(jù)和離群點普遍存在于真實數(shù)據(jù)集中，銷售系統(tǒng)故障、數(shù)據(jù)記錄失誤、數(shù)據(jù)庫數(shù)據(jù)更新異常等多種原因都會產(chǎn)生這些異常數(shù)據(jù)。因此，首先需要通過對數(shù)據(jù)的可視化查看是否存在噪聲數(shù)據(jù)，然后進(jìn)一步檢查所獲數(shù)據(jù)中是否存在缺省值或離群點。

2.1.3數(shù)據(jù)轉(zhuǎn)化

經(jīng)過以上工作，本文對數(shù)據(jù)進(jìn)行歸一化處理，即將數(shù)據(jù)處理為0～1的浮點型數(shù)據(jù)，表示該特征在所有特征中所占的權(quán)重比率。具體轉(zhuǎn)化過程如下：數(shù)據(jù)文件中包含的id用于標(biāo)記每條記錄，可作標(biāo)簽處理為從1之后逐步遞增的順序自然數(shù)；RFQ、ACCT、coverage、SKU、sku_category、EB_flag、RFQ_TYPE 可處理為在該特征的所有記錄中的頻率；list_price、rfq_price、rfq_qty、order_qty可按照公式(x-xmin)/(xmax-xmin)做歸一化處理。

2.1.4數(shù)據(jù)集成

基于以上對數(shù)據(jù)集的分析處理，本文為防止過擬合，在實驗過程中采用交叉驗證以形成所需的訓(xùn)練集和測試集。

2.2 用戶模型構(gòu)建

本文用GMM描述不同特征對交易成功的影響概率。似然函數(shù)表示為各高斯模型和權(quán)重相乘的和，如式(1)所示，本文的目的即為求出相應(yīng)的參數(shù)使得似然函數(shù)達(dá)到最大值，從而實現(xiàn)向用戶推薦成交率最高的成交價格：

(1)

式中：N(x|μk,σk)為高斯混合模型中的第k個模型(component)；μk與σk為第k個的高斯模型均值與方差；πk為混合系數(shù)，即權(quán)重。πk需滿足：

(2)

本文在使用該似然函數(shù)的過程中，輸入為用戶×(特征+是否成交)矩陣的任意一行，輸出為用戶隸屬于各個聚類簇的概率矩陣。

2.3 用戶模型訓(xùn)練

本文用所構(gòu)建的模型對數(shù)據(jù)進(jìn)行訓(xùn)練，進(jìn)而得到似然函數(shù)中的各參數(shù)值。訓(xùn)練過程包括最優(yōu)成分?jǐn)?shù)量確定和參數(shù)估計兩部分。

2.3.1最優(yōu)成分?jǐn)?shù)量確定

在進(jìn)行參數(shù)估計問題時，需要在模型復(fù)雜度與模型對數(shù)據(jù)集描述能力之間尋求一個最佳的平衡。對GMM而言，該問題的核心就落在確定最優(yōu)成分?jǐn)?shù)量上。本文通過比較不同聚類簇數(shù)和特征數(shù)的組合下模型的性能指標(biāo)來確定最佳聚類簇的數(shù)量，實驗過程中進(jìn)行十次交叉檢驗以防止過擬合。

2.3.2參數(shù)估計

高斯混合模型的似然函數(shù)中的參數(shù)估計過程使用的是EM算法[19]。其基本思路為：隨機(jī)初始化一組參數(shù)Ф(0)，根據(jù)后驗概率P(Y|X；Ф(0))來更新Y的期望E(Y)，然后用E(Y)代替Y求出新的模型參數(shù)Ф(1)，如此迭代直到Ф趨于穩(wěn)定。

首先，本文基于式(1)建立了最大似然函數(shù)：

(3)

在高斯混合模型的似然函數(shù)中，單個點的概率很小，進(jìn)行連乘操作之后數(shù)據(jù)會更小，容易造成浮點數(shù)下溢，影響之后的計算，因此EM算法在進(jìn)行計算時對似然函數(shù)進(jìn)行了取對數(shù)操作，實現(xiàn)了式(3)所示的似然函數(shù)。

用EM算法確定參數(shù)包括E步(Exception)和M步(Maximization)兩部分。

1) E步，即計算每個數(shù)據(jù)(即每條記錄)由每個單高斯模型產(chǎn)生的概率。對于每個數(shù)據(jù)xi而言，它由第k個component生成的概率為：

(4)

由于式(4)中的μk和σk也是需要估計的值，所以在采用迭代法計算時，需對μk和σk賦初值，并在迭代的過程中，將上一次迭代取得的值作為計算值。

2) M步，即估計E步中的參數(shù)，進(jìn)而求得最大似然函數(shù)。通過E步可以得到每個數(shù)據(jù)xi由第k個component生成的概率，接下來需具體到每個component，求解參數(shù)。由于每個component都是一個標(biāo)準(zhǔn)的高斯分布，因此很容易求得最大似然函數(shù)所對應(yīng)的各參數(shù)值：

(5)

(6)

(7)

(8)

重復(fù)E步和M步，直到數(shù)值收斂，并將最終得到的參數(shù)代入到目標(biāo)函數(shù)中完成模型。

2.4 用戶模型預(yù)測

本文用EM算法訓(xùn)練的模型對測試集中的數(shù)據(jù)進(jìn)行預(yù)測，檢驗該模型預(yù)測的準(zhǔn)確率等性能。

3 實 驗

3.1 數(shù)據(jù)預(yù)處理

本文采用的性能評估指標(biāo)包括準(zhǔn)確率、召回率和F值，采用的數(shù)據(jù)集是加拿大某機(jī)電產(chǎn)品銷售公司的真實銷售記錄數(shù)據(jù)，數(shù)據(jù)特征不明確，無法直接應(yīng)用于模型進(jìn)行訓(xùn)練，需要進(jìn)一步分析處理。因此，本文首先對數(shù)據(jù)本身進(jìn)行分析，計算不同特征值下的均值方差等，結(jié)果如表1所示。接著在此基礎(chǔ)上對原始數(shù)據(jù)集進(jìn)行清洗，消除噪聲數(shù)據(jù)。然后進(jìn)一步分析數(shù)據(jù)特征，對數(shù)據(jù)各特征間相關(guān)性進(jìn)行分析，結(jié)果如表2所示。最后實現(xiàn)對數(shù)據(jù)集的預(yù)處理。本文對表1中的結(jié)果進(jìn)行分析，可知：(1) 各特征的數(shù)據(jù)類型及數(shù)值上下界差別較大，為了便于后續(xù)利用模型進(jìn)行訓(xùn)練預(yù)測，數(shù)據(jù)預(yù)處理過程中需進(jìn)行歸一化處理。(2) 數(shù)據(jù)集中含有噪聲數(shù)據(jù)，如Order_Qty中最小值為負(fù)數(shù)，后期數(shù)據(jù)預(yù)處理過程中需進(jìn)行異常值檢測及替換。(3) 結(jié)合表1、表2中的結(jié)果，部分噪聲數(shù)據(jù)被可視化顯示，因此后續(xù)需要對數(shù)據(jù)進(jìn)一步清洗、檢測和去除異常數(shù)據(jù)。(4) 數(shù)據(jù)集的數(shù)據(jù)標(biāo)簽為Order_Qty，分析其各項結(jié)果顯示成交量為0的樣本數(shù)要遠(yuǎn)大于非0的樣本數(shù)，后期進(jìn)行實驗劃分訓(xùn)練集和測試集時，需分別考慮成交樣本和非成交樣本。

表1 實驗數(shù)據(jù)集分析

表2 各特征間相關(guān)性分析

本文通過決策樹回歸模型進(jìn)行特征相關(guān)性計算，即逐個移除特征，用其余特征預(yù)測被移除的特征，通過對預(yù)測結(jié)果進(jìn)行評分實現(xiàn)特征間相關(guān)性的計算。相關(guān)性程度大小順序為：數(shù)值為負(fù)數(shù)的特征>數(shù)值在0到1間的特征>數(shù)值為1的特征。其中，數(shù)值在0到1間特征的相關(guān)性會隨著數(shù)值靠近0而增大。

3.2 實驗結(jié)果與性能評估

3.2.1高斯混合模型不同特征數(shù)和聚類數(shù)對比

本文通過準(zhǔn)確率、召回率和F值進(jìn)行方法性能評估，并通過計算比較不同聚類簇數(shù)和特征數(shù)組合下三個指標(biāo)的數(shù)值進(jìn)一步確定本文所要采用的數(shù)據(jù)集特征數(shù)以及聚類簇的數(shù)目。

表3為不同特征數(shù)下的三個指標(biāo)的數(shù)值，通過分析發(fā)現(xiàn)，特征值為7時，準(zhǔn)確率、召回率和F值三個指標(biāo)的值最大，即方法性能最優(yōu)。特別地，不同特征值下的三指標(biāo)數(shù)值是基于聚類簇數(shù)由2到10中的最大值得到的。

表3 不同特征值下的準(zhǔn)確率、召回率、F值

在確定數(shù)據(jù)集的特征值后，本文就不同的聚類簇數(shù)目進(jìn)行實驗，找到最優(yōu)聚類簇數(shù)。結(jié)合如圖1所示的數(shù)據(jù)結(jié)果，本文確定最優(yōu)聚類簇數(shù)目為7。

圖1 不同聚類簇下的準(zhǔn)確率、召回率、F值圖

就本文數(shù)據(jù)集而言，當(dāng)特征值為7、GMM的聚類簇數(shù)設(shè)置為7時，預(yù)測結(jié)果的準(zhǔn)確率為0.717 16，召回率為0.969 72，F(xiàn)值為0.824 53。

3.2.2高斯混合模型與神經(jīng)網(wǎng)絡(luò)模型對比

為進(jìn)一步驗證高斯混合模型可有效預(yù)測銷售成交情況，本文分別采用擅長處理數(shù)據(jù)信息的人工神經(jīng)網(wǎng)絡(luò)和較為先進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對相同數(shù)據(jù)集進(jìn)行銷售預(yù)測，繪制如圖2、圖3所示的ROC曲線。并據(jù)此計算得到人工神經(jīng)網(wǎng)絡(luò)模型的預(yù)測結(jié)果：準(zhǔn)確率為0.372 03，召回率為0.396 42，F(xiàn)值為0.383 83；卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)測結(jié)果：準(zhǔn)確率為0.780 22，召回率為0.151 27，F(xiàn)值為0.253 41。F值是綜合準(zhǔn)確率和召回率的結(jié)果，用于解決二者發(fā)生矛盾的情況，F(xiàn)值越高，則說明模型性能越好。比較三個模型實驗結(jié)果，本文發(fā)現(xiàn)高斯混合模型的F值高于人工神經(jīng)網(wǎng)絡(luò)模型和卷積神經(jīng)網(wǎng)絡(luò)模型，因此基于高斯混合模型的工業(yè)供應(yīng)鏈銷售預(yù)測方法能很好地預(yù)測銷售成交情況。

圖2 人工神經(jīng)網(wǎng)絡(luò)ROC曲線圖

圖3 卷積神經(jīng)網(wǎng)絡(luò)ROC曲線圖

4 結(jié) 語

本文提出了一種基于高斯混合模型的工業(yè)供應(yīng)鏈銷售預(yù)測方法。首先分析工業(yè)供應(yīng)鏈原始銷售數(shù)據(jù)的特點，生成特征值相關(guān)性排序向量。接著，對高斯混合模型的聚類簇數(shù)等參數(shù)進(jìn)行預(yù)測。然后，在不同聚類簇數(shù)和特征數(shù)組合的基礎(chǔ)上進(jìn)行高斯混合聚類，通過比較預(yù)測結(jié)果的準(zhǔn)確率、召回率和F值三個指標(biāo)確定可實現(xiàn)較好預(yù)測結(jié)果的特征值與聚類簇數(shù)目。本文將高斯混合模型與人工神經(jīng)網(wǎng)絡(luò)模型和卷積神經(jīng)網(wǎng)絡(luò)模型在同一工業(yè)供應(yīng)鏈原始銷售數(shù)據(jù)集上進(jìn)行實驗對比。結(jié)果表明，基于高斯混合模型的工業(yè)供應(yīng)鏈銷售預(yù)測方法能很好地預(yù)測銷售成交情況。