基于特征選擇與模型融合的睡眠會員喚醒算法

樂金祥，李 濤，賈志強，肖鑒濤

(武漢科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，湖北 武漢 430065)

0 引 言

隨著中國社會經(jīng)濟的快速增長，人民生活質(zhì)量和水平不斷改善與提高，同時健康和保健的重視程度也在不斷加大與提高，而且在互聯(lián)網(wǎng)與實體經(jīng)濟融合發(fā)展的大背景下，醫(yī)藥行業(yè)是現(xiàn)階段增速最快的行業(yè)之一，國內(nèi)藥品零售業(yè)也在快速發(fā)展。作為藥品零售的主要經(jīng)營模式——連鎖零售藥店也進入快速擴張的階段,越來越多的醫(yī)藥平臺開始采用線上活動引流至線下營銷的模式來提升營銷能力。隨著線上購物的普及，通過短信發(fā)送或是在APP上推送優(yōu)惠券是刺激老用戶以及吸引新客戶進店消費的重要方式,然而直接對所有睡眠會員推送優(yōu)惠信息來進行喚醒操作,不僅會導(dǎo)致營銷成本過高,而且隨機發(fā)放信息既無法達到預(yù)期效果,也會對用戶的生活造成干擾。對商家而言,針對所有睡眠會員進行優(yōu)惠信息大規(guī)模發(fā)送，不僅在增加藥店營銷成本的同時，也很大可能會損害藥店的品牌聲譽。

對于當(dāng)下的藥店而言,藥品的種類、價格都相差無幾。在這種現(xiàn)狀下,消費者可能會考慮到地理位置更近的藥店消費,各大藥店幾乎都有會員流失嚴(yán)重的現(xiàn)象。如果想要獲得更好的發(fā)展,在吸引更多新會員的同時,要維護好現(xiàn)有的老會員,減少會員流失。但是發(fā)展新會員的成本遠高于維護現(xiàn)有會員的成本,在發(fā)展新用戶相對困難的現(xiàn)階段,如何維護好老會員,喚醒睡眠會員是更好的選擇。因此怎樣更好地識別這些易喚醒的睡眠會員是該文的研究重點，將從兩個方面出發(fā)：(1)特征集構(gòu)建：從會員的行為、屬性、動態(tài)三個維度提出多種具有代表性的特征屬性,與傳統(tǒng)消費特征結(jié)合構(gòu)建為特征集。該特征集相比傳統(tǒng)消費特征具有更好的模型訓(xùn)練效果。(2)喚醒模型構(gòu)建：將會員是否會前來消費抽象為二分類問題,可用于二分類的算法比較多,該文選擇了支持向量機以及XGBoost兩種算法,使用Soft Voting方法將SVM喚醒模型和XGBoost喚醒模型進行融合得到喚醒模型,比單一的喚醒模型具有更好的喚醒效果。

1 相關(guān)研究

目前在電子優(yōu)惠券營銷方面已經(jīng)有了較多研究成果,通過用戶的消費數(shù)據(jù)來分析用戶的行為特征、發(fā)現(xiàn)用戶的偏好與興趣以及了解用戶的潛在需求,通過發(fā)送優(yōu)惠信息來實現(xiàn)精準(zhǔn)營銷，增加營業(yè)額。藥店營銷正屬于電子優(yōu)惠券營銷的一部分,有著傳統(tǒng)營銷模型的一般性,該文在特征分析與研究方法上,也借鑒了傳統(tǒng)消費預(yù)測的方法。

文獻[2]較為系統(tǒng)地總結(jié)了國內(nèi)現(xiàn)有發(fā)展階段的電子優(yōu)惠券營銷的各種類型及其發(fā)展趨勢,深入分析了使用網(wǎng)絡(luò)營銷、數(shù)據(jù)庫營銷以及線下營銷等具體的營銷手段發(fā)放的不同種類電子優(yōu)惠券信息發(fā)放方式的原因和優(yōu)勢,并進一步闡述了電子優(yōu)惠券營銷的未來發(fā)展趨勢。文獻[3-4]都是使用XGBoost算法模型，通過分析歷史銷售數(shù)據(jù)，來對未來的銷售趨勢做出預(yù)測。文獻[5]為了探究對消費者使用優(yōu)惠券有影響的特征因素,從個人屬性和行為特征等角度來構(gòu)建特征模型,其中行為視角包括經(jīng)濟效益、便利性以及娛樂性，對消費者優(yōu)惠券的使用影響最大的是娛樂性，其次是便利性。而個人屬性中影響優(yōu)惠券使用的因素有創(chuàng)新性以及所得優(yōu)惠券的力度等，這些因素對用戶的優(yōu)惠券使用也有一定的影響。文獻[6]提出了一種基于隨機森林算法的改進算法模型。利用隨機森林的集成思想與訓(xùn)練數(shù)據(jù)集的隨機分割重組的屬性,將原始預(yù)測數(shù)據(jù)集進行隨機分割重組，得到高維訓(xùn)練數(shù)據(jù)集,將其輸入模型后得到的結(jié)果進行求和作為預(yù)測的最終值。文獻[7]在XGBoost算法的基礎(chǔ)上，提出一種對用戶優(yōu)惠券使用行為進行預(yù)測的算法模型，通過分析歷史購買和歷史消費券使用等特征來實現(xiàn)優(yōu)惠券的精準(zhǔn)推送。文獻[8]通過實驗對比了不同二分類算法模型在用戶對優(yōu)惠券使用預(yù)測的ROC曲線，得出隨機森林預(yù)測模型的準(zhǔn)確率更高。文獻[9]通過對優(yōu)惠券的領(lǐng)取方式、歷史訪問記錄以及使用優(yōu)惠券的購買歷史等特征進行分析，探究了這些特征與優(yōu)惠券的使用存在的聯(lián)系。文獻[10]通過實驗研究驗證了線上優(yōu)惠券的發(fā)放以及歷史瀏覽行為等特征與用戶是否購買商品存在正相關(guān)關(guān)系。

以上研究方法對實體產(chǎn)品營銷有一定的適用性,但由于用戶對藥店的主動選擇性和對藥品的特殊依賴性,導(dǎo)致僅使用傳統(tǒng)模型進行消費預(yù)測時準(zhǔn)確率不高,這些方法應(yīng)用于藥品營銷時存在不足。為了解決該問題，該文在已有傳統(tǒng)營銷模式的基礎(chǔ)上進行相關(guān)數(shù)據(jù)預(yù)處理工作,提出新的特征模型，采用soft Voting方法融合隨機森林和XGBoost來進行睡眠會員的喚醒。實驗證明，該特征模型以及將SVM喚醒模型和XGBoost喚醒模型進行融合得到的喚醒模型，比單一的喚醒模型具有更好的喚醒效果。

2 基于特征選擇和模型融合的睡眠會員喚醒模型介紹

2.1 特征選擇

該文數(shù)據(jù)來源于某連鎖藥店近期營銷活動所發(fā)放優(yōu)惠券的睡眠會員的屬性、該藥店活動中所有睡眠會員在活動期間的消費數(shù)據(jù),將這些數(shù)據(jù)進行組合后所形成的數(shù)據(jù)集比較龐大，共380 026條。

借鑒睡眠會員消費行為預(yù)測采用的特征,從睡眠會員自身屬性、睡眠會員行為屬性和藥品屬性三個角度進行計算,對于連鎖藥店和可能影響睡眠會員是否被喚醒前來消費的特征及描述如表1所示。

表1 睡眠會員自身屬性、行為屬性和藥品屬性

藥品銷售與普通產(chǎn)品銷售在用戶屬性和產(chǎn)品屬性上有很多相似點,但同時也存在一定差異性。根據(jù)藥品的特殊性、藥店的連鎖性、會員病類特征與藥品的關(guān)聯(lián)性,該文在傳統(tǒng)直觀特征的基礎(chǔ)上進行了新的特征設(shè)計。

支付傾向性(PT)：在普通實體店消費中,用戶并不會關(guān)心最后的支付方式,而在藥店消費中,可使用醫(yī)?？ㄖЦ兜乃幍旮苡脩艉迷u,那么他的潛在消費可能性也就越大。

支付傾向性即用戶消費后使用醫(yī)?？ㄖЦ兜拇螖?shù)(TotalCard)與支付總次數(shù)(TotalNumber)的比值，定義如下：

藥品依賴度(DD)：由于藥店的特殊性,經(jīng)常到藥店進行購藥的會員可能身患某種慢病、重癥或者老年癥,他們需要定期購藥,對于這些用戶,他們的潛在消費可能性通常會更高。藥品依賴度與會員自身所患疾病和該類疾病的購藥頻率相關(guān),定義如下：

藥品關(guān)聯(lián)性(DA)：同類藥品之間通常存在相同的作用標(biāo)簽,會員在購買該類藥品的同時可能會考慮購買同類同效藥品,在藥店營銷中,提供更多的同類藥品能夠提升對會員的吸引力。藥品關(guān)聯(lián)性即用戶在消費中購買某類藥品的同類同效藥數(shù)量與該藥店擁有該類型藥品的總數(shù)量之比,定義如下：

購藥頻率(BR)：通常而言，購買藥品頻率高的會員潛在消費可能性更大。藥品購買頻率即單位時間內(nèi)會員購藥的次數(shù),由于采用的樣本集是近一年數(shù)據(jù),因此計算月平均購藥頻率,定義如下：

品牌依賴度(BD)：根據(jù)連鎖藥店的性質(zhì),會員在該連鎖藥店下所消費的次數(shù)越高,表明會員對品牌的親密度越高,那么對該品牌藥店的潛在消費可能性也就越大。品牌依賴度即在某一連鎖藥店的消費次數(shù)與會員的總消費次數(shù)之比,定義如下：

2.2 睡眠會員喚醒模型

針對連鎖藥店近一年的會員消費數(shù)據(jù)、活動推送數(shù)據(jù)以及會員基本信息,經(jīng)過數(shù)據(jù)預(yù)處理、特征選擇與構(gòu)建得到最終數(shù)據(jù)集,按照7∶3的比例將最終數(shù)據(jù)集劃分為訓(xùn)練集與測試集。訓(xùn)練集用來進行XGBoost與SVM算法模型的訓(xùn)練,并按照網(wǎng)格搜索算法進行參數(shù)調(diào)節(jié)對最佳模型調(diào)優(yōu),然后使用Soft Voting方法將兩個模型融合得到最終的睡眠會員喚醒模型。再使用測試集驗證模型,根據(jù)評估指標(biāo)對模型進行喚醒效果評估。流程如圖1所示。

圖1 睡眠會員喚醒模型構(gòu)建流程

機器學(xué)習(xí)就是在若干假設(shè)中找到一個最匹配當(dāng)前場景的假設(shè),但現(xiàn)實場景的復(fù)雜性決定了沒有任何算法模型可以適用于所有學(xué)習(xí)場景，并且保有較高的學(xué)習(xí)準(zhǔn)確率。算法融合是指將若干個單一且獨立算法的學(xué)習(xí)結(jié)果通過集成方法組合成為一個新的算法模型,從而提高算法最終學(xué)習(xí)的準(zhǔn)確率。而融合算法模型準(zhǔn)確率的提升取決于基算法的個數(shù)、基算法的選擇以及融合方法的選擇。

現(xiàn)有的研究證明,對于不同且獨立的分類算法,當(dāng)這些算法在同一應(yīng)用場景上分類結(jié)果的準(zhǔn)確率比隨機猜測要高，即準(zhǔn)確率大于0.5時,可通過多數(shù)投票的方式提升分類結(jié)果的準(zhǔn)確率。設(shè)

d

為每個樣本分類結(jié)果的后驗概率,并且

d

是獨立同分布的,

E

(

d

)為期望,Var(

d

)為方差,如果將每個基算法的權(quán)重設(shè)為：

w

=1

/T

(

i

=1,2,…,

T

)

(1)

當(dāng)使用簡單平均法進行算法融合時,融合后算法的期望和平均值分別為：

(2)

(3)

從公式3得知，融合后算法的

E

(

d

)對比原來基算法并沒有改變,但是Var(

d

)會隨著基算法個數(shù)

T

的增加而降低,因此融合算法的準(zhǔn)確率將高于單個算法。但是,在實際的模型訓(xùn)練中，模型準(zhǔn)確率并不是與

T

的值成正相關(guān),應(yīng)當(dāng)考慮實際模型的復(fù)雜度、訓(xùn)練時間等因素來為

T

取值。對于該文的實際應(yīng)用場景以及連鎖藥店活動的用戶購買數(shù)據(jù)，通過實驗確定

T

的值取2或3時，融合之后的模型效果較好。

基算法本身具有較高的準(zhǔn)確率，同時它們之間具有較大的差異是融合算法比構(gòu)成其的單一算法具有更優(yōu)效果的充要條件。XGBoost本質(zhì)仍是GBDT，但它通過迭代的方式將弱學(xué)習(xí)器模型重組為強學(xué)習(xí)器模型，相較于GBDT具有更高的效率和泛化能力。SVM則是一個在特征空間中尋找間隔最大化的分離超平面的分類算法。兩個算法模型相互獨立且準(zhǔn)確率較高，因此將這兩個算法進行融合所獲得的分類模型可以有效降低分類結(jié)果的方差,從而提高分類結(jié)果的準(zhǔn)確率。

加權(quán)平均法在1993年被Perrone和Cooper正式用在算法融合方面。算法融合的本質(zhì)是通過對樣本數(shù)據(jù)集進行學(xué)習(xí),從而確定每個基算法的權(quán)重,因此可以說各類算法融合的方法都是加權(quán)平均法的特例或變體。簡單平均法就是公式1中的

T

值直接取基算法的個數(shù)的特例。但由于現(xiàn)實場景中的樣本數(shù)據(jù)或多或少存在著噪聲,這使得從樣本數(shù)據(jù)中學(xué)習(xí)到的權(quán)重并不是完全可靠,不準(zhǔn)確的權(quán)重甚至?xí)屇Ｐ驮谟?xùn)練過程中過擬合。因此，該文選擇簡單平均法來進行算法融合。

Soft Voting方法就是一個常用的簡單平均方法，它是將基算法模型對各個類別的預(yù)測結(jié)果的概率進行平均，再對類別預(yù)測的平均值進行大小比較來確定樣本的最終類別。假設(shè)使用XGBoost對一個樣本的預(yù)測結(jié)果是屬于易喚醒類別的概率為0.4,屬于難喚醒類別的概率為0.6。使用SVM對該樣本的預(yù)測結(jié)果是屬于易喚醒類別的概率為0.7,屬于難喚醒類別的概率為0.3。則該樣本屬于易喚醒類別的概率為(0.4+0.7)/2=0.55,屬于難喚醒類別的概率為(0.6+0.3)/2=0.45。因為0.55>0.45，所以該樣本被劃分為易喚醒類別。

3 實驗與分析

3.1 評估指標(biāo)

該文討論的是將睡眠會員在收到優(yōu)惠券之后是否到店消費的問題抽象為一個二分類問題。對于二分類問題，該文選擇用混淆矩陣進行評價,將預(yù)測結(jié)果分類為真正類(TP)：預(yù)測被喚醒且實際上到店消費的睡眠會員；真負類(TN)：預(yù)測不被喚醒且實際上未到店消費的睡眠會員；假正類(FP)：預(yù)測被喚醒但實際上未到店消費的睡眠會員；假負類(FN)：預(yù)測不被喚醒但實際上到店消費的睡眠會員。由于睡眠會員的特殊性,即統(tǒng)計過后到店消費的睡眠會員數(shù)量遠遠低于未到店消費的睡眠會員數(shù)量,導(dǎo)致了正負樣本數(shù)據(jù)不平衡,負樣本數(shù)量遠大于正樣本數(shù)量。結(jié)合實際情況，該文采用精確率(precision)、召回率(recall)和AUC三個值進行模型評估。

精確率即正確預(yù)測為正的占全部預(yù)測為正的比例,計算公式為：

召回率即正確預(yù)測為正的占全部實際為正的比例,計算公式為：

AUC的定義是ROC曲線下的面積,而ROC曲線一般是位于直線

y

=

x

的上方,所以AUC值的取值范圍一般在0.5到1之間,一個算法模型的效果好壞與其對應(yīng)的AUC值成正相關(guān)。

3.2 對比實驗

為了驗證該文設(shè)計的特征以及融合模型在睡眠會員喚醒的有效性，進行如下對比實驗：

(1)采用表1中的傳統(tǒng)特征(TD)作為分類算法特征向量集合，分別使用SVM、XGBoost以及論文方法進行實驗；

(2)在TD基礎(chǔ)上加入該文設(shè)計的新特征得到新的特征向量集合(ND)，再分別使用SVM、XGBoost以及文中方法進行實驗。

對比實驗結(jié)果如表2所示，ROC曲線如圖2所示。

表2 對比實驗結(jié)果

圖2 對比實驗ROC曲線

由實驗結(jié)果可見，對于使用相同特征向量的算法模型，該融合模型比單一模型的precision平均高出3%左右，recall平均高出4%左右，而AUC值提升了約12.5%；對于相同的算法模型，使用了加入新設(shè)計特征的特征集合比使用傳統(tǒng)特征集合的precision平均高出2%左右，recall平均高出2%左右，而AUC值提升了約10%；同時使用新的特征集合和融合模型比使用傳統(tǒng)特征和單一模型的precision平均高出4%左右、recall平均高出5%左右、AUC值提升了約15%。

綜上，該文構(gòu)建的特征集合以及融合模型能更有效地對睡眠會員喚醒進行預(yù)測。

4 結(jié)束語

該文研究的主要是藥店睡眠會員喚醒問題,研究目的是基于睡眠會員具有豐富的特征,建立訓(xùn)練集與測試集,挖掘出具有什么樣特征的會員在收到藥店發(fā)放的優(yōu)惠活動信息之后容易被喚醒前來消費,什么樣的二分類模型能夠更有效地對睡眠會員喚醒進行預(yù)測。預(yù)測后將優(yōu)惠券信息發(fā)放給最有可能被喚醒的睡眠會員,提高藥店活躍會員數(shù)量的同時盡可能減少營銷成本。以某連鎖藥店近期營銷活動給睡眠會員所發(fā)放的優(yōu)惠券為數(shù)據(jù)來源,通過對比實驗證明了提出的特征集合與集成學(xué)習(xí)分類模型對藥店睡眠會員具有更好的喚醒效果。