基于集成LightGBM 和貝葉斯優(yōu)化策略的房價智能評估模型

顧 桐，許國良，李萬林，李家浩，王志愿，雒江濤

（1.重慶郵電大學(xué)通信與信息工程學(xué)院，重慶 400065；2.重慶郵電大學(xué)電子信息與網(wǎng)絡(luò)工程研究院，重慶 400065）

0 引言

黨的十九大報告中明確提出：要推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能與實體經(jīng)濟(jì)的深度融合。房地產(chǎn)作為影響實體經(jīng)濟(jì)的關(guān)鍵因素，在實體經(jīng)濟(jì)發(fā)展中發(fā)揮著至關(guān)重要的作用。伴隨著房地產(chǎn)市場化的推進(jìn)以及市場經(jīng)濟(jì)體制的發(fā)展，房地產(chǎn)市場對房價評估的需求迅速增長。房價評估有利于房地產(chǎn)市場的決策過程，進(jìn)而推動經(jīng)濟(jì)效益和社會效益的提升。

近年來，國內(nèi)外學(xué)者針對房價評估問題展開了大量研究。例如：Liu 等［1］提出了一種基于數(shù)據(jù)挖掘的雙支持向量機(jī)模型，用于評估二手房的價格。Phan 等［2］提出了基于逐步回歸和支持向量機(jī)（Support Vector Machine，SVM）相結(jié)合的房價評估方法。Feng 等［3］通過構(gòu)建多層級模型和人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）的方法對房價進(jìn)行評估。Mukhlishin 等［4］比較了模糊邏輯、ANN 和K近鄰算法（KNearest Neighbor，KNN）在房價評估中的應(yīng)用。Lu等［5］提出了一種基于Lasso 和梯度提升回歸的混合模型用于評估房價。王昕睿［6］通過加權(quán)求和的方式融合梯度提升決策樹（Gradient Boosting Decision Tree，GBDT）、隨機(jī)森林和反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)，并以多層級的集成策略實現(xiàn)房價評估。劉燕云［7］分別構(gòu)建隨機(jī)森林、SVM、Boosting 等單一評估模型，然后采用Stacking 算法組合各模型。實驗表明，Stacking算法不僅降低了評估的誤差，還提升了模型的泛化能力。陳敏等［8］建立了一種神經(jīng)網(wǎng)絡(luò)分級模型，用于二手房價格的評估。王海泉［9］通過多元線性回歸、神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林分別對房價進(jìn)行評估。李恒凱等［10］融合地理信息系統(tǒng)（Geographic Information System，GIS）和BP神經(jīng)網(wǎng)絡(luò)對房價進(jìn)行評估，結(jié)果表明模型具有較高的精度。

然而，這些房價評估方法采用單一的模型或者經(jīng)過簡單融合的集成模型，泛化性能較差；考慮的因素也不全面，忽略了特征選擇和參數(shù)組合對模型的影響，模型精度有限。

針對上述問題，本文從多源數(shù)據(jù)的角度出發(fā)，提出一種集成LightGBM（Light Gradient Boosting Machine）模型，并利用貝葉斯優(yōu)化算法優(yōu)化模型，從而對房價作出更加準(zhǔn)確的評估。

本文的主要工作如下：

1）構(gòu)建房價特征集，針對序列前向選擇法的不足導(dǎo)致的特征冗余問題，提出一種融入Pearson 相關(guān)系數(shù)的序列前向選擇法，可以有效避免冗余特征，篩選出最優(yōu)特征子集。

2）提出一種集成LightGBM 模型，通過Bagging 集成策略增強(qiáng)模型的泛化能力，并針對Bagging集成中采樣比例的劃分和個體學(xué)習(xí)器數(shù)量的選取等組合計算問題，利用貝葉斯優(yōu)化算法得出最優(yōu)解，從而提升模型性能。

1 特征選擇與模型構(gòu)建

1.1 特征選擇

多源數(shù)據(jù)中往往包含了高維度的特征，不能直接用于模型的訓(xùn)練，因此需要對原始數(shù)據(jù)集進(jìn)行特征選擇。特征選擇不僅可以防止模型過擬合，降低模型的泛化誤差；還可以減少訓(xùn)練時間，降低模型開發(fā)成本，減少硬件資源損耗。

本文基于Pearson 相關(guān)系數(shù)與序列前向選擇法選擇最優(yōu)特征子集。首先利用Pearson 相關(guān)系數(shù)過濾掉相關(guān)性較大的冗余特征，其計算過程如下：

其中：r(θi，ηi)表示特征θi與特征ηi之間的相關(guān)系數(shù)：分別表示特征θi和特征ηi的均值。相關(guān)系數(shù)的絕對值越大，兩者的線性關(guān)聯(lián)程度越強(qiáng)，當(dāng)＞0.8時，表示兩個特征之間有極強(qiáng)的線性相關(guān)性［11］，則需要過濾掉冗余特征。

基于上述方法過濾掉冗余部分后，得到新的特征集合Y={y1，y2，…，yn}，接下來的目標(biāo)就是尋找最優(yōu)的特征子集Y*。本文利用序列前向選擇法選擇特征子集。其算法具體描述為，特征子集Yk從空集開始，每次從特征集合中選擇一個特征y加入特征子集Yk，最終使得特征函數(shù)J(Y*)達(dá)到最優(yōu)。序列前向選擇法流程描述如算法1所示。

算法1 序列前向選擇法。

輸入：特征集合Y={y1，y2，…，yn}；

輸出：最優(yōu)特征子集Y*。

1）初始化特征子集Y0=?和迭代次數(shù)k=0。

2）每次迭代加入一個新特征Yk+1=Yk+y，并計算特征函數(shù)

4）輸出最優(yōu)特征子集Y*，迭代結(jié)束。

1.2 模型構(gòu)建

集成學(xué)習(xí)（Ensemble learning）可以有效地提高模型的泛化能力，因此逐漸成為機(jī)器學(xué)習(xí)的研究熱點，并被稱為當(dāng)前機(jī)器學(xué)習(xí)的研究方向之首［12］。

集成學(xué)習(xí)一般采用某種結(jié)合策略，構(gòu)建并融合多個基學(xué)習(xí)器來完成學(xué)習(xí)任務(wù)［13］。按照基學(xué)習(xí)器的類型異同，集成學(xué)習(xí)通常分為同質(zhì)集成和異質(zhì)集成兩大類［14］。在此基礎(chǔ)上衍生出了各種集成方法。

Breiman［15］提出了一種Bagging 的集成方法。該方法的主要思想是通過自助法（Bootstrap）從訓(xùn)練集中抽取N個訓(xùn)練子集，然后對這N個訓(xùn)練子集進(jìn)行訓(xùn)練可以生成N個基學(xué)習(xí)器，最終結(jié)果由這N個基學(xué)習(xí)器投票或平均的方式得出，這樣不僅提高了模型學(xué)習(xí)的精度，而且還可以降低過擬合的風(fēng)險。

在Bagging 的框架下，以決策樹作為基學(xué)習(xí)器的隨機(jī)森林［16］應(yīng)運(yùn)而生。由于隨機(jī)森林在學(xué)習(xí)任務(wù)中展現(xiàn)出的良好性能，且能夠容忍一定的異常數(shù)據(jù)和噪聲，在信息技術(shù)、生物醫(yī)學(xué)、經(jīng)濟(jì)管理學(xué)等諸多領(lǐng)域有著廣泛的應(yīng)用［17］。

本文借鑒隨機(jī)森林的思想，提出一種基于貝葉斯優(yōu)化的集成LightGBM 模型。首先通過Bagging 方法集成多個LightGBM，再結(jié)合貝葉斯優(yōu)化算法優(yōu)化模型，最后通過加權(quán)平均的方式獲得最終輸出。其實現(xiàn)方式如圖1所示。

圖1 集成LightGBM模型Fig.1 Ensemble LightGBM model

針對多個基學(xué)習(xí)器的集成問題，本文采用softmax 函數(shù)為基學(xué)習(xí)器賦權(quán)，通過加權(quán)平均獲得最終結(jié)果。

softmax 函數(shù)通過歸一化的方式，使每一個元素的取值都在（0，1）區(qū)間，且元素和為1，它能夠凸顯其中較大的元素，即為更準(zhǔn)確的學(xué)習(xí)器賦予更大的權(quán)值。設(shè)第i個基學(xué)習(xí)器的輸出結(jié)果的百分誤差在10%以內(nèi)的比例占gi，則n個基學(xué)習(xí)器獲得的權(quán)值可分別表示為Si：

2 LightGBM原理

LightGBM 是微軟提出的一款開源的基于決策樹的梯度提升框架，作為Gradient Boosting 的改進(jìn)版本，具有準(zhǔn)確率高、訓(xùn)練效率高、支持并行和GPU、使用內(nèi)存小以及可以處理大規(guī)模數(shù)據(jù)［18］等優(yōu)點。

2.1 Gradient Boosting

根據(jù)基學(xué)習(xí)器生成方式的不同，集成學(xué)習(xí)可以分為并行學(xué)習(xí)和串行學(xué)習(xí)。作為串行學(xué)習(xí)中最典型的代表，Boosting算法又可分為Adaboost 和Gradient Boosting，它們的主要區(qū)別在于前者通過增加錯分?jǐn)?shù)據(jù)點的權(quán)重來提升模型，而后者通過計算負(fù)梯度來提升模型。

Gradient Boosting 的核心思想是利用損失函數(shù)的負(fù)梯度在當(dāng)前模型f(x)=fj-1(x)的值近似替代殘差。設(shè)訓(xùn)練樣本為i(i=1，2，…，n)，迭代次數(shù)為j(j=1，2，…，m)，損失函數(shù)為L(yi，f(xi))，則負(fù)梯度rij的計算公式如下：

使用基學(xué)習(xí)器hj(x)擬合損失函數(shù)的負(fù)梯度r，求出使損失函數(shù)最小的最佳擬合值rj：

Gradient Boosting 在每輪迭代都會生成一個基學(xué)習(xí)器，通過多輪迭代，最終的強(qiáng)學(xué)習(xí)器F(x)是由每輪產(chǎn)生的基學(xué)習(xí)器通過線性相加的方式求得：

2.2 改進(jìn)策略

作為一款改進(jìn)的輕量級Gradient Boosting 算法，LightGBM的核心思想是：直方圖算法、帶深度限制的葉子生長策略、直接支持類別特征、直方圖特征優(yōu)化、多線程優(yōu)化、Cache命中率優(yōu)化。前兩個特點有效地控制了模型的復(fù)雜度，實現(xiàn)了算法的輕量化，因此是本文尤其關(guān)注的。

直方圖算法是通過把連續(xù)的浮點型特征離散化成L個整數(shù)，以構(gòu)造一個寬度為L的直方圖。遍歷數(shù)據(jù)時，根據(jù)離散化后的值作為索引在直方圖中累積統(tǒng)計量，當(dāng)遍歷一次數(shù)據(jù)后，直方圖累積了需要的統(tǒng)計量，然后從直方圖的離散值中，尋找最優(yōu)的分裂點。

傳統(tǒng)的葉子生長策略對于同一層的葉子可以同時進(jìn)行分裂，實際上很多葉子的分裂增益較低，沒有必要分裂，這樣帶來了很多不必要的開銷。對此LightGBM 使用一種更加高效的葉子生長策略：每次從當(dāng)前所有葉子中尋找分裂增益最大的一個葉子進(jìn)行分裂，并設(shè)置一個最大深度限制。在保證高效的同時又防止了模型過擬合。

3 貝葉斯優(yōu)化

貝葉斯優(yōu)化算法是一種高效的優(yōu)化算法，已經(jīng)證明在一系列具有挑戰(zhàn)性的優(yōu)化問題上優(yōu)于其他先進(jìn)的優(yōu)化算法。在數(shù)學(xué)上，可以統(tǒng)一將此問題描述為求解未知目標(biāo)函數(shù)的全局最優(yōu)解［19］：

其中：x表示待優(yōu)化的參數(shù)；X表示待優(yōu)化的參數(shù)集合；f(x)表示目標(biāo)函數(shù)。

在執(zhí)行貝葉斯優(yōu)化算法時有兩個關(guān)鍵步驟。首先，必須選擇一個先驗函數(shù)來表示被優(yōu)化函數(shù)的分布假設(shè)。為此，選擇高斯過程，因為它具有靈活性和易處理性；其次，必須構(gòu)建一個采集函數(shù)，用于從模型后驗分布中確定下一個需要評估的點。

3.1 高斯過程

高斯過程是多維高斯分布在無限維隨機(jī)過程上的擴(kuò)展。它是通過均值函數(shù)和協(xié)方差函數(shù)定義的。

通過評估均值和協(xié)方差矩陣，可以從聯(lián)合后驗分布中對函數(shù)值f*進(jìn)行采樣［20］。

3.2 采樣函數(shù)

通過采樣函數(shù)確定下一個需要評估的點，可以減少迭代次數(shù)，降低評估成本。通常，對于采樣點的選擇從利用（exploitation）和探索（exploration）兩個方面考慮。exploitation就是根據(jù)當(dāng)前的最優(yōu)解，在其周圍搜索，從而找到全局最優(yōu)解；exploration 就是盡力探索未評估過的樣本點，避免陷入局部最優(yōu)解。

常用的采樣函數(shù)有：EI（Expected Improvement）函數(shù)、POI（Probability of Improvement）函數(shù)以及UCB（Upper Confidence Bound）函數(shù)。本次實驗選取UCB 函數(shù)作為采樣函數(shù)，其數(shù)學(xué)表達(dá)式為：

其中μ(x)和δ(x)分別是采用高斯過程所得到的目標(biāo)函數(shù)聯(lián)合后驗分布的均值和協(xié)方差。從式（17）可以看出，通過調(diào)節(jié)參數(shù)ε的大小，可以用來平衡采樣點的選擇［21］。

4 實驗與結(jié)果分析

4.1 實驗數(shù)據(jù)集

為驗證模型的普適性和在真實場景中的準(zhǔn)確性，本次實驗分別使用了公開房價數(shù)據(jù)集和真實房價數(shù)據(jù)集。

公開房價數(shù)據(jù)集選取美國加州房價數(shù)據(jù)集，數(shù)據(jù)包含10個字段，其字段含義和數(shù)據(jù)類型如表1所示。

表1 加州房價數(shù)據(jù)集Tab.1 California house price dataset

真實房價數(shù)據(jù)集來源于房產(chǎn)交易數(shù)據(jù)、地圖軟件應(yīng)用程序接口（Application Program Interface，API）數(shù)據(jù)、公共交通數(shù)據(jù)以及城市地理信息數(shù)據(jù)，字段包括建筑面積、建筑年代、所處樓層、總樓層、戶型、裝修、物業(yè)費(fèi)、停車位、容積率、綠化率、梯戶比、經(jīng)緯度、交通便捷程度、到中央商務(wù)區(qū)（Central Business District，CBD）距離、生活設(shè)施配套和教育配套，如表2所示。

表2 真實房價數(shù)據(jù)集Tab.2 Real house price dataset

4.2 數(shù)據(jù)處理

在海量的原始數(shù)據(jù)中，存在著大批有缺失、有異常的數(shù)據(jù)，嚴(yán)重地影響到對數(shù)據(jù)潛在價值的挖掘。

一方面需要填充缺失值，過濾異常值。例如對于建筑面積、建筑年代、所處樓層等數(shù)據(jù)的部分缺失，用插值法進(jìn)行填充；刪除不合常理的極大或極小的異常數(shù)據(jù)等。另一方面是要使數(shù)據(jù)更平滑，從而讓數(shù)據(jù)更好地適應(yīng)模型。例如對房價數(shù)據(jù)乘以對數(shù)函數(shù)，使得數(shù)據(jù)近似服從正態(tài)分布。

此外，由于實驗數(shù)據(jù)具有多維度，因此需要對數(shù)據(jù)進(jìn)行規(guī)范化，目的是消除不同數(shù)據(jù)之間取值范圍和量綱的影響，其公式如下所示：

其中：d表示特征數(shù)據(jù)；μ表示數(shù)據(jù)的均值；δ表示數(shù)據(jù)的方差。

4.3 評價指標(biāo)

為了合理評價模型的綜合性能，本文分別構(gòu)建對數(shù)平均絕對誤差（Mean Absolute Logarithmic Error，MALE）和對數(shù)均方根誤差（Root Mean Square Logarithmic Error，RMSLE）作為模型的綜合評價指標(biāo)。MALE 能更好地反映觀測值誤差的實際情況，RMSLE 用來衡量觀測值和真實值之間的偏差，兩者的研究目的不同，但是計算過程相似，公式定義為：

其中：pi表示實際的房價：表示模型輸出的房價。

4.4 模型對比

將集成LightGBM 模型與當(dāng)前公開研究中提及的經(jīng)典模型進(jìn)行對比實驗，下面對各個模型進(jìn)行簡要介紹。

線性回歸 利用線性預(yù)測函數(shù)，對自變量和因變量進(jìn)行建模的一種回歸分析。當(dāng)只有一個自變量時稱為一元線性回歸，當(dāng)自變量大于一個時稱為多元線性回歸。

多項式回歸 利用多項式的回歸分析方法，對自變量和因變量進(jìn)行建模，通過增加自變量的高次項對因變量進(jìn)行擬合，能夠解決一些非線性問題。

K近鄰 計算該樣本與所有訓(xùn)練樣本的距離，然后找出與它最接近的k個樣本，將樣本分到離它最接近的樣本所屬的類中。

BP 神經(jīng)網(wǎng)絡(luò) 利用誤差反向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。

支持向量機(jī) 通過尋找一個超平面來對樣本進(jìn)行分割，它不僅能正確地對每一個樣本進(jìn)行分類，并要使每一類樣本中離超平面最近的樣本與超平面之間的距離盡可能遠(yuǎn)。

隨機(jī)森林 利用隨機(jī)有放回采樣得到的樣本訓(xùn)練多棵決策樹，決策樹的每個節(jié)點在訓(xùn)練時只用了樣本無放回抽樣的部分特征，最后用這些決策樹的預(yù)測結(jié)果進(jìn)行投票或平均。

本次實驗選取加州房價數(shù)據(jù)集和真實房價數(shù)據(jù)集作為訓(xùn)練集，對各類模型進(jìn)行訓(xùn)練，結(jié)果如表3所示。

表3 各類模型對比結(jié)果Tab.3 Comparison results of various models

不難看出，本文提出的集成LightGBM 模型性能明顯優(yōu)于KNN、SVM 這類單一模型，隨機(jī)森林、LightGBM 這類集成模型，以及BP 神經(jīng)網(wǎng)絡(luò)這類深度學(xué)習(xí)模型，進(jìn)一步驗證了集成學(xué)習(xí)在機(jī)器學(xué)習(xí)中展現(xiàn)的優(yōu)越性。

4.5 參數(shù)敏感性測試

由于基學(xué)習(xí)器的個數(shù)和采樣比例決定著集成效果的好壞，因此在加州房價數(shù)據(jù)集上對模型的參數(shù)組合問題作敏感性測試，參數(shù)取值如表4所示。

表4 參數(shù)敏感性測試取值Tab.4 Values of parameter sensitivity test

本次實驗選取均方誤差作為評價標(biāo)準(zhǔn)，均方誤差越小，算法準(zhǔn)確率越高。由表4 可得，共有50 種參數(shù)組合。若隨著參數(shù)組合變動，均方誤差一直處于上下波動狀態(tài)，則認(rèn)為模型對參數(shù)敏感；若均方誤差在某個參數(shù)組合之后趨于平穩(wěn)，則認(rèn)為模型對參數(shù)不敏感。測試結(jié)果如圖2所示。

圖2 參數(shù)敏感性測試Fig.2 Parameter sensitivity test

經(jīng)過50 種參數(shù)組合模型依然無法達(dá)到最優(yōu)，由此證實，參數(shù)的優(yōu)劣極大地影響了模型性能。

4.6 參數(shù)優(yōu)化

在真實房價數(shù)據(jù)集的基礎(chǔ)上，分別使用網(wǎng)格搜索法和貝葉斯優(yōu)化算法，對采樣比例和基學(xué)習(xí)器數(shù)量進(jìn)行優(yōu)化。設(shè)采樣比例在0.5～0.9，基學(xué)習(xí)器數(shù)量在10～100，結(jié)果如表5所示。

表5 模型優(yōu)化結(jié)果Tab.5 Model optimization results

顯然，貝葉斯優(yōu)化在更少的迭代次數(shù)中獲得更優(yōu)的結(jié)果，在參數(shù)組合尋優(yōu)問題上優(yōu)于傳統(tǒng)的網(wǎng)格搜索，能夠在實際的應(yīng)用中減少時間開銷，提升模型性能。

4.7 預(yù)測結(jié)果

基于本文提出的模型在真實場景下對房價進(jìn)行智能評估，將真實房價數(shù)據(jù)集按照9∶1 的比例隨機(jī)分為訓(xùn)練集和測試集，其輸出結(jié)果與真實房價的擬合曲線如圖3所示。

從圖3 可以看出，上述構(gòu)建的集成學(xué)習(xí)模型輸出的房價與實際的房價能夠較為準(zhǔn)確地擬合。

與此同時，為了更加真實地反映輸出結(jié)果的可信度，本文通過百分誤差來衡量輸出值與真實值之間的偏差，其計算過程如下：

其中：E表示百分誤差；pi表示實際的房價表示輸出的房價。

圖3 模型輸出結(jié)果與真實值的擬合曲線Fig.3 Fitted curve between model output and real value

將本文構(gòu)建的集成模型與子模型進(jìn)行可信度分析。定義如下：輸出結(jié)果與實際房價的百分誤差在10%以內(nèi)，具有較高的可信度；輸出結(jié)果與實際房價的百分誤差在10%～20%，可信度中等；輸出結(jié)果與實際房價的百分誤差在20%以上，可信度較低。分析結(jié)果如圖4所示。

圖4 可信度分析Fig.4 Reliability analysis

對于可信度較高的輸出結(jié)果，在實際的應(yīng)用中能夠準(zhǔn)確地反映房價，具有很高的應(yīng)用價值；可信度中等的輸出結(jié)果，在一定程度上也能夠作為房價的參考。由圖4 可得，本文提出的基于貝葉斯優(yōu)化的集成LightGBM 模型（BO-集成LGB），較LightGBM 模型（LGB）在精度上提升3.15 個百分點，其96.46%的輸出結(jié)果都能在真實場景中發(fā)揮它的價值，進(jìn)一步體現(xiàn)了該模型在評估準(zhǔn)確性上的優(yōu)勢。

綜合上述分析證明，采用集成學(xué)習(xí)和貝葉斯優(yōu)化算法對LightGBM 的改進(jìn)是有效的，能夠較為準(zhǔn)確地評估房價，在實際的房價評估中具有一定的指導(dǎo)意義。

5 結(jié)語

隨著信息技術(shù)的飛速發(fā)展，大數(shù)據(jù)、人工智能為企業(yè)、社會、甚至是國家?guī)砹饲八从械臋C(jī)遇。本文在多源數(shù)據(jù)的基礎(chǔ)上，提出了一種基于貝葉斯優(yōu)化的集成LightGBM 模型。實驗表明，所提模型準(zhǔn)確率優(yōu)于KNN、SVM 這類單一模型，隨機(jī)森林、LightGBM 這類集成模型，以及BP 神經(jīng)網(wǎng)絡(luò)這類深度學(xué)習(xí)模型，房價評估結(jié)果也與實際值比較接近，進(jìn)而體現(xiàn)了數(shù)據(jù)挖掘的意義，實現(xiàn)了海量數(shù)據(jù)的價值。

房地產(chǎn)市場的特殊性，時間、人文、經(jīng)濟(jì)環(huán)境等因素也會不同程度地影響房價。在未來的工作中，將結(jié)合我國的基本國情，對影響房價的指標(biāo)進(jìn)一步細(xì)化，充分提取潛在的影響因子，使評估結(jié)果更加準(zhǔn)確。