AdaBoost算法的房?jī)r(jià)預(yù)測(cè)服務(wù)平臺(tái)設(shè)計(jì)

江門職業(yè)技術(shù)學(xué)院 郭亞東

信息科技創(chuàng)新應(yīng)用賦能產(chǎn)業(yè)，促進(jìn)社會(huì)數(shù)字化發(fā)展，建設(shè)數(shù)字社會(huì)是“十四五”規(guī)劃重點(diǎn)說明的內(nèi)容。大數(shù)據(jù)、機(jī)器學(xué)習(xí)算法、人工智能的創(chuàng)新應(yīng)用是促進(jìn)傳統(tǒng)產(chǎn)業(yè)與數(shù)字技術(shù)融合的突破口。住房作為百姓重要資產(chǎn)，合理的房?jī)r(jià)關(guān)乎人民福祉，是保持經(jīng)濟(jì)健康穩(wěn)定發(fā)展的重中之重。關(guān)于房?jī)r(jià)影響因素分析、房?jī)r(jià)預(yù)測(cè)方面的研究開展的比較早，但多側(cè)重于理論研究，國內(nèi)房屋交易平臺(tái)提供的小區(qū)均價(jià)參考價(jià)值有限。本文重點(diǎn)研究大數(shù)據(jù)、人工智能在房?jī)r(jià)預(yù)測(cè)場(chǎng)景的落地應(yīng)用，以市場(chǎng)房屋數(shù)據(jù)為藍(lán)本，經(jīng)過數(shù)據(jù)清洗、評(píng)估、提取、分析處理形成數(shù)據(jù)集，基于AdaBoost算法擬合，使用分布式系統(tǒng)部署，公布HTTP API方式提供服務(wù)。

1 架構(gòu)設(shè)計(jì)

基于AdaBoost算法的房?jī)r(jià)預(yù)測(cè)服務(wù)平臺(tái)按照分層設(shè)計(jì)，分別是對(duì)外接入層、標(biāo)準(zhǔn)算法層、并行平臺(tái)層、基礎(chǔ)資源層，層間功能劃分清晰不耦合，便于模塊化開發(fā)。公共組件模塊作為平臺(tái)支撐貫穿各層次，為平臺(tái)提供日志監(jiān)控、權(quán)限控制、集群管理和環(huán)境切換方法，增強(qiáng)系統(tǒng)穩(wěn)定性和易用性。系統(tǒng)架構(gòu)如圖1所示。

圖1 系統(tǒng)架構(gòu)

對(duì)外接入層用于公布房?jī)r(jià)預(yù)測(cè)服務(wù)平臺(tái)訪問方式，HTTP通信協(xié)議簡(jiǎn)單易用，擁有較高的跨平臺(tái)特性和通用性，因此對(duì)外接入層采用HTTP API方式提供服務(wù)，依靠Authorization Header傳遞授權(quán)Token，實(shí)現(xiàn)鑒權(quán)。依據(jù)訪問壓力動(dòng)態(tài)調(diào)整集群規(guī)模，提高節(jié)點(diǎn)使用率，有效控制成本。

標(biāo)準(zhǔn)算法層研究并實(shí)現(xiàn)房?jī)r(jià)預(yù)測(cè)模型核心算法，獲取市場(chǎng)房屋數(shù)據(jù)后，通過數(shù)據(jù)清洗檢查數(shù)據(jù)一致性，處理無效值、缺失值情況數(shù)據(jù)；應(yīng)用數(shù)據(jù)評(píng)估進(jìn)行數(shù)據(jù)集主成分分析得到數(shù)據(jù)集主要特征分量，將數(shù)據(jù)集映射到K維上完成數(shù)據(jù)提取；將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集輸入到模型算法模塊實(shí)現(xiàn)最優(yōu)模型擬合。對(duì)類別性特征應(yīng)用One-Hot Encoding進(jìn)行編碼，使用GridSearchCV算法調(diào)參獲取AdaBoostRegressor模型最優(yōu)參數(shù)，并持久化保存。

并行平臺(tái)層為房?jī)r(jià)預(yù)測(cè)模型部署落地提供開發(fā)、運(yùn)營、管理服務(wù)，使用Flask搭建HTTP API服務(wù)框架，通過Docker安裝分布式鏡像實(shí)現(xiàn)標(biāo)準(zhǔn)算法層服務(wù)模型彈性部署，應(yīng)用MongoDB創(chuàng)建房屋數(shù)據(jù)非關(guān)系型數(shù)據(jù)庫，用來保存結(jié)構(gòu)復(fù)雜的房屋數(shù)據(jù)。

基礎(chǔ)資源層為上層提供所需的存儲(chǔ)和計(jì)算等資源，通過遠(yuǎn)程Internet進(jìn)行管理，保障服務(wù)快速部署和平臺(tái)資源按需分配。

2 AdaBoost算法訓(xùn)練

經(jīng)過對(duì)比多種算法的評(píng)估性能和穩(wěn)定性后選擇AdaBoostRegressor算法作為核心算法，AdaBoost算法是最具代表的提升（Boosting）算法，其中心思想是經(jīng)過多次迭代得到n個(gè)弱學(xué)習(xí)器，最后將n個(gè)弱學(xué)習(xí)器通過集合測(cè)量整合成強(qiáng)學(xué)習(xí)器。在房?jī)r(jià)預(yù)測(cè)模型中算法訓(xùn)練過程如圖2所示，輸入n_estimators、learning_rate、learning_rate參數(shù)集，使用GirdSearchCV算法遍歷參數(shù)獲取最優(yōu)參數(shù)組合，模型性能評(píng)估指標(biāo)選擇R2_Score，一次參數(shù)組合性能評(píng)估中，第i次迭代輸出弱學(xué)習(xí)器Gi(x)，第i+1次訓(xùn)練調(diào)整樣本權(quán)重使得弱學(xué)習(xí)器i中誤差率高的樣本在i+1弱學(xué)習(xí)器中得到重視，以此類推完成每次迭代。完成訓(xùn)練后持久化最優(yōu)模型供房?jī)r(jià)預(yù)測(cè)服務(wù)平臺(tái)部署使用。

圖2 AdaBoost算法訓(xùn)練過程

房屋數(shù)據(jù)集按照城市進(jìn)行分類，避免因城市房屋數(shù)量和價(jià)格分布不平衡引起誤差，比如使用一個(gè)模型訓(xùn)練評(píng)估經(jīng)濟(jì)發(fā)達(dá)地區(qū)與欠發(fā)達(dá)地區(qū)房屋數(shù)據(jù)集，數(shù)據(jù)量和價(jià)格區(qū)間的不平衡會(huì)降低模型的預(yù)測(cè)性能。圖3為各個(gè)城市最優(yōu)模型調(diào)參過程R2_Score變化情況，橫軸代表n_estimators，縱軸代表R2_Score，實(shí)線表示訓(xùn)練集，虛線表示測(cè)試集，圖中標(biāo)注了最優(yōu)模型參數(shù)點(diǎn)。

圖3 模型訓(xùn)練過程R2_Score變化

3 部署測(cè)試

AdaBoostRegressor算法發(fā)布提供服務(wù)，使用容器云平臺(tái)技術(shù)實(shí)現(xiàn)。首先需要使用Docker技術(shù)構(gòu)建服務(wù)環(huán)境鏡像。將鏡像推送到遠(yuǎn)程倉庫中，便于平臺(tái)運(yùn)行實(shí)例規(guī)模擴(kuò)容時(shí)自動(dòng)化創(chuàng)建實(shí)例。集群管理采用開源Kubernetes系統(tǒng)實(shí)現(xiàn)，使用ClusterAutoScaler擴(kuò)展實(shí)現(xiàn)集群縮容和擴(kuò)容，配置定期檢測(cè)任務(wù)每20s檢查節(jié)點(diǎn)資源利用率，長(zhǎng)時(shí)間低于50%時(shí)自動(dòng)停止資源所在實(shí)例，在剩余節(jié)點(diǎn)間完成調(diào)度提供服務(wù)，實(shí)現(xiàn)縮容。當(dāng)資源緊缺時(shí)，自動(dòng)觸發(fā)CloudProvider服務(wù)接口使用遠(yuǎn)程鏡像創(chuàng)建新的節(jié)點(diǎn)，實(shí)現(xiàn)擴(kuò)容。將模型訓(xùn)練過程構(gòu)建為鏡像發(fā)布到遠(yuǎn)程倉庫，在Kubernetes中配置定期任務(wù)，考慮到房?jī)r(jià)在短時(shí)間內(nèi)不會(huì)出現(xiàn)劇烈震蕩，任務(wù)配置為按月觸發(fā)，定期使用市場(chǎng)房屋數(shù)據(jù)訓(xùn)練模型，更新最優(yōu)模型參數(shù)，從而達(dá)到房?jī)r(jià)預(yù)測(cè)服務(wù)平臺(tái)按照市場(chǎng)變化自動(dòng)更新。在發(fā)生特殊情況比如城市建設(shè)規(guī)劃、周邊配套升級(jí)時(shí)也可以采用手動(dòng)觸發(fā)的方式執(zhí)行計(jì)算更新模型參數(shù)。部署完成后通過接口訪問返回?cái)?shù)據(jù)如圖4所示。

圖4 服務(wù)訪問響應(yīng)

基于AdaBoost算法的房?jī)r(jià)預(yù)測(cè)服務(wù)平臺(tái)設(shè)計(jì)方案合理實(shí)現(xiàn)了人工智能在房?jī)r(jià)預(yù)測(cè)場(chǎng)景下的落地應(yīng)用。設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)處理流程完成市場(chǎng)房屋數(shù)據(jù)的清洗、評(píng)估、主成分分析；完成使用GridSearchCV搜索AdaBoostRegressor模型最優(yōu)參數(shù)，數(shù)據(jù)集按城市分類，做到一城市一模型；結(jié)合Docker容器技術(shù)構(gòu)建房?jī)r(jià)預(yù)測(cè)模型服務(wù)鏡像，使用Kubernetes實(shí)現(xiàn)云平臺(tái)集群管理。部署完成后使用平臺(tái)公布的HTTP API接口進(jìn)行了訪問測(cè)試，達(dá)到設(shè)計(jì)要求。系統(tǒng)架構(gòu)設(shè)計(jì)對(duì)大數(shù)據(jù)、人工智能理論研究落地提供服務(wù)方面有重要意義。未來深入研究側(cè)重兩個(gè)方面，第一是提升模型預(yù)測(cè)準(zhǔn)確度，第二是降低部署方案與算法耦合度，提升方案自動(dòng)化成分，簡(jiǎn)化操作步驟，增加部署方案通用性適應(yīng)多種應(yīng)用場(chǎng)景。