基于Hadoop和并行BP網(wǎng)絡(luò)的打車需求量預(yù)測系統(tǒng)研究

孟 哲，余 粟

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 200000)

BP神經(jīng)網(wǎng)絡(luò)是目前使用最廣泛的深度學(xué)習(xí)算法之一，其模型原理使它在理論上有逼近任何函數(shù)的能力，它結(jié)構(gòu)靈活，易擴(kuò)展，有強(qiáng)大的自學(xué)習(xí)能力，被廣泛地用于預(yù)測行為，但是它在面對(duì)大數(shù)據(jù)集時(shí)會(huì)出現(xiàn)收斂速度過慢的情況，而Hadoop的出現(xiàn)及時(shí)地解決了這一問題。圍繞著Hadoop搭建的集群可以使計(jì)算任務(wù)并行運(yùn)行在集群內(nèi)的每一個(gè)工作節(jié)點(diǎn)的計(jì)算框架上，針對(duì)Hadoop相關(guān)平臺(tái)的各種研究開始層出不窮。

針對(duì)目前我國存在的出租車調(diào)度問題，圍繞Hadoop搭建了一個(gè)打車需求量預(yù)測系統(tǒng)。并且針對(duì)上述提到的BP神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)，提出了一種用MapReduce實(shí)現(xiàn)的并行BP神經(jīng)網(wǎng)絡(luò)將其用于系統(tǒng)的預(yù)測功能。通過實(shí)驗(yàn)可知并行BP神經(jīng)網(wǎng)絡(luò)比傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的收斂速度快得多并且訓(xùn)練效果也有提升。

1 相關(guān)理論和技術(shù)

接下來介紹本文作搭建的預(yù)測系統(tǒng)的核心技術(shù)Hadoop和核心算法BP神經(jīng)網(wǎng)絡(luò)。

1.1 Hadoop

Hadoop是一個(gè)由Apache基金會(huì)開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，它的出現(xiàn)解決了大數(shù)據(jù)時(shí)代下海量數(shù)據(jù)的存儲(chǔ)和分析計(jì)算問題。且自Hadoop2.x版本推出以后，Hadoop的核心組件有三個(gè)，分別是： HDFS(Hadoop分布式存儲(chǔ)文件系統(tǒng))、MapReduce以及Yarn。

HDFS是Hadoop中的分布式文件系統(tǒng)，它位于Hadoop生態(tài)圈的最底層，負(fù)責(zé)Hadoop中的存儲(chǔ)工作，其中NameNode負(fù)責(zé)管理整個(gè)HDFS，DataNode是具體的工作節(jié)點(diǎn)，進(jìn)行存儲(chǔ)工作并接收和執(zhí)行來自NameNode的命令。

MapReduce是Hadoop中的分布式計(jì)算框架，負(fù)責(zé)處理Hadoop的所有計(jì)算任務(wù)。它分為map和reduce兩個(gè)階段，它將用戶編寫的業(yè)務(wù)邏輯代碼和自帶默認(rèn)組件整合成一個(gè)完整的分布式運(yùn)算程序，然后并發(fā)的運(yùn)行在一個(gè)Hadoop集群上。

Yarn是一個(gè)資源調(diào)度框架，它像整個(gè)Hadoop集群的大腦一樣負(fù)責(zé)集群內(nèi)部所有的資源管理和調(diào)度，它的存在讓Hadoop集群中的各個(gè)組件更加協(xié)調(diào)地工作。

1.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)分為三部分：輸入層、隱含層和輸出層。輸入層負(fù)責(zé)向整個(gè)網(wǎng)絡(luò)輸入數(shù)據(jù)，輸出層負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果，隱含層負(fù)責(zé)網(wǎng)絡(luò)中間的一系列計(jì)算。

BP神經(jīng)網(wǎng)絡(luò)的核心原理就是通過輸入層傳入隱含層，隱含層進(jìn)行層層傳遞和計(jì)算，最后傳入輸出層輸出結(jié)果。之后對(duì)結(jié)果和給定值進(jìn)行誤差分析，然后結(jié)合梯度下降法以及鏈?zhǔn)椒▌t層層進(jìn)行反向傳播以更新網(wǎng)絡(luò)內(nèi)部的參數(shù)。不斷循環(huán)上述過程最后得到一個(gè)理想的網(wǎng)絡(luò)模型就是BP神經(jīng)網(wǎng)絡(luò)的核心思想。

2 并行BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

BP神經(jīng)網(wǎng)絡(luò)雖然有著優(yōu)秀的自學(xué)習(xí)能力并且理論上能逼近任何函數(shù)，但是在數(shù)據(jù)量大的情況仍然存在著收斂速度過慢的問題，為了緩解這一問題，本文提出了基于MapReduce的并行BP神經(jīng)網(wǎng)絡(luò)來對(duì)打車需求量進(jìn)行預(yù)測，并用Hadoop搭建了一個(gè)打車需求量的預(yù)測系統(tǒng)。

MapReduce在進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)有優(yōu)勢，也有劣勢，優(yōu)勢在于MapReduce是一個(gè)基于Hadoop集群的并行計(jì)算框架，多個(gè)工作節(jié)點(diǎn)能同時(shí)進(jìn)行計(jì)算來加快網(wǎng)絡(luò)的訓(xùn)練過程。劣勢在于MapReduce不擅長迭代計(jì)算，每一次任務(wù)結(jié)束都要進(jìn)行落盤操作，這就會(huì)造成大量的I/O操作。

2.1 并行BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)流程

為了充分利用MapReduce的并行計(jì)算優(yōu)勢并降低其劣勢的負(fù)面影響，本文提出的并行BP神經(jīng)網(wǎng)絡(luò)算法流程如圖1所示。

圖1 并行BP神經(jīng)網(wǎng)絡(luò)流程圖

(1)首先將待訓(xùn)練數(shù)據(jù)集進(jìn)行隨機(jī)劃分，每個(gè)工作節(jié)點(diǎn)都讀取訓(xùn)練數(shù)據(jù)集隨機(jī)劃分的35%的數(shù)據(jù)，并將其傳入map端。

(2)節(jié)點(diǎn)在map端對(duì)這35%的訓(xùn)練數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)的迭代訓(xùn)練，每個(gè)節(jié)點(diǎn)都在HDFS中有一個(gè)唯一的路徑文件，用于存儲(chǔ)本節(jié)點(diǎn)訓(xùn)練過程中的網(wǎng)絡(luò)參數(shù)的變化，節(jié)點(diǎn)在訓(xùn)練過程中會(huì)不斷地對(duì)其進(jìn)行覆蓋更新，在訓(xùn)練完成之后將節(jié)點(diǎn)自身唯一的編號(hào)封裝為key，把訓(xùn)練之后以String形式存儲(chǔ)的網(wǎng)絡(luò)內(nèi)部參數(shù)以及對(duì)應(yīng)的誤差封裝為value，然后將輸出至reduce端。

(3)在reduce端相同的key會(huì)傳入同一個(gè)reduce方法中，在此方法中找出誤差最小的一組參數(shù)即為一個(gè)節(jié)點(diǎn)此次訓(xùn)練效果最好的一次，同理找出所有節(jié)點(diǎn)下訓(xùn)練效果最好的一組，并將它們之間再進(jìn)行比較找出所有節(jié)點(diǎn)之間訓(xùn)練效果最好的一組并將其保存到HDFS中，上述過程即為一次MapReduce對(duì)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程。

(4)再次訓(xùn)練時(shí)，在map端將HDFS中上次訓(xùn)練得到的網(wǎng)絡(luò)參數(shù)讀入網(wǎng)絡(luò)內(nèi)部并繼續(xù)訓(xùn)練即可。

上述即為本文提出的BP神經(jīng)網(wǎng)絡(luò)在MapReduce實(shí)現(xiàn)并行的原理和流程。

3 系統(tǒng)搭建和實(shí)驗(yàn)

為了證明提出的并行BP神經(jīng)網(wǎng)絡(luò)的有效性，搭建了Hadoop集群并進(jìn)行了一系列實(shí)驗(yàn)

3.1 打車需求量預(yù)測系統(tǒng)搭建

基于Hadoop搭建了一個(gè)打車需求量預(yù)測系統(tǒng)，其中整體框架為包含4個(gè)節(jié)點(diǎn)的Hadoop集群，核心的預(yù)測模型為本文提出的并行BP神經(jīng)網(wǎng)絡(luò)。

集群4個(gè)節(jié)點(diǎn)的操作系統(tǒng)皆為Centos7.5，并安裝了Hadoop3.2.0以及JDK1.8，它們各自的硬件配置如下：

節(jié)點(diǎn)一：Intel(R) Core(TM) i7-10510U CPU 1.80 GHz 2.30 GHz，8 GB RAM, 8-core 處理器

節(jié)點(diǎn)二：Intel(R) Core(TM) i7-10510U CPU 1.80 GHz 2.30 GHz，6 GB RAM, 6-core 處理器

節(jié)點(diǎn)三：Intel(R) Core(TM) i7-10510U CPU 1.80 GHz 2.30 GHz，4 GB RAM, 4-core 處理器

節(jié)點(diǎn)四：Intel(R) Core(TM) i7-10510U CPU 1.80 GHz 2.30 GHz，4 GB RAM, 4-core 處理器

針對(duì)4個(gè)節(jié)點(diǎn)各自的硬件配置，為它們分配的集群角色以及工作如表1所示。

表1 4個(gè)節(jié)點(diǎn)在集群中扮演的角色

3.1.1 數(shù)據(jù)預(yù)處理

打車需求量預(yù)測系統(tǒng)所用數(shù)據(jù)來源于紐約TLC機(jī)構(gòu)，其官網(wǎng)公開了其機(jī)構(gòu)下的三種出租車每年載客的詳細(xì)數(shù)據(jù)，包括載客時(shí)間、載客地點(diǎn)、卸客地點(diǎn)等，數(shù)據(jù)形式是以月為單位存儲(chǔ)的csv文件，每個(gè)文件都包含了上述提到的總共17個(gè)字段。

選用黃色種類出租車2017年和2018年兩年的數(shù)據(jù)作為系統(tǒng)預(yù)測模型的訓(xùn)練數(shù)據(jù)，用黃色種類出租車2019年的數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)對(duì)訓(xùn)練過后的模型進(jìn)行預(yù)測并對(duì)比檢驗(yàn)。

而由于原始數(shù)據(jù)包含了很多系統(tǒng)用不到的無用字段并且缺少一些影響打車需求量的關(guān)鍵因素，所以需要對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理。

通過分析，推測影響打車需求量的因素包括天氣、溫度、風(fēng)力大小、以及節(jié)假日等。通過查找資料以及歷史數(shù)據(jù)的方式，將相應(yīng)的字段以數(shù)字的表示方式并且以日期為單位單獨(dú)寫入一組文件中并存入HDFS。之后將原始數(shù)據(jù)也存入HDFS中，然后通過MapReduce以日期為單位將剔除無用數(shù)據(jù)后的原始數(shù)據(jù)和對(duì)應(yīng)日期的上述數(shù)據(jù)合并得到預(yù)處理后的數(shù)據(jù)文件。此時(shí)預(yù)處理后的數(shù)據(jù)即可用于系統(tǒng)模型的訓(xùn)練即預(yù)測。

3.1.2 系統(tǒng)架構(gòu)

搭建的打車需求量系統(tǒng)整體架構(gòu)如圖2所示。

圖2 打車需求量系統(tǒng)架構(gòu)圖

(1)所有原始數(shù)據(jù)會(huì)先存入HDFS中。

(2)使用MapReduce對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，并將處理后的結(jié)果再次存入HDFS中。

(3)經(jīng)過預(yù)處理的數(shù)據(jù)即為樣本數(shù)據(jù)集，運(yùn)行系統(tǒng)的并行BP神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練。

(4)訓(xùn)練完成之后進(jìn)行預(yù)測驗(yàn)證，輸出結(jié)果。

3.2 模型實(shí)驗(yàn)

提出的并行BP神經(jīng)網(wǎng)絡(luò)模型的打車需求量的預(yù)測實(shí)驗(yàn)基于3.1節(jié)搭建的系統(tǒng)環(huán)境，同時(shí)將原始BP神經(jīng)網(wǎng)絡(luò)用相同的數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)。

圖3展示了兩種模型的迭代訓(xùn)練次數(shù)以及相應(yīng)的預(yù)測精確度，可以很清楚地看出并行BP神經(jīng)網(wǎng)絡(luò)最后收斂時(shí)預(yù)測的精度為76.2%要高于傳統(tǒng)模型的66.2%，并且其收斂速度要快于傳統(tǒng)模型。而且圖4清晰地展現(xiàn)出并行BP神經(jīng)網(wǎng)絡(luò)的迭代計(jì)算速度要遠(yuǎn)快于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)，在完成40000次的迭代計(jì)算時(shí)，傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)耗時(shí)25.3 h，而本文提出的并行BP神經(jīng)網(wǎng)絡(luò)僅花費(fèi)16.9 h，大大提高了訓(xùn)練速度。

圖3 并行BP神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果

圖4 并行BP神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度

為了進(jìn)一步驗(yàn)證并行BP神經(jīng)網(wǎng)絡(luò)的有效性，將驗(yàn)證數(shù)據(jù)隨機(jī)分為10組并分別用并行BP神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測，并將兩種模型得到結(jié)果的平均絕對(duì)誤差和平均絕對(duì)百分比誤差進(jìn)行比較。如圖5所示，并行BP神經(jīng)網(wǎng)絡(luò)在對(duì)10組數(shù)據(jù)進(jìn)行單日某區(qū)域的出租車需求量預(yù)測時(shí)的平均絕對(duì)誤差都在180以內(nèi)，并且穩(wěn)定性較好。而傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的平均絕對(duì)誤差大都超過了270，并且波動(dòng)較大。圖6為兩種模型的平均絕對(duì)百分比誤差對(duì)比，可以明顯看出傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的平均絕對(duì)百分比誤差比并行BP神經(jīng)網(wǎng)絡(luò)高很多，在29.8%～40.2%之間并且波動(dòng)較大，而后者的平均絕對(duì)百分比誤差在20.3%～26.7%之間。

圖5 并行BP神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的平均絕對(duì)誤差對(duì)比

圖6 并行BP神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的平均絕對(duì)百分比誤差對(duì)比

上述兩組實(shí)驗(yàn)可以充分證明本文提出的并行BP神經(jīng)網(wǎng)絡(luò)的有效性，其比傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)有更快的收斂速度，并且訓(xùn)練效果更好，擁有更高的預(yù)測精度和更小的誤差，能較好地完成出租車需求量預(yù)測的任務(wù)。

4 結(jié) 論

提出了基于MapReduce的并行BP神經(jīng)網(wǎng)絡(luò)，與傳統(tǒng)BP網(wǎng)絡(luò)相比，其收斂速度加快并且訓(xùn)練效果更好，同時(shí)訓(xùn)練速度大大提高。并且針對(duì)我國目前存在的出租車調(diào)度問題，搭建了一個(gè)打車需求量預(yù)測系統(tǒng)，以并行BP神經(jīng)網(wǎng)絡(luò)作為本系統(tǒng)的預(yù)測模型。通過對(duì)TLC的公開數(shù)據(jù)進(jìn)行訓(xùn)練和預(yù)測驗(yàn)證可知系統(tǒng)能較好地完成打車需求量預(yù)測的任務(wù)，給交通系統(tǒng)和出租車公司對(duì)出租車調(diào)度提供幫助和參考。

未來的工作主要有以下兩個(gè)方面：一方面，優(yōu)化并行BP神經(jīng)網(wǎng)絡(luò)的細(xì)節(jié)，找到更優(yōu)的用MapReduce實(shí)現(xiàn)并行BP神經(jīng)網(wǎng)絡(luò)的方法。另一方面，優(yōu)化Hadoop系統(tǒng)的搭建，包括數(shù)據(jù)的傳輸、預(yù)測結(jié)果的展示等。