• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于二元特征的斷面交通數(shù)據(jù)異常檢測與修正*

      2019-10-16 03:09:00康晉滔
      關(guān)鍵詞:高斯分布原始數(shù)據(jù)特征向量

      康晉滔,成 衛(wèi),張 靈

      (1.昆明理工大學(xué) 交通工程學(xué)院,云南 昆明 650504; 2.昆明市公安局交警支隊(duì)科信處,云南 昆明 650000)

      0 引言

      隨著智能交通系統(tǒng)(Intelligent Transportation Systems,ITS)的引入和普及,交管部門已有龐大的交通原始數(shù)據(jù)積累。這些交通數(shù)據(jù)在交通控制、交通規(guī)劃等領(lǐng)域蘊(yùn)含了極大的潛在價(jià)值[1]。然而,受環(huán)境因素、設(shè)備故障等影響,這些數(shù)據(jù)的準(zhǔn)確性仍有待提高。研究表明,交通數(shù)據(jù)庫里的數(shù)據(jù)準(zhǔn)確率平均值低于70%[2]。因此,為保障智能交通系統(tǒng)有效工作,對(duì)其原始數(shù)據(jù)的異常檢測與修正尤為必要。

      20世紀(jì)90年代,Jacobson等[3]學(xué)者通過建立交通數(shù)據(jù)最值模型,得到經(jīng)典3參數(shù)的閾值基準(zhǔn),從而對(duì)異常值進(jìn)行檢測;Zhong等[4-5]在此基礎(chǔ)上,采用了插值、回歸等方法,對(duì)數(shù)據(jù)進(jìn)行修正;Min等[6]基于交通數(shù)據(jù)的時(shí)空相關(guān)性,利用鄰接數(shù)據(jù)、歷史數(shù)據(jù)等對(duì)原始數(shù)據(jù)進(jìn)行修正。國內(nèi)對(duì)于此類問題的研究起步較晚,大約在2005年后,姜桂艷等[7-9]針對(duì)實(shí)時(shí)動(dòng)態(tài)的交通數(shù)據(jù)提出了異常評(píng)價(jià)體系;徐程等[10]根據(jù)前人的研究成果,建立了一套標(biāo)準(zhǔn)的數(shù)據(jù)預(yù)處理流程。但是這些方法,在大數(shù)據(jù)時(shí)代下,難以高效地處理爆炸式增長的交通數(shù)據(jù)。

      隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的普及,部分學(xué)者也開始嘗試訓(xùn)練模型來處理數(shù)據(jù)。范光鵬等[11]充分挖掘了數(shù)據(jù)在時(shí)間序列上的信息,利用深度學(xué)習(xí)LSTM模型與卡爾曼濾波相結(jié)合,來預(yù)測公交車站到站時(shí)間;Sun等[12]在傳統(tǒng)的KNN算法基礎(chǔ)上,引入時(shí)間窗和權(quán)重,極大拓展了數(shù)據(jù)集規(guī)模,從而在大數(shù)據(jù)框架下建立了GSW-KNN算法;Kim等[13]則是采用優(yōu)化的遞歸神經(jīng)網(wǎng)絡(luò)C-LSTM模型,通過對(duì)大量歷史交通數(shù)據(jù)的深度挖掘,訓(xùn)練特定場景的數(shù)據(jù)模型,來檢測該場景下的交通異常值。

      綜上所述,基于交通數(shù)據(jù)時(shí)空相關(guān)性的處理方法,沒有充分挖掘數(shù)據(jù)本身的邏輯規(guī)律。然而由于道路條件等諸多隨機(jī)因素存在,在實(shí)際工程中交通數(shù)據(jù)的變化往往無法呈現(xiàn)出既有模型所具有的規(guī)律性,所以基于時(shí)空相關(guān)性的修正方法可能會(huì)出現(xiàn)較大的誤差。常用的交通異常檢測手段,多基于數(shù)據(jù)的單元特征,分別對(duì)速度或流量等參數(shù)進(jìn)行異常檢測,隨著數(shù)據(jù)多元化的發(fā)展,已經(jīng)無法滿足智能交通系統(tǒng)的要求。而在數(shù)據(jù)修正過程中,傳統(tǒng)方法大多根據(jù)交通數(shù)據(jù)的時(shí)空特性,使用大量的歷史數(shù)據(jù),通過不同的權(quán)重來對(duì)異常點(diǎn)進(jìn)行相應(yīng)修正。

      基于此,提取斷面二元特征向量速度與流量,運(yùn)用多元高斯分布機(jī)器學(xué)習(xí)模型來進(jìn)行異常數(shù)據(jù)的快速甄別。同時(shí)鑒于灰色馬爾可夫模型[14]在短時(shí)預(yù)測的領(lǐng)域有著優(yōu)良的擬合效果,提出了1種基于GM(1,1)-Markov模型的異常值修正方法,在此基礎(chǔ)上引入了小時(shí)修正窗口和波動(dòng)性數(shù)據(jù)處理,從便捷性和準(zhǔn)確性2方面優(yōu)化了該組合模型。

      1 基于多元高斯分布的異常檢測

      1.1 原始數(shù)據(jù)集二元特征向量提取

      交通原始數(shù)據(jù)呈現(xiàn)多源異構(gòu)特征,為了便于后續(xù)的運(yùn)算處理,首先要對(duì)原始數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理。本文以10 min為基本單元進(jìn)行標(biāo)準(zhǔn)化,則每天的速度數(shù)據(jù)和流量速度分別有144組,即V=v1,v2,v3,,v144,Q=q1,q2,q3,,q144。原始數(shù)據(jù)集最終可表示為Xt=(V,Q),式中t為該數(shù)據(jù)集的日期,即t=1,2,3,,31。取第1天交通數(shù)據(jù)X1為訓(xùn)練集,并對(duì)X1進(jìn)行異常標(biāo)定,用于多元高斯異常檢測模型的訓(xùn)練。

      1.2 基于速度和流量的二元高斯異常檢測

      實(shí)際工程中,即使數(shù)據(jù)分布不太符合高斯分布,可以通過函數(shù)變換使其滿足高斯分布,這一過程稱為高斯化。大量的實(shí)驗(yàn)[15]表明,原數(shù)據(jù)不進(jìn)行高斯化處理,異常檢測算法也能夠良好運(yùn)行。因此,本文認(rèn)為流量、平均速度等數(shù)據(jù)服從高斯分布。

      根據(jù)交通工程學(xué)大量的研究,交通流三參數(shù)數(shù)據(jù)為相關(guān)性較高[16]的隨機(jī)變量。如果使用普通高斯算法,則無法表征特征向量之間的關(guān)聯(lián)性;多元高斯分布模型則可以自動(dòng)捕獲特征之間的相關(guān)。本文提取速度和流量二元特征,而每日的樣本數(shù)量144遠(yuǎn)大于特征數(shù)量2,因此滿足使用多元高斯異常檢測算法的前提條件。

      對(duì)于訓(xùn)練集二元隨機(jī)變量X1=(V,Q),具備如下的概率分布密度函數(shù):

      (1)

      式中:n為特征向量(速度和流量)的數(shù)量,取2;μ為對(duì)應(yīng)特征向量的均值;Σ為二元特征數(shù)據(jù)集的協(xié)方差矩陣。

      根據(jù)多元高斯模型的公式,使用matlab編程計(jì)算出X1=(V,Q)的參數(shù)μ和Σ,從而擬合出模型p(x)以及閾值參數(shù)ε。然后,將測試數(shù)據(jù)集輸入該模型p(x),計(jì)算出對(duì)應(yīng)點(diǎn)p(x)的值。通過比較計(jì)算出p(x)值與模型異常閾值ε,當(dāng)p(x)<ε時(shí),判斷對(duì)應(yīng)的數(shù)據(jù)點(diǎn)為異常值,否則為正常值。

      2 基于GM(1,1)-Markov的數(shù)據(jù)修正

      2.1 小時(shí)修正窗口的引入

      通過異常檢測算法,可得到原始數(shù)據(jù)集中的異常點(diǎn)。假設(shè)存在異常點(diǎn)xi,xj,xk,,其中i,j,k,分別表示上節(jié)檢測出的異常點(diǎn)在原始數(shù)據(jù)集中的角標(biāo)編號(hào)。

      針對(duì)每1個(gè)異常數(shù)據(jù)點(diǎn),分別建立小時(shí)修正窗口,即每個(gè)窗口(含異常點(diǎn))有6個(gè)數(shù)據(jù)。根據(jù)GM(1,1)模型的特點(diǎn),第1個(gè)數(shù)據(jù)點(diǎn)為基準(zhǔn)點(diǎn),不會(huì)被擬合計(jì)算。因此每個(gè)異常點(diǎn)有5種不同的修正窗口。用W分別表示這些窗口為:W=[xi-5,xi-4,xi-3,xi-2,xi-1,xi],[xi-4,xi-3,xi-2,xi-1,xi,xi+1],[xi-3,xi-2,xi-1,xi,xi+1,xi+2],[xi-2,xi-1,xi,xi+1,xi+2,xi+3],[xi-1,xi,xi+1,xi+2,xi+3,xi+4]。

      經(jīng)過大量的實(shí)驗(yàn)運(yùn)算,得出選取將異常點(diǎn)作為窗口最后1個(gè)數(shù)據(jù)的修正窗口得到的修正值為最優(yōu)。若首次修正效果不滿足異常檢測,則依次選取其他形式的修正窗口進(jìn)行異常點(diǎn)再修正。

      2.2 修正窗口數(shù)據(jù)集波動(dòng)性處理

      當(dāng)數(shù)據(jù)出現(xiàn)波動(dòng)性變化時(shí),GM(1,1)模型的擬合效果會(huì)受到影響,因此采取1種補(bǔ)加增量的方法,弱化原始數(shù)據(jù)的隨機(jī)性,提高灰色模型的運(yùn)算精度。

      (2)

      (3)

      2.3 GM(1,1)-Markov模型

      通過GM(1,1)灰色模型的擬合,找出數(shù)據(jù)的外在變化趨勢;進(jìn)一步利用馬爾可夫模型,挖掘時(shí)序數(shù)據(jù)內(nèi)在狀態(tài)的轉(zhuǎn)移規(guī)律。具體步驟如下:

      1)對(duì)數(shù)據(jù)集X(1)進(jìn)行1次累加處理:

      (4)

      2)定義鄰值生成數(shù):

      (5)

      式中:zk為X(2)的鄰值生成數(shù)列。

      3)建立GM(1,1)模型:

      (6)

      (7)

      式中:α為發(fā)展系數(shù),β為灰作用量。用回歸分析求α,β的值??傻茫?/p>

      (8)

      (9)

      4)還原原始數(shù)據(jù)修正值:

      (10)

      5)求出窗口修正數(shù)據(jù)集的相對(duì)殘差:

      (11)

      式中:k=1,2,,n。

      6)劃分狀態(tài)區(qū)間:根據(jù)相對(duì)殘差范圍集中程度進(jìn)行劃分。假設(shè)劃分好的區(qū)間為E1,E2,Ej,j為區(qū)間的個(gè)數(shù)。

      7)確定狀態(tài)轉(zhuǎn)移矩陣:

      (12)

      式中:Pab為狀態(tài)Ea轉(zhuǎn)移到狀態(tài)Eb(b>a)的轉(zhuǎn)移概率;mab表示由Ea一步轉(zhuǎn)移到Eb出現(xiàn)的次數(shù),Ma表示狀態(tài)Ea出現(xiàn)的總次數(shù)。確立1步狀態(tài)轉(zhuǎn)移矩陣:

      (13)

      Pk=v0·P

      (14)

      (15)

      式中:λ+η=1,本文使用平均權(quán)值。

      2.4 斷面交通異常數(shù)據(jù)質(zhì)量控制

      對(duì)于斷面交通異常數(shù)據(jù),運(yùn)用上述算法,建立整套質(zhì)量控制流程如圖1所示。算法總體分為2大部分,即異常檢測與數(shù)據(jù)修正。

      圖1 交通異常數(shù)據(jù)質(zhì)量控制流程Fig.1 Quality control procedure of traffic abnormal data

      3 樣本實(shí)驗(yàn)

      選取汕昆高速K2077斷面數(shù)據(jù),樣本數(shù)據(jù)集為2018年5月該斷面的交通流量以及速度數(shù)據(jù)。首先,對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理及二元特征提取,5月1日部分標(biāo)準(zhǔn)化數(shù)據(jù)如表1所示。

      表1 樣本部分標(biāo)準(zhǔn)化數(shù)據(jù)Table 1 Partial standardized data of sample

      為了便于二元高斯模型的訓(xùn)練,將所有流量數(shù)據(jù)乘以0.5,做歸一化處理。

      3.1 異常檢測

      使用5月1日數(shù)據(jù)集作為二元高斯模型訓(xùn)練集,5月2日數(shù)據(jù)集作為驗(yàn)證集。模型訓(xùn)練后得出異常檢測閾值ε=1.735 759e-04。檢測出驗(yàn)證集中異常數(shù)據(jù)角標(biāo)編號(hào)分別為9,24,40,49,126,128,139共計(jì)7個(gè)異常數(shù)據(jù)點(diǎn)。二元高斯模型異常檢測程序在matlab中運(yùn)行結(jié)果如圖2所示。

      為驗(yàn)證此異常檢測算法的有效性,繼續(xù)使用5月3日、5月4日、5月5日數(shù)據(jù)作為測試集。分別檢測出對(duì)應(yīng)數(shù)據(jù)集異常值,并計(jì)算出對(duì)應(yīng)的誤檢率和檢測率,如表2所示。

      通過對(duì)上述4天交通數(shù)據(jù)進(jìn)行二元高斯分布異常檢測,其結(jié)果表明:模型異常檢測率均值可達(dá)83.13%,而其中誤檢率均值僅為11.75%。

      3.2 數(shù)據(jù)修正

      對(duì)5月2日數(shù)據(jù)集檢測出的異常點(diǎn),進(jìn)行修正窗口劃分,將這些異常修正窗口在全天數(shù)據(jù)集中標(biāo)記出來,如圖3所示。每一個(gè)窗口具有6個(gè)數(shù)據(jù),異常數(shù)據(jù)點(diǎn)置于末端。

      圖2 異常檢測模型可視化結(jié)果Fig.2 Visualization results of anomaly detection model

      檢測指標(biāo)日期5月2日5月3日5月4日5月5日均值誤檢率121361611.75檢測率87.580818483.13

      波動(dòng)性處理前后灰色(1,1)模型擬合平均相對(duì)誤差對(duì)比如表3所示,由表3中數(shù)據(jù)可知,直接使用灰色模型對(duì)窗口數(shù)據(jù)進(jìn)行處理,則各修正窗口擬合平均相對(duì)誤差的均值在20%以上。經(jīng)過波動(dòng)性處理優(yōu)化之后,灰色模型各窗口平均相對(duì)誤差的均值不足10%。

      圖3 劃分修正窗口Fig.3 Partition of correction windows

      模型窗口窗口1窗口2窗口3窗口4窗口5窗口6窗口7均值GM(1,1)21.0716.1845.339.9315.6925.6322.5322.34優(yōu)化GM(1,1)3.686.8129.055.8110.152.709.779.71

      各個(gè)窗口的修正過程如圖4所示。由于最終的修正數(shù)據(jù)集更新只針對(duì)異常點(diǎn),因此窗口的其他點(diǎn)只參與狀態(tài)轉(zhuǎn)移的概率劃分,而不計(jì)算其最終的馬爾可夫調(diào)整量。

      圖4 各窗口模型修正Fig.4 Model correction of each window

      3.3 結(jié)果論證

      為了驗(yàn)證本文提出的優(yōu)化GM(1,1)-Markov修正方法的有效性,選取歷史數(shù)據(jù)修正和移動(dòng)平均修正2種方法作為對(duì)比論證。每種方法修正的數(shù)據(jù)分別與對(duì)應(yīng)窗口的數(shù)據(jù)集平均值做絕對(duì)誤差(Absolute Error)、相對(duì)誤差(Relative Error)、以及均方根誤差(Root Mean Squared Error)計(jì)算。3種方法對(duì)異常點(diǎn)的修正誤差分析如表4所示。

      通過上述3種交通數(shù)據(jù)修正方法的誤差分析,得出波動(dòng)性優(yōu)化GM(1,1)-Markov深入挖掘了原始數(shù)據(jù)集的內(nèi)在規(guī)律,算法誤差小且具備很強(qiáng)的魯棒性。在不使用大量歷史數(shù)據(jù)的前提下,能夠起到良好的修正效果。

      4 結(jié)論

      1)以斷面數(shù)據(jù)的時(shí)間刻度為標(biāo)簽,提取該標(biāo)簽數(shù)據(jù)的二元特征向量,即速度和流量,運(yùn)用二元高斯分布擬合的模型,快速準(zhǔn)確地檢測出異常數(shù)據(jù)。今后還可以推廣到多元特征向量,例如涵蓋交通檢測器常有的占有率數(shù)據(jù)集。

      2)對(duì)異常數(shù)據(jù)進(jìn)行針對(duì)性修正,引入小時(shí)窗口既使得修正過程清晰便捷又避免大量冗余數(shù)據(jù)的復(fù)合運(yùn)算。采用GM(1,1)-Markov則可以在小時(shí)窗口內(nèi)部較好地表征出異常點(diǎn)的客觀規(guī)律變化,從而進(jìn)行修正。

      3)鑒于短時(shí)交通數(shù)據(jù)的隨機(jī)波動(dòng)性大,引入波動(dòng)性優(yōu)化處理彌補(bǔ)了GM(1,1)-Markov模型局部失真的缺陷。

      表4 修正數(shù)據(jù)誤差對(duì)比Table 4 Error comparison of corrected data

      猜你喜歡
      高斯分布原始數(shù)據(jù)特征向量
      二年制職教本科線性代數(shù)課程的幾何化教學(xué)設(shè)計(jì)——以特征值和特征向量為例
      GOLDEN OPPORTUNITY FOR CHINA-INDONESIA COOPERATION
      克羅內(nèi)克積的特征向量
      利用Box-Cox變換對(duì)移動(dòng)通信中小區(qū)級(jí)業(yè)務(wù)流量分布的研究
      受特定變化趨勢限制的傳感器數(shù)據(jù)處理方法研究
      2種非對(duì)稱廣義高斯分布模型的構(gòu)造
      一類特殊矩陣特征向量的求法
      全新Mentor DRS360 平臺(tái)借助集中式原始數(shù)據(jù)融合及直接實(shí)時(shí)傳感技術(shù)實(shí)現(xiàn)5 級(jí)自動(dòng)駕駛
      汽車零部件(2017年4期)2017-07-12 17:05:53
      EXCEL表格計(jì)算判斷矩陣近似特征向量在AHP法檢驗(yàn)上的應(yīng)用
      一種基于改進(jìn)混合高斯模型的前景檢測
      荥经县| 彰化市| 乌拉特后旗| 芜湖市| 汉中市| 泗阳县| 白玉县| 东城区| 浦东新区| 汝阳县| 射洪县| 临夏县| 瓦房店市| 泊头市| 辽阳市| 万全县| 安平县| 林西县| 鄂托克旗| 潞城市| 兰坪| 广州市| 白水县| 奉节县| 唐河县| 西平县| 襄樊市| 瓮安县| 潮州市| 固始县| 灵丘县| 营山县| 永修县| 寻甸| 容城县| 顺昌县| 丹凤县| 含山县| 龙州县| 长岭县| 陕西省|