一種面向公路交通情況調(diào)查信息的數(shù)據(jù)質(zhì)量控制方法研究

王英平 孫碩 申雷霄 王強(qiáng) 撒蕾

[摘 ? ?要] 公路交通情況調(diào)查（以下簡稱“公路交調(diào)”）數(shù)據(jù)可為政府部門、研究機(jī)構(gòu)及社會(huì)公眾提供決策依據(jù)，因此數(shù)據(jù)的完整性和可靠性至關(guān)重要。研究基于江蘇省普通交調(diào)數(shù)據(jù)，分析了交通流量數(shù)據(jù)完整性，并提出了一套完整的異常數(shù)據(jù)判別規(guī)則，最后通過實(shí)際數(shù)據(jù)驗(yàn)證結(jié)果表明：插值比預(yù)測更適用于公路交調(diào)異常數(shù)據(jù)的修復(fù)，拉格朗日插值算法更適用于公路交調(diào)數(shù)據(jù)的修復(fù)工作。

[關(guān)鍵詞] 公路交調(diào);數(shù)據(jù)質(zhì)量控制;判別規(guī)則;數(shù)據(jù)修復(fù)

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2019. 23. 065

[中圖分類號(hào)] U491 ? ?[文獻(xiàn)標(biāo)識(shí)碼] ?A ? ? ?[文章編號(hào)] ?1673 - 0194（2019）23- 0152- 04

0 ? ? ?引 ? ?言

公路交通情況調(diào)查工作是指通過對(duì)公路的交通情況進(jìn)行統(tǒng)計(jì)、調(diào)查和監(jiān)測以掌握公路交通情況，進(jìn)而為宏觀政策制定、交通運(yùn)輸行業(yè)經(jīng)濟(jì)運(yùn)行分析、公路網(wǎng)規(guī)劃與調(diào)整、公路建設(shè)投資評(píng)價(jià)、路網(wǎng)運(yùn)行監(jiān)測與評(píng)價(jià)、公路養(yǎng)護(hù)計(jì)劃于管理、公路應(yīng)急處置、公眾出行等提供有力支撐[1]。但由于設(shè)備質(zhì)量問題（目前市場上對(duì)交調(diào)設(shè)備準(zhǔn)確率要求是90%）、網(wǎng)絡(luò)傳輸問題、天氣氣候等因素，經(jīng)常會(huì)導(dǎo)致最終匯總的公路交調(diào)數(shù)據(jù)存在缺失、錯(cuò)誤等數(shù)據(jù)質(zhì)量問題。因此對(duì)公路交調(diào)數(shù)據(jù)的數(shù)據(jù)質(zhì)量控制研究是非常必要的[2]。

研究提出針對(duì)公路交調(diào)數(shù)據(jù)質(zhì)量控制策略：分析江蘇省普通公路實(shí)際數(shù)據(jù)，總結(jié)提出異常數(shù)據(jù)判定規(guī)則，將數(shù)據(jù)分成正確數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)和缺失數(shù)據(jù)。正確數(shù)據(jù)進(jìn)入數(shù)據(jù)庫進(jìn)行分析應(yīng)用，錯(cuò)誤數(shù)據(jù)進(jìn)行剔除，并針對(duì)缺失數(shù)據(jù)采用插值法、預(yù)測法等修復(fù)算法進(jìn)行數(shù)據(jù)修復(fù)。圖1所示為位數(shù)據(jù)質(zhì)量控制路線。

1 ? ? ?數(shù)據(jù)質(zhì)量完整性分析

研究以2017年江蘇省連續(xù)式交調(diào)站全年分小時(shí)分方向數(shù)據(jù)為分析對(duì)象，進(jìn)行數(shù)據(jù)質(zhì)量現(xiàn)狀分析。針對(duì)連續(xù)式公路交調(diào)站點(diǎn)，一天24小時(shí)，一月共有31天，分上下行，則一個(gè)連續(xù)式觀測站一個(gè)月要有1 488條小時(shí)流量數(shù)據(jù)，經(jīng)統(tǒng)計(jì)，目前江蘇省交調(diào)報(bào)送管理系統(tǒng)中普通公路共有362個(gè)連續(xù)式站點(diǎn)有小時(shí)數(shù)據(jù)，全年分小時(shí)分方向數(shù)據(jù)共計(jì)5 784 829條，數(shù)據(jù)完整率91.21%，可以支撐研究需求。

2 ? ? ?異常數(shù)據(jù)判別規(guī)則

異常數(shù)據(jù)指不在期望的范圍內(nèi)或不滿足已有的原理與規(guī)則（如交通流理論），在檢測周期中發(fā)生突變，不符合客觀事實(shí)和邏輯的無效數(shù)據(jù)。異常數(shù)據(jù)的判別是對(duì)原始數(shù)據(jù)中交通流參數(shù)記錄值進(jìn)行檢驗(yàn)，由于無效的概念比較模糊，相對(duì)不易判別。異常數(shù)據(jù)判別方法有交通流參數(shù)合理閾值原理、交通流機(jī)理及閾值原理和交通流機(jī)理結(jié)合的3種，此外，還需判別異常數(shù)據(jù)是否為事件數(shù)據(jù)（事故、道路維修等），若為事件數(shù)據(jù)則無需識(shí)別修正[3]。

通過交調(diào)設(shè)備獲取的交通流參數(shù)由于受到外界因素的影響，會(huì)存在缺失、突變、錯(cuò)誤等異常情況，不能直接作為交通管理系統(tǒng)的數(shù)據(jù)輸入，針對(duì)交調(diào)數(shù)據(jù)，研究采用多種判別方法相結(jié)合的方式判別異常數(shù)據(jù)。

2.1 ? 有效性檢驗(yàn)

有效性檢驗(yàn)主要目的是檢測上傳的記錄數(shù)據(jù)格式是否規(guī)范、是否存在數(shù)據(jù)缺失、是否出現(xiàn)錯(cuò)誤代碼等最基本的檢驗(yàn)，具體檢測內(nèi)容包括：①是否存在錯(cuò)誤代碼;②是否存在數(shù)據(jù)缺失;③各字段是否有效;④時(shí)間間隔是否正確;⑤是否存在重復(fù)記錄。

以上檢驗(yàn)項(xiàng)結(jié)合具體的通信協(xié)議即可確定，屬于最基本的數(shù)據(jù)有效性檢驗(yàn)，規(guī)則簡單明確，執(zhí)行速度快，應(yīng)當(dāng)作為基本的檢驗(yàn)首先進(jìn)行。

2.2 ? 交通流單參數(shù)閾值檢驗(yàn)

交通流參數(shù)閾值檢驗(yàn)主要通對(duì)交通流參數(shù)中的流量、速度、占有率分別確定閾值區(qū)間，篩除明顯不符合實(shí)際情況的記錄。

2.2.1 ? 流量閾值

國內(nèi)外根據(jù)不同的采集周期，對(duì)單車道的流量上限和下限進(jìn)行了研究，并計(jì)算出了折算上限，且由于較短的采集周期由于波動(dòng)性較大，通常采用較高的閾值。采集周期為5 min時(shí)，流量的閾值上限基本都集中在250到260輛（即3 000～3 120輛/小時(shí)），部分實(shí)際應(yīng)用中對(duì)于較短的采集周期也采用接近的值。由于可能會(huì)出現(xiàn)5分鐘內(nèi)無車輛通過的情況，流量的閾值下限可以直接取為0。

針對(duì)江蘇普通公路交調(diào)數(shù)據(jù)的分析，單車道流量上限的閾值建議定位3 100輛/小時(shí)。

2.2.2 ? 速度閾值

考慮到擁堵的可能性，國外已經(jīng)研究的速度閾值下限一般都采用0或者較小的值，同時(shí)采樣周期越短，考慮到個(gè)體車輛對(duì)于周期平均速度的影響越大，速度閾值上限設(shè)置的也相對(duì)較大。采樣周期為5分鐘的速度上限閾值通常設(shè)置為130～160 km/h。

2.3 ? 基于交通流規(guī)律的檢驗(yàn)

基于交通流規(guī)律的檢驗(yàn)在部分文獻(xiàn)中又稱為多參數(shù)閾值規(guī)則，即基于交通流等理論，利用交通多個(gè)參數(shù)間的相關(guān)性，設(shè)定相應(yīng)的閾值區(qū)間檢驗(yàn)以識(shí)別異常數(shù)據(jù)。

2.3.1 ? 0值檢驗(yàn)

根據(jù)國外應(yīng)用經(jīng)驗(yàn)，在實(shí)時(shí)處理階段通常采用較為保守的0值檢驗(yàn)。0值檢驗(yàn)是基本的多參數(shù)檢驗(yàn)，主要特征是在考慮交通流基本規(guī)律的同時(shí)，圍繞流量、速度、占有率三參數(shù)的基本關(guān)系，聯(lián)系在實(shí)際中設(shè)備對(duì)數(shù)據(jù)的處理方式設(shè)定一系列邏輯檢驗(yàn)，共同特點(diǎn)是對(duì)某一參數(shù)為0與否時(shí)的情況進(jìn)行判斷，具體包括：

若速度v=0，流量Q=0，則檢測數(shù)據(jù)無效

若速度v=0，流量Q=0，則檢測數(shù)據(jù)無效

若占有率O>0，流量Q=0，速度v=0，則檢測數(shù)據(jù)無效

若占有率O=0，則流量Q應(yīng)當(dāng)小于一定的閾值

2.3.2 ? AEVL檢驗(yàn)

僅采用0值檢驗(yàn)可能會(huì)造成漏檢部分不符合交通流規(guī)律的數(shù)據(jù)。為了對(duì)參數(shù)間相互關(guān)系進(jìn)行進(jìn)一步的檢驗(yàn)，可以利用檢測得到的流量、速度、占有率參數(shù)估算平均有效車輛長度，如下式：

AEVL=■（1）

式中，AEVL是平均有效車輛長度，單位米，檢測結(jié)果應(yīng)在適當(dāng)?shù)脑试S取值范圍以內(nèi)，超過該范圍則可認(rèn)為數(shù)據(jù)存在異常;v是平均速度，單位km/h;O是占有率，百分?jǐn)?shù);Q是小時(shí)交通自然量。

由于檢測會(huì)存在誤差等因素，根據(jù)數(shù)據(jù)分析結(jié)果，推薦AEVL取值區(qū)間為2.6～20米。

2.4 ? 連續(xù)性檢驗(yàn)

連續(xù)性檢驗(yàn)是對(duì)采集到的多組數(shù)據(jù)進(jìn)行時(shí)間、空間上連續(xù)性、一致性的檢驗(yàn)。由于實(shí)時(shí)異常數(shù)據(jù)識(shí)別需要實(shí)時(shí)查詢，要求盡量反映變動(dòng)的道路交通情況，為了能夠較好地反映突發(fā)事件，宜采用較保守的處理策略，僅進(jìn)行基本的處理。

2.4.1 ? 時(shí)間連續(xù)性檢驗(yàn)

時(shí)間連續(xù)性檢驗(yàn)是將采集到的數(shù)據(jù)與基礎(chǔ)歷史數(shù)據(jù)進(jìn)行比較，判斷是否差異過大?；A(chǔ)的歷史數(shù)據(jù)可以是前一年、前幾個(gè)月同一天、前幾個(gè)星期同一天等數(shù)據(jù)。這里為了突出動(dòng)態(tài)檢驗(yàn)的特點(diǎn)，出于盡量保留數(shù)據(jù)特征反映交通實(shí)時(shí)交通情況的考慮，采用前幾個(gè)沒有被判斷為數(shù)據(jù)錯(cuò)誤的數(shù)據(jù)采集周期的數(shù)據(jù)作為基礎(chǔ)歷史數(shù)據(jù)進(jìn)行數(shù)據(jù)時(shí)間連續(xù)性的檢驗(yàn)。

2.4.2 ? 空間連續(xù)性檢驗(yàn)

空間連續(xù)性檢驗(yàn)是將采集到的數(shù)據(jù)結(jié)合相關(guān)聯(lián)的基礎(chǔ)空間數(shù)據(jù)進(jìn)行比較，判斷是否差異過大。相關(guān)聯(lián)的基礎(chǔ)空間數(shù)據(jù)可以是上下游檢測站數(shù)據(jù)等，其中如果上下游檢測站相距較遠(yuǎn)還應(yīng)當(dāng)考慮時(shí)間上的延后。

這里為了突出動(dòng)態(tài)檢驗(yàn)的特點(diǎn)，出于盡量保留數(shù)據(jù)特征反映交通實(shí)時(shí)交通情況的考慮，采用相同斷面同方向同一時(shí)間鄰近車道的數(shù)據(jù)作為相關(guān)聯(lián)的基礎(chǔ)空間數(shù)據(jù)進(jìn)行數(shù)據(jù)空間連續(xù)性的檢驗(yàn)。因此該方法僅適用于多車道道路。

2.5 ? 連續(xù)相同記錄檢驗(yàn)

2.5.1 ? 流量為0的檢驗(yàn)

在低流量情況下，車輛可視為隨機(jī)到達(dá)，到達(dá)的規(guī)律將近似服從泊松分布。對(duì)于單個(gè)0流量檢測值的記錄，可以采用泊松分布計(jì)算在當(dāng)前交通需求情況下單個(gè)記錄流量為0 的概率。泊松分布如下式：

P（x）=■ ? ? x=0，1，2，…（2）

式中，P（x）是采集周期內(nèi)到達(dá)x輛車的概率;M是采集周期內(nèi)平均流量，可取為前幾個(gè)周期流量的均值;x取為0。

根據(jù)泊松分布，若流量均值大于6.9而流量在某一時(shí)刻為0，則該時(shí)刻的流量即為異常。

2.5.2 ? 連續(xù)相同不為0記錄的檢驗(yàn)

根據(jù)國內(nèi)外經(jīng)驗(yàn)，檢測數(shù)據(jù)中可能出現(xiàn)連續(xù)記錄的流量、速度和占有率完全相同的情況，因此應(yīng)當(dāng)設(shè)置連續(xù)相同記錄數(shù)量的上限閾值，若連續(xù)相同記錄超過該值則認(rèn)為存在數(shù)據(jù)異常。

可以看出，雖然采集周期不同，但國外應(yīng)用系統(tǒng)對(duì)連續(xù)相同記錄上限的閾值均設(shè)定為8?？紤]到實(shí)際交通情況隨機(jī)波動(dòng)的性質(zhì)，多個(gè)不為0的參數(shù)連續(xù)完全相同的可能性很小，出于較保守檢驗(yàn)的考慮，參照連續(xù)0流量的最大記錄數(shù)規(guī)律，考慮到國外應(yīng)用系統(tǒng)取值，根據(jù)不同位置，連續(xù)相同記錄取值區(qū)間為4～8小時(shí)。

2.6 ? 交通狀態(tài)異常檢測

交通狀態(tài)異常值標(biāo)定的核心是對(duì)一次標(biāo)定中的交通特殊狀態(tài)（擁堵、超速、無車）進(jìn)行分析，從而對(duì)其進(jìn)行二次標(biāo)定。對(duì)于在某一固定時(shí)段的路段而言，若某一特殊狀態(tài)在連續(xù)的n天或者連續(xù)的上下時(shí)刻中只出現(xiàn)一次，則被認(rèn)為是一條異常記錄。圖2為異常值分析的具體流程。

一種面向公路交通情況調(diào)查信息的數(shù)據(jù)質(zhì)量控制方法研究

插值結(jié)果MAPE值為9.15%，即數(shù)據(jù)準(zhǔn)確率為90.85%，算法可以很好地使用于交通流量調(diào)查數(shù)據(jù)的修復(fù)工作。為了證明拉格朗日插值算法更適合公路交調(diào)數(shù)據(jù)的修復(fù)工作，研究對(duì)比了不同插值算法和預(yù)測算法的MAPE值，如表1所示。

結(jié)果表明，相較于預(yù)測算法，插值更適用于交通流量數(shù)據(jù)的修復(fù)工作，構(gòu)建的函數(shù)更貼合交通流的實(shí)際規(guī)律，插值的結(jié)果更符合交調(diào)數(shù)據(jù)的真實(shí)值，誤差因此較小。

4 ? ? ?結(jié) ? ?論

研究通過分析江蘇省普通公路交通流量情況調(diào)查數(shù)據(jù)，對(duì)公路交調(diào)數(shù)據(jù)提出了一套完整的數(shù)據(jù)質(zhì)量控制流程。針對(duì)交通流數(shù)據(jù)中的異常數(shù)據(jù)提出了一套完善的判別流程，并使用多種插值及預(yù)測算法對(duì)缺失的數(shù)據(jù)進(jìn)行修復(fù)。結(jié)果表明相較于預(yù)測，插值能更好地修復(fù)交通流量數(shù)據(jù)，同時(shí)拉格朗日插值算法更能反映交通流的內(nèi)在規(guī)律，從而為缺失數(shù)據(jù)完成更好的插值。研究結(jié)果為交通流量調(diào)查數(shù)據(jù)修復(fù)工作提供決策依據(jù)，對(duì)于交通流量數(shù)據(jù)質(zhì)量控制的發(fā)展具有重要意義。

主要參考文獻(xiàn)

[1]王英平，楊建國，顧明臣等.公路數(shù)據(jù)調(diào)查與融合[J].中國公路，2016（3）：94-98.

[2]王珺，吳兵，王靖陽，等.ITS實(shí)時(shí)檢測交通數(shù)據(jù)的質(zhì)量控制技術(shù)探討[J].交通與運(yùn)輸：學(xué)術(shù)版， 2005（1）：30-32.

[3]徐程，曲昭偉，陶鵬飛，等.動(dòng)態(tài)交通數(shù)據(jù)異常值的實(shí)時(shí)篩選與恢復(fù)方法[J].哈爾濱工程大學(xué)學(xué)報(bào)， 2016，37（2）：211-217.

[4]姜桂艷，江龍暉，張曉東，等.動(dòng)態(tài)交通數(shù)據(jù)故障識(shí)別與修復(fù)方法[J].交通運(yùn)輸工程學(xué)報(bào)，2004， 4（1）：121-125.

[5]丁閃閃，季錦章，刁含樓，等.基于小波分析和拉格朗日的交通異常數(shù)據(jù)處理[J].公路與汽運(yùn)， 2015（4）：59-63.