分布式計算技術(shù)在交通一卡通清分管理系統(tǒng)中的應(yīng)用研究

方秋水　陳衛(wèi)國　何建兵　徐　鋒

(廣東嶺南通股份有限公司　廣東 廣州 510110)

0　引　言

自城市交通一卡通系統(tǒng)建設(shè)以來，經(jīng)歷了20多年的發(fā)展，承擔(dān)著廣大民眾在公交、輪渡、地鐵、輕軌、出租汽車等公共交通工具的電子支付服務(wù)功能，為人們?nèi)粘Ｉ?、出行提供了便利環(huán)境。城市交通一卡通已經(jīng)成為人們生活中快捷、便利的支付手段與途徑，同時也積累了龐大的數(shù)據(jù)資源。以廣東嶺南通為例，舊有的清算系統(tǒng)已經(jīng)運行了多年，存儲了數(shù)百億條歷史交易數(shù)據(jù)，隨著交通一卡通應(yīng)用規(guī)模的擴大，數(shù)據(jù)量將呈現(xiàn)快速的上升趨勢。對海量數(shù)據(jù)的交易與處理很大程度上增加了原有清分系統(tǒng)運算負荷，降低了運行性能和處理速度。通過對一卡通業(yè)務(wù)發(fā)展分析可知，從目前城市交通一卡通交易數(shù)據(jù)的變化趨勢來看，交易數(shù)據(jù)量逐日增加，可以預(yù)見的是，未來接受處理的歷史交易數(shù)據(jù)量將以百億計，日均處理的交易數(shù)據(jù)量將達千萬級別，現(xiàn)有的系統(tǒng)硬件及清算系統(tǒng)顯然是無法滿足未來龐大的清算業(yè)務(wù)量需求。

另一方面，隨著交通運輸部全國交通一卡通互聯(lián)互通工程的開展和《城市公共交通IC卡技術(shù)規(guī)范》的頒布實施，旨在統(tǒng)一全國范圍內(nèi)的交通一卡通標(biāo)準(zhǔn)體系，進一步規(guī)范交通行業(yè)支付領(lǐng)域的業(yè)務(wù)管理系統(tǒng)、信息接口、安全技術(shù)、讀寫終端、卡片產(chǎn)品以及設(shè)備認(rèn)證檢測等技術(shù)標(biāo)準(zhǔn)，為新一代城市一卡通提供技術(shù)標(biāo)準(zhǔn)與指引，從而推進全國交通一卡通互聯(lián)互通工作。但研究發(fā)現(xiàn)，大部分省市現(xiàn)有的交通一卡通清分系統(tǒng)均不滿足交通部頒布的新技術(shù)規(guī)范，如果在原有清算系統(tǒng)的基礎(chǔ)上進行升級改造，不僅工作量巨大且技術(shù)風(fēng)險較高，難以確保與交通部清算系統(tǒng)的正常對接[1-3]。

在此背景下，為滿足未來數(shù)據(jù)量劇增的系統(tǒng)處理需求及全國統(tǒng)一標(biāo)準(zhǔn)的接入要求，本文提出一種基于分布式計算技術(shù)的交通一卡通清分結(jié)算管理系統(tǒng)。該系統(tǒng)采用目前流行的Storm平臺模式，為行業(yè)企業(yè)提供彈性計算、存儲及實時業(yè)務(wù)處理，適用于一卡通行業(yè)大數(shù)據(jù)分析與應(yīng)用。

1　建設(shè)需求分析

隨著城市一卡通業(yè)務(wù)的發(fā)展和數(shù)據(jù)規(guī)模的擴展，對交易數(shù)據(jù)清分管理功能及性能提出了更高的要求，在滿足日益增加的交易數(shù)據(jù)量情況下，新系統(tǒng)應(yīng)能高效、準(zhǔn)確地對交易數(shù)據(jù)進行統(tǒng)計分析，針對多場景化應(yīng)用數(shù)據(jù)的多樣性，滿足其清分的需求。

該系統(tǒng)在設(shè)計上充分考慮了其性能水平的可擴展性，即隨著交易數(shù)據(jù)的增加，在不中斷服務(wù)的情況下，系統(tǒng)可通過添加資源，讓服務(wù)在更多的進程以及服務(wù)器之間并行處理，在提高其處理性能同時，不影響清分功能的穩(wěn)定性、健壯性，使得系統(tǒng)具有海量數(shù)據(jù)的處理能力。

針對交通一卡通目前及未來將要開展的信用支付業(yè)務(wù)、電子票證業(yè)務(wù)、小額理財業(yè)務(wù)等互聯(lián)網(wǎng)增值應(yīng)用的發(fā)展需求，該系統(tǒng)在保障基本清分功能的基礎(chǔ)上，進一步滿足各種不同業(yè)務(wù)類型數(shù)據(jù)需求，并隨著業(yè)務(wù)數(shù)據(jù)種類的不斷增加，系統(tǒng)能方便進行擴展并屏蔽數(shù)據(jù)之間的差異性，為企業(yè)提供可靠的數(shù)據(jù)處理。

另外，該系統(tǒng)還需具有可持續(xù)計算，對數(shù)據(jù)實時分析的能力，最大限度地降低交易延遲。一旦有數(shù)據(jù)流入系統(tǒng)就即刻處理并及時生成清分結(jié)果。在系統(tǒng)出現(xiàn)故障的時候，仍能對外正常提供清分服務(wù)，具有良好的容錯能力。

2　系統(tǒng)平臺構(gòu)建

分布式計算是一門計算機科學(xué)，主要研究分布式系統(tǒng)。分布式應(yīng)用系統(tǒng)主要包括若干臺通過網(wǎng)絡(luò)實現(xiàn)互聯(lián)的計算機，這些計算機互相配合以完成一個共同的應(yīng)用目標(biāo)或服務(wù)目標(biāo)。具體的過程是：將需要進行大量計算的項目數(shù)據(jù)分割成小塊，由多臺計算機分別計算，再上傳運算結(jié)果后統(tǒng)一合并得出數(shù)據(jù)結(jié)論。在分布式系統(tǒng)上運行的計算機程序稱為分布式計算程序；分布式編程就是編寫上述程序的過程。

Storm是一個分布式的、可靠的、容錯的數(shù)據(jù)流處理平臺，目前由Apache軟件基金會進行維護。Storm項目License遵循Apache License，Version2.0協(xié)議。Apache License協(xié)議是對商業(yè)應(yīng)用友好的許可，使用者也可以在需要的時候修改代碼來滿足需求并作為開源或者商業(yè)用途。Storm的使用案例廣泛，國內(nèi)如支付寶、淘寶、百度等公司用其進行大數(shù)據(jù)的實時計算分析處理。大數(shù)據(jù)計算主要包括批量計算和實時計算，解決了批量計算處理歷史數(shù)據(jù)而不能實現(xiàn)低延遲高響應(yīng)的缺點[4]。由于數(shù)據(jù)增長永不停息，伴隨著這種巨大的業(yè)務(wù)增長潛力,需要深入思考不同的數(shù)據(jù)處理方式。

與Hadoop相比，Storm技術(shù)具有更大的優(yōu)勢，將成為下一代云計算、大數(shù)據(jù)的核心技術(shù)[5]。Storm技術(shù)可使持續(xù)不斷的流計算變得容易，彌補了Hadoop批處理所不能滿足的實時要求。Storm經(jīng)常用于實時分析、在線機器學(xué)習(xí)、持續(xù)計算、分布式遠程調(diào)用和ETL等領(lǐng)域。Storm的部署管理非常簡單，在同類的流式計算工具中其性能是非常出眾的。

針對一卡通清分管理系統(tǒng)的各種特性要求，經(jīng)研究分析，提出一種基于Storm的新型大數(shù)據(jù)處理解決方案，旨在使大數(shù)據(jù)處理功能更穩(wěn)定、高效,并對通過對本方案進行相關(guān)性能測試 ,結(jié)果表明這種新型架構(gòu)是高效、穩(wěn)定、可行的[6]。

在設(shè)計上采用Storm作為清分處理的基礎(chǔ)平臺。該平臺具有以下特性：

(1) 廣泛的適用場景基于分布式計算系統(tǒng)提供的基礎(chǔ)原語之上可以構(gòu)建滿足多應(yīng)用場景的實時計算應(yīng)用。如實時分析、持續(xù)計算等。

(2) 高可伸縮性資源管理節(jié)點來配置進程管理，使得分布式計算系統(tǒng)的集群擴展十分方便，通過增加資源可相應(yīng)提高性能。

(3) 高性能使用高性能的序列化工具和消息隊列，且因為消息是無狀態(tài)的，數(shù)據(jù)流不需要持久化，因此有著非常優(yōu)秀的性能。

(4) 高可靠性高效可靠的消息確認(rèn)機制，保證每一條消息都會被處理。

(5) 異常健壯更容易進行集群管理，其節(jié)點的無狀態(tài)性和fail-over的設(shè)計使得它并不存在單點故障問題。

(6) 容錯性保證一個拓撲計算節(jié)點一直運行，數(shù)據(jù)在處理過程中發(fā)生異常，分布式計算系統(tǒng)能夠重新發(fā)現(xiàn)異常的場景。

3　系統(tǒng)架構(gòu)設(shè)計

3.1　架構(gòu)設(shè)計

構(gòu)建面向全省的交通一卡通清分管理系統(tǒng)，利用基于Storm的分布式計算技術(shù)實現(xiàn)對全省各地市交通一卡通的交易數(shù)據(jù)進行統(tǒng)一化、標(biāo)準(zhǔn)化管理，并推動清分服務(wù)與全國交通一卡通互聯(lián)互通系統(tǒng)進行業(yè)務(wù)對接。鑒于未來發(fā)展的應(yīng)用需求，該應(yīng)用研究對系統(tǒng)整體架構(gòu)進行合理有效的設(shè)計，系統(tǒng)架構(gòu)自下而上可劃分為4個層次，分別是接口層、系統(tǒng)功能層、集成層、視窗層，如圖所示。

圖1　系統(tǒng)架構(gòu)圖

(1) 接口層接口層是指該系統(tǒng)與所有外部系統(tǒng)的接口，負責(zé)對接的系統(tǒng)包括密鑰管理系統(tǒng)、結(jié)算中心系統(tǒng)、部級清分結(jié)算平臺等，接口根據(jù)業(yè)務(wù)類型可分為4類接口數(shù)據(jù)采集接口、校驗接口、數(shù)據(jù)下發(fā)接口、公用服務(wù)接口。

(2) 系統(tǒng)功能層系統(tǒng)功能層包括了系統(tǒng)功能子系統(tǒng)，集中、直觀地體現(xiàn)一卡通清分管理系統(tǒng)的各項業(yè)務(wù)功能。

(3) 集成層基于系統(tǒng)功能層規(guī)劃出集成各個子系統(tǒng)所需的系統(tǒng)功能，主要分為頁面集成和數(shù)據(jù)處理集成。

(4) 視窗層面向用戶交互，用于顯示數(shù)據(jù)和接收用戶輸入的數(shù)據(jù)，為用戶提供一種交互式操作的界面。

3.2　技術(shù)架構(gòu)

圖2　技術(shù)架構(gòu)圖

客戶端使用Web瀏覽器(IE/Firefox/chrome)、手機、數(shù)據(jù)下發(fā)系統(tǒng)等三種途徑進行系統(tǒng)交互。表現(xiàn)層與業(yè)務(wù)邏輯層通過HTTP HTML進行交互。移動端和后臺服務(wù)器端可通過socket接口進行數(shù)據(jù)獲取；數(shù)據(jù)采集部分可通過FTP/SOCKET/HTTP等協(xié)議進行上傳和下載業(yè)務(wù)數(shù)據(jù)。

業(yè)務(wù)邏輯層即應(yīng)用服務(wù)器層，既包含使用JSP/Servlet、FineReport、socket/ws接口、JDBC等持久化技術(shù)的J2ee Web應(yīng)用，也包含數(shù)據(jù)接口服務(wù)組件。

核心組件層即數(shù)據(jù)處理層，核心處理組件為基于Storm計算框架的數(shù)據(jù)處理引擎。為匹配其高速處理的性能，需要配備高速緩存Redis作為緩存中間件，其中保留處理監(jiān)控信息以及處理配置數(shù)據(jù)。同時配備高速穩(wěn)定的消息隊列中間件Kafka作為數(shù)據(jù)處理入口，以處理高吞吐的海量數(shù)據(jù)。配備Zookeeper作為管理配置服務(wù)器，為Storm做負載均衡的調(diào)節(jié)。同時在數(shù)據(jù)核查中使用分布式存儲數(shù)據(jù)庫MongDB作為核查數(shù)據(jù)的存儲，并配有數(shù)據(jù)核查程序進行各種數(shù)據(jù)核查。使用Oracle客戶端程序SQLLoader作為數(shù)據(jù)入庫程序，可以滿足該系統(tǒng)數(shù)據(jù)庫入庫速率要求。

3.3　Storm架構(gòu)

圖3　Storm架構(gòu)圖

如圖3所示，當(dāng)一個流計算拓撲定義好后被提交，首先會由分布式計算系統(tǒng)提供的方法把編寫好的程序包上傳到任務(wù)調(diào)度節(jié)點(Nimbus)，接著對分布式計算系統(tǒng)本身和拓撲計算節(jié)點進行校驗，主要檢查分布式計算系統(tǒng)的狀態(tài)是否為在線以及拓撲計算節(jié)點是否有同名的實例在運行。下一步，任務(wù)調(diào)度節(jié)點(Nimbus)對每個拓撲計算節(jié)點都會做出詳細的預(yù)算，如工作量，它會根據(jù)拓撲計算節(jié)點中定義的parallelism hint參數(shù)，來給計算節(jié)點設(shè)定工作量(Task)數(shù)目，并且分配與其對應(yīng)的Task-id，再把分配好的工作量信息寫入資源管理節(jié)點(Zookeeper)上的/tasks目錄下。然后任務(wù)調(diào)度節(jié)點(Nimbus)會給管理進程(Supervisor)分配工作，方法是把任務(wù)信息寫在資源管理節(jié)點(Zookeeper)的管理目錄下。管理進程(Supervisor)每隔一定時間都會查看管理目錄，檢查任務(wù)調(diào)度節(jié)點(Nimbus)是否有新任務(wù)分配，當(dāng)有新提交的任務(wù)時，將先下載代碼，然后根據(jù)任務(wù)信息安排計算節(jié)點(Worker)執(zhí)行這些任務(wù)。每個計算節(jié)點(Worker)都是一個JVM實例，工作量(Task)會被分配到具體的計算節(jié)點中執(zhí)行，計算節(jié)點(Worker)與工作量(Task)支持并行度的配置。

圖4為Storm中運行的一個實時應(yīng)用程序，由于各組件間的消息流動形成邏輯上的一個拓撲結(jié)構(gòu)。一個Topology是Spout和Bolt組成的圖，通過Stream Groupings將圖中的Spout和Bolt連接起來。消息源Spout是Storm里面一個Topology里面的消息生產(chǎn)者，Spout從來源處讀取數(shù)據(jù)并放入Topology。Topology中所有的處理都由Bolt完成。即所有的消息處理邏輯被封裝在Bolt里面。Bolt負責(zé)完成具體的事項，比如連接的過濾、聚合、訪問文件、數(shù)據(jù)庫等。圖4描述的是一個Topology在設(shè)計上的結(jié)構(gòu)模型，具體的task的設(shè)置可由以下代碼完成，其中Spout的task數(shù)量為2，Bolt A的task數(shù)量為4，Bolt B與Bolt C的task數(shù)量為3。Bolt A與Bolt B從Spout處訂閱消息，Bolt C從Bolt A處訂閱消息。

圖4　Topology結(jié)構(gòu)圖

3.4　系統(tǒng)拓撲結(jié)構(gòu)

該系統(tǒng)中拓撲的設(shè)計嚴(yán)格遵循Storm平臺關(guān)于松耦合、高內(nèi)聚的原則，支持業(yè)務(wù)數(shù)據(jù)的多樣性，具有優(yōu)秀的橫向擴展能力。系統(tǒng)的整體拓撲結(jié)構(gòu)圖5所示。

圖5　系統(tǒng)總體拓撲關(guān)系圖

從數(shù)據(jù)采集階段開始，數(shù)據(jù)被流轉(zhuǎn)到文件處理的拓撲中，不同類型的數(shù)據(jù)(如城市一卡通數(shù)據(jù)、國標(biāo)卡數(shù)據(jù)、信用管理數(shù)據(jù)、電子票證數(shù)據(jù)等)將被系統(tǒng)歸類并交給不同的拓撲進行文件處理。當(dāng)新增業(yè)務(wù)數(shù)據(jù)類型的時候，只需新增對應(yīng)的拓撲進行處理即可，不影響現(xiàn)有的拓撲。文件處理拓撲與數(shù)據(jù)存儲服務(wù)層密切交互，獲取執(zhí)行期間所需的基礎(chǔ)數(shù)據(jù)(如票卡信息、黑名單等)，并保存執(zhí)行的結(jié)果數(shù)據(jù)(有效數(shù)據(jù)、掛起數(shù)據(jù)等)。各種類型的業(yè)務(wù)數(shù)據(jù)經(jīng)過文件處理階段之后，統(tǒng)一進入到數(shù)據(jù)檢查、異常處理、掛起數(shù)據(jù)核查等拓撲，此類拓撲以數(shù)據(jù)存儲服務(wù)層作為數(shù)據(jù)的源頭，進行相應(yīng)的數(shù)據(jù)處理，處理的結(jié)果通過數(shù)據(jù)接口服務(wù)進行數(shù)據(jù)下發(fā)。系統(tǒng)的所有拓撲均處于系統(tǒng)監(jiān)控模塊的監(jiān)視之下，該模塊將及時對數(shù)據(jù)處理執(zhí)行的過程進行反饋。

以下就系統(tǒng)中的地標(biāo)卡數(shù)據(jù)處理拓撲進行說明，其他拓撲的設(shè)計過程與此類似。如圖6所示。

圖6　系統(tǒng)文件檢查拓撲圖

圖6描述的是關(guān)于某城市一卡通數(shù)據(jù)的文件檢查的拓撲，具體處理流程如下：

數(shù)據(jù)從數(shù)據(jù)接口采集然后流入到ZIP Spout，ZIP Spout獲取數(shù)據(jù)后發(fā)送給節(jié)點ZIP Check Bolt。

ZIP Check Bolt進行文件包基礎(chǔ)檢查，包括文件包標(biāo)示符、命名長度等。檢查合法之后，將數(shù)據(jù)流轉(zhuǎn)到下一節(jié)點Audit File Check Bolt進行審計檢查。

審計檢查節(jié)點Audit File Check Bolt在比對文件包文件數(shù)據(jù)，數(shù)據(jù)條數(shù)，總交易金額等信息與審計文件所描述的一致之后，繼續(xù)將數(shù)據(jù)發(fā)送到下一節(jié)點File Base Check Bolt進行數(shù)據(jù)包內(nèi)文件的檢查。

File Base Check Bolt節(jié)點對文件的標(biāo)示符、命名長度等檢查通過之后，將交易數(shù)據(jù)流轉(zhuǎn)到File Record Relipcation Check Bolt進行文件內(nèi)數(shù)據(jù)重復(fù)的檢查。將非交易數(shù)據(jù)發(fā)送到Other File Handle Bolt進行處理。

文件內(nèi)數(shù)據(jù)重復(fù)檢查節(jié)點在檢查過程中會剔除掉重復(fù)數(shù)據(jù)，將非重復(fù)數(shù)據(jù)發(fā)送給File Prev And Next Trade Check Bolt進行文件內(nèi)上下筆的檢查。

非交易數(shù)據(jù)處理節(jié)點Other File Handle Bolt對數(shù)據(jù)進行校驗之后，將數(shù)據(jù)入庫。

數(shù)據(jù)檢查節(jié)點出現(xiàn)數(shù)據(jù)校驗不通過的情況下，將數(shù)據(jù)流轉(zhuǎn)到Invalid Handls Bolt進行處理。

如數(shù)據(jù)通過所有文件檢查的節(jié)點，將被放置進分布式消息隊列Kafka，以便其他Topology或者計算節(jié)點從中獲取數(shù)據(jù)繼續(xù)執(zhí)行任務(wù)，同時將檢查過程中產(chǎn)生的配置或結(jié)果數(shù)據(jù)緩存進Redis。文件檢查Topology在執(zhí)行過程中還與數(shù)據(jù)庫進行交互，獲取基礎(chǔ)配置數(shù)據(jù)。

以上整個流程受系統(tǒng)監(jiān)控模塊的監(jiān)控，對各節(jié)點出現(xiàn)數(shù)據(jù)校驗不通過的情況進行預(yù)警，及時將任務(wù)執(zhí)行過程進行反映。

4　結(jié)　語

隨著城市智能交通應(yīng)用體系的不斷發(fā)展與健全,交通信息化應(yīng)用服務(wù)功能的不斷擴展,以及交通一卡通大數(shù)據(jù)應(yīng)用技術(shù)的不斷深入發(fā)展，越來越多的復(fù)雜系統(tǒng)將成為定量分析的對象，如何打造合適的數(shù)據(jù)分析技術(shù)是未來企業(yè)發(fā)展的重要支撐點[7]。本文所研究的城市交通一卡通清分管理系統(tǒng)是基于一卡通業(yè)務(wù)發(fā)展、交通大數(shù)據(jù)分析服務(wù)以及未來智慧城市發(fā)展需求而建設(shè)，構(gòu)筑以云平臺為基礎(chǔ)設(shè)施，以主流的分布式計算技術(shù)為核心，具備高效性、高安全性、高可靠性的數(shù)據(jù)清分管理系統(tǒng)。實驗證明，基于Storm的云計算適用于清分系統(tǒng)處理的實時數(shù)據(jù)業(yè)務(wù)和非實時數(shù)據(jù)業(yè)務(wù)[8]。另外，在滿足現(xiàn)有清分系統(tǒng)功能需求的同時，根據(jù)未來業(yè)務(wù)拓展的需求開發(fā)全新的清分系統(tǒng)，極大提升了通卡企業(yè)的清分業(yè)務(wù)功能，為構(gòu)建諸如電子票證、信用支付、金融服務(wù)等增值業(yè)務(wù)打下堅實的基礎(chǔ)。通過本研究所提出的數(shù)據(jù)清分系統(tǒng)設(shè)計方案，不僅能有效實現(xiàn)一卡通在大數(shù)據(jù)環(huán)境下的清分結(jié)算，也能為企業(yè)、商戶等單位提供有價值的數(shù)據(jù)分析服務(wù)。

[1] 中華人民共和國交通運輸部. 城市公共交通IC卡技術(shù)規(guī)范: Technical specification on IC card for urban public transport[S]. 人民交通出版社股份有限公司, 2015.

[2] 吳金成, 謝振東, 伍冠樺,等. 基于交通一卡通數(shù)據(jù)的交通狀態(tài)分析及動態(tài)控制研究[J]. 廣東工業(yè)大學(xué)學(xué)報, 2017, 34(3):77-82.

[3] 劉強, 何建兵, 張景奎,等. 基于云計算的公共交通大數(shù)據(jù)處理機制研究[J]. 科技致富向?qū)? 2014(20):192-192.

[4] 趙菲, 林穗, 高西剛. 面向大數(shù)據(jù)的Storm框架研究與應(yīng)用[J]. 微型機與應(yīng)用, 2016, 35(6):12-14.

[5] 靳永超, 吳懷谷. 基于Storm和Hadoop的大數(shù)據(jù)處理架構(gòu)的研究[J]. 現(xiàn)代計算機, 2015(3):9-12.

[6] 王利卿, 張華敏. 分布式計算框架的研究[J]. 信息技術(shù)與信息化, 2015(10):199-200.

[7] 劉聰, 許莉娟. 基于Java的分布式高性能計算架構(gòu)[J]. 鹽城工學(xué)院學(xué)報(自然科學(xué)版), 2013, 26(3):10-13.

[8] 胡宇舟, 范濱, 顧學(xué)道,等. 基于Hadoop的云計算在清分系統(tǒng)中的應(yīng)用[J]. 電子世界, 2014(13):16-17.