WebGIS中帶圖業(yè)務(wù)數(shù)據(jù)的緩存和預(yù)取機(jī)制研究

李　源，何友全

（重慶交通大學(xué)信息科學(xué)與工程學(xué)院，重慶　400074）

WebGIS中帶圖業(yè)務(wù)數(shù)據(jù)的緩存和預(yù)取機(jī)制研究

李源，何友全

（重慶交通大學(xué)信息科學(xué)與工程學(xué)院，重慶400074）

目前在WebGIS中地圖緩存已得到深入的關(guān)注和研究，隨著WebGIS客戶端性能的逐漸增強(qiáng)，如圖片音頻等越來越豐富的內(nèi)容也能被展示出來；由于服務(wù)端磁盤讀取和網(wǎng)絡(luò)傳輸兩大瓶頸，一定程度上延長了用戶訪問這些資源的等待時(shí)間；以某高速公路管理系統(tǒng)為背景系統(tǒng)，采用了在服務(wù)端和客戶端各加一組業(yè)務(wù)數(shù)據(jù)緩存、客戶端啟動(dòng)后預(yù)先讀取服務(wù)端緩存的方式，提高了帶圖片的業(yè)務(wù)數(shù)據(jù)的訪問性能；同時(shí)根據(jù)該WebGIS中業(yè)務(wù)數(shù)據(jù)特有的地理位置關(guān)系，在分析用戶訪問軌跡后，客戶端預(yù)測(cè)用戶可能訪問的下一條數(shù)據(jù)并預(yù)取，進(jìn)一步提高了緩存性能。

網(wǎng)絡(luò)地理信息系統(tǒng)；緩存；預(yù)取

0　引言

在Web應(yīng)用中，加入緩存（Cache）的目的是降低數(shù)據(jù)訪問延時(shí)，節(jié)省網(wǎng)絡(luò)帶寬。緩存的作用是將常用的或者感興趣的信息暫存本地方便調(diào)用，而不必從遠(yuǎn)程的數(shù)據(jù)源獲取。緩存的內(nèi)容是過去訪問的歷史數(shù)據(jù)，根據(jù)過去的訪問規(guī)則決定緩存隊(duì)列的更新與否。與CPU緩存不同的是，Web緩存可以部署在客戶端、服務(wù)端或者是介于客戶端與服務(wù)端之間的網(wǎng)關(guān)和代理上面。目前緩存在Web GIS的應(yīng)用主要是地圖數(shù)據(jù)的訪問方面。相對(duì)地圖切片這類約數(shù)十KB的數(shù)據(jù)量而言，當(dāng)業(yè)務(wù)數(shù)據(jù)中加入了圖片、視頻等數(shù)百KB甚至數(shù)MB的內(nèi)容時(shí)，這些內(nèi)容將占據(jù)讀取和傳輸?shù)拇蟛糠謺r(shí)間，因此對(duì)這些業(yè)務(wù)數(shù)據(jù)進(jìn)行訪問優(yōu)化是非常必要的。

與緩存這類被動(dòng)暫存數(shù)據(jù)的形式不同，預(yù)取 （Prefetch）利用的是網(wǎng)絡(luò)、客戶端的空閑時(shí)間，即客戶端與服務(wù)端常規(guī)性交互訪問結(jié)束后，等待用戶響應(yīng)的時(shí)段進(jìn)行預(yù)先主動(dòng)緩存。從而既降低了用戶一般性訪問的延時(shí)，又不會(huì)額外增加網(wǎng)絡(luò)負(fù)擔(dān)。

本文就某公路管理WebGIS中帶圖片業(yè)務(wù)數(shù)據(jù)內(nèi)容（如圖1），在客戶端與服務(wù)端兩端加入緩存與預(yù)讀取機(jī)制以期在理想情況下應(yīng)去除所有的等待時(shí)間，盡可能地減少用戶在訪問遠(yuǎn)程數(shù)據(jù)的過程中感知到的延遲，提高訪問效率。根據(jù)公路管理系統(tǒng)中業(yè)務(wù)數(shù)據(jù)在空間上存在線型關(guān)系的特點(diǎn)（如圖2），采集30名用戶的業(yè)務(wù)數(shù)據(jù)點(diǎn)的訪問軌跡，隨機(jī)平均分為兩組：一組用于設(shè)計(jì)預(yù)讀取機(jī)制；另一組用于檢驗(yàn)該機(jī)制的效率。

圖1　需要被展示的圖片及數(shù)據(jù)示例

圖2　各數(shù)據(jù)點(diǎn)空間線型關(guān)系示例

1　雙緩存的建立

考慮整個(gè)系統(tǒng)數(shù)據(jù)訪問瓶頸主要在兩個(gè)方面：1）服務(wù)端將數(shù)據(jù)從磁盤上的數(shù)據(jù)庫中讀取到內(nèi)存；2）客戶端通過網(wǎng)絡(luò)從服務(wù)端獲取數(shù)據(jù)。因此，要充分降低系統(tǒng)訪問數(shù)據(jù)的代價(jià)，則需要同時(shí)對(duì)這兩個(gè)操作進(jìn)行優(yōu)化。本文所采用的方法是在分別在服務(wù)端與客戶端中建立各自的緩存，其中，服務(wù)端緩存根據(jù)所接收到的全部請(qǐng)求建立，客戶端緩存根據(jù)用戶發(fā)出的查詢請(qǐng)求建立。

1.1客戶端緩存的建立

對(duì)于客戶端緩存的大小，考慮在當(dāng)前環(huán)境下，無論是傳統(tǒng)的計(jì)算機(jī)還是智能手機(jī)，所配備的內(nèi)存容量已經(jīng)比較充足。以某智能手機(jī)系統(tǒng)為例，一個(gè)瀏覽器進(jìn)程可以獲得約300 MB的運(yùn)行內(nèi)存空間，本文中圖片數(shù)據(jù)的平均大小約為500 k字節(jié)，綜合緩存隊(duì)列維護(hù)等其他因素，本文設(shè)客戶端緩存隊(duì)列大小為96個(gè)，即約50 MB的內(nèi)存空間大小。

為減輕客戶端的運(yùn)算壓力，緩存替換算法選用易于實(shí)現(xiàn)、復(fù)雜度低且命中率較高的LRU（最近最少使用）算法。

1.2服務(wù)端緩存的建立

考慮在使用本系統(tǒng)過程中存在多用戶集中訪問如新增數(shù)據(jù)、異常數(shù)據(jù)等局限于某幾個(gè)點(diǎn)的數(shù)據(jù)情況，鑒于有“熱點(diǎn)”數(shù)據(jù)的存在，同時(shí)為后文所提出的預(yù)取作基礎(chǔ)，本文在服務(wù)端建立兩級(jí)緩存：第一級(jí)用于緩存“熱點(diǎn)”數(shù)據(jù)，隊(duì)列大小為32個(gè)；第二級(jí)用于緩存最近訪問過的512條歷史數(shù)據(jù)。服務(wù)端緩存算法流程如下：

1）數(shù)據(jù)第一次被訪問，投入第二級(jí)緩存隊(duì)列內(nèi)；

2）若該數(shù)據(jù)在第二級(jí)緩存隊(duì)列內(nèi)沒有被訪問3次，則按隊(duì)列淘汰規(guī)則FIFO（先進(jìn)先出）淘汰；

3）若該數(shù)據(jù)在第二級(jí)緩存隊(duì)列內(nèi)訪問次數(shù)達(dá)到3次后，移入第一級(jí)緩存；

4）數(shù)據(jù)在第一級(jí)緩存內(nèi)，按LRU規(guī)則進(jìn)行排序與淘汰，需要被淘汰時(shí)，不移入第二級(jí)緩存。

為進(jìn)一步提高一級(jí)緩存所緩存的“熱點(diǎn)”數(shù)據(jù)的準(zhǔn)確性，排除由于單用戶頻繁操作導(dǎo)致的偽“熱點(diǎn)”。本文在第二級(jí)緩存中的每個(gè)數(shù)據(jù)附加了兩個(gè)屬性字段記錄最近訪問該條數(shù)據(jù)的用戶標(biāo)識(shí)，若用戶標(biāo)識(shí)未被記錄，則記錄，否則相同標(biāo)識(shí)的用戶的訪問不被記錄。當(dāng)數(shù)據(jù)第三次被不同標(biāo)識(shí)的用戶訪問時(shí)，則移入第一級(jí)緩存隊(duì)列內(nèi)。

1.3一致性維護(hù)

為了保證數(shù)據(jù)更新后，所有緩存與數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)保持一致，需要在數(shù)據(jù)更新操作完成時(shí)，由數(shù)據(jù)庫通知緩存進(jìn)行數(shù)據(jù)同步。本文采用的通知方法是數(shù)據(jù)庫內(nèi)有任何數(shù)據(jù)改動(dòng)后，激活觸發(fā)器（Trigger）將所更改的數(shù)據(jù)復(fù)制到Change-NotificationCacheTables表內(nèi)記錄已經(jīng)更新的數(shù)據(jù)，服務(wù)端抽取ChangeNotificationCache Tables表的內(nèi)容，根據(jù)該表內(nèi)的內(nèi)容進(jìn)行緩存的更新操作，若更新的數(shù)據(jù)存在于緩存內(nèi)，則更新，否則忽略。

由于客戶端相對(duì)于服務(wù)端而言處于遠(yuǎn)程，不能同服務(wù)端一樣可以方便地進(jìn)行內(nèi)容檢測(cè)和更新。對(duì)于客戶端的緩存的一致性維護(hù)主要有兩種方法：一是由服務(wù)端通知客戶端，即服務(wù)端維護(hù)一張客戶端列表，當(dāng)有數(shù)據(jù)更新時(shí)由服務(wù)端向所有客戶端進(jìn)行廣播式通知，缺點(diǎn)是客戶端列表不易維護(hù)，廣播式通知資源消耗較大；二是客戶端詢問服務(wù)端，客戶端通過定時(shí)或固定情況下向服務(wù)端查詢自身緩存內(nèi)數(shù)據(jù)是否需要更新。若客戶端頻繁檢測(cè)緩存內(nèi)容的更新與否將耗費(fèi)大量時(shí)間與帶寬。本文以節(jié)省不必要的網(wǎng)絡(luò)消耗和提高用戶體驗(yàn)兩大主要目標(biāo)，本文采用先顯示，再更新的機(jī)制：當(dāng)用戶訪問的信息在緩存中且恰好數(shù)據(jù)庫中的對(duì)應(yīng)數(shù)據(jù)被更新時(shí)，先將未更新的數(shù)據(jù)顯示出來，減少呈現(xiàn)給用戶“加載”時(shí)間，同時(shí)向服務(wù)端發(fā)出更新請(qǐng)求，服務(wù)端檢測(cè)到數(shù)據(jù)不一致，返回給客戶端更新后的數(shù)據(jù)，最終客戶端更新緩存并刷新客戶端正在顯示的內(nèi)容。本文中用于標(biāo)識(shí)數(shù)據(jù)特征的方法采用CRC16校驗(yàn)碼的方法，將一個(gè)點(diǎn)的所有數(shù)據(jù)轉(zhuǎn)換為字節(jié)流，計(jì)算該字節(jié)流的CRC16值。服務(wù)端根據(jù)接收到請(qǐng)求中的主鍵和CRC16值計(jì)算數(shù)據(jù)庫中對(duì)應(yīng)的數(shù)據(jù)的CRC16值，若一致，向客戶端答復(fù)一致；否則答復(fù)不一致并附帶更新后的數(shù)據(jù)。

2　客戶端預(yù)取

為在客戶端進(jìn)一步提高命中率，特別是針對(duì)客戶端剛開始運(yùn)行時(shí)緩存為空的情況。本文在客戶端方面使用了兩種預(yù)取方法，一種是在客戶端完成啟動(dòng)時(shí)立即從服務(wù)端獲取服務(wù)端的一部分緩存；另一種是預(yù)測(cè)用戶的訪問順序，預(yù)測(cè)用戶將要訪問的下一個(gè)資源，提前從服務(wù)端獲取并緩存?？蛻舳祟A(yù)取的數(shù)據(jù)同用戶普通訪問的數(shù)據(jù)一樣投入緩存隊(duì)列并進(jìn)行隊(duì)列更新。

2.1啟動(dòng)時(shí)預(yù)取

如圖3所示，傳統(tǒng)的客戶端工作模式是被動(dòng)的，程序啟動(dòng)完畢后，總是在等待用戶操作，直到用戶完成第一次操作發(fā)出操作請(qǐng)求，客戶端才與服務(wù)端交互返回用戶響應(yīng)的結(jié)果。而與用戶操作相比，程序響應(yīng)的速度通常更快，因此，被動(dòng)等待用戶操作將浪費(fèi)大量時(shí)間，同時(shí)程序的響應(yīng)時(shí)間也得不到改善。

圖3　傳統(tǒng)工作模式示意甘特圖

通過分析用戶使用習(xí)慣得出，客戶端程序在瀏覽器內(nèi)加載完畢后，總是經(jīng)歷了（用戶反應(yīng)程序就緒——輸入認(rèn)證進(jìn)行身份認(rèn)證——認(rèn)證成功——發(fā)出第一次查詢請(qǐng)求）這樣一個(gè)過程。經(jīng)統(tǒng)計(jì)，上述過程平均時(shí)長約為13秒?？紤]身份認(rèn)證步驟消耗資源極少，本文利用客戶端加載完畢到用戶第一次查詢請(qǐng)求發(fā)出的短暫時(shí)間進(jìn)行數(shù)據(jù)預(yù)取。預(yù)取的內(nèi)容，本文所采取的方法是預(yù)取服務(wù)端緩存中的第一級(jí)緩存中的全部內(nèi)容，即獲取其他用戶所訪問過的最頻繁的數(shù)據(jù)作為客戶端的初始緩存，有利于提高客戶端緩存的初始命中率。

2.2預(yù)測(cè)訪問順序預(yù)取

在WebGIS中，對(duì)于各業(yè)務(wù)數(shù)據(jù)的相關(guān)性，主要分為兩類，一類與傳統(tǒng)管理系統(tǒng)類似的根據(jù)某一數(shù)據(jù)屬性排列的關(guān)聯(lián)如：ID、上下行方向、采集日期、記錄人員等；另一類則不同于傳統(tǒng)管理系統(tǒng)的業(yè)務(wù)數(shù)據(jù)，地圖上的業(yè)務(wù)數(shù)據(jù)點(diǎn)與點(diǎn)之間存在空間上的相鄰的關(guān)系。在本文所涉及的系統(tǒng)中，各點(diǎn)在空間上的排列是沿高速公路的走向排列的，即：除了最兩端的點(diǎn)外的所有點(diǎn)僅在某一方向上存在一個(gè)前驅(qū)點(diǎn)，在某一方向上存在一個(gè)后繼點(diǎn)。

通過所采集的若干人的訪問軌跡統(tǒng)計(jì)后得出：訪問地圖某一點(diǎn)后，訪問相鄰點(diǎn)的概率為56.4%；點(diǎn)間平均訪問間隔2.86秒?？紤]網(wǎng)絡(luò)傳輸因素，2.8秒內(nèi)可傳輸約3個(gè)業(yè)務(wù)數(shù)據(jù)點(diǎn)的全部數(shù)據(jù)。因此，若在用戶訪問某點(diǎn)的同時(shí)，客戶端后臺(tái)提前從服務(wù)端讀取當(dāng)前點(diǎn)的兩個(gè)相鄰點(diǎn)數(shù)據(jù)，則在理論上，下次訪問的緩存命中率將達(dá)到56.4%。特別是當(dāng)用戶是沿某一個(gè)方向訪問數(shù)據(jù)時(shí)，緩存命中率將更高。

綜上，客戶端的工作模式為圖4所示。

圖4　預(yù)取機(jī)制下工作模式示意甘特圖

3　測(cè)試與分析

對(duì)證明緩存對(duì)訪問性能的提升，本文采用重復(fù)訪問軌跡法，隨機(jī)排列測(cè)試組訪問軌跡組成測(cè)試輸入，連續(xù)訪問測(cè)試輸入，分別對(duì)不使用緩存、僅使用客戶端緩存、僅使用服務(wù)端緩存和使用雙緩存這4種情況進(jìn)行測(cè)試，記錄每次訪問所需要的時(shí)間、內(nèi)存占用以及CPU占用。測(cè)試軟硬件環(huán)境為：

服務(wù)端：CPU：IntelCorei5-3210M，內(nèi)存大?。?GB，操作系統(tǒng)為Windows10專業(yè)版64位，數(shù)據(jù)庫管理系統(tǒng)為SQL server 2008R2，GIS服務(wù)使用Arc GISServer10.2；客戶端相同配置2臺(tái)：CPU：IntelCorei5-4300U，內(nèi)存大?。? GB，操作系統(tǒng)Windows10專業(yè)版64位，瀏覽器為Internet Explorer11并啟用Silverlight插件；每個(gè)客戶端中額外使用Hyper-V技術(shù)運(yùn)行一臺(tái)虛擬機(jī)，分配50%的CPU時(shí)間及4 GB內(nèi)存，運(yùn)行Windows8.1專業(yè)版64位；網(wǎng)絡(luò)環(huán)境為百兆局域網(wǎng)。

為保證測(cè)試準(zhǔn)確性，模擬多用戶同時(shí)使用的環(huán)境，測(cè)試時(shí)，4個(gè)客戶端同時(shí)啟用進(jìn)行訪問測(cè)試，并輸出每次訪問的時(shí)間戳，使用VisualStudio的調(diào)試功能，記錄各客戶端的內(nèi)存和CPU占用。最終將4個(gè)客戶端的全部記錄統(tǒng)計(jì)匯總后如下表所示。

表1　4種情況下的訪問代價(jià)

由表中數(shù)據(jù)可知，不使用緩存時(shí)，每次訪問都將執(zhí)行一次完整的請(qǐng)求-提交-讀盤-傳輸返回過程因此平均訪問時(shí)間和最大訪問時(shí)間相差不多；僅使用客戶端緩存時(shí)，由于服務(wù)端數(shù)據(jù)庫磁盤讀取未被優(yōu)化，因此當(dāng)客戶端緩存訪問命中時(shí)，訪問時(shí)間才被縮短；同理，僅使用服務(wù)端緩存，則客戶端每次訪問的數(shù)據(jù)都需要通過網(wǎng)絡(luò)傳輸，因此仍然存在相對(duì)較長的延時(shí)。僅當(dāng)使用雙緩存時(shí)，兩端均得到了優(yōu)化，對(duì)訪問時(shí)間有較明顯的縮短。

本文在原系統(tǒng)中進(jìn)行上文所述的將本文所采集到的另一組用戶訪問軌跡用戶進(jìn)行對(duì)應(yīng)測(cè)試從命中率、響應(yīng)速度和網(wǎng)絡(luò)占用三方面同傳統(tǒng)LRU緩存算法進(jìn)行對(duì)比，證明本文所述相關(guān)方法的有效性。

圖5　使用預(yù)取前后客戶端緩存命中率曲線

從圖5中曲線可以看出，在不使用預(yù)取的情況下，客戶端緩存命中率從0開始上升，經(jīng)過較長時(shí)間的使用后，緩存命中率維持在55%左右；而在客戶端加入預(yù)取機(jī)制后，由于初始預(yù)取數(shù)據(jù)的存在，緩存初始命中率就為25%，是不使用預(yù)取情況下訪問250次達(dá)到的效果，經(jīng)過較長時(shí)間訪問后，緩存命中率在70%以上。說明由于預(yù)取機(jī)制的加入，緩存命中率有了較大的提高。

表2　預(yù)取和不預(yù)取下的訪問延時(shí)及網(wǎng)絡(luò)占用

由表中數(shù)據(jù)可得，雖然加入了預(yù)取機(jī)制導(dǎo)致最大訪問時(shí)間有所增加，但由于緩存命中率的提高，平均訪問時(shí)間得到減少；網(wǎng)絡(luò)方面，由于預(yù)取機(jī)制在用戶反應(yīng)及操作時(shí)間段客戶端后臺(tái)仍然在向服務(wù)端請(qǐng)求業(yè)務(wù)數(shù)據(jù)，網(wǎng)絡(luò)間歇時(shí)間比不預(yù)取短，因此網(wǎng)絡(luò)使用率高于不預(yù)取的情況。

同時(shí)，對(duì)于1.57 MB/s的峰值網(wǎng)絡(luò)速率，使用約12 Mbps帶寬的網(wǎng)絡(luò)即可滿足傳輸需要。當(dāng)前蜂窩移動(dòng)數(shù)據(jù)網(wǎng)絡(luò)3 G標(biāo)準(zhǔn)中的HSDPA技術(shù)提供14.4 Mbps的帶寬，可滿足本系統(tǒng)的移動(dòng)使用要求，符合預(yù)期的優(yōu)化效果。

4　結(jié)束語

本文基于傳統(tǒng)Web GIS業(yè)務(wù)系統(tǒng)，針對(duì)傳輸單元大的帶圖業(yè)務(wù)數(shù)據(jù)在客戶端和服務(wù)端兩方面進(jìn)行了訪問優(yōu)化，為兩端設(shè)計(jì)了不同的緩存方法，通過重現(xiàn)用戶訪問軌跡的方式進(jìn)行了測(cè)試，取得了較好的效果，主要優(yōu)點(diǎn)如下：

（1）服務(wù)端采用兩級(jí)緩存，盡可能地保證了所有用戶中訪問最頻繁的數(shù)據(jù)保留在緩存隊(duì)列內(nèi)；

（2）另外在客戶端加入了主動(dòng)預(yù)取機(jī)制，提高了客戶端初始緩存命中率和網(wǎng)絡(luò)利用率，降低了訪問延時(shí)。

［1］魏祖寬，胡娟，金在弘.WEBGIS混合緩存的應(yīng)用與研究［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2009（9）：144-148.

［2］祁羽，陳葷，張瑞雪，等.基于雙緩存機(jī)制的分布式WebGIS數(shù)據(jù)集成訪問策略［J］.計(jì)算機(jī)工程與科學(xué)，2007，29（5）：41-44.

［3］涂振發(fā)，孟令奎，張文，等.面向網(wǎng)絡(luò)GIS的最小價(jià)值空間數(shù)據(jù)緩存替換算法研究［J］.華中師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，46（2）：230-234.

［4］Deng Y F，Manoharan S.A Review of Web Cache Prefetching［J］. Journal of information and communication convergence engineering，2014，12（3）：161-167.

［5］Ye?ilmurat S，i?ler V.Retrospective adaptive prefetching for interactive Web GIS applications［J］.GeoInformatica，2012，16-（3）：435-466.

［6］Li R，Guo R，Xu Z，et al.A prefetching model based on access popularity for geospatial data in a cluster-based caching system［J］.International Journal of Geographical Information Science，2012，26（10）：1831-1844.

［7］Johnson T，Seeling P.Web cache object forwarding from desktop to mobile for energy consumption optimizations［A］.Green Communications（OnlineGreencomm），2014 IEEE Online Conference on［C］.IEEE，2014：1-7.

［8］徐超，曾學(xué)文，郭志川.基于資源預(yù)測(cè)的智能終端資源緩存算法［J］.計(jì)算機(jī)工程，2015，41（3）：59-63.

Research on Caching and Prefetching Business Data with Pictures in WebGIS

Li Yuan，He Youquan
（School of Information Science&Engineering，Chongqing Jiaotong University，Chongqing400074，China）

Currently in WebGIS map cache has been deeply concerned and researched.With the increase of Web GIS client performance，WebGIS can show more rich content，such as pictures，audio and other media.The server reading disk and network transmission are two major bottlenecks，have partly extended the delay of user access to these resources.A highway management system for the background of the system.Added sets of business data caching in server and clients，and enable clients prefetch server's cache after started up，have improved the performance of access business data with pictures.According the geographical relations of business data in thisWeb GIS，after analyzed users'accessing tracks，prefetching the next data that users may access improved cache performance further.

Web GIS；cache；prefetch

1671-4598（2016）05-0209-04

10.16526/j.cnki.11-4762/tp.2016.05.059

TP311

A

2015-11-10；

2015-12-15。

李源（1989-），男，湖南省津市人，碩士研究生，主要從事WebGIS開發(fā)方向的研究。

何友全（1964-），男，湖北荊州人，教授，碩士研究生導(dǎo)師，主要從事數(shù)據(jù)挖掘、軟件工程方向的研究。