遙感數(shù)據(jù)服務(wù)系統(tǒng)能力需求估算方法研究

王士成

(中國(guó)電子科技集團(tuán)公司第五十四研究所，河北石家莊050081)

0 引言

遙感技術(shù)的發(fā)展和應(yīng)用已經(jīng)走過(guò)了多年艱苦探索與攀登的道路，如今，遙感應(yīng)用技術(shù)已經(jīng)起步并逐漸趨于成熟，遙感數(shù)據(jù)已在數(shù)字測(cè)繪、資源調(diào)查、災(zāi)害監(jiān)測(cè)、城市規(guī)劃、土地利用、環(huán)境保護(hù)和旅游導(dǎo)航［1］等多個(gè)領(lǐng)域廣泛應(yīng)用。

隨著遙感數(shù)據(jù)時(shí)間分辨率、空間分辨率［2］、輻射分辨率［3］和光譜分辨率［3］的全面提高，遙感數(shù)據(jù)的單位時(shí)間數(shù)據(jù)率和數(shù)據(jù)總量都將迅速擴(kuò)大，為有效支持遙感數(shù)據(jù)的共享與應(yīng)用，必須建設(shè)遙感數(shù)據(jù)服務(wù)系統(tǒng)，實(shí)現(xiàn)遙感數(shù)據(jù)高效管理。同時(shí)，為節(jié)約成本，滿(mǎn)足遙感數(shù)據(jù)服務(wù)系統(tǒng)建設(shè)規(guī)模適度可用的基本原則，必須對(duì)遙感數(shù)據(jù)服務(wù)系統(tǒng)的處理能力需求進(jìn)行估算。

以事務(wù)處理性能委員會(huì)(TPC)［4］提供的基準(zhǔn)估算理論為核心，提出了遙感數(shù)據(jù)服務(wù)系統(tǒng)處理能力需求的估算方法，以TPM(Transaction Per Minute)值作為系統(tǒng)處理能力估算的單位。

1 處理能力需求估算模型

遙感數(shù)據(jù)服務(wù)系統(tǒng)通常包括數(shù)據(jù)存儲(chǔ)［5］、數(shù)據(jù)服務(wù)［6］和應(yīng)用服務(wù)［7］3個(gè)部分，相應(yīng)的處理能力需求估算也需要從數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)服務(wù)和應(yīng)用服務(wù)等3個(gè)角度進(jìn)行。其中數(shù)據(jù)服務(wù)能力和應(yīng)用服務(wù)能力是2個(gè)不同的概念，數(shù)據(jù)服務(wù)能力偏重于數(shù)據(jù)庫(kù)自身的服務(wù)能力，應(yīng)用服務(wù)能力注重于通過(guò)業(yè)務(wù)邏輯應(yīng)用的途徑供客戶(hù)端應(yīng)用程序使用。在大型遙感數(shù)據(jù)服務(wù)系統(tǒng)中，數(shù)據(jù)服務(wù)和應(yīng)用服務(wù)均采用各自獨(dú)立的服務(wù)器，在降低服務(wù)器壓力的同時(shí)盡可能保障數(shù)據(jù)安全和獨(dú)立。

系統(tǒng)需要配置什么樣的服務(wù)器設(shè)備、能夠達(dá)到哪種性能、能夠滿(mǎn)足多長(zhǎng)時(shí)間的應(yīng)用等都是系統(tǒng)方案設(shè)計(jì)階段需要考慮的問(wèn)題。毋庸置疑，遙感數(shù)據(jù)服務(wù)系統(tǒng)的處理能力需求和用戶(hù)的使用需求密切相關(guān)，經(jīng)分析，影響因素包括以下幾個(gè)方面:① 系統(tǒng)的設(shè)計(jì)使用年限;②系統(tǒng)平均用戶(hù)在線(xiàn)人數(shù);③ 用戶(hù)的主要操作行為統(tǒng)計(jì);④軟件開(kāi)發(fā)商預(yù)測(cè)的每個(gè)用戶(hù)操作行為所引發(fā)的事務(wù)處理量;⑤數(shù)據(jù)生產(chǎn)部門(mén)的生產(chǎn)能力;⑥ 系統(tǒng)采用的操作系統(tǒng)和數(shù)據(jù)庫(kù)平臺(tái)。

1.1 數(shù)據(jù)服務(wù)能力需求估算模型

設(shè)定數(shù)據(jù)服務(wù)器在忙時(shí)的數(shù)據(jù)庫(kù)訪問(wèn)峰值X，代表主機(jī)處理峰值應(yīng)能達(dá)到每秒X個(gè)連接;每個(gè)連接平均需要執(zhí)行I個(gè)查詢(xún)(SEARCH)操作、J個(gè)插入(INSERT)操作、K個(gè)更新(UPDATE)操作和L個(gè)刪除(DELETE)操作;平均每個(gè)查詢(xún)操作需要訪問(wèn)Y個(gè)數(shù)據(jù)表;每個(gè)查詢(xún)操作需要相當(dāng)于M個(gè)TPM、每個(gè)插入操作需要相當(dāng)于N個(gè)TPM、每個(gè)更新操作需要相當(dāng)于O個(gè)TPM、每個(gè)刪除操作需要P個(gè)TPM，設(shè)計(jì)數(shù)據(jù)服務(wù)能力需求估算模型為:

式中，X為用戶(hù)最大連接數(shù)(連接/秒);I為平均每個(gè)連接需要執(zhí)行的查詢(xún)操作數(shù);M為平均每個(gè)查詢(xún)操作需要服務(wù)器能力(TPM)，依據(jù)經(jīng)驗(yàn)可取值為3～4;J為平均每個(gè)連接需要執(zhí)行的插入操作數(shù);N為平均每個(gè)插入操作需要服務(wù)器能力(TPM)，依據(jù)經(jīng)驗(yàn)可取值為2～3;K為平均每個(gè)連接需要執(zhí)行的更新操作數(shù);O為平均每個(gè)更新操作需要服務(wù)器能力(TPM)，依據(jù)經(jīng)驗(yàn)可取值為4～5;L為平均每個(gè)連接需要執(zhí)行的刪除操作數(shù);P為平均每個(gè)刪除操作需要服務(wù)器能力(TPM)，依據(jù)經(jīng)驗(yàn)可取值為2～3;β為系統(tǒng)自身消耗值，依據(jù)經(jīng)驗(yàn)可取值為25% ～35%;γ為系統(tǒng)忙時(shí)比例因子，依據(jù)經(jīng)驗(yàn)可取值為60% ～80%。

1.2 應(yīng)用服務(wù)能力需求估算模型

設(shè)定應(yīng)用服務(wù)支持的并發(fā)用戶(hù)數(shù)量為U，代表系統(tǒng)同時(shí)在線(xiàn)用戶(hù)數(shù)為U個(gè)人;每個(gè)用戶(hù)登錄后每分鐘可發(fā)出N個(gè)業(yè)務(wù)請(qǐng)求;各類(lèi)業(yè)務(wù)請(qǐng)求平均產(chǎn)生的事務(wù)數(shù)為T(mén)i;則應(yīng)用服務(wù)能力需求估算模型為:

式中，U為系統(tǒng)同時(shí)在線(xiàn)用戶(hù)數(shù)(人);N為平均每個(gè)用戶(hù)每分鐘發(fā)出業(yè)務(wù)請(qǐng)求次數(shù)(次);Ti為平均每次i業(yè)務(wù)產(chǎn)生的事務(wù)數(shù)(次);C為用戶(hù)可提出的業(yè)務(wù)請(qǐng)求類(lèi)型數(shù);X為一天內(nèi)忙時(shí)的處理量和平均數(shù)的比值;Y為經(jīng)驗(yàn)系數(shù)(實(shí)際量和估算量的比值);Z為服務(wù)器設(shè)計(jì)冗余值。

1.3 數(shù)據(jù)存儲(chǔ)容量需求估算模型

遙感數(shù)據(jù)服務(wù)系統(tǒng)的存儲(chǔ)容量需求主要來(lái)源于4個(gè)方面，包括系統(tǒng)運(yùn)行環(huán)境所需的安裝空間、系統(tǒng)運(yùn)行所需的存儲(chǔ)空間、遙感數(shù)據(jù)以及系統(tǒng)運(yùn)行產(chǎn)生的數(shù)據(jù)。設(shè)計(jì)數(shù)據(jù)存儲(chǔ)容量需求估算模型為:

式中，S為系統(tǒng)運(yùn)行環(huán)境所需的存儲(chǔ)空間，包括操作系統(tǒng)、軟件系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)等(GB);P為動(dòng)態(tài)為每個(gè)在線(xiàn)用戶(hù)分配的共享空間(GB);U為系統(tǒng)最大同時(shí)在線(xiàn)用戶(hù)數(shù);DS為數(shù)據(jù)生產(chǎn)部門(mén)每天可生產(chǎn)的數(shù)據(jù)量(TB);DR為系統(tǒng)運(yùn)行每天可產(chǎn)生的數(shù)據(jù)量(GB);Y為系統(tǒng)設(shè)計(jì)年限;Z為存儲(chǔ)容量設(shè)計(jì)裕度，取值范圍為10%～30%。

1.4 與其他處理能力估算方法的比較分析

專(zhuān)家估計(jì)法指多名專(zhuān)家分別對(duì)系統(tǒng)處理能力需求進(jìn)行估計(jì)，計(jì)算專(zhuān)家估計(jì)結(jié)果的平均值，如各專(zhuān)家估計(jì)結(jié)果與平均值之間的差距比例不大于20%，則取平均值作為系統(tǒng)處理能力需求值;否則由各位專(zhuān)家重新進(jìn)行估計(jì)。專(zhuān)家估計(jì)法是目前比較常用的IT系統(tǒng)處理能力估算方法，這種方法的優(yōu)點(diǎn)在于適用范圍廣、計(jì)算方法簡(jiǎn)單;缺點(diǎn)在于絕對(duì)依賴(lài)于專(zhuān)家的主觀判斷，不具備說(shuō)服力。

基于擴(kuò)容比例的系統(tǒng)處理能力需求估算方法是指在已知原系統(tǒng)需求、原系統(tǒng)處理能力、原系統(tǒng)裕度以及系統(tǒng)擴(kuò)充需求的前提下，依據(jù)系統(tǒng)擴(kuò)充需求與原系統(tǒng)需求的比例關(guān)系，結(jié)合原系統(tǒng)處理能力和原系統(tǒng)裕度，推算擴(kuò)充系統(tǒng)處理能力需求。這種方法的優(yōu)點(diǎn)在于推算方法簡(jiǎn)單，說(shuō)服力強(qiáng);局限性在于只適用于系統(tǒng)能力擴(kuò)充的情況，且在系統(tǒng)能力大幅度提升時(shí)準(zhǔn)確度明顯下降。

基于代碼量進(jìn)行應(yīng)用服務(wù)處理能力需求估算方法依據(jù)式(4)進(jìn)行應(yīng)用服務(wù)系統(tǒng)處理能力需求的估算，這種方法的主要優(yōu)點(diǎn)是計(jì)算簡(jiǎn)便;但缺點(diǎn)也非常明顯，首先，這種方法僅適用于應(yīng)用服務(wù)系統(tǒng)，且要求已知數(shù)據(jù)服務(wù)系統(tǒng)的處理能力需求;其次，該方法完全依賴(lài)于經(jīng)驗(yàn)系數(shù)，缺乏理論與方法上的說(shuō)服力和準(zhǔn)確性。式中，LA為應(yīng)用服務(wù)處理能力需求;LD為數(shù)據(jù)庫(kù)服務(wù)處理能力需求;α為與應(yīng)用服務(wù)代碼量相關(guān)的經(jīng)驗(yàn)系數(shù)，取值如表1所示。

表1 應(yīng)用服務(wù)經(jīng)驗(yàn)系數(shù)參考值表

2 處理能力需求估算案例

2.1 遙感數(shù)據(jù)服務(wù)系統(tǒng)需求

研制建設(shè)一套遙感數(shù)據(jù)服務(wù)系統(tǒng)，經(jīng)采集用戶(hù)需求并咨詢(xún)相關(guān)軟件開(kāi)發(fā)商和硬件廠商，獲取信息如下:系統(tǒng)設(shè)計(jì)使用年限5年;系統(tǒng)平均在線(xiàn)用戶(hù)數(shù)量為500人;數(shù)據(jù)生產(chǎn)能力約為3 TB/天;系統(tǒng)主要采用Linux操作系統(tǒng)和Oracle10g數(shù)據(jù)庫(kù);用戶(hù)主要操作行為包括需求提交、需求維護(hù)、數(shù)據(jù)檢索、數(shù)據(jù)下載。

各種操作行為所引發(fā)的事務(wù)處理量如下:①平均每個(gè)需求提交操作所引發(fā)的事務(wù)處理量約為30 TPM;②平均每個(gè)需求維護(hù)操作所引發(fā)的事務(wù)處理量約為50 TPM;③ 每個(gè)數(shù)據(jù)檢索操作所引發(fā)的事務(wù)處理量約為40 TPM;④ 每個(gè)數(shù)據(jù)下載操作所引發(fā)的事務(wù)處理量約為30 TPM。

2.2 系統(tǒng)處理能力需求分析

依據(jù)式(1)、式(2)和式(3)可對(duì)本案例所需的遙感數(shù)據(jù)服務(wù)系統(tǒng)的數(shù)據(jù)服務(wù)能力需求、應(yīng)用服務(wù)能力需求和數(shù)據(jù)存儲(chǔ)容量需求進(jìn)行分析。

2.2.1 數(shù)據(jù)服務(wù)能力需求

在數(shù)據(jù)服務(wù)能力需求分析過(guò)程中，取用戶(hù)最大連接數(shù)X為8 000，即數(shù)據(jù)服務(wù)處理峰值應(yīng)能達(dá)到8 000連接/秒;平均每個(gè)連接需要執(zhí)行的查詢(xún)操作數(shù)I、插入操作數(shù)J、更新操作數(shù)K和刪除操作數(shù)L分別為5、4、4、2，對(duì)應(yīng)操作所需的服務(wù)器能力 M、N、O、P取值分別為別為3、2、4、2;系統(tǒng)自身消耗 β 取值為30%;系統(tǒng)忙時(shí)比例因子γ取值為70%;則數(shù)據(jù)服務(wù)能力需求LD約為702 041 TPM。

2.2.2 應(yīng)用服務(wù)能力需求

在應(yīng)用服務(wù)能力需求分析過(guò)程中，系統(tǒng)同時(shí)在線(xiàn)用戶(hù)數(shù)U為500，即最大支持500人同時(shí)在線(xiàn);平均每個(gè)用戶(hù)每分鐘發(fā)出業(yè)務(wù)請(qǐng)求次數(shù)N為8，即平均每個(gè)用戶(hù)每分鐘發(fā)出8個(gè)業(yè)務(wù)請(qǐng)求;用戶(hù)可提出的業(yè)務(wù)請(qǐng)求類(lèi)型數(shù)量C取值為4;平均每個(gè)需求提交操作、需求維護(hù)操作和數(shù)據(jù)檢索操作和數(shù)據(jù)下載操作所引發(fā)的事務(wù)處理量 Ti分別為 30、50、40、30;一天內(nèi)忙時(shí)處理量和平均數(shù)的比值X為5;實(shí)際量和估算量的比值Y取值為0.8;服務(wù)器冗余量Z取值為30%;則應(yīng)用服務(wù)能力需求 LA約為857143TPM。

2.2.3 數(shù)據(jù)存儲(chǔ)容量需求

在數(shù)據(jù)存儲(chǔ)容量需求分析中，取系統(tǒng)運(yùn)行環(huán)境所需的存儲(chǔ)空間S為600 GB，包括操作系統(tǒng)、軟件系統(tǒng)和數(shù)據(jù)庫(kù)系統(tǒng)等所需的存儲(chǔ)空間;取動(dòng)態(tài)為每個(gè)在線(xiàn)用戶(hù)分配的共享空間為200 GB;系統(tǒng)同時(shí)在線(xiàn)用戶(hù)數(shù)U為500;取數(shù)據(jù)生產(chǎn)部門(mén)每天可生產(chǎn)的數(shù)據(jù)量DS為3 TB;取系統(tǒng)運(yùn)行每天可產(chǎn)生的數(shù)據(jù)量DR為1 GB;取系統(tǒng)設(shè)計(jì)年限Y為5年;存儲(chǔ)容量設(shè)計(jì)裕度Z取值為20%;則數(shù)據(jù)存儲(chǔ)容量需求LS約為6 969 TB。

2.3 系統(tǒng)設(shè)備配置建議

數(shù)據(jù)服務(wù)能力需求、應(yīng)用服務(wù)能力需求和數(shù)據(jù)存儲(chǔ)容量需求計(jì)算完畢后，通過(guò)TPC－C網(wǎng)站可檢索服務(wù)器設(shè)備處理能力，表2列出了部分服務(wù)器設(shè)備的處理能力，可結(jié)合系統(tǒng)的數(shù)據(jù)服務(wù)能力需求以及應(yīng)用服務(wù)能力需求選擇、配置相應(yīng)的服務(wù)器型號(hào)、數(shù)量;數(shù)據(jù)存儲(chǔ)設(shè)備可根據(jù)數(shù)據(jù)存儲(chǔ)容量需求進(jìn)行配置。針對(duì)本案例中對(duì)數(shù)據(jù)服務(wù)能力、應(yīng)用服務(wù)能力和數(shù)據(jù)存儲(chǔ)容量的需求，建議的設(shè)備配置如表3所示。

表2 服務(wù)器處理能力列表

表3 建議的設(shè)備配置表

3 結(jié)束語(yǔ)

所述的遙感數(shù)據(jù)服務(wù)系統(tǒng)需求估算方法是一種技術(shù)參數(shù)結(jié)合工程經(jīng)驗(yàn)參數(shù)的服務(wù)設(shè)備需求計(jì)算方法，經(jīng)適當(dāng)?shù)財(cái)U(kuò)展可具備一定的通用性。在工程經(jīng)驗(yàn)豐富的前提下，計(jì)算公式中涉及的經(jīng)驗(yàn)參數(shù)更加準(zhǔn)確，數(shù)據(jù)服務(wù)能力需求估算模型可準(zhǔn)確估算數(shù)據(jù)庫(kù)服務(wù)器能力需求，應(yīng)用服務(wù)能力需求估算模型可用于確定計(jì)算服務(wù)器的能力需求，數(shù)據(jù)存儲(chǔ)容量需求可明確系統(tǒng)存儲(chǔ)設(shè)備的需求，各項(xiàng)結(jié)果可為系統(tǒng)配置和選型提供有力的支持。

［1］張兆霞，朱龍文.基于遙感衛(wèi)星的系列正射影像圖制作［J］.影像技術(shù)，2004(3):39－42.

［2］曠 達(dá)，沈 艷，牛 錚，等.衛(wèi)星反演降水產(chǎn)品誤差隨時(shí)空分辨率和雨強(qiáng)的變化特征分析［J］.遙感信息，2012，27(4):75－81.

［3］劉 毅，呂達(dá)仁，陳洪濱，等.衛(wèi)星遙感大氣CO2的技術(shù)與方法進(jìn)展綜述［J］.遙感技術(shù)與應(yīng)用，2011，26(2):247－254.

［4］王忠華.J2EE應(yīng)用服務(wù)器資源優(yōu)化機(jī)制的研究與實(shí)現(xiàn)［D］.長(zhǎng)沙:國(guó)防科技大學(xué)，2008.

［5］許 靜.高效信息收發(fā)軟件系統(tǒng)設(shè)計(jì)分析［J］.無(wú)線(xiàn)電工程，2011，41(9):7 －10.

［6］馬萬(wàn)權(quán)，王士成，劉建坡.大幅面遙感影像分發(fā)技術(shù)研究［J］.無(wú)線(xiàn)電工程，2006，36(6):7 －10.

［7］陳 峻.公開(kāi)情報(bào)信息搜集分析系統(tǒng)總體設(shè)計(jì)［J］.無(wú)線(xiàn)電通信技術(shù)，2008，34(3):38－40.