智慧云平臺(tái)計(jì)算資源測(cè)算的實(shí)踐與應(yīng)用
——以某市智慧綠道為例

張學(xué)川，胡斌

（四川省建筑設(shè)計(jì)研究院有限公司）

1 引言

智慧城市云平臺(tái)利用云技術(shù)，將計(jì)算、存儲(chǔ)等資源進(jìn)行虛擬化整合，形成云資源池。根據(jù)業(yè)務(wù)應(yīng)用的需求，以云資源作為服務(wù)，提供給各類智慧城市應(yīng)用，集約分配調(diào)度計(jì)算、存儲(chǔ)等資源，同時(shí)也減少了應(yīng)用和平臺(tái)軟件的重復(fù)開發(fā)時(shí)間和經(jīng)濟(jì)成本。

在智慧城市平臺(tái)建設(shè)中，計(jì)算與存儲(chǔ)資源層為智慧城市提供數(shù)據(jù)存儲(chǔ)和計(jì)算及相關(guān)軟件資源，從而保障上層對(duì)數(shù)據(jù)的相關(guān)需求[1]。因此，對(duì)平臺(tái)計(jì)算資源的測(cè)算是合理規(guī)劃、準(zhǔn)確配置和正確選型設(shè)備及硬件設(shè)備投資測(cè)算的核心。本文以某市智慧綠道為例，結(jié)合項(xiàng)目特性，在對(duì)各個(gè)智慧應(yīng)用子系統(tǒng)業(yè)務(wù)規(guī)模分析的基礎(chǔ)上，基于TPC-C基準(zhǔn)測(cè)試的服務(wù)器性能需求計(jì)算模型，測(cè)算智慧綠道應(yīng)用系統(tǒng)的計(jì)算資源需求，為項(xiàng)目的實(shí)施規(guī)模、硬件架構(gòu)、硬件選型及投資測(cè)算提供有力支持。

2 智慧綠道云資源架構(gòu)

某市智慧綠道項(xiàng)目為“一主六次”的綠道體系，規(guī)劃接入物聯(lián)網(wǎng)應(yīng)用設(shè)備六十余萬臺(tái)，橫跨城市多個(gè)區(qū)域，社會(huì)影響力較大。結(jié)合該項(xiàng)目特點(diǎn)及運(yùn)營(yíng)管理需要，項(xiàng)目采用私有云與公有云相結(jié)合的混合云架構(gòu)，既能保證本地系統(tǒng)服務(wù)的快速響應(yīng)，又能實(shí)現(xiàn)異地容災(zāi)、業(yè)務(wù)擴(kuò)展的彈性伸縮。

1）公有云部署

根據(jù)服務(wù)對(duì)象的特點(diǎn)，面向公眾服務(wù)、大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)應(yīng)用等存在彈性需求的系統(tǒng)，以及需要使用公有云基礎(chǔ)資源系統(tǒng)部署在公有云。

2）私有云部署

綜合使用者和安全性特點(diǎn)，綠道運(yùn)營(yíng)公司內(nèi)部、政府監(jiān)管部門、商家內(nèi)部管理及綠道自身基礎(chǔ)設(shè)施管理系統(tǒng)部署在私有云。

3）公有、私有云兩地部署

基于安全性考慮，聯(lián)動(dòng)控制平臺(tái)和GIS服務(wù)平臺(tái)為本案例的核心平臺(tái)，采用兩地部署以實(shí)現(xiàn)冗余。

3 計(jì)算資源分析

3.1 計(jì)算業(yè)務(wù)量分析

計(jì)算資源由服務(wù)器提供，用戶需要一種簡(jiǎn)單、高效的度量標(biāo)準(zhǔn)量化評(píng)價(jià)服務(wù)器系統(tǒng)。包括TPC、SPEC、SAPSD、Linpack和HPCC在內(nèi)的眾多服務(wù)器評(píng)測(cè)體系，從處理器性能、服務(wù)器系統(tǒng)性能、商業(yè)應(yīng)用性能、高性能計(jì)算機(jī)的性能等方面都給出了量化評(píng)價(jià)指標(biāo)[2]。

在智慧城市云平臺(tái)中，智慧應(yīng)用系統(tǒng)的業(yè)務(wù)過程屬于面向交易的處理過程，基本特征在于用戶通過終端進(jìn)行訪問時(shí)，由服務(wù)層計(jì)算中心完成處理，并在系統(tǒng)規(guī)定的響應(yīng)時(shí)間內(nèi)返回處理結(jié)果，屬于典型的聯(lián)機(jī)事物處理應(yīng)用范疇，更適合采用TPC-C基準(zhǔn)測(cè)試系統(tǒng)。

在智慧綠道的規(guī)劃設(shè)計(jì)中，度量應(yīng)用系統(tǒng)服務(wù)器業(yè)務(wù)處理能力時(shí)，采用TPC-C基準(zhǔn)測(cè)試流量指標(biāo)TPM值為依據(jù)；而平臺(tái)中的AI服務(wù)器、物聯(lián)網(wǎng)平臺(tái)和大數(shù)據(jù)平臺(tái)的計(jì)算資源，由于其業(yè)務(wù)特征，不適合采用TPM值測(cè)算。因此，在項(xiàng)目測(cè)算中，給出計(jì)算資源估算數(shù)據(jù)的方式，本文中估算統(tǒng)一以Intel(R)Xeon(R)CPU（E5-2680V4）為計(jì)算基準(zhǔn)。

3.2 應(yīng)用系統(tǒng)計(jì)算資源估算

在明確系統(tǒng)業(yè)務(wù)需求和業(yè)務(wù)規(guī)模的情況下，把這些工程滿足期內(nèi)必須要完成的宏觀業(yè)務(wù)需求轉(zhuǎn)換成一個(gè)特定時(shí)間范圍內(nèi)的真實(shí)業(yè)務(wù)需求；把真實(shí)業(yè)務(wù)處理請(qǐng)求在其系統(tǒng)中換算成一定數(shù)量的具體服務(wù)器業(yè)務(wù)處理事務(wù)。把這些事務(wù)按照不同的復(fù)雜度和TPC-C基準(zhǔn)測(cè)試進(jìn)行對(duì)比，進(jìn)一步換算成一定數(shù)量的TPC-C基準(zhǔn)測(cè)試基本單元，即該項(xiàng)業(yè)務(wù)操作相較于標(biāo)準(zhǔn)TPC-C測(cè)試基準(zhǔn)環(huán)境交易的復(fù)雜程度比例[3]。把整個(gè)系統(tǒng)需要處理的各類事務(wù)所對(duì)應(yīng)的基準(zhǔn)測(cè)試基本單元分別相加起來，最后得到服務(wù)器處理這些真實(shí)事務(wù)請(qǐng)求所需的業(yè)務(wù)處理能力。

為方便智慧綠道應(yīng)用系統(tǒng)TPM值計(jì)算，將應(yīng)用分為3大類：面向游客、商家和綠道管理者。

假設(shè)某智慧應(yīng)用系統(tǒng)中用戶數(shù)量為U，在系統(tǒng)業(yè)務(wù)處理峰值時(shí)，一分鐘內(nèi)用戶同時(shí)向服務(wù)器發(fā)出事務(wù)處理請(qǐng)求次數(shù)為K。若這些事務(wù)處理請(qǐng)求有N種，每種事務(wù)請(qǐng)求次數(shù)為N1,N2,…，且所有并發(fā)用戶中提出這N種事務(wù)處理請(qǐng)求的比例分別為P1,P2,…,PN，因?yàn)樗胁l(fā)用戶都可能在一分鐘內(nèi)發(fā)送N種事務(wù)請(qǐng)求。服務(wù)器處理業(yè)務(wù)處理請(qǐng)求所執(zhí)行的業(yè)務(wù)操作，相較于標(biāo)準(zhǔn)TPC-C測(cè)試基準(zhǔn)環(huán)境交易的復(fù)雜程度比例即該操作所占的TPC-C事務(wù)數(shù)量分別為T1,T2,…,TN?？紤]服務(wù)器自身開銷F和一定的冗余量R[4]，則該智慧應(yīng)用系統(tǒng)在訪問用戶數(shù)量為峰值的情況下，對(duì)服務(wù)器的處理能力需求計(jì)算基本模型為：

本案例中為簡(jiǎn)化計(jì)算將服務(wù)器開銷及其他損耗占用采用經(jīng)驗(yàn)系數(shù)方式取代，公式簡(jiǎn)化為TPM=

①按實(shí)際工程經(jīng)驗(yàn)，經(jīng)驗(yàn)系數(shù)1.6。

②考慮服務(wù)器保留30%的冗余系數(shù)(R)。

3.2.1 面向游客系統(tǒng)

①日高峰游客為16.5萬人，高峰時(shí)期同時(shí)在綠道人數(shù)按5萬游客計(jì)，根據(jù)運(yùn)營(yíng)商資料估算10%的游客會(huì)訪問綠道應(yīng)用，則同時(shí)在線用戶數(shù)為5000人（U）。

②平均每個(gè)在線用戶發(fā)出2次/min業(yè)務(wù)，高峰時(shí)處理量為平均值的5倍即10次/min(K)。

③每次請(qǐng)求復(fù)雜度相當(dāng)于15個(gè)事務(wù)（T）。

應(yīng)用服務(wù)器TPM=U·K·T·經(jīng)驗(yàn)系數(shù)/（1-R）=5000×10×15×1.6/（1-0.3）=1714286tpmC

根據(jù)經(jīng)驗(yàn)值，數(shù)據(jù)庫服務(wù)器的處理能力為應(yīng)用服務(wù)器的1.5倍，所以數(shù)據(jù)庫服務(wù)器的處理性能估算為：TPM=1714286×1.5=2571429tpmC。

面向游客應(yīng)用的總TPM=4285715tpmC。

3.2.2 面向商家系統(tǒng)

①按年游客1200萬人，人均交易1筆/年計(jì)算，平均每分鐘交易次數(shù)=1200萬/365d/1440min=23次/min，考慮高峰期人流增長(zhǎng)5倍，交易額也增加5倍為115次/mi（nK）。

②根據(jù)電商交易的統(tǒng)計(jì)數(shù)據(jù)，每次交易會(huì)觸發(fā)30次各類請(qǐng)求（N）。

③每次請(qǐng)求復(fù)雜度相當(dāng)于20個(gè)事務(wù)（T）。

應(yīng)用服務(wù)器TPM=K·N·T·經(jīng)驗(yàn)系數(shù)（/1-R）=115×30×20×1.6（/1-0.3）=157715tpmC。

根據(jù)經(jīng)驗(yàn)值，數(shù)據(jù)庫服務(wù)器的處理能力為應(yīng)用服務(wù)器的1.5倍，所以數(shù)據(jù)庫服務(wù)器的處理性能估算為：TPM=157715×1.5=236573tpmC。

面向商家應(yīng)用的總TPM=394288tpmC。

3.2.3 面向綠道管理者系統(tǒng)

①面向綠道管理者的應(yīng)用，少量請(qǐng)求是管理人員手動(dòng)觸發(fā)的，大量請(qǐng)求是系統(tǒng)內(nèi)部自動(dòng)觸發(fā)的，根據(jù)智慧綠道配置的系統(tǒng)，估算每分鐘請(qǐng)求量為6000,忙時(shí)的處理量為平均值的5倍30000次/min（K）。

②每次請(qǐng)求復(fù)雜度相當(dāng)于20個(gè)事務(wù)（T）。

應(yīng)用服務(wù)器TPM=K·N·T·經(jīng)驗(yàn)系數(shù)/（1-R）=30000×20×1.6/（1-0.3）=1371428tpmC。

根據(jù)經(jīng)驗(yàn)值，數(shù)據(jù)庫服務(wù)器的處理能力為應(yīng)用服務(wù)器的1.5倍，所以數(shù)據(jù)庫服務(wù)器的處理性能估算為：TPM=2468571×1.5=2057143tpmC。

面向綠道管理者應(yīng)用總TPM=3428571tpmC。

3.2.4 應(yīng)用系統(tǒng)計(jì)算資源估算匯總（見表1）

表1 應(yīng)用系統(tǒng)計(jì)算資源估算匯總表

3.3 AI服務(wù)器計(jì)算資源估算

AI服務(wù)器用于對(duì)攝像機(jī)上傳的視頻進(jìn)行AI計(jì)算。包括人群聚集、人頭數(shù)檢測(cè)和人臉識(shí)別等，部署在公有云。本案例根據(jù)建設(shè)規(guī)模17000路攝像機(jī)的20%進(jìn)行AI分析，共3400個(gè)，考慮余量按3500個(gè)計(jì)算。

AI服務(wù)器計(jì)算資源估算約定如下：

①需要進(jìn)行人臉識(shí)別AI計(jì)算的攝像機(jī)數(shù)占AI分析攝像機(jī)的20%為700個(gè)（N1）；

③人群聚集、人數(shù)統(tǒng)計(jì)、軌跡分析、絆線檢測(cè)攝像機(jī)總數(shù)2800個(gè)（N2）；

④一個(gè)TeslaP40GPU可以支持以上算法12.5個(gè)攝像機(jī)；

⑤考慮服務(wù)器保留30%的冗余；

AI服務(wù)器資源計(jì)算為：(N1/P1+N2/P2+N3/P3)/(1-冗余系數(shù))=424個(gè)TeslaP40GPU。

單臺(tái)AI服務(wù)器采用4個(gè)TeslaP40GPU、2個(gè)14核CPU(E5-2680v4)、224GB內(nèi)存的配置，需要106臺(tái)AI服務(wù)器。

3.4 物聯(lián)網(wǎng)平臺(tái)計(jì)算資源估算

接入物聯(lián)網(wǎng)平臺(tái)的設(shè)備包括攝像機(jī)設(shè)備和非攝像機(jī)設(shè)備。對(duì)攝像機(jī)設(shè)備，需要支持設(shè)備管理和數(shù)據(jù)上報(bào)、推流、web播放格式轉(zhuǎn)碼、視頻存儲(chǔ)。對(duì)非攝像機(jī)設(shè)備，例如智能照明的燈控設(shè)備，需要支持設(shè)備管理和數(shù)據(jù)上報(bào)。

本案例部署17000個(gè)攝像機(jī)，按基準(zhǔn)進(jìn)行性能估算，物聯(lián)網(wǎng)平臺(tái)處理推流、web轉(zhuǎn)碼和視頻數(shù)據(jù)存儲(chǔ)，需要的計(jì)算資源計(jì)算如表2所示。

表2 私有云物聯(lián)網(wǎng)平臺(tái)計(jì)算資源估算匯總表

1）攝像機(jī)推流所需計(jì)算資源

不僅要將攝像機(jī)將視頻流推給流媒體服務(wù)器，還要考慮到物聯(lián)網(wǎng)平臺(tái)內(nèi)部的處理邏輯，例如推流的調(diào)度，將視頻流從私有云轉(zhuǎn)發(fā)到公有云，將視頻流轉(zhuǎn)發(fā)到存儲(chǔ)服務(wù)器等開銷，這些計(jì)算能力都要折算到推流功能中。

攝像機(jī)數(shù)/單核可處理推流的攝像機(jī)數(shù)/服務(wù)器冗余系數(shù)=17000/15/（1-30%）=1620個(gè)CPU核

2）攝像機(jī)視頻數(shù)據(jù)存儲(chǔ)所需計(jì)算資源

將一路視頻流寫到存儲(chǔ)服務(wù)器中也需要消耗計(jì)算資源。

攝像機(jī)數(shù)/單核可處理存儲(chǔ)的攝像機(jī)數(shù)/服務(wù)器冗余系數(shù)=17000/150/（1-30%）=162個(gè)CPU核

3）攝像機(jī)web轉(zhuǎn)碼所需計(jì)算資源

CPU采用Intel(R)Xeon(R)E5-2680v4實(shí)測(cè)，單核只能完成1路視頻的web轉(zhuǎn)碼。考慮到分控坐席不超過150個(gè)，限制web轉(zhuǎn)碼最大流數(shù)為150。web轉(zhuǎn)碼最大流數(shù)/單核可處理web轉(zhuǎn)碼的攝像機(jī)數(shù)/服務(wù)器冗余系數(shù)=150/1/（1-30%）=215個(gè)CPU核

4）設(shè)備管理和數(shù)據(jù)上報(bào)所需計(jì)算

非視頻設(shè)備數(shù)/單核可處理非視頻設(shè)備的個(gè)數(shù)/服務(wù)器冗余系數(shù)=670000/500/（1-30%）=1915個(gè)CPU核

公有云需要的物聯(lián)網(wǎng)平臺(tái)計(jì)算資源估算與上表相同，采用4核CPU、8GB內(nèi)存虛擬機(jī)測(cè)算。

3.5 智能化設(shè)施計(jì)算資源估算

智能化設(shè)施部署在私有云，包含以下多個(gè)子系統(tǒng)。根據(jù)建設(shè)經(jīng)驗(yàn)，結(jié)合智慧綠道的用戶規(guī)模，建議本期工程的服務(wù)器配置如表3所示。

表3 智能化設(shè)施計(jì)算資源估算匯總表

3.6 大數(shù)據(jù)平臺(tái)計(jì)算資源估算

大數(shù)據(jù)平臺(tái)部署在公有云。根據(jù)前面估算的數(shù)據(jù)存儲(chǔ)量，500TB規(guī)模的大數(shù)據(jù)平臺(tái)可以滿足需求，按大數(shù)據(jù)平臺(tái)建設(shè)經(jīng)驗(yàn)配置6臺(tái)×控制節(jié)點(diǎn)服務(wù)器；數(shù)據(jù)存儲(chǔ)按3副本存儲(chǔ)，需32臺(tái)×存儲(chǔ)節(jié)點(diǎn)服務(wù)器。

3.7 計(jì)算資源估算匯總

物聯(lián)網(wǎng)平臺(tái)和綠道應(yīng)用系統(tǒng)采用CPU(E5-2680V4)作為計(jì)算基準(zhǔn)，在計(jì)算機(jī)器數(shù)時(shí)，仍采用單機(jī)2個(gè)14核CPU(E5-2680V4)的配置作為機(jī)器數(shù)的估算基準(zhǔn),由于E5-2680V4具備超線程能力,實(shí)際可作為2×14×2=56個(gè)CPU核，虛擬化后性能損失在5%～30%，取中間值15%，可作為48個(gè)CPU核。

混合云部署時(shí)應(yīng)保證在私有云互聯(lián)網(wǎng)出口和專線斷開情況下，私有云仍能提供基本的服務(wù)能力，包括安防監(jiān)控、物聯(lián)網(wǎng)設(shè)備控制和信息推送等服務(wù)。公有云和私有云的計(jì)算資源匯總?cè)绫?-5所示。

表4 私有云計(jì)算資源匯總表

續(xù)表

表5 公有云計(jì)算資源匯總表

4 結(jié)語

本文在智慧云平臺(tái)建設(shè)的背景下，通過對(duì)具備典型性的某市智慧綠道云平臺(tái)為案例，對(duì)云平臺(tái)計(jì)算資源需求做出分析和測(cè)算，提供一種可供參考的云計(jì)算資源的計(jì)算方法?；赥PC-C基準(zhǔn)測(cè)試的服務(wù)器性能需求計(jì)算模型，雖然是一種針對(duì)平臺(tái)性能很好的測(cè)算模型，但在實(shí)際的云平臺(tái)項(xiàng)目中受推進(jìn)過程階段的限制，不一定能在項(xiàng)目前期獲得足夠的參數(shù)條件。在測(cè)算過程中，要通過靈活使用，不拘泥于模型，并靈活地輔以其他測(cè)算、估算方式，甚至是經(jīng)驗(yàn)配置方式。

本文在實(shí)踐中靈活地應(yīng)用了不同的測(cè)算方式組合，雖然可能導(dǎo)致了一定的計(jì)算偏差，但卻將偏差控制在工程可接受的范圍內(nèi)，確保測(cè)算時(shí)項(xiàng)目所在階段順利推進(jìn)，并為平臺(tái)建設(shè)硬件需求規(guī)模和投資規(guī)模測(cè)算以及項(xiàng)目投資測(cè)算提供了有力參考。