地面資源保障航天測運控任務(wù)質(zhì)量評價指標(biāo)體系構(gòu)建

沈 瑩, 龔明書, 郭丹妮, 蘭 龍, 原東陽

(西安衛(wèi)星測控中心, 西安 710043)

1 引言

航天發(fā)射及日常管理任務(wù)離不開地面測運控資源的服務(wù)保障[1],其中測控任務(wù)主要完成航天器平臺的運行管理,數(shù)傳任務(wù)主要實現(xiàn)載荷數(shù)據(jù)接收及應(yīng)用等。設(shè)備跟蹤接收情況、任務(wù)需求滿足情況及實際效果反饋等是評價測運控任務(wù)完成質(zhì)量的重要指標(biāo)。

國外針對地面資源運行質(zhì)量評價的研究多是通過量化指標(biāo)結(jié)果反饋資源調(diào)度算法的有效性,以獲得算法效率改進,如美國空間衛(wèi)星控制網(wǎng)絡(luò)針對衛(wèi)星調(diào)度系統(tǒng)提出基于資源依賴度的瓶頸資源評價方法[2],以期大幅提高資源調(diào)度算法的運行效率;ESA 在測控網(wǎng)任務(wù)規(guī)劃調(diào)度系統(tǒng)中提出任務(wù)完成率和資源利用率等評估指標(biāo),完善基于任務(wù)優(yōu)先級的資源調(diào)度策略優(yōu)劣評價方法[3]。姚智海等[4]、賈純鋒等[5]在確定測控資源調(diào)度評估指標(biāo)要素的基礎(chǔ)上,構(gòu)建分層多維的測控資源調(diào)度效能評估指標(biāo)體系,并集中針對測控網(wǎng)單套設(shè)備運行質(zhì)量進行綜合評估研究。以上關(guān)于資源保障任務(wù)質(zhì)量的評價主要集中在設(shè)備運行質(zhì)量、資源調(diào)度能力評估等方面,未將資源調(diào)度、設(shè)備跟蹤情況及用戶反饋效果等作為任務(wù)整體完成情況的評價對象。

本文從地面資源保障測運控任務(wù)完成質(zhì)量角度出發(fā),考慮從用戶提交申請到接收數(shù)據(jù)應(yīng)用的整個任務(wù)閉環(huán)過程,并進行評價。通過分析梳理影響地面資源保障測運控任務(wù)質(zhì)量的各類指標(biāo)要素、評價指標(biāo)選用原則及分類等,分別構(gòu)建測控、數(shù)傳兩大類任務(wù)執(zhí)行質(zhì)量的評價指標(biāo)體系,實現(xiàn)對某類型任務(wù)完成質(zhì)量全面、客觀地評價,為任務(wù)完成質(zhì)量提升給出指導(dǎo)性建議。

2 任務(wù)完成質(zhì)量評價要素

地面資源是保障各類任務(wù)完成的基礎(chǔ)力量,可將其類比為提供服務(wù)保障的企業(yè),各類任務(wù)類比為服務(wù)保障的對象,將任務(wù)保障質(zhì)量評價類比為通用的服務(wù)質(zhì)量評估,即根據(jù)某類標(biāo)準和某種規(guī)則、采用規(guī)定的工具和方法,對服務(wù)質(zhì)量優(yōu)劣進行客觀評價和衡量的活動過程。服務(wù)質(zhì)量涉及一系列要素,這些要素具有相互作用和相互依賴關(guān)系,共同構(gòu)成服務(wù)保障質(zhì)量整體。由于構(gòu)成企業(yè)的資源、崗位、流程等各種要素都會影響服務(wù)質(zhì)量及評估結(jié)果,因此需建立服務(wù)質(zhì)量評價體系[6],并針對不同類型任務(wù)建立完成質(zhì)量評價指標(biāo)體系。

服務(wù)質(zhì)量評估指標(biāo)中的有形性、可靠性、響應(yīng)性要素可作為考量指標(biāo),其中有形性指服務(wù)產(chǎn)品中的有形部分,如各種設(shè)備設(shè)施等。服務(wù)的有形性從兩方面影響用戶對服務(wù)質(zhì)量的認識,一方面提供有關(guān)服務(wù)質(zhì)量本身的有形線索,另一方面直接影響用戶對服務(wù)質(zhì)量的感知?？煽啃灾笢蚀_無誤地完成所承諾的服務(wù)。響應(yīng)性指隨時準備為用戶提供快捷、有效的服務(wù),服務(wù)效率從另一側(cè)面反映服務(wù)質(zhì)量。

2.1 資源調(diào)度保障任務(wù)需求情況

2.1.1 任務(wù)需求滿足度

任務(wù)需求滿足度主要包括對用戶提交的日常及應(yīng)急需求的滿足情況,應(yīng)急需求相比日常需求對資源保障提出更高要求。任務(wù)需求滿足度RSi指在某時段內(nèi),用戶申請資源已滿足數(shù)量在任務(wù)需求總量中的占比,如式(1)所示。

式中,i= 1 表示日常;i= 2 表示應(yīng)急,R為全網(wǎng)承擔(dān)某任務(wù)的資源集合,S為已分配計劃的任務(wù)集合,Esri為第s顆衛(wèi)星在資源r上任務(wù)集合中元素的數(shù)量;U為某類任務(wù),NDu為第u個用戶的任務(wù)需求數(shù)量。

2.1.2 平均響應(yīng)時長

時效性也是評價任務(wù)完成質(zhì)量需要考慮的一個重要指標(biāo)。平均響應(yīng)時長TK為在指定時段內(nèi)的應(yīng)急資源調(diào)度從收到用戶資源使用申請開始至向用戶反饋資源使用計劃為止的平均消耗時長,該值越小,動態(tài)調(diào)整時效性越好,如式(2)所示。

式中,Tsk表示第s類任務(wù)中第k個應(yīng)急任務(wù)的響應(yīng)時長,K為指定時段內(nèi)應(yīng)急任務(wù)集合,Ks為第s類任務(wù)中應(yīng)急任務(wù)總量。為統(tǒng)一指標(biāo)評價要素,對平均響應(yīng)時長進行歸一化處理,其中T為約定的最長響應(yīng)時長。

2.2 設(shè)備跟蹤任務(wù)質(zhì)量

設(shè)備根據(jù)工作計劃完成跟蹤任務(wù),其跟蹤質(zhì)量對任務(wù)完成質(zhì)量評價的影響較為直接,針對測控、數(shù)傳2 種類型任務(wù),對設(shè)備跟蹤任務(wù)質(zhì)量評價的側(cè)重點也有所不同。

2.2.1 測控任務(wù)跟蹤成功率

測控任務(wù)跟蹤成功率針對發(fā)射、應(yīng)急及日常3 類任務(wù)定義有所不同。發(fā)射任務(wù)成功率綜合考慮遙外測數(shù)據(jù)接收、遙控指令上注完成情況;應(yīng)急任務(wù)成功率重點關(guān)注遙控指令上注完成情況;日常任務(wù)成功率則根據(jù)所安排圈次具體工作內(nèi)容確定。測控任務(wù)跟蹤成功率ETj反映設(shè)備在評估時間內(nèi),根據(jù)工作計劃完成測控任務(wù)跟蹤的成功率,低軌、中高軌航天器分別以圈數(shù)、時長進行統(tǒng)計,如式(3)所示。

式中,j= 1、2、3 分別對應(yīng)發(fā)射、應(yīng)急及日常任務(wù),R為任務(wù)s已分配計劃的設(shè)備集合,Ers為設(shè)備工作計劃中所跟蹤的任務(wù)總量,ECj、ETj分別表示設(shè)備成功執(zhí)行上行遙控指令、接收遙測數(shù)據(jù)的任務(wù)量。

2.2.2 數(shù)傳任務(wù)跟蹤成功率

與測控任務(wù)不同,設(shè)備執(zhí)行數(shù)傳任務(wù)質(zhì)量除了考慮跟蹤接收成功率ER,數(shù)據(jù)的傳輸質(zhì)量和傳輸速率也是需要考量的重要指標(biāo)要素。

1)跟蹤接收成功率ER。指設(shè)備在評估時間內(nèi),根據(jù)工作計劃完成數(shù)傳任務(wù)跟蹤的成功率,數(shù)傳任務(wù)重點關(guān)注數(shù)據(jù)接收的成功率,如式(4)所示。

式中,Er表示設(shè)備成功接收數(shù)傳數(shù)據(jù)的任務(wù)量。

2)數(shù)據(jù)傳輸成功率DT。指傳輸成功的任務(wù)數(shù)量和計劃傳輸任務(wù)數(shù)量的比值,用于評價數(shù)據(jù)傳輸質(zhì)量,如式(5)所示。

式中,D為任務(wù)t已分配計劃的設(shè)備集合,Edt為設(shè)備數(shù)傳工作計劃中所跟蹤任務(wù)的總?cè)?shù),Ed為數(shù)據(jù)傳輸成功的任務(wù)圈數(shù)。

3)數(shù)據(jù)平均傳輸速率AV。指傳輸任務(wù)數(shù)據(jù)的平均耗時,反映任務(wù)執(zhí)行的時效性,如式(6)所示。

式中,Tdv為第D類任務(wù)中第v個數(shù)傳任務(wù)數(shù)據(jù)的傳輸時長,Kd為第D類任務(wù)數(shù)傳任務(wù)總量。為統(tǒng)一指標(biāo)要素,對平均傳輸速率進行歸一化處理(1-AV/T) ,其中T為約定的最慢傳輸速率。

2.3 用戶反饋及行為評價

2.3.1 用戶反饋執(zhí)行效果

用戶反饋執(zhí)行效果主要包括測控業(yè)務(wù)用戶對遙控指令執(zhí)行正確率(TC)、遙外測數(shù)據(jù)接收正確率(TM)的反饋;數(shù)傳業(yè)務(wù)用戶在接收和處理業(yè)務(wù)數(shù)據(jù)時記錄的數(shù)據(jù)處理成功率(DP)、段成功占比(SS)的反饋,其中段成功占比主要針對長弧段任務(wù)數(shù)據(jù)接收情況,即某弧段內(nèi)接收正確數(shù)據(jù)量和總數(shù)據(jù)量的比值。以上指標(biāo)均為正確數(shù)值與總數(shù)值的比值,此處不再羅列計算公式。

2.3.2 用戶行為評價

對各業(yè)務(wù)用戶行為的評價指標(biāo)主要包括有效申請率和計劃未執(zhí)行率。有效申請率(RQ)指某時段內(nèi)用戶發(fā)送測控/數(shù)傳申請符合規(guī)范要求的情況,即符合要求的申請數(shù)與總申請數(shù)的比值,該指標(biāo)反映用戶提交申請的有效性;計劃未執(zhí)行率(PC)指數(shù)傳業(yè)務(wù)用戶未按約定取消已生成計劃的情況,即未執(zhí)行圈數(shù)與已安排計劃圈數(shù)的比值,該指標(biāo)值越高,因用戶原因造成資源浪費的程度越嚴重。

3 任務(wù)質(zhì)量評價指標(biāo)體系

3.1 構(gòu)建指標(biāo)體系

從任務(wù)完成的閉環(huán)過程出發(fā),地面資源保障測運控任務(wù)完成質(zhì)量評價主要包括以下方面:①資源調(diào)度系統(tǒng)滿足用戶資源使用需求的情況;②設(shè)備執(zhí)行任務(wù)完成質(zhì)量的情況;③用戶對執(zhí)行效果的反饋及自身行為的評價。從以上3 個環(huán)節(jié)綜合評價不同類型任務(wù)完成質(zhì)量是較為全面和客觀的。

本文區(qū)分測控、數(shù)傳兩大類任務(wù)特點,建立完成質(zhì)量的評價指標(biāo)體系,分別如表1、表2 所示。

表1 地面資源保障測控任務(wù)完成質(zhì)量評價指標(biāo)體系Table 1 Evaluation index system for resource assurance of TT & C task

表2 地面資源保障數(shù)傳任務(wù)完成質(zhì)量評價指標(biāo)體系Table 2 Evaluation index system for resource assurance of data transm ission task

1)設(shè)備跟蹤任務(wù)質(zhì)量反映了地面資源按照工作計劃完成測控、數(shù)傳任務(wù)質(zhì)量,區(qū)分設(shè)備跟蹤測控任務(wù)質(zhì)量,主要包括發(fā)射任務(wù)跟蹤成功率、應(yīng)急測控任務(wù)跟蹤成功率及日常測控任務(wù)跟蹤成功率3 個指標(biāo)層指標(biāo);設(shè)備跟蹤數(shù)傳任務(wù)質(zhì)量,主要包括跟蹤接收成功率、數(shù)據(jù)傳輸成功率及數(shù)據(jù)平均傳輸速率3 個指標(biāo)層指標(biāo)[7]。

2)資源調(diào)度保障任務(wù)需求質(zhì)量反映了資源調(diào)度系統(tǒng)滿足用戶資源需求質(zhì)量,主要包括資源調(diào)度系統(tǒng)對應(yīng)急測控需求、日常測控需求的滿足度及平均響應(yīng)時長3 個指標(biāo)層指標(biāo)。

3)用戶行為及執(zhí)行效果反饋主要從用戶角度考慮對任務(wù)完成質(zhì)量的影響,測控任務(wù)主要包括遙控指令執(zhí)行、遙外測數(shù)據(jù)接收成功率及有效申請率3 個指標(biāo)層指標(biāo);數(shù)傳任務(wù)主要包括數(shù)據(jù)處理成功率、段成功占比、有效申請率及計劃未執(zhí)行率4 個指標(biāo)層指標(biāo)。

3.2 確立指標(biāo)權(quán)重

1-9 標(biāo)度法作為層次分析法中較多使用的權(quán)重確定方法,可用于獲取測運控任務(wù)完成質(zhì)量各要素間重要程度關(guān)系,且計算簡便易操作。通過構(gòu)造指標(biāo)層和任務(wù)層判斷矩陣,計算其指標(biāo)的一致性權(quán)重向量,并對判斷矩陣進行一致性檢驗,對指標(biāo)層各指標(biāo)進行綜合權(quán)重計算,進而給出地面資源保障不同類型任務(wù)完成質(zhì)量的綜合評價[8-10]。

3.2.1 測控任務(wù)指標(biāo)權(quán)重

表3 所示為設(shè)備跟蹤測控任務(wù)質(zhì)量(ET)-指標(biāo)層的判斷矩陣?？傻脷w一化權(quán)向量V1=[0.557 0.321 0.122]T,最大特征值λ1= 3。對判斷矩陣進行歸一化檢驗,可得一致性算子AI1=(3 - 3)/(3 - 1)=0,經(jīng)查詢,平均隨機一致性指標(biāo)表可得修正因子RI= 0.58,經(jīng)計算一致性指標(biāo)AR1=AI1/RI=0/0.58＜0.1,故表3 所示判斷矩陣具有滿意的一致性。

表3 設(shè)備跟蹤測控任務(wù)質(zhì)量(ET)-指標(biāo)層判斷矩陣Table 3 Index layer judgment matrix for device tracking TT&C task quality (ET)

表4 所示為資源調(diào)度保障任務(wù)需求質(zhì)量(SQ)-指標(biāo)層的判斷矩陣?？傻脷w一化權(quán)向量V2= [0.524 0.304 0.172]T,最大特征值λ2=3.001。對判斷矩陣進行歸一化檢驗,可得一致性算子AI2=(3.001 - 3)/(3 - 1)= 0.001,經(jīng)查詢平均隨機一致性指標(biāo)表可得修正因子RI= 0.58,經(jīng)計算一致性指標(biāo)AR2=AI2/RI=0.001/0.58＜0.1,故表4 所示判斷矩陣具有滿意的一致性。

表4 資源調(diào)度保障任務(wù)需求質(zhì)量(SQ)-指標(biāo)層判斷矩陣Table 4 Index layer judgment matrix for resource assurance requirements quality (SQ)

表5 所示為用戶行為及效果反饋(AF)-指標(biāo)層的判斷矩陣?？傻脷w一化權(quán)向量V3=[0.62 0.224 0.156]T, 最 大 特 征 值λ3=3.001。對判斷矩陣進行歸一化檢驗,可得一致性算子AI3=(3.001 - 3)/(3 - 1)= 0.001,經(jīng)計算一致性指標(biāo)AR3=AI3/RI=0.001/0.58＜0.1,故表5 所示判斷矩陣具有滿意的一致性。

表5 用戶行為及效果反饋(AF) -指標(biāo)層判斷矩陣Table 5 Index layer judgment matrix for user’s action and efficiency feedback (AF)

表6 所示為質(zhì)量層(QC)-任務(wù)層的判斷矩陣?？傻脷w一化權(quán)向量V= [0.49 0.312 0.198]T,最大特征值λ= 3。對判斷矩陣進行歸一化檢驗,可得一致性算子AI= (3 -3)/(3 -1)= 0,經(jīng)計算一致性指標(biāo)AR=AI/RI= 0/0.58＜0.1,故表6 所示判斷矩陣具有滿意的一致性。

表6 質(zhì)量層(QC)-任務(wù)層判斷矩陣Table 6 Task layer judgment matrix for quality layer

3.2.2 數(shù)傳任務(wù)指標(biāo)權(quán)重

表7 所示為設(shè)備跟蹤數(shù)傳任務(wù)質(zhì)量(ED)-指標(biāo)層的判斷矩陣。可得歸一化權(quán)向量U1=[0.655 0.158 0.187]T,最大特征值γ1= 3。對判斷矩陣進行歸一化檢驗,可得一致性算子BI1= (3 - 3)/(3 - 1) = 0,經(jīng)計算一致性指標(biāo)BR1=BI1/RI=0/0.58＜0.1,故表7 所示判斷矩陣具有滿意的一致性。

表7 設(shè)備跟蹤數(shù)傳任務(wù)質(zhì)量(ED) -指標(biāo)層判斷矩陣Table 7 Index layer judgment matrix of device tracking data transm ission task(ED)

資源調(diào)度保障任務(wù)需求質(zhì)量(SQ)-指標(biāo)層的判斷矩陣同3.2.1 節(jié),見表4。

表8 所示為用戶行為及效果反饋(AF)-指標(biāo)層判斷矩陣?？傻脷w一化權(quán)向量U3=[0.482 0.272 0.158 0.088]T,最大特征值γ3=4。對判斷矩陣進行歸一化檢驗,可得一致性算子BI3=(4 - 4)/(4 - 1)=0,經(jīng)查詢平均隨機一致性指標(biāo)表可得修正因子RI1=0.89,經(jīng)計算一致性指標(biāo)BR3=BI3/RI1= 0/0.89＜0.1,故表8所示判斷矩陣具有滿意的一致性。

表8 用戶行為及效果反饋(AF) -指標(biāo)層判斷矩陣Table 8 Index layer judgment matrix for user’s action and efficiency feedback (AF)

表9 所示為質(zhì)量層(QD)-任務(wù)層判斷矩陣。可得歸一化權(quán)向量U=[0.5 0.25 0.25]T,最大特征值γ=3。對判斷矩陣進行歸一化檢驗,可得一致性算子BI=(3-3)/(3-1)=0,經(jīng)計算一致性指標(biāo)BR=BI/RI=0/0.58＜0.1,故表9 所示判斷矩陣具有滿意的一致性。

表9 質(zhì)量層(QD)-任務(wù)層判斷矩陣Table 9 Quality layer-task layer judgment matrix

3.2.3 綜合權(quán)重計算

對測控、數(shù)傳任務(wù)完成質(zhì)量指標(biāo)層各指標(biāo)進行綜合權(quán)重計算,分別見表10、表11。

表10 測控任務(wù)完成質(zhì)量指標(biāo)層綜合權(quán)重Table 10 Com prehensive weight of index layer for TT&C tasks

表11 數(shù)傳任務(wù)完成質(zhì)量指標(biāo)層綜合權(quán)重Table 11 Comprehensive weight of index layer for data transm ission tasks

3.3 評價用例驗證

通過應(yīng)用數(shù)據(jù)驗證,分別以某個月內(nèi)某T類測控任務(wù)、某D類數(shù)傳任務(wù)從需求提交資源調(diào)度系統(tǒng)、設(shè)備跟蹤任務(wù)到用戶反饋效果的整個執(zhí)行過程為例,計算任務(wù)執(zhí)行質(zhì)量綜合評價結(jié)果見表12。

表12 T 類某測控任務(wù)、D 類某數(shù)傳任務(wù)完成質(zhì)量綜合評價Table 12 Comprehensive evaluation of type T and D tasks

可以看出,作為關(guān)鍵指標(biāo)a11、b11、a21、a31、b31均在90%以上,任務(wù)執(zhí)行質(zhì)量綜合評價值QC、QD分別為91 分和84 分。其中,某數(shù)傳任務(wù)綜合評價稍低的主要原因是由于數(shù)據(jù)平均傳輸速率b13、有效申請率b33指標(biāo)值偏低導(dǎo)致,反映出在執(zhí)行該類任務(wù)時存在數(shù)據(jù)傳輸速率過低、用戶提交過多無效申請的問題。針對數(shù)據(jù)傳輸速率偏低,需對設(shè)備及通信網(wǎng)絡(luò)進行問題排查;無效申請則需與用戶溝通其未按要求提交申請的具體原因,避免后續(xù)再發(fā)生此類問題。

4 結(jié)論

本文針對測控、數(shù)傳兩類任務(wù)構(gòu)建地面資源保障任務(wù)質(zhì)量評價指標(biāo)體系,解決目前任務(wù)完成質(zhì)量評價方法較為片面、不易操作的問題。通過用例驗證可以得出以下結(jié)論:

1)該指標(biāo)體系針對任務(wù)完成質(zhì)量的全過程進行評價,具有合理性,可操作性強;

2)根據(jù)綜合評價值及指標(biāo)要素值的高低,能夠輔助發(fā)現(xiàn)系統(tǒng)運行中存在的問題隱患,并提供措施建議,提升地面資源完成航天測運控任務(wù)的保障能力。