李萌萌 吳 晟 李英娜 賈會玲 楊 璽 李 川
(昆明理工大學(xué)信息工程與自動化學(xué)院,昆明 650504)
基于經(jīng)營分析系統(tǒng)的調(diào)度流程掛起自處理方法
李萌萌 吳 晟 李英娜 賈會玲 楊 璽 李 川
(昆明理工大學(xué)信息工程與自動化學(xué)院,昆明 650504)
針對經(jīng)營分析系統(tǒng)中調(diào)度流程掛起后需人工處理和耗時耗力的問題,提出一種基于經(jīng)營分析系統(tǒng)的調(diào)度流程掛起自處理方法。該方法模擬專家系統(tǒng),將流程掛起的原因與處理方法總結(jié)存入一張表中,并配置監(jiān)控進(jìn)程,當(dāng)監(jiān)控到有掛起的流程時,根據(jù)錯誤標(biāo)志,自動匹配處理方法,實(shí)現(xiàn)調(diào)度流程掛起自處理的目的,節(jié)省了大量人力、物力和時間。
任務(wù)調(diào)度 掛起自處理 經(jīng)營分析系統(tǒng) 專家系統(tǒng)
電信運(yùn)營商作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施服務(wù)與增值業(yè)務(wù)服務(wù)的提供者,其信息化建設(shè)狀況長期以來備受關(guān)注[1]。隨著電信市場壟斷格局的打破,市場競爭越來越激烈,電信網(wǎng)絡(luò)方面的差異越來越小[2]。為了提高企業(yè)競爭力,國內(nèi)電信運(yùn)營商紛紛建立起以經(jīng)營分析系統(tǒng)為核心的企業(yè)決策支持體系,通過對公司日常經(jīng)營數(shù)據(jù)的分析、挖掘,為公司決策者和各級管理者提供經(jīng)營決策依據(jù),以實(shí)現(xiàn)精細(xì)化營銷。
經(jīng)營分析系統(tǒng)中的數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)裝載及數(shù)據(jù)分析等各任務(wù)流程是通過總控調(diào)度系統(tǒng)來處理的。在經(jīng)營分析系統(tǒng)的整個實(shí)施過程中,總控調(diào)度系統(tǒng)不但在建立初期會決定經(jīng)營分析系統(tǒng)是否能夠順利進(jìn)行,而且也會影響經(jīng)營分析系統(tǒng)在后續(xù)維護(hù)上的難易程度[3]。移動經(jīng)營分析系統(tǒng)中的總控調(diào)度系統(tǒng)已經(jīng)實(shí)現(xiàn)了任務(wù)調(diào)度的自動化,對系統(tǒng)維護(hù)提供了很大方便。但是調(diào)度任務(wù)并不是總能成功完成的,而且由于調(diào)度任務(wù)涉及經(jīng)營分析系統(tǒng)的各個層面,總是會因?yàn)楦鞣N因素導(dǎo)致任務(wù)流程掛起。目前,總控調(diào)度系統(tǒng)對流程掛起只能是報警和給出錯誤提示,而具體的問題則需要人工來處理。然而經(jīng)營分析系統(tǒng)是24h運(yùn)轉(zhuǎn)的,因此需要花費(fèi)時間和精力來監(jiān)控調(diào)度系統(tǒng)。
經(jīng)營分析系統(tǒng)中每天要運(yùn)行上千任務(wù)流程,這些流程難免會出錯掛起,為此筆者針對當(dāng)前經(jīng)營分析系統(tǒng)中任務(wù)調(diào)度掛起后需人工處理的問題,提出了一種調(diào)度流程掛起自處理的方法。該方法模擬專家系統(tǒng),總結(jié)、存儲各種調(diào)度流程掛起原因及其處理方法,并配置監(jiān)控進(jìn)程,當(dāng)有流程掛起時,根據(jù)錯誤提示,自動匹配處理方法,實(shí)現(xiàn)調(diào)度流程掛起自處理的目的。
經(jīng)營分析系統(tǒng)體現(xiàn)的是通過市場分析,為客戶提供更好服務(wù)的理念[4]。經(jīng)營分析系統(tǒng)主要通過對業(yè)務(wù)支撐系統(tǒng)現(xiàn)有數(shù)據(jù)資源的挖掘與分析,為電信運(yùn)營商提供相應(yīng)的管理分析信息[5]。電信行業(yè)的經(jīng)營分析系統(tǒng)具有關(guān)鍵指標(biāo)控制統(tǒng)計報表、綜合分析和數(shù)據(jù)挖掘統(tǒng)計報表的功能,并且在統(tǒng)計周期的制定中,按照業(yè)務(wù)部門的相關(guān)要求建立統(tǒng)計結(jié)果數(shù)據(jù),進(jìn)行相應(yīng)的匯總,建立完善的分析處理機(jī)制,建立明確的格式報表圖形,然后向有關(guān)部門提供相關(guān)的業(yè)務(wù)預(yù)測和經(jīng)營分析資料綜合分析。
總控調(diào)度系統(tǒng)是經(jīng)營分析系統(tǒng)中的一個子系統(tǒng),是經(jīng)營分析系統(tǒng)中至關(guān)重要的部分??偪卣{(diào)度系統(tǒng)大致分為兩部分:調(diào)度服務(wù)器和agent引擎。調(diào)度服務(wù)器用于解釋定義好的業(yè)務(wù)流程,按照業(yè)務(wù)流程發(fā)送命令調(diào)度相應(yīng)的任務(wù),監(jiān)控業(yè)務(wù)流程調(diào)度執(zhí)行的整個過程。agent引擎主要負(fù)責(zé)各個應(yīng)用服務(wù)器和調(diào)度服務(wù)器之間的通信,根據(jù)調(diào)度服務(wù)器發(fā)出的命令采取相應(yīng)的操作[3]。經(jīng)營分析系統(tǒng)中的各流程任務(wù)都是在總控調(diào)度系統(tǒng)中完成的。
一般認(rèn)為,專家系統(tǒng)就是應(yīng)用于某一專門領(lǐng)域,由知識工程師通過知識獲取手段,將領(lǐng)域?qū)<医鉀Q的特定領(lǐng)域的知識,采用某種知識表示方法編輯或自動生成某種特定表示形式存放在知識庫中,然后用戶通過人機(jī)接口輸入信息、數(shù)據(jù)或命令,運(yùn)用推理機(jī)構(gòu)控制知識庫和整個系統(tǒng),像專家一樣解決困難的、復(fù)雜的實(shí)際問題的計算機(jī)(軟件)系統(tǒng)[6]。按照發(fā)展階段的不同,專家系統(tǒng)分為5個階段:基于規(guī)則的、基于框架的、基于案例的、基于模型的和基于Web的[7]。其中,基于案例的專家系統(tǒng)是一種采用以前的案例求解當(dāng)前問題的技術(shù)[8]。筆者就是模擬基于案例的專家系統(tǒng),將調(diào)度錯誤信息和解決方法總結(jié)存儲起來,當(dāng)再次出現(xiàn)該類錯誤信息時,能夠自動對錯誤進(jìn)行識別與處理,從而達(dá)到自動處理的目的。基于案例的專家系統(tǒng)的難點(diǎn)是,如何從案例庫中尋找到與當(dāng)前問題條件最匹配的案例。雖然總控調(diào)度系統(tǒng)中的流程多,但錯誤信息種類有限,處理方法也有限,甚至多種錯誤信息的處理方法是同一種,因此,采用基于案例的專家系統(tǒng)是可行的。
3.1可行性分析
經(jīng)營分析系統(tǒng)主要包括4層結(jié)構(gòu),即數(shù)據(jù)獲取層、數(shù)據(jù)存儲層、數(shù)據(jù)應(yīng)用層和數(shù)據(jù)訪問層。各層結(jié)構(gòu)的流程任務(wù)都在總控調(diào)度系統(tǒng)中執(zhí)行。在此,筆者以數(shù)據(jù)獲取層為例進(jìn)行調(diào)度流程掛起自處理方法的可行性分析。
經(jīng)營分析系統(tǒng)的數(shù)據(jù)是從各平臺系統(tǒng)提取出來的,因此各接口的類型并不一致;同時,為了平衡經(jīng)營分析系統(tǒng)的性能,數(shù)據(jù)的提取分布在各個時間段,這就導(dǎo)致了在調(diào)度過程中各接口不能統(tǒng)一規(guī)范。如從早到晚的各個時間段都可能有取數(shù)的任務(wù),而上層數(shù)據(jù)的準(zhǔn)確性和及時性都依賴接口的處理,因此,必須保證接口24h都正常。但是在調(diào)度過程中并不能保證接口順利無誤,甚至是經(jīng)常出問題,對于這種情況,目前采用的是輪流值班的方法,顯然這種方法已經(jīng)過時,因此筆者針對這種情況提出了調(diào)度流程掛起自處理方法。
調(diào)度系統(tǒng)中流程掛起后,都會返回一個錯誤提示,在錯誤提示中有錯誤標(biāo)志(通常是數(shù)字,代表錯誤類型)和錯誤信息,如:
5 Download file which record in M0111220150531.CHK fail!AVL file:M0111220150531.AVL
從錯誤提示中可以得到錯誤標(biāo)志“5”,錯誤信息為“下載CHK文件中記錄AVL文件時出錯!”這通常是ETL程序在生成AVL文件時出現(xiàn)的錯誤,一般的做法是重新調(diào)用ETL程序,再喚醒該流程。由于ETL程序是通過命令行的方式調(diào)用的,而流程的喚醒也可以通過命令行實(shí)現(xiàn),因此這兩個命令行命令就是該錯誤的解決方法。
調(diào)度中雖然有上千接口流程,接口類型也不完全一樣,但是當(dāng)流程掛起時,每個掛起的流程都會返回一個錯誤標(biāo)志,這些錯誤的類型并不是很多,相應(yīng)的處理方法也是可以通用的,而且各處理方法都可以通過命令行的方式實(shí)現(xiàn)。因此,可以把這些錯誤類型和處理方法存儲在流程掛起處理表中,并將各種類型的錯誤信息置一個標(biāo)志(該標(biāo)志與錯誤信息返回標(biāo)志一致),當(dāng)有流程掛起時,根據(jù)流程掛起返回的錯誤標(biāo)志掃描掛起處理表,匹配相應(yīng)的錯誤信息,從而找到相應(yīng)的處理方法,然后調(diào)用該處理方法,從而自動處理掛起的流程。
3.2實(shí)現(xiàn)方法
調(diào)度中的接口流程雖多,但掛起時錯誤類型卻并不多,因此按照錯誤類型,將各種掛起的錯誤標(biāo)志、錯誤信息和處理方法存儲在一張表中。再另外設(shè)計一張流程掛起自處理運(yùn)行信息表,用來存儲自處理程序正在處理的流程信息,包括接口編號、數(shù)據(jù)日期、流程的操作類型(通常是FTP或LOAD)和啟動時間。
雖然調(diào)度流程掛起自處理方法模擬的是專家系統(tǒng)的思想,但筆者并不將它設(shè)計成系統(tǒng),而是作為一個流程存在于調(diào)度系統(tǒng)中。調(diào)度流程掛起自處理流程(圖1)以事件觸發(fā)的方式啟動,每當(dāng)有錯誤標(biāo)志返回時,就觸發(fā)該流程去處理掛起的任務(wù)流程。同時,該流程設(shè)置為可并行執(zhí)行,即當(dāng)有多個任務(wù)流程都掛起時,可并行處理。另外,為了防止多個自處理流程處理同一個掛起的任務(wù),該流程每次只接收一個錯誤標(biāo)志,當(dāng)自處理流程處理掛起的任務(wù)時,會在自處理運(yùn)行信息表中插入一行記錄,該記錄唯一標(biāo)識掛起的流程;當(dāng)下一個自處理流程掃描到該記錄后就不再處理該任務(wù),而轉(zhuǎn)去處理下一個錯誤標(biāo)志,以此類推。
圖1 調(diào)度流程掛起自處理流程
筆者提出的基于經(jīng)營分析系統(tǒng)的調(diào)度流程掛起自處理方法模擬基于實(shí)例的專家系統(tǒng),根據(jù)經(jīng)驗(yàn)總結(jié)各種掛起原因與處理方法,并將它們儲存在流程掛起處理表中,當(dāng)有流程掛起時,觸發(fā)自處理流程去掃描流程掛起處理表,根據(jù)錯誤標(biāo)志找到并調(diào)用相應(yīng)的處理方法,從而自動處理掛起的流程。該方法有效解決了需要人工監(jiān)控和處理流程耗費(fèi)時間精力的問題,提高了工作效率,有助于完善經(jīng)營分析系統(tǒng)的應(yīng)用,對其他類似問題的應(yīng)用也具有一定的參考價值。
[1] 趙貝爾.電信業(yè)智慧型BI研究與實(shí)踐[J].電視技術(shù),2013,37(22):4~6.
[2] 段云峰.中國移動經(jīng)營分析系統(tǒng)的建設(shè)及應(yīng)用[J].電信科學(xué),2005,21(1):34~37.
[3] 李健.移動經(jīng)營分析系統(tǒng)總控調(diào)度自動化的研究與實(shí)現(xiàn)[D].北京:北京郵電大學(xué),2004.
[4] 劉虹,段云峰.中國移動經(jīng)營分析系統(tǒng)中的CRM系統(tǒng)[J].電信科學(xué),2005,21(1):37~39.
[5] 李艷,楊永健,李樹秋.基于數(shù)據(jù)集市的電信經(jīng)營分析系統(tǒng)模型[J].山東大學(xué)學(xué)報(理學(xué)版),2007,42(11):62~65.
[6] 楊興,朱大奇,桑慶兵.專家系統(tǒng)研究現(xiàn)狀與展望[J].計算機(jī)應(yīng)用研究,2007,24(5):4~9.
[7] 張煜東,吳樂南,王水花.專家系統(tǒng)發(fā)展綜述[J].計算機(jī)工程與應(yīng)用,2010,46(19):43~47.
[8] Neves L P,Dias L C,Antunes C H,et al.Structuring an MCDA Model Using SSM:A Case Study in Energy Efficiency[J]. European Journal of Operational Research,2009,199(3):834~845.
(Continued from Page 461)
ying attitude control system of refueling spacecraft in-orbit demonstrates the effectiveness and practicability of this proposed approach.
Keywordssecond-order linear parameter-varying (LPV) system, eigenstructure assignment (ESA), proportional-plus-derivative control law, refueling spacecraft in-orbit
ResearchonSelf-processingMethodforSuspendedSchedulingBasedonBusinessAnalysisSystem
LI Meng-meng, WU Sheng, LI Ying-na, JIA Hui-ling, YANG Xi, LI Chuan
(FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650504,China)
Considering the fact that scheduling operation hung up in business analysis system has to be processed manually and this operation costs time. A self-processing method was proposed which has expert system adopted to record both causes and solutions in a table and then it allocates the monitoring process; when a suspended process is scanned, this scheduling process can be suspended according to error marks and solutions automatically matched. This method can reduce manpower and time required and resource consumption as well.
task scheduling, suspended for self-processing, business analysis system, expert system
TH865
A
1000-3932(2016)05-0536-03
2015-10-13
國家自然科學(xué)基金資助項(xiàng)目(51567013)