• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    上海財經(jīng)大學(xué):搭建一個優(yōu)良的業(yè)務(wù)監(jiān)控系統(tǒng)

    2013-10-24 04:16:46宮劍黃杰孫曉靜
    中國教育網(wǎng)絡(luò) 2013年12期
    關(guān)鍵詞:信息系統(tǒng)

    文/宮劍 黃杰 孫曉靜

    隨著信息化建設(shè)程度的不斷提高,越來越多企事業(yè)單位的日常業(yè)務(wù)工作與業(yè)務(wù)信息系統(tǒng)緊密相關(guān),如協(xié)同辦公系統(tǒng)、人力資源系統(tǒng)、財務(wù)管理系統(tǒng)、資產(chǎn)管理系統(tǒng)等。這些系統(tǒng)的運行情況和各部門業(yè)務(wù)的捆綁越來越緊密,它們的運行狀態(tài)一直是IT運維部門關(guān)注的焦點,其可用性、性能指標(biāo)以及出現(xiàn)故障后的響應(yīng)時間,都會直接影響客戶的滿意度。一旦系統(tǒng)出現(xiàn)問題,將可能會使各單位遭受巨大的損失,目前采取的主要措施就是引入監(jiān)控系統(tǒng)來監(jiān)控各類IT基礎(chǔ)設(shè)施和系統(tǒng),但是實際的效益并不顯著。雖然絕大多數(shù)IT運維部門都對自己的生產(chǎn)系統(tǒng)進(jìn)行了監(jiān)控,但由于監(jiān)控是個系統(tǒng)工程,各類業(yè)務(wù)系統(tǒng)的部署環(huán)境日趨復(fù)雜,林林總總的各類網(wǎng)絡(luò)設(shè)備、安全設(shè)備、服務(wù)器、中間件、數(shù)據(jù)庫、應(yīng)用程序等軟硬件來自不同廠商,而現(xiàn)有的監(jiān)控技術(shù)研究局限于各個產(chǎn)品或模塊,或是拓?fù)浒l(fā)現(xiàn),或是故障管理,因此未能達(dá)到最好的效益,IT運維人員仍疲于應(yīng)對不同廠商、不同軟硬件架構(gòu)、不同管理工具、不同成熟度的應(yīng)用軟件,由此對業(yè)務(wù)系統(tǒng)的可用性、安全性的日常運行維護(hù)管理的要求也越來越高。

    據(jù)調(diào)查報告顯示,大約有三分之一的應(yīng)用問題是因為客戶發(fā)現(xiàn)反饋甚至投訴后才被發(fā)現(xiàn)的。如何提升對生產(chǎn)系統(tǒng)的預(yù)警和監(jiān)測,甚至自動恢復(fù)的能力,在第一時間發(fā)現(xiàn)并解決操作隱患、功能故障或性能瓶頸,打造規(guī)范化、無盲點的運維監(jiān)控體系,成為IT運維人員工作者急需解決的問題。我們在總結(jié)日常運行維護(hù)工作經(jīng)驗的基礎(chǔ)上,基于CMDB(Configuration Management Database, 配置管理數(shù)據(jù)庫)中配置項CI(Configuration Item, 配置項)模型的思路,設(shè)計了業(yè)務(wù)可用性監(jiān)控平臺對各類IT基礎(chǔ)設(shè)施及業(yè)務(wù)系統(tǒng)進(jìn)行了監(jiān)控,并取得一定效果。

    本文首先對CMDB進(jìn)行簡單介紹,隨后對基于CMDB的業(yè)務(wù)可用性監(jiān)控平臺的設(shè)計進(jìn)行了詳細(xì)闡述,具體包括根據(jù)CMDB梳理出的常見監(jiān)控項、監(jiān)控平臺的具體實現(xiàn)思路、CI的變更對監(jiān)控造成的影響及相應(yīng)處理流程等,最后對基于開源程序的實現(xiàn)情況和實際應(yīng)用情況進(jìn)行了介紹。

    CMDB定義及模型

    CMDB 是 ITIL (Information Technology Infras-tructure Library,IT 基礎(chǔ)架構(gòu)庫 )中最重要、最核心的概念之一。CMDB 在ITIL 中的定義是:提供 IT 相關(guān)配置信息,存儲與管理企業(yè) IT架構(gòu)中設(shè)備的各種配置信息,它與所有服務(wù)支持和服務(wù)交付流程都密切相聯(lián),支持這些流程的運轉(zhuǎn)、發(fā)揮配置信息的價值,同時依賴于相關(guān)流程保證數(shù)據(jù)的準(zhǔn)確性。

    圖1 CMDB模型舉例

    圖2 常見業(yè)務(wù)系統(tǒng)結(jié)構(gòu)及對應(yīng)的監(jiān)控項

    在CMDB中,被納入配置管理范圍之內(nèi)的元素都是 CI,它包括由IT 部門控制的所有 PC 硬件、軟件、服務(wù)器、文檔、服務(wù)以及由 IT 部門所控制的所有其他 IT組件。從業(yè)務(wù)角度來看,CMDB實現(xiàn)了對IT系統(tǒng)內(nèi)部各個元素信息的跟蹤,成為迅速查找IT基礎(chǔ)設(shè)施信息的基礎(chǔ),同時也是實現(xiàn)有效管理決策的基礎(chǔ)。一項信息服務(wù)背后都有眾多的CI項與之關(guān)聯(lián),其中任何一個CI項或CI之間的關(guān)聯(lián)出現(xiàn)故障,都有可能造成信息服務(wù)出現(xiàn)問題。圖1為筆者所在部門管理的實際生產(chǎn)系統(tǒng)對應(yīng)CMDB模型片段。

    鑒于CMDB在IT體系結(jié)構(gòu)中所起到的重要作用,我們可以借助其對IT的日常運維工作進(jìn)行深入分析。一個精確的CMDB能夠提供充足的信息讓運維人員方便把每一次運維事件進(jìn)行定位,以便知道什么地方什么組件出了什么樣的問題,正是因為CMDB在信息服務(wù)中和運維深入分析中所起的重要地位,本文提出了基于CMDB的模型來構(gòu)建業(yè)務(wù)可用性監(jiān)控平臺。

    業(yè)務(wù)可用性監(jiān)控平臺的設(shè)計

    傳統(tǒng)對業(yè)務(wù)系統(tǒng)的監(jiān)控一般以單個設(shè)備、資源或軟件告警為主,缺乏系統(tǒng)與業(yè)務(wù)層面的整體監(jiān)控和分析能力,難以從整個系統(tǒng)業(yè)務(wù)可用性的角度加以評價。同樣一個從技術(shù)角度看起來十分微小的故障或疏忽,有可能對業(yè)務(wù)幾乎沒有影響,但也有可能會造成十分重大的影響。本文通過引入CMDB中的配置項建模思路,試圖解決監(jiān)控項的局部性問題,同時在開源監(jiān)控軟件基礎(chǔ)上用靈活的監(jiān)控腳本編寫加以實現(xiàn),以期將整個建模過程變得高效化、自動化和規(guī)范化,并能夠隨著IT 業(yè)務(wù)對象的變化而不斷地動態(tài)更新和完善,準(zhǔn)確地反映業(yè)務(wù)對象本身,同時達(dá)到及時監(jiān)控的效果。

    常見業(yè)務(wù)系統(tǒng)結(jié)構(gòu)及對應(yīng)的監(jiān)控項

    常見的業(yè)務(wù)系統(tǒng)軟硬件架構(gòu)如圖2所示,一般包括物理設(shè)備、邏輯資源、操作系統(tǒng)、中間件、應(yīng)用實例以及業(yè)務(wù)服務(wù)等,針對各個層次的監(jiān)控項也各不相同,以下說明對于業(yè)務(wù)系統(tǒng)結(jié)構(gòu)中各個層次的常見監(jiān)控內(nèi)容。

    圖2為常見應(yīng)用系統(tǒng)的部署層次結(jié)構(gòu),一般最底層為物理設(shè)備,包括各類物理主機、網(wǎng)絡(luò)設(shè)備、物理存儲等。隨著虛擬化技術(shù)的廣泛采用,部署在虛擬主機上的操作系統(tǒng)越來越多,因此我們專門在物理設(shè)備層上搭建了邏輯資源層,不僅包括虛擬主機,還包括邏輯的存儲資源和網(wǎng)絡(luò)資源等直接可供操作系統(tǒng)使用的邏輯資源。第三層為操作系統(tǒng)層,基于其上的是中間件層,包含數(shù)據(jù)庫、應(yīng)用服務(wù)器、HTTP服務(wù)等,而具體的業(yè)務(wù)系統(tǒng)應(yīng)用實例搭建在中間件層上。最后面對用戶的是業(yè)務(wù)服務(wù)層,它通過負(fù)載均衡與應(yīng)用實例進(jìn)行關(guān)聯(lián)。

    對物理設(shè)備的監(jiān)控一般主要包括機房環(huán)境監(jiān)控,主機資源的使用率監(jiān)控等。針對不同的物理設(shè)備,監(jiān)控側(cè)重點有所不同。對于物理主機,主要關(guān)注CPU、內(nèi)存、IO、系統(tǒng)平均負(fù)載等實時狀態(tài),對存儲設(shè)備則主要是對物理磁盤空間使用率的監(jiān)控,而網(wǎng)絡(luò)設(shè)備主要是對物理網(wǎng)絡(luò)傳輸性能、可訪問性的監(jiān)控等。

    隨著虛擬化的應(yīng)用逐步增多,越來越多的應(yīng)用已部署在虛擬主機中,因此需要考慮對邏輯資源的監(jiān)控。與物理設(shè)備類似,關(guān)注點也主要包括邏輯磁盤空間使用率,邏輯主機、邏輯網(wǎng)絡(luò)資源使用率和性能等。

    對操作系統(tǒng)層面的監(jiān)控內(nèi)容首先是對操作系統(tǒng)安全方面的監(jiān)控,比如操作系統(tǒng)版本、補丁、各類防護(hù)軟件、重要服務(wù)端口的設(shè)置情況、用戶訪問級別等,其次為一些重要參數(shù)的設(shè)置是否正確,如linux中的可打開文件個數(shù)參數(shù)默認(rèn)值較小,經(jīng)常會影響部分應(yīng)用程序的正常使用。

    中間件層一般包括http服務(wù)(apache,nginx等)、數(shù)據(jù)庫和應(yīng)用服務(wù)器(比如Oracle 、MySQL、Tomcat等),因此對中間件層的監(jiān)控主要包括數(shù)據(jù)庫性能的監(jiān)控和應(yīng)用程序服務(wù)狀態(tài)的監(jiān)控。數(shù)據(jù)庫性能狀態(tài)通過監(jiān)控數(shù)據(jù)庫的緩存、緩沖區(qū)命中率、表空間使用率等核心性能指標(biāo)獲得,針對應(yīng)用服務(wù)器,以J2EE組件為例,監(jiān)控的內(nèi)容包括相應(yīng)時間、調(diào)用次數(shù)、并發(fā)量、延遲量、對象數(shù)、連接池、線程數(shù)以及Java內(nèi)存情況等。

    為了保障業(yè)務(wù)服務(wù)的可用性,很多應(yīng)用系統(tǒng)都采用了硬件或軟件的負(fù)載均衡措施,因此面對最終用戶的一項服務(wù)的后面常常由多個應(yīng)用系統(tǒng)實例構(gòu)成,對這類應(yīng)用系統(tǒng)實例的監(jiān)控,除了保證功能可用性方面的監(jiān)控之外,還要注意保證各個應(yīng)用實例之間的一致性,這一點往往容易被忽略,應(yīng)用實例之間不一致導(dǎo)致的后果既難定位,也難以發(fā)現(xiàn)核實。

    業(yè)務(wù)服務(wù)層主要是針對面向最終用戶的服務(wù)功能可用性和業(yè)務(wù)系統(tǒng)安全性進(jìn)行監(jiān)控,其中功能可用性又包括整體可用性和關(guān)鍵功能可用性等內(nèi)容。

    具體思路

    第一步,我們歸納出常見的監(jiān)控點并進(jìn)行分類。

    我們通過對以上梳理出來的常見監(jiān)控內(nèi)容進(jìn)行分析,結(jié)合CMDB中的信息得到其對業(yè)務(wù)系統(tǒng)可用性的影響程度,從而確定一般監(jiān)控內(nèi)容需要關(guān)注的類型:可用性、安全性、資源利用率、一致性、時效性等,具體如下:

    可用性——可用性和系統(tǒng)組件的失敗率相關(guān),系統(tǒng)的失敗只有當(dāng)其導(dǎo)致服務(wù)的失效性足以影響到系統(tǒng)用戶的需求時才會影響其可用性的指標(biāo)。對于可用性的監(jiān)控方式,我們主要根據(jù)軟件測試的思路,使用各類主動模擬技術(shù),通過腳本主動模擬訪問各類CI項,可以直接取得其具體功能(事務(wù))的響應(yīng)時間和成功率。

    安全性——國際標(biāo)準(zhǔn)化委員會的對計算機安全的定義是“為數(shù)據(jù)處理系統(tǒng)和采取的技術(shù)的和管理的安全保護(hù),保護(hù)計算機硬件、軟件、數(shù)據(jù)不因偶然的或惡意的原因而遭到破壞、更改、顯露?!睆脑摱x可知,安全性在中間件、應(yīng)用實例、業(yè)務(wù)系統(tǒng)、操作系統(tǒng)等各個層面上都有所體現(xiàn),而對于操作系統(tǒng)、中間件等偏底層的安全性尤為重要。在《信息系統(tǒng)安全等級保護(hù)基本要求》中,針對不同等級的信息系統(tǒng)在技術(shù)防護(hù)角度上提出了不同的安全要求,包括標(biāo)識與鑒別、訪問控制、密碼技術(shù)、安全審計、惡意代碼防范、備份與恢復(fù)等方面的技術(shù)。運用監(jiān)控手段,結(jié)合靈活的腳步設(shè)計,可以對安全設(shè)備的運行、防護(hù)措施的落實、備份恢復(fù)的有效性等多方面工作進(jìn)行實時監(jiān)控。

    資源利用率——資源使用率指對軟硬件等資源的負(fù)載情況,一般包括CPU使用率、磁盤空間使用率、系統(tǒng)平均負(fù)載、內(nèi)存使用率、開機時間、I/O以及網(wǎng)絡(luò)負(fù)載等。資源利用率一般會直接與應(yīng)用系統(tǒng)的性能有關(guān),對用戶的體驗造成影響。

    一致性——這里的一致性主要是指邏輯上應(yīng)該相同的內(nèi)容,其物理上也應(yīng)該是相同的。以負(fù)載均衡環(huán)境下的多個應(yīng)用實例而言,只有保證各個實例之間的一致性,應(yīng)用實例才可以對外提供一致的應(yīng)用服務(wù)。其他的例子還包括不同介質(zhì)上保存的相同備份內(nèi)容,其文件大小及md5也應(yīng)該是相同的。

    時效性——響應(yīng)時間主要指數(shù)據(jù)庫和業(yè)務(wù)服務(wù)的響應(yīng)時間,數(shù)據(jù)庫的響應(yīng)時間可以通過監(jiān)控數(shù)據(jù)庫的關(guān)鍵指標(biāo)來獲得,業(yè)務(wù)服務(wù)的響應(yīng)時間可以通過模擬瀏覽器訪問的行為,從而獲取業(yè)務(wù)服務(wù)的響應(yīng)時間。此外,時效性也包括其他CI項的類似倒計時提醒,如針對維護(hù)合同的到期日期、關(guān)鍵用戶賬戶的到期日期等,通過掃描程序,定時掃描合同日期、重要系統(tǒng)的管理員及其它高級權(quán)限的用戶賬號等,不同類型賬號的有效期、修改密碼的要求設(shè)置不一樣,通過對比賬號的有效期,從而完成倒計時提醒功能。

    第二步,針對上述整理出的監(jiān)控內(nèi)容分類,進(jìn)一步返回到CMDB中,對每一層面、每一類型的CI項分別針對上述監(jiān)控點類型進(jìn)行篩查,并建立具體的對應(yīng)矩陣,盡可能減少監(jiān)控點的遺漏。監(jiān)控矩陣示例如表1。

    表1中,CI項一列為CMDB中的每一個配置項,矩陣中的數(shù)字則代表該CI項所對應(yīng)監(jiān)控類型對業(yè)務(wù)可用性可能造成的影響大小,5為最大,0為最小。具體針對矩陣中每一個非0值,都需要制定出對應(yīng)的checklist檢查表,對具體監(jiān)控內(nèi)容及監(jiān)控方法進(jìn)行描述,為監(jiān)控的具體實施提供參考依據(jù)。最后形成一個CMDB中所有CI項對應(yīng)的監(jiān)控點檢查表矩陣,檢查表的樣式如下:

    第三步,結(jié)合CI變更管理流程對監(jiān)控項同時進(jìn)行變更。

    基于CMDB的變更管理是ITIL管理的核心,CI數(shù)據(jù)的時效性和準(zhǔn)確性是CMDB成功實施的重要標(biāo)準(zhǔn)。如果一名運維工程師在做處理故障前,獲得了不準(zhǔn)確的CI信息,從而做出錯誤的診斷結(jié)論,后果不堪設(shè)想。這樣就要求我們要規(guī)范的變更管理流程,使用標(biāo)準(zhǔn)的模版記錄、跟蹤那些原始信息,并與ITIL的流程緊密結(jié)合,同時需要定期審計。

    在進(jìn)行CI項的變更過程中,由于監(jiān)控系統(tǒng)緊密依賴于CMDB,因此監(jiān)控項也需要做出相應(yīng)的變更。也就是說,在變更管理流程中,需要在某個步驟加入對與CI相關(guān)聯(lián)的所有監(jiān)控項也要進(jìn)行變更,具體可從管理和技術(shù)兩個角度進(jìn)行實現(xiàn)。

    從管理角度,在變更的某個環(huán)節(jié)加入監(jiān)控項的審核,由運維人員完成此類工作;從技術(shù)角度,還可以使用監(jiān)控程序?qū)MDB與監(jiān)控項進(jìn)行一致性監(jiān)控,也就是通過監(jiān)控系統(tǒng)來監(jiān)控自身的業(yè)務(wù)是否存在風(fēng)險,比方說通過監(jiān)控CMDB的新增、修改的內(nèi)容和最后修改時間,與監(jiān)控檢查點的內(nèi)容、最后修改時間進(jìn)行比對,從而在變更第一時間發(fā)現(xiàn)哪些CI項缺少監(jiān)控點,哪些CI項變更后但其監(jiān)控點沒有變更,這樣完成對CI變更后內(nèi)容的監(jiān)控。

    表1 監(jiān)控矩陣示例

    圖3 監(jiān)控模塊

    關(guān)鍵技術(shù)實現(xiàn)和具體應(yīng)用

    基于CMDB的業(yè)務(wù)可用性監(jiān)控平臺的實現(xiàn)分為兩大部分,CMDB配置管理和監(jiān)控系統(tǒng)。在實現(xiàn)過程中,我們均采用現(xiàn)有的開源框架,其中CMDB采用的是CMDBuild,監(jiān)控系統(tǒng)采用的是pandorafms。

    CMDBuild是一個可配置的Web應(yīng)用,用來對資產(chǎn)以及相關(guān)的工作流操作進(jìn)行配置建模和管理,能配置實現(xiàn)復(fù)雜模型。同時我們對其作了一定改造,能夠無縫集成到我們運維管理平臺中,實現(xiàn)和ITIL中的事件管理、問題管理、變更管理的無縫集成。

    開源監(jiān)控軟件pandoraFMS是一款企業(yè)級的監(jiān)控平臺,它提供統(tǒng)一的Web界面實時監(jiān)控各種硬件、軟件、操作系統(tǒng)、業(yè)務(wù)系統(tǒng)、網(wǎng)絡(luò)設(shè)備并在故障發(fā)生時發(fā)出報警信息。Pandora FMS體系結(jié)構(gòu)清晰,采用高度模塊化和分布式的體系架構(gòu),由監(jiān)控代理端、監(jiān)控服務(wù)器、中央數(shù)據(jù)庫服務(wù)器以及控制臺組成,每個模塊都是可復(fù)制的獨立模塊,并且每個模塊都支持高可用部署。此外,還支持使用SNMP協(xié)議(不需要安裝agent)采集監(jiān)控信息,部署方式更加簡化,支持網(wǎng)絡(luò)自動發(fā)現(xiàn)服務(wù),自動搜索探測和監(jiān)控新增加的設(shè)備,支持用戶自定義的擴展程序,方便個性化的擴展,提供友好的Web管理控制界面,降低了學(xué)習(xí)成本,提高了工作效率。

    采用CMDBuid和pandoraFMS搭建的業(yè)務(wù)可用性監(jiān)控平臺具有如下特點:

    腳本可靈活設(shè)定,靈活擴展

    pandoraFMS中,監(jiān)控代理端是在被監(jiān)控端中運行的應(yīng)用程序,它負(fù)責(zé)將收集到的被監(jiān)控端的信息發(fā)送到監(jiān)控服務(wù)器端。監(jiān)控代理端軟件支持多種平臺,包括 Windows、Linux、 Solaris、 AIX、HPUX、BSD等,在各自運行的平臺上面編寫shell腳本來獲取系統(tǒng)的運行信息,如磁盤使用率、CPU負(fù)載、網(wǎng)絡(luò)I/O、內(nèi)存使用率、系統(tǒng)進(jìn)程數(shù)等等。同時,監(jiān)控模塊的腳本基于操作系統(tǒng)的shell類型,如果同是linux系統(tǒng),該配置腳本具有普適性,可以復(fù)制和移植到其他linux系統(tǒng)使用,對于大規(guī)模的監(jiān)控和部署具有方便快捷的特點。PandoraFMS支持?jǐn)U展和集成,Web應(yīng)用的監(jiān)控可以通過集成第三方的插件或自己編寫插件的方式來完成,從而滿足監(jiān)控需求。

    多種推送通知方式

    PandoraFMS里面有報警模板可以設(shè)置多種推送通知方式,在報警模板里可以定義觸發(fā)報警的條件和觸發(fā)時間以及觸發(fā)報警時報警信息的內(nèi)容和發(fā)送報警信息的方式,根據(jù)對業(yè)務(wù)可用性影響的大小,可以選擇郵件或是短信進(jìn)行告知。郵件方式發(fā)送報警信息非常簡單,配置SMTP服務(wù)器即可。但是郵件報警的方式有不足之處,它不能及時地通知到運維人員,只能通過人工查收郵件的方式來獲取當(dāng)期系統(tǒng)的報警信息,所以短信報警的方式是更為及時有效的措施,我們采用短信貓的方式進(jìn)行短信報警。此外通過PandoraFMS不僅能給個人發(fā)送報警短信,也可以設(shè)置群組,對群組成員同時進(jìn)行報警。

    實現(xiàn)對監(jiān)控項的變化自身的監(jiān)控

    如前所述,對監(jiān)控項的變化自身的監(jiān)控是通過自動發(fā)現(xiàn)的工具來實現(xiàn)的,自動發(fā)現(xiàn)的工具是一種掃描工具,掃描周期可以通過人工制定,將掃描所得到的信息通過Webservice接口調(diào)用CMDB,查詢CMDB中的對應(yīng)CI項,此時,監(jiān)控工具就可以找到與CI項的變化內(nèi)容不匹配的監(jiān)控項內(nèi)容,并發(fā)出報警。

    支持自動監(jiān)控到自動開單以及自動處理的轉(zhuǎn)換

    自動監(jiān)控到自動開單的轉(zhuǎn)換是指當(dāng)監(jiān)控系統(tǒng)監(jiān)控到異常時,能夠根據(jù)異常類型觸發(fā)相應(yīng)的處理腳本,自動在ITIL的事件管理中開單,直接在單子中記錄事件的類型、相關(guān)CI項,發(fā)生時間等,運維人員只需進(jìn)行簡單補充即可。而自動監(jiān)控到自動處理,則是通過腳本自動處理發(fā)生的異常情況。當(dāng)然,通過監(jiān)控能夠自動處理的異常情況相對有限,只能應(yīng)對處理規(guī)則比較明確的情況,比如當(dāng)磁盤空間不足時,可以通過清理N天前的日志情況的方式來釋放空間等,比較復(fù)雜的異常情況還需要人為的參與解決。

    基于CMDB及開源監(jiān)控軟件pandoraFMS系統(tǒng)搭建的業(yè)務(wù)可用性監(jiān)控系統(tǒng),實現(xiàn)了對我校主機服務(wù)器、Web業(yè)務(wù)系統(tǒng)、一卡通設(shè)備、網(wǎng)絡(luò)、數(shù)據(jù)庫等絕大多數(shù)CI項進(jìn)行的實時監(jiān)控。不僅能夠很好地監(jiān)控整體運行情況,而且能夠及時發(fā)現(xiàn)故障信息,很大程度上提高了運維部門整體的服務(wù)質(zhì)量,從被動救火轉(zhuǎn)為主動監(jiān)控,保障業(yè)務(wù)持續(xù)不間斷運行。隨著學(xué)校信息化持續(xù)不斷的發(fā)展,該監(jiān)控系統(tǒng)還將不斷的完善,發(fā)揮更大的作用。

    猜你喜歡
    信息系統(tǒng)
    Smartflower POP 一體式光伏系統(tǒng)
    WJ-700無人機系統(tǒng)
    ZC系列無人機遙感系統(tǒng)
    北京測繪(2020年12期)2020-12-29 01:33:58
    基于PowerPC+FPGA顯示系統(tǒng)
    半沸制皂系統(tǒng)(下)
    連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
    訂閱信息
    中華手工(2017年2期)2017-06-06 23:00:31
    展會信息
    中外會展(2014年4期)2014-11-27 07:46:46
    信息
    健康信息
    祝您健康(1987年3期)1987-12-30 09:52:32
    好男人电影高清在线观看| av黄色大香蕉| 欧美另类亚洲清纯唯美| 国产精品久久电影中文字幕| 国产久久久一区二区三区| 色av中文字幕| 久久伊人香网站| 精品国内亚洲2022精品成人| 日本黄大片高清| 国产91精品成人一区二区三区| 两个人视频免费观看高清| 一进一出抽搐动态| 亚洲成av人片在线播放无| 我的老师免费观看完整版| 高清日韩中文字幕在线| 午夜福利视频1000在线观看| 天堂影院成人在线观看| 三级男女做爰猛烈吃奶摸视频| 色噜噜av男人的天堂激情| 精品免费久久久久久久清纯| 国产中年淑女户外野战色| 日本三级黄在线观看| 天天一区二区日本电影三级| 男人舔女人下体高潮全视频| 在线观看美女被高潮喷水网站 | av视频在线观看入口| 国内精品久久久久久久电影| 一区二区三区国产精品乱码| 此物有八面人人有两片| 国产精品女同一区二区软件 | 黄片大片在线免费观看| 高清在线国产一区| 日本黄色视频三级网站网址| 久久精品影院6| 久久性视频一级片| 日日夜夜操网爽| 身体一侧抽搐| 久久久国产精品麻豆| 成人性生交大片免费视频hd| 成人精品一区二区免费| 亚洲欧美日韩无卡精品| 欧美成人性av电影在线观看| 国内久久婷婷六月综合欲色啪| 99久久九九国产精品国产免费| eeuss影院久久| 日本免费a在线| 两人在一起打扑克的视频| 免费av观看视频| 97碰自拍视频| 中文字幕熟女人妻在线| 国产69精品久久久久777片| 国产亚洲精品av在线| 国产三级中文精品| 国产精品女同一区二区软件 | 欧美日韩一级在线毛片| 一区二区三区国产精品乱码| 免费看a级黄色片| 亚洲av电影在线进入| 18禁黄网站禁片午夜丰满| 日日夜夜操网爽| 亚洲成人久久性| 99在线人妻在线中文字幕| 真人一进一出gif抽搐免费| 精品久久久久久久久久免费视频| 日韩免费av在线播放| 国产国拍精品亚洲av在线观看 | 五月玫瑰六月丁香| 成年人黄色毛片网站| 欧美一级a爱片免费观看看| 精品国产亚洲在线| 波多野结衣高清作品| tocl精华| 一级毛片女人18水好多| 国产免费一级a男人的天堂| 波多野结衣高清作品| 亚洲国产色片| 国产激情欧美一区二区| 亚洲乱码一区二区免费版| 国产精品女同一区二区软件 | 男人和女人高潮做爰伦理| 精品久久久久久久久久免费视频| 99国产极品粉嫩在线观看| 免费大片18禁| 欧美中文日本在线观看视频| 一级黄色大片毛片| 变态另类丝袜制服| 国产69精品久久久久777片| 一个人看视频在线观看www免费 | 中文字幕av在线有码专区| 亚洲精品亚洲一区二区| 91在线精品国自产拍蜜月 | 免费高清视频大片| 国产亚洲av嫩草精品影院| 成人18禁在线播放| 亚洲男人的天堂狠狠| 亚洲,欧美精品.| 长腿黑丝高跟| 国产成人福利小说| 18禁裸乳无遮挡免费网站照片| 国产精品 欧美亚洲| 免费看光身美女| 国产av在哪里看| 久久香蕉国产精品| 国产成年人精品一区二区| 欧美在线黄色| 十八禁网站免费在线| 亚洲七黄色美女视频| 欧美日韩一级在线毛片| 精品人妻一区二区三区麻豆 | 在线播放国产精品三级| 韩国av一区二区三区四区| 欧美三级亚洲精品| 美女大奶头视频| 19禁男女啪啪无遮挡网站| 午夜福利在线观看吧| 婷婷丁香在线五月| netflix在线观看网站| 午夜福利在线观看免费完整高清在 | 日韩中文字幕欧美一区二区| 少妇的逼好多水| 51国产日韩欧美| 中文资源天堂在线| www日本黄色视频网| 欧美成人一区二区免费高清观看| 丁香六月欧美| 搡老岳熟女国产| 最近最新免费中文字幕在线| av专区在线播放| 日本与韩国留学比较| 亚洲av熟女| 久久久久精品国产欧美久久久| 国产一级毛片七仙女欲春2| 成人特级av手机在线观看| 又爽又黄无遮挡网站| 网址你懂的国产日韩在线| 日韩欧美三级三区| 又爽又黄无遮挡网站| 国产精品1区2区在线观看.| 精品国产美女av久久久久小说| 成年人黄色毛片网站| 中文字幕高清在线视频| 久久精品夜夜夜夜夜久久蜜豆| 给我免费播放毛片高清在线观看| 国产午夜精品论理片| avwww免费| 青草久久国产| 国产伦在线观看视频一区| 国产高清激情床上av| 男人和女人高潮做爰伦理| 99久久99久久久精品蜜桃| 国产真人三级小视频在线观看| 亚洲精华国产精华精| 国产探花在线观看一区二区| 久久精品国产自在天天线| 免费观看的影片在线观看| 天堂av国产一区二区熟女人妻| 欧美日本亚洲视频在线播放| 免费观看的影片在线观看| 18+在线观看网站| 美女免费视频网站| 国产真实乱freesex| 又黄又粗又硬又大视频| 一二三四社区在线视频社区8| 亚洲人成伊人成综合网2020| 在线观看66精品国产| 亚洲内射少妇av| 美女高潮的动态| 国产精品98久久久久久宅男小说| 亚洲内射少妇av| 国产v大片淫在线免费观看| 午夜两性在线视频| 久久久国产精品麻豆| 校园春色视频在线观看| 免费在线观看影片大全网站| 欧美黑人巨大hd| 啦啦啦观看免费观看视频高清| 午夜免费成人在线视频| 毛片女人毛片| 伊人久久精品亚洲午夜| 国产成人福利小说| 国产高清videossex| 午夜福利在线观看免费完整高清在 | 91在线精品国自产拍蜜月 | 欧美一区二区亚洲| 精品一区二区三区av网在线观看| 日韩 欧美 亚洲 中文字幕| 午夜福利视频1000在线观看| 国产熟女xx| 国产不卡一卡二| 一本一本综合久久| 国产精品99久久99久久久不卡| 国产黄a三级三级三级人| 少妇的丰满在线观看| 国产精品久久久久久久电影 | 波多野结衣巨乳人妻| 啦啦啦免费观看视频1| 黄片大片在线免费观看| 亚洲最大成人中文| 一个人免费在线观看的高清视频| 国产aⅴ精品一区二区三区波| 日韩欧美 国产精品| 免费高清视频大片| 午夜福利视频1000在线观看| 级片在线观看| 一个人看视频在线观看www免费 | 夜夜夜夜夜久久久久| 国产亚洲精品综合一区在线观看| 日韩人妻高清精品专区| 淫秽高清视频在线观看| 成人性生交大片免费视频hd| 亚洲av中文字字幕乱码综合| 99精品久久久久人妻精品| 久久6这里有精品| 精品无人区乱码1区二区| 亚洲国产中文字幕在线视频| 亚洲一区二区三区色噜噜| 久久精品国产亚洲av香蕉五月| www.999成人在线观看| 深爱激情五月婷婷| 可以在线观看的亚洲视频| 最近最新中文字幕大全电影3| 亚洲色图av天堂| 亚洲av成人不卡在线观看播放网| 有码 亚洲区| 午夜激情欧美在线| 欧美高清成人免费视频www| 国内少妇人妻偷人精品xxx网站| АⅤ资源中文在线天堂| 国产淫片久久久久久久久 | 国模一区二区三区四区视频| 国产成人啪精品午夜网站| 久久国产精品影院| av欧美777| 久久久久国内视频| 久久久久久久久中文| 一a级毛片在线观看| 女警被强在线播放| 中文亚洲av片在线观看爽| 我要搜黄色片| 亚洲午夜理论影院| 男女床上黄色一级片免费看| 欧美另类亚洲清纯唯美| 伊人久久大香线蕉亚洲五| 久久亚洲真实| 在线国产一区二区在线| 高清日韩中文字幕在线| 青草久久国产| 成人亚洲精品av一区二区| 丁香欧美五月| 色综合站精品国产| 日韩欧美在线二视频| av在线蜜桃| 久久久国产精品麻豆| 老司机福利观看| 99视频精品全部免费 在线| 88av欧美| 日本一二三区视频观看| 99热这里只有是精品50| 12—13女人毛片做爰片一| 中文字幕熟女人妻在线| 免费看日本二区| 成年版毛片免费区| 丰满人妻一区二区三区视频av | 精品日产1卡2卡| 成年版毛片免费区| 97超视频在线观看视频| 亚洲成人久久爱视频| 久久久久免费精品人妻一区二区| 国产成人系列免费观看| 欧美黑人巨大hd| a级一级毛片免费在线观看| 宅男免费午夜| 级片在线观看| 国产精品久久久人人做人人爽| 国产亚洲欧美98| 一区二区三区高清视频在线| 1024手机看黄色片| 国产一区二区三区视频了| 国产精品 国内视频| 国产成+人综合+亚洲专区| 国产av不卡久久| 高清在线国产一区| 黄色女人牲交| 色综合欧美亚洲国产小说| 久久精品人妻少妇| 久久午夜亚洲精品久久| 熟女电影av网| 欧美成人一区二区免费高清观看| 婷婷精品国产亚洲av| 我要搜黄色片| 欧美+日韩+精品| 欧美性猛交黑人性爽| 久久久精品大字幕| 丰满的人妻完整版| 亚洲国产精品久久男人天堂| 国产一区二区在线观看日韩 | av在线蜜桃| 在线观看午夜福利视频| 精品福利观看| 91久久精品国产一区二区成人 | 久久久久久久午夜电影| 欧美一级a爱片免费观看看| 一进一出好大好爽视频| 尤物成人国产欧美一区二区三区| 国产免费av片在线观看野外av| 久久久国产成人精品二区| 精品人妻偷拍中文字幕| 18禁黄网站禁片午夜丰满| 欧美日韩黄片免| 最后的刺客免费高清国语| 久久久久国产精品人妻aⅴ院| 中文字幕熟女人妻在线| 9191精品国产免费久久| 听说在线观看完整版免费高清| 看片在线看免费视频| 欧美黑人欧美精品刺激| 黑人欧美特级aaaaaa片| 国产精品,欧美在线| 亚洲avbb在线观看| 搡女人真爽免费视频火全软件 | 最好的美女福利视频网| 免费在线观看亚洲国产| 国产男靠女视频免费网站| 国产成人av教育| 亚洲成人久久性| 成年人黄色毛片网站| 99视频精品全部免费 在线| 国产精品 国内视频| 色老头精品视频在线观看| 一个人免费在线观看电影| 中文资源天堂在线| 观看美女的网站| 国产亚洲精品一区二区www| 国产一区二区三区在线臀色熟女| 亚洲国产欧美网| 久久久久久久午夜电影| 午夜日韩欧美国产| or卡值多少钱| 一本综合久久免费| 男女之事视频高清在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 啪啪无遮挡十八禁网站| 久久精品国产亚洲av涩爱 | 久久精品国产99精品国产亚洲性色| 亚洲av成人不卡在线观看播放网| bbb黄色大片| 欧美一区二区精品小视频在线| 精品一区二区三区视频在线 | 又爽又黄无遮挡网站| 欧美日本亚洲视频在线播放| 成年女人毛片免费观看观看9| 村上凉子中文字幕在线| 国产精品亚洲av一区麻豆| 欧美日本亚洲视频在线播放| 少妇的丰满在线观看| 在线视频色国产色| 欧美日韩亚洲国产一区二区在线观看| 亚洲片人在线观看| 成人18禁在线播放| 丰满人妻一区二区三区视频av | 亚洲片人在线观看| 级片在线观看| 天堂动漫精品| 丁香六月欧美| 最近视频中文字幕2019在线8| 一区二区三区国产精品乱码| 俄罗斯特黄特色一大片| 亚洲最大成人中文| 天天躁日日操中文字幕| 在线天堂最新版资源| 一边摸一边抽搐一进一小说| 熟女电影av网| 最近在线观看免费完整版| 我的老师免费观看完整版| 亚洲av免费高清在线观看| 身体一侧抽搐| 午夜激情欧美在线| 日韩欧美精品v在线| 蜜桃亚洲精品一区二区三区| 国产高清激情床上av| 国产精品永久免费网站| 97超视频在线观看视频| 成人一区二区视频在线观看| 露出奶头的视频| 中文资源天堂在线| 两个人视频免费观看高清| 少妇高潮的动态图| 一区二区三区免费毛片| 日本黄大片高清| 别揉我奶头~嗯~啊~动态视频| 三级国产精品欧美在线观看| 别揉我奶头~嗯~啊~动态视频| 日韩免费av在线播放| 黄色片一级片一级黄色片| 久久欧美精品欧美久久欧美| 免费看日本二区| eeuss影院久久| 欧洲精品卡2卡3卡4卡5卡区| 日韩欧美三级三区| 天堂av国产一区二区熟女人妻| 90打野战视频偷拍视频| 99国产精品一区二区三区| а√天堂www在线а√下载| 欧美不卡视频在线免费观看| 一本久久中文字幕| 国产爱豆传媒在线观看| 日本黄色片子视频| 国内揄拍国产精品人妻在线| 国产在视频线在精品| 88av欧美| 色综合婷婷激情| 香蕉丝袜av| 国内精品一区二区在线观看| 性色avwww在线观看| 不卡一级毛片| 国内精品久久久久久久电影| 欧美在线黄色| 国产又黄又爽又无遮挡在线| 国产高清视频在线观看网站| 色综合婷婷激情| 观看美女的网站| 手机成人av网站| 午夜福利在线观看吧| 熟女电影av网| 美女cb高潮喷水在线观看| 12—13女人毛片做爰片一| 久99久视频精品免费| 国产av在哪里看| 又爽又黄无遮挡网站| 一区福利在线观看| 亚洲精品乱码久久久v下载方式 | 亚洲不卡免费看| 久久中文看片网| 日韩大尺度精品在线看网址| 国产精品精品国产色婷婷| 国产免费男女视频| 欧美xxxx黑人xx丫x性爽| 不卡一级毛片| 国产视频内射| 最新中文字幕久久久久| 淫妇啪啪啪对白视频| 国产一区二区亚洲精品在线观看| 老司机深夜福利视频在线观看| 母亲3免费完整高清在线观看| 日本黄色视频三级网站网址| 在线免费观看不下载黄p国产 | 国产乱人视频| 97超级碰碰碰精品色视频在线观看| 欧美av亚洲av综合av国产av| 色尼玛亚洲综合影院| 天堂动漫精品| 国产午夜精品论理片| 免费人成视频x8x8入口观看| 国产一区二区三区视频了| 很黄的视频免费| 少妇人妻一区二区三区视频| 中文在线观看免费www的网站| 九色成人免费人妻av| 国产亚洲精品综合一区在线观看| 亚洲国产精品成人综合色| 亚洲电影在线观看av| 三级毛片av免费| 成人三级黄色视频| 最近最新中文字幕大全电影3| 女生性感内裤真人,穿戴方法视频| 亚洲一区二区三区不卡视频| 最近最新免费中文字幕在线| 麻豆久久精品国产亚洲av| 97超级碰碰碰精品色视频在线观看| 天堂网av新在线| 日本五十路高清| 99热这里只有精品一区| 老汉色av国产亚洲站长工具| 内射极品少妇av片p| 欧美zozozo另类| 久久国产精品影院| 国产麻豆成人av免费视频| 亚洲精品在线观看二区| 亚洲精品乱码久久久v下载方式 | 少妇熟女aⅴ在线视频| 国模一区二区三区四区视频| 91字幕亚洲| 人妻久久中文字幕网| 色吧在线观看| 国产亚洲精品av在线| 母亲3免费完整高清在线观看| av在线蜜桃| 首页视频小说图片口味搜索| 色吧在线观看| 亚洲国产日韩欧美精品在线观看 | 国产爱豆传媒在线观看| 精品午夜福利视频在线观看一区| 丰满人妻一区二区三区视频av | 天堂√8在线中文| 一本综合久久免费| 桃红色精品国产亚洲av| av中文乱码字幕在线| 欧美国产日韩亚洲一区| 欧美日韩中文字幕国产精品一区二区三区| 欧美激情久久久久久爽电影| 欧美色视频一区免费| 日韩欧美精品v在线| 制服人妻中文乱码| 国产精品自产拍在线观看55亚洲| 一级黄色大片毛片| x7x7x7水蜜桃| 国产欧美日韩一区二区三| 少妇的逼水好多| 在线视频色国产色| xxx96com| 欧美性感艳星| 欧美日韩综合久久久久久 | 免费看美女性在线毛片视频| 全区人妻精品视频| 在线看三级毛片| 国产精品久久久久久精品电影| 99热精品在线国产| 69av精品久久久久久| 国产极品精品免费视频能看的| 欧美丝袜亚洲另类 | 2021天堂中文幕一二区在线观| 成人18禁在线播放| 国产一区二区三区在线臀色熟女| 精品不卡国产一区二区三区| 国产视频内射| 99热只有精品国产| 久久精品国产亚洲av涩爱 | 脱女人内裤的视频| 亚洲aⅴ乱码一区二区在线播放| 国产高潮美女av| 欧美另类亚洲清纯唯美| 琪琪午夜伦伦电影理论片6080| 757午夜福利合集在线观看| 最近在线观看免费完整版| 啦啦啦免费观看视频1| 一级毛片女人18水好多| 欧美zozozo另类| 午夜福利高清视频| 精品午夜福利视频在线观看一区| 99在线人妻在线中文字幕| 国产精品乱码一区二三区的特点| 亚洲av免费高清在线观看| av天堂在线播放| 国内久久婷婷六月综合欲色啪| 国产精品爽爽va在线观看网站| 国语自产精品视频在线第100页| 国产真实乱freesex| 少妇人妻一区二区三区视频| 中文字幕久久专区| 夜夜爽天天搞| 国产精品影院久久| 九色国产91popny在线| 欧美性猛交╳xxx乱大交人| 欧美日韩综合久久久久久 | 在线观看美女被高潮喷水网站 | 久久久久亚洲av毛片大全| 成熟少妇高潮喷水视频| 九色成人免费人妻av| 久久久久国产精品人妻aⅴ院| 欧美乱妇无乱码| 丁香欧美五月| 精品一区二区三区av网在线观看| 国内毛片毛片毛片毛片毛片| 亚洲人成网站在线播放欧美日韩| 一进一出抽搐动态| 国内揄拍国产精品人妻在线| 国产激情欧美一区二区| 成人午夜高清在线视频| 免费在线观看影片大全网站| 国产精品亚洲av一区麻豆| 久久中文看片网| 欧美乱色亚洲激情| 久久久久国内视频| 99国产极品粉嫩在线观看| 国内久久婷婷六月综合欲色啪| 国产精品日韩av在线免费观看| 婷婷亚洲欧美| 日韩有码中文字幕| av欧美777| av专区在线播放| 69人妻影院| 麻豆久久精品国产亚洲av| 国产精品久久久久久久久免 | 中文字幕人成人乱码亚洲影| 亚洲人成网站高清观看| 少妇裸体淫交视频免费看高清| 中文亚洲av片在线观看爽| 97超级碰碰碰精品色视频在线观看| 一进一出好大好爽视频| 亚洲国产欧美网| 午夜免费激情av| 色在线成人网| 久久久久久久亚洲中文字幕 | 午夜福利视频1000在线观看| 欧美日本亚洲视频在线播放| 久久国产精品人妻蜜桃| 香蕉丝袜av| 免费在线观看影片大全网站| 色综合欧美亚洲国产小说| 久久久久久国产a免费观看| 国语自产精品视频在线第100页| x7x7x7水蜜桃| 岛国视频午夜一区免费看| 特级一级黄色大片| 国产精品嫩草影院av在线观看 | av片东京热男人的天堂| 他把我摸到了高潮在线观看| 看黄色毛片网站| 免费人成视频x8x8入口观看| 女同久久另类99精品国产91| 好男人在线观看高清免费视频| 在线视频色国产色| 免费观看精品视频网站| 久久久精品欧美日韩精品| 欧美激情久久久久久爽电影|