• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云計(jì)算平臺(tái)下資源監(jiān)控系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)

    2016-05-14 09:17:15陳燕
    現(xiàn)代電子技術(shù) 2016年9期
    關(guān)鍵詞:云計(jì)算

    陳燕

    摘 要: 傳統(tǒng)的集群監(jiān)控軟件無(wú)法識(shí)別虛擬機(jī)虛擬化層的存在,同時(shí),環(huán)境的伸縮、虛擬機(jī)的頻繁增減也對(duì)監(jiān)控系統(tǒng)提出新的需求。針對(duì)上述問(wèn)題設(shè)計(jì)并實(shí)現(xiàn)了CloudMonitor,即一種面向云計(jì)算環(huán)境的監(jiān)控系統(tǒng),提出了一種多級(jí)監(jiān)控服務(wù)器結(jié)構(gòu),解決主機(jī)之間不能相互訪問(wèn)的問(wèn)題;另外,每個(gè)機(jī)群都有一個(gè)機(jī)群監(jiān)控服務(wù)器,機(jī)群監(jiān)控服務(wù)器負(fù)責(zé)處理機(jī)群中節(jié)點(diǎn)的監(jiān)控信息,減輕了中心服務(wù)器的負(fù)擔(dān),有效增加了整個(gè)監(jiān)控系統(tǒng)的監(jiān)控規(guī)模。系統(tǒng)在開(kāi)源監(jiān)控系統(tǒng)Nagios的基礎(chǔ)上結(jié)合傳統(tǒng)機(jī)群監(jiān)控軟件的優(yōu)點(diǎn)和虛擬化技術(shù)的特點(diǎn),可以監(jiān)控云計(jì)算環(huán)境下的各類資源。CloudMonitor已在實(shí)驗(yàn)性云基礎(chǔ)平臺(tái)上集成運(yùn)行,并驗(yàn)證了其設(shè)計(jì)目標(biāo)。

    關(guān)鍵詞: 云計(jì)算; 資源監(jiān)控; 機(jī)群管理; 虛擬機(jī)群

    中圖分類號(hào): TN911?34; TM417 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2016)09?0057?04

    Abstract: The traditional cluster monitoring system can′t identify the virtualization level of the virtual machine, so the new requirement for monitoring system is put forward due to the change of environment and virtual machine quantity. For the above problems, CloudMonitor, a monitoring system based on cloud computing environment was designed and implemented. A multistage monitoring server structure is proposed to solve the mutual access problem among host computers. Each machine cluster has a cluster monitoring server to deal with the node monitoring information in the cluster, which can alleviate the burden of the center server, and effectively enlarge the monitoring scale of the whole monitoring system. On the basis of the open?source monitoring system Nagios, the advantages of the traditional cluster monitoring software and virtualization technology are integrated in the system to monitor various sources in cloud computing environment. The CloudMonitor was operated on the cloud computing platform, and its design target was verified.

    Keywords: cloud computing; resource monitoring; cluster management; virtual cluster

    0 引 言

    云計(jì)算作為全新的計(jì)算模式,是下一代信息技術(shù)的焦點(diǎn),具有不言而喻的重要性,將給整個(gè)產(chǎn)業(yè)乃至全社會(huì)帶來(lái)重大變革。在國(guó)內(nèi)產(chǎn)業(yè)界,中興在實(shí)踐中開(kāi)發(fā)了一種海量數(shù)據(jù)云存儲(chǔ)技術(shù),以較低的成本 解決了高速、海量的數(shù)字內(nèi)容存儲(chǔ)以及后續(xù)運(yùn)算的問(wèn)題[1]。目前在中興內(nèi)部,培訓(xùn)系統(tǒng)、 人員檔案甚至MTV存儲(chǔ)都使用這樣的技術(shù)。云計(jì)算對(duì)網(wǎng)絡(luò)架構(gòu)提出了新的要求,其中虛擬化交換、統(tǒng)一交換、透明化交換、超高速交換將是未來(lái)網(wǎng)絡(luò)架構(gòu)發(fā)展的四個(gè)方面[2]。

    成為“合格”的云應(yīng)用,服務(wù)架構(gòu)自身的體質(zhì)是最重要的,可擴(kuò)展性,或者說(shuō)彈性、可伸縮性,追求的是當(dāng)服務(wù)節(jié)點(diǎn)規(guī)模增加時(shí),服務(wù)能力也可以線性或近似線性地提升[3]。這就需要服務(wù)請(qǐng)求可以被良好地、互不干擾地分配到多個(gè)節(jié)點(diǎn)上執(zhí)行[4]。結(jié)合虛擬機(jī)的特點(diǎn),基于Nagios監(jiān)控框架,構(gòu)建一套云計(jì)算環(huán)境下物理機(jī)群和虛擬機(jī)群監(jiān)控系統(tǒng)CloudMonitor。系統(tǒng)不同于傳統(tǒng)監(jiān)控系統(tǒng)之處在于可以監(jiān)控部署物理機(jī)上的虛擬機(jī)以及虛擬機(jī)群,并給出物理機(jī)虛擬機(jī)性能數(shù)據(jù)的對(duì)應(yīng)關(guān)系[5]。

    1 系統(tǒng)需求分析

    1.1 問(wèn)題概述

    云計(jì)算平臺(tái)中虛擬網(wǎng)絡(luò)保證了虛擬機(jī)群網(wǎng)絡(luò)的高效構(gòu)建,給用戶帶來(lái)了極大的便利。但是對(duì)監(jiān)控系統(tǒng)提出了新的問(wèn)題[6]:

    (1) 網(wǎng)絡(luò)無(wú)法互通問(wèn)題。不同的虛擬網(wǎng)之間由于網(wǎng)絡(luò)隔離等需要常常是無(wú)法通信的,如果無(wú)法通信,就無(wú)法獲取被監(jiān)控節(jié)點(diǎn)的監(jiān)控信息,這對(duì)監(jiān)控系統(tǒng)的監(jiān)控信息傳輸提出了新的要求。

    (2) 被監(jiān)控機(jī)器頻繁變動(dòng)問(wèn)題。這造成了在一個(gè)虛擬網(wǎng)絡(luò)內(nèi)部節(jié)點(diǎn)的數(shù)目可能會(huì)經(jīng)常變動(dòng)。用戶常常是一次性創(chuàng)建或銷毀一個(gè)虛擬網(wǎng)絡(luò)以及網(wǎng)絡(luò)內(nèi)的全部機(jī)器。

    1.2 物理機(jī)監(jiān)控需求

    云計(jì)算平臺(tái)的監(jiān)控系統(tǒng)需求可以從兩個(gè)方面闡述:物理機(jī)監(jiān)控需求和虛擬機(jī)監(jiān)控需求。其中物理機(jī)監(jiān)控與傳統(tǒng)機(jī)群監(jiān)控類似,虛擬機(jī)監(jiān)控需求則有一些新特性[7]。

    從監(jiān)控的角度看,云計(jì)算平臺(tái)的物理機(jī)基礎(chǔ)設(shè)施與傳統(tǒng)的機(jī)群系統(tǒng)沒(méi)有太大差別。基礎(chǔ)設(shè)施都是物理機(jī),相對(duì)于虛擬機(jī)來(lái)說(shuō),數(shù)目不會(huì)過(guò)于頻繁的改變。僅需要將物理機(jī)所屬的區(qū)標(biāo)記出來(lái)即可。云計(jì)算平臺(tái)的基礎(chǔ)設(shè)施圖就可以簡(jiǎn)化成如圖1所示。圖1中表示了所有的被監(jiān)控物理機(jī),其數(shù)量、配置及IP設(shè)置等都基本不變[8]。

    因此,對(duì)于基礎(chǔ)設(shè)施的監(jiān)控需求就是監(jiān)控物理機(jī)的各個(gè)物理資源指標(biāo)及機(jī)器上運(yùn)行的服務(wù)和系統(tǒng)的運(yùn)行情況,并對(duì)異常情況進(jìn)行預(yù)警。

    1.3 虛擬機(jī)監(jiān)控需求

    虛擬化技術(shù)主要是一種隔離與監(jiān)視技術(shù),讓不同的虛擬機(jī)分享同一套物理機(jī)(主要指CPU/內(nèi)存子系統(tǒng))而彼此隔離、互不干擾,同時(shí),為虛擬機(jī)代理訪問(wèn)網(wǎng)絡(luò)、磁盤I/O等共享的外部資源。由于虛擬化技術(shù)對(duì)CPU/內(nèi)存子系統(tǒng)工作的干擾很少,因此,計(jì)算能力方面很少有開(kāi)銷,相比之下,I/O性能受到的影響會(huì)略大一些,但也可以接受。虛擬機(jī)和虛擬機(jī)群的出現(xiàn)對(duì)監(jiān)控系統(tǒng)也提出了新的問(wèn)題:虛擬機(jī)隨用戶的操作經(jīng)常性的建立和銷毀;不同應(yīng)用類型的虛擬機(jī)有不同的服務(wù);用戶定制的虛擬機(jī)個(gè)性化強(qiáng),并不限于一種操作系統(tǒng)。

    結(jié)合上述特點(diǎn)得出監(jiān)控系統(tǒng)需求:計(jì)算環(huán)境中各個(gè)分節(jié)點(diǎn)部署獨(dú)立的監(jiān)控系統(tǒng)。

    1.4 系統(tǒng)功能需求

    數(shù)據(jù)采集模塊運(yùn)行在所有的被監(jiān)控節(jié)點(diǎn)上,包括物理機(jī)和虛擬機(jī)。在創(chuàng)建出新的虛擬機(jī)時(shí),自動(dòng)將采集模塊安裝到新建的虛擬機(jī)中,采集模塊支持Windows和Linux操作系統(tǒng)。本模塊需要解決數(shù)據(jù)跨域傳輸?shù)膯?wèn)題和數(shù)據(jù)安全性和及時(shí)性的問(wèn)題。

    監(jiān)控?cái)?shù)據(jù)存儲(chǔ)模塊接收監(jiān)控?cái)?shù)據(jù)并進(jìn)行結(jié)構(gòu)化存儲(chǔ)。監(jiān)控系統(tǒng)一方面向用戶提供監(jiān)控視圖,另一方面提供監(jiān)控?cái)?shù)據(jù)API,供其他應(yīng)用模塊使用。系統(tǒng)還應(yīng)提供預(yù)警功能,系統(tǒng)出現(xiàn)錯(cuò)誤時(shí),通知用戶。同時(shí),監(jiān)控模塊應(yīng)具有較強(qiáng)的穩(wěn)定性,長(zhǎng)時(shí)間(兩個(gè)月)運(yùn)行不崩潰??梢栽贚inux常見(jiàn)版本和Windows系統(tǒng)上運(yùn)行??梢造`活地添加和刪除監(jiān)控項(xiàng)。如果要添加另外的特殊監(jiān)控項(xiàng),也可以通過(guò)更改系統(tǒng)配置實(shí)現(xiàn)。在所有節(jié)點(diǎn)上的監(jiān)控代理,平均每5 min讀一次系統(tǒng)性能數(shù)據(jù),對(duì)系統(tǒng)性能及網(wǎng)絡(luò)帶寬的影響不能超過(guò)5%。

    2 系統(tǒng)總體設(shè)計(jì)

    2.1 功能模塊設(shè)計(jì)

    系統(tǒng)從功能上可以分為5個(gè)功能模塊:監(jiān)控?cái)?shù)據(jù)獲取模塊、監(jiān)控?cái)?shù)據(jù)傳輸模塊、監(jiān)控?cái)?shù)據(jù)管理模塊、預(yù)警模塊、系統(tǒng)管理模塊,如圖2所示。

    2.2 系統(tǒng)架構(gòu)設(shè)計(jì)

    系統(tǒng)為分布式架構(gòu),分為監(jiān)控服務(wù)器和監(jiān)控代理。監(jiān)控代理用于收集本地信息,與監(jiān)控服務(wù)器通信。監(jiān)控服務(wù)器用于接收監(jiān)控代理發(fā)來(lái)的數(shù)據(jù),存儲(chǔ)管理數(shù)據(jù),執(zhí)行預(yù)警策略,提供監(jiān)控?cái)?shù)據(jù)訪問(wèn)接口。監(jiān)控代理部署在每一個(gè)被監(jiān)控物理機(jī)和虛擬機(jī)上,每個(gè)被監(jiān)控域中指定一臺(tái)作為監(jiān)控服務(wù)器,在上面部署監(jiān)控服務(wù)器程序。在被監(jiān)控系統(tǒng)中的計(jì)算設(shè)備層和公共計(jì)算資源層中的所有服務(wù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)等設(shè)備上部署監(jiān)控代理。具體的,在設(shè)備上收集虛擬機(jī)監(jiān)控信息、主機(jī)監(jiān)控信息、虛擬網(wǎng)絡(luò)監(jiān)控信息、虛擬存儲(chǔ)監(jiān)控信息、公共服務(wù)監(jiān)控信息等。在服務(wù)器端收集監(jiān)控代理傳來(lái)的信息,最后呈現(xiàn)給管理員。

    2.3 系統(tǒng)層次設(shè)計(jì)

    系統(tǒng)分為四層,自下而上分別是數(shù)據(jù)采集層,數(shù)據(jù)處理層,數(shù)據(jù)匯集層和監(jiān)控應(yīng)用層。圖3為云計(jì)算平臺(tái)的系統(tǒng)層次結(jié)構(gòu)圖。

    在數(shù)據(jù)采集層系統(tǒng)的所有節(jié)點(diǎn)上,包括物理機(jī)虛擬機(jī)和系統(tǒng)的各個(gè)應(yīng)用服務(wù)器上部署監(jiān)控代理,監(jiān)控代理用于在本地收集機(jī)器的監(jiān)控信息。在監(jiān)控?cái)?shù)據(jù)處理層,由于網(wǎng)絡(luò)防火墻等原因可能出現(xiàn)主機(jī)之間不能直接訪問(wèn)的情況,因此監(jiān)控模塊中加入了本層,同一機(jī)群的機(jī)器監(jiān)控?cái)?shù)據(jù)先在機(jī)群頭節(jié)點(diǎn)上收集,最后再傳遞到總監(jiān)控服務(wù)器上。

    監(jiān)控應(yīng)用層包括監(jiān)控展示界面和監(jiān)控?cái)?shù)據(jù)API。監(jiān)控展示界面提供區(qū)視圖、物理機(jī)視圖、虛擬機(jī)視圖三個(gè)視圖的監(jiān)控界面。向用戶展示實(shí)時(shí)監(jiān)控信息和歷史監(jiān)控信息。

    3 系統(tǒng)詳細(xì)設(shè)計(jì)

    3.1 監(jiān)控?cái)?shù)據(jù)采集模塊

    Windows環(huán)境下,系統(tǒng)使用GetSystemTimes通過(guò)APT獲取CPU占用率,使用GlobalMemoryStatusEx和GetPerformanceInfo獲取內(nèi)存使用情況,使用 GetProcessMemoryInfo獲取某一個(gè)程序的內(nèi)存占用情況。使用 Win32_PerfFormattedData_PerfDisk_LogicalDisk獲取磁盤監(jiān)控?cái)?shù)據(jù)。在Linux環(huán)境下,在/proc/對(duì)應(yīng)的文件中獲取數(shù)據(jù),在/proc/meminfo中獲取內(nèi)存使用情況,cat/proc/meminfo;從/proc文件系統(tǒng)獲取CPU使用情況,cat/proc/stat;從/proc文件系統(tǒng)獲取網(wǎng)絡(luò)使用情況,cat/proc/net/dev。另外,還使用一些系統(tǒng)工具獲取資源使用情況,如用iostat獲取磁盤I/O情況。

    對(duì)于公共服務(wù),使用netstat監(jiān)控其端口號(hào),看該端口號(hào)是否處于監(jiān)聽(tīng)狀態(tài),通過(guò)調(diào)用工具進(jìn)行模擬訪問(wèn),查看返回結(jié)果。對(duì)于用戶私有服務(wù),監(jiān)控其進(jìn)程狀態(tài)。將/proc下的所有文件遍歷一變,判斷當(dāng)中 的哪個(gè)進(jìn)程名與用戶私有服務(wù)的進(jìn)程名相同,然后可以取得對(duì)應(yīng)的進(jìn)程pid,然后查看該進(jìn)程的狀態(tài)。

    3.2 監(jiān)控?cái)?shù)據(jù)傳輸模塊

    監(jiān)控?cái)?shù)據(jù)傳輸使用拉模式,原因是在云計(jì)算環(huán)境下被監(jiān)控機(jī)的規(guī)模無(wú)法估計(jì),伸縮性較強(qiáng),系統(tǒng)設(shè)計(jì)了彈性監(jiān)控?cái)?shù)據(jù)拉取策略。當(dāng)虛擬機(jī)數(shù)量正常時(shí),則監(jiān)控服務(wù)器在閾值周期內(nèi)拉數(shù)據(jù);當(dāng)虛擬機(jī)數(shù)量很大時(shí),監(jiān)控服務(wù)器根據(jù)自己的處理能力,在規(guī)定閾值范圍內(nèi),自動(dòng)增長(zhǎng)拉數(shù)據(jù)的周期。這樣設(shè)計(jì)是為了防止監(jiān)控?cái)?shù)據(jù)的傳輸占用太多帶寬。監(jiān)控服務(wù)器周期性的向各個(gè)監(jiān)控代理發(fā)送數(shù)據(jù)請(qǐng)求,監(jiān)控代理收到請(qǐng)求后執(zhí)行本機(jī)上的監(jiān)控腳本并將監(jiān)控腳本的返回內(nèi)容傳回給監(jiān)控服務(wù)器。使用推模式來(lái)推送新添加的被監(jiān)控節(jié)點(diǎn)自動(dòng)注冊(cè)的信息和注銷信息。

    3.3 監(jiān)控?cái)?shù)據(jù)管理模塊

    實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)在本系統(tǒng)中被定義為最近48 h所產(chǎn)生的監(jiān)控?cái)?shù)據(jù)。系統(tǒng)使用RRDTool數(shù)據(jù)庫(kù)(RoundRobinDatabase)存放近期的監(jiān)控?cái)?shù)據(jù)。監(jiān)控服務(wù)器接收到監(jiān)控?cái)?shù)據(jù)后,將數(shù)據(jù)解析出來(lái),格式化的存儲(chǔ)到數(shù)據(jù)庫(kù)中。監(jiān)控系統(tǒng)的存儲(chǔ)方式是:為每個(gè)被監(jiān)控節(jié)點(diǎn)建一個(gè)目錄,在目錄中有多個(gè).rrd文件,每個(gè).rrd文件中存儲(chǔ)一個(gè)監(jiān)控項(xiàng)的數(shù)據(jù)。監(jiān)控系統(tǒng)對(duì)外提供監(jiān)控?cái)?shù)據(jù)接口,外部應(yīng)用程序可以通過(guò)API讀取監(jiān)控?cái)?shù)據(jù)。監(jiān)控?cái)?shù)據(jù)以兩種方式存在:數(shù)據(jù)庫(kù)中存儲(chǔ)的int型或String型的監(jiān)控?cái)?shù)據(jù)值;某一段時(shí)間的監(jiān)控?cái)?shù)據(jù)繪制的曲線。

    3.4 預(yù)警模塊

    監(jiān)控服務(wù)器中有一個(gè)郵件發(fā)送模塊,可以使用郵件服務(wù)器向指定郵箱發(fā)送郵件,機(jī)群靜態(tài)信息中存有機(jī)群管理員的郵件地址。當(dāng)某個(gè)被監(jiān)控節(jié)點(diǎn)的監(jiān)控項(xiàng)數(shù)據(jù)超過(guò)閾值范圍,調(diào)用郵件發(fā)送模塊,給管理員發(fā)送郵件。預(yù)警事件處理模塊,在當(dāng)某被監(jiān)控機(jī)器出現(xiàn)問(wèn)題時(shí),服務(wù)器可以在被監(jiān)控機(jī)器上運(yùn)行指定的腳本來(lái)恢復(fù)預(yù)警情況,或者通過(guò)重啟被監(jiān)控機(jī)器解決。預(yù)警恢復(fù)部分預(yù)先在被監(jiān)控機(jī)器上寫好事件處理腳本,當(dāng)監(jiān)控服務(wù)器發(fā)現(xiàn)被監(jiān)控機(jī)器出現(xiàn)問(wèn)題時(shí),通過(guò)調(diào)用事件處理腳本來(lái)恢復(fù)預(yù)警情況。預(yù)警通知子模塊提供郵件通知、短信通知兩種通知方式。

    3.5 系統(tǒng)管理模塊

    本模塊包括配置文件管理子模塊設(shè)計(jì),監(jiān)控機(jī)器自動(dòng)注冊(cè)子模塊設(shè)計(jì),監(jiān)控機(jī)器自動(dòng)注銷子模塊設(shè)計(jì)。從用戶創(chuàng)建虛擬機(jī)群開(kāi)始,機(jī)群中的機(jī)器可能會(huì)頻繁添加或者減少,這給集群監(jiān)控服務(wù)器的管理提出了新問(wèn)題。在虛擬機(jī)群創(chuàng)建的時(shí)候,用戶指定頭節(jié)點(diǎn),頭節(jié)點(diǎn)虛擬機(jī)在創(chuàng)建的時(shí)候自動(dòng)安裝有監(jiān)控服務(wù)器程序,其他節(jié)點(diǎn)安裝有監(jiān)控代理程序。當(dāng)某個(gè)虛擬機(jī)被銷毀時(shí),執(zhí)行被銷毀虛擬機(jī)中的destroy腳本,在集群監(jiān)控服務(wù)器的配置文件中注銷本機(jī)。當(dāng)添加某個(gè)虛擬機(jī)時(shí),向本機(jī)群監(jiān)控服務(wù)器注冊(cè)本機(jī)及本機(jī)監(jiān)控項(xiàng)。

    3.6 監(jiān)控代理和監(jiān)控服務(wù)器

    本模塊包括兩部分:第一部分是客戶端程序,運(yùn)行于機(jī)群監(jiān)控服務(wù)器,負(fù)責(zé)將本機(jī)群的監(jiān)控?cái)?shù)據(jù)送到全局服務(wù)器上去;另一部分是守護(hù)進(jìn)程,它既可以獨(dú)立地運(yùn)行于守護(hù)服務(wù)也可以注冊(cè)到inetd里作為一個(gè)inetd客戶程序提供監(jiān)聽(tīng)聯(lián)接。從機(jī)群服務(wù)器收到監(jiān)控信息后,守護(hù)進(jìn)程將結(jié)果提交給全局監(jiān)控服務(wù)器,實(shí)際上是模擬了從一臺(tái)被監(jiān)控機(jī)器上傳輸監(jiān)控信息的一個(gè)過(guò)程,從全局監(jiān)控服務(wù)器的視角看,從機(jī)群監(jiān)控服務(wù)器傳來(lái)的數(shù)據(jù)和直接從被監(jiān)控節(jié)點(diǎn)上傳來(lái)的數(shù)據(jù)沒(méi)有差別。

    4 實(shí)驗(yàn)測(cè)試與結(jié)果分析

    4.1 監(jiān)控服務(wù)器響應(yīng)測(cè)試

    監(jiān)控服務(wù)器: CPU@2.0 GHz/2GMemory/160GHD,被監(jiān)控機(jī)器: CPU@2.0 GHz/2GMemory/160GHD。

    在LoadRunner中,設(shè)定25個(gè)User,每個(gè)User重復(fù)訪問(wèn)服務(wù)器讀取監(jiān)控?cái)?shù)據(jù),并進(jìn)行5次點(diǎn)擊查看操作。運(yùn)行9 min的過(guò)程中,重復(fù)了2 031 844次操作,共有2 031 844次成功返回結(jié)果。圖4為響應(yīng)時(shí)間曲線,在并發(fā)數(shù)為20的情況下,最大響應(yīng)時(shí)間為0.004 s。

    最后報(bào)告成功了21 901 245次,平均19 004.8 /s,失敗1次,系統(tǒng)工作良好。在頻繁查詢的情況下可以正常的返回結(jié)果。

    4.2 應(yīng)用規(guī)模及系統(tǒng)占用資源測(cè)試

    測(cè)試目的:總監(jiān)控服務(wù)器共可以支持的下級(jí)服務(wù)器數(shù)目,每個(gè)下級(jí)服務(wù)器可以支持監(jiān)控節(jié)點(diǎn)的數(shù)目;監(jiān)控系統(tǒng)對(duì)機(jī)器性能的影響。監(jiān)控服務(wù)器端性能影響,監(jiān)控代理對(duì)被監(jiān)控節(jié)點(diǎn)的性能影響,此處的性能影響主要是指對(duì)節(jié)點(diǎn)的CPU負(fù)載,內(nèi)存占用的情況。

    測(cè)試環(huán)境同上,在監(jiān)控服務(wù)器上添加100個(gè)被監(jiān)控主機(jī),每個(gè)監(jiān)控主機(jī)有五個(gè)監(jiān)控項(xiàng),監(jiān)控項(xiàng)總數(shù)是502項(xiàng),如圖5所示。

    CPU占用率不超過(guò)3%,內(nèi)存使用率不超過(guò)0.5%,實(shí)際間隔為2 min。在監(jiān)控服務(wù)器上添加300個(gè)被監(jiān)控主機(jī),每個(gè)監(jiān)控主機(jī)有五個(gè)監(jiān)控項(xiàng)。CPU占用率為3%,峰值不超過(guò)7%。內(nèi)存占用率不超過(guò)0.5%。CPU負(fù)載較100個(gè)節(jié)點(diǎn)的時(shí)候有所上升:0.9vs.0.5。進(jìn)程數(shù)目增多:160vs.70,實(shí)際間隔為5 min。連續(xù)工作6天,從其自身的監(jiān)控?cái)?shù)據(jù)來(lái)看,一切工作正常,監(jiān)控服務(wù)器性能狀況如圖6所示。

    在監(jiān)控服務(wù)器上添加500個(gè)被監(jiān)控主機(jī),每個(gè)監(jiān)控主機(jī)有5個(gè)監(jiān)控項(xiàng),監(jiān)控項(xiàng)總數(shù)是2 468項(xiàng)。在此情況下,機(jī)器負(fù)載有所上升。CPU占用率為3%,峰值不超過(guò)10%。內(nèi)存占用率不超過(guò)0.5%。CPU負(fù)載較100個(gè)節(jié)點(diǎn)的時(shí)候有所上升:1.45vs.0.5。進(jìn)程數(shù)目增多:240vs.70。定義的監(jiān)控檢查時(shí)間間隔為1 min,但是實(shí)際間隔為10 min。

    測(cè)試結(jié)論:CPU占用率在10%以內(nèi),內(nèi)存使用在1%以內(nèi),實(shí)時(shí)性要求較高,則監(jiān)控規(guī)模應(yīng)控制在100以內(nèi)。從性能角度來(lái)考慮,監(jiān)控規(guī)模應(yīng)控制在300以內(nèi)。

    5 結(jié) 論

    基于虛擬機(jī)群、基礎(chǔ)設(shè)施共享的云計(jì)算環(huán)境與傳統(tǒng)機(jī)群有著不同的特點(diǎn),現(xiàn)有的機(jī)群監(jiān)控系統(tǒng)不能滿足規(guī)模擴(kuò)展與云互聯(lián)的需求。為此,提出了CloudMonitor,一種面向云計(jì)算環(huán)境的監(jiān)控系統(tǒng)。系統(tǒng)基于開(kāi)源監(jiān)控框架Nagios結(jié)合傳統(tǒng)監(jiān)控系統(tǒng)和云計(jì)算環(huán)境的新特點(diǎn),既能準(zhǔn)確獲取監(jiān)控信息又能適應(yīng)虛擬網(wǎng)絡(luò)、虛擬機(jī)群的特點(diǎn)。

    分析了云計(jì)算環(huán)境下監(jiān)控的問(wèn)題,同時(shí)給出了云計(jì)算平臺(tái)下資源監(jiān)控系統(tǒng)的總體設(shè)計(jì)和詳細(xì)設(shè)計(jì),對(duì)監(jiān)控?cái)?shù)據(jù)的采集、傳輸、存儲(chǔ)、讀取接口、監(jiān)控服務(wù)器的結(jié)構(gòu)及管理等方面都進(jìn)行了詳細(xì)說(shuō)明,給出了系統(tǒng)的測(cè)試過(guò)程和測(cè)試結(jié)果,證明了系統(tǒng)在功能上的完備性,并通過(guò)測(cè)試得到了總監(jiān)控服務(wù)器共可以支持的下級(jí)服務(wù)器數(shù)目,每個(gè)下級(jí)服務(wù)器可以支持監(jiān)控節(jié)點(diǎn)的數(shù)目以及監(jiān)控系統(tǒng)對(duì)機(jī)器性能的影響。本文提出了一種多級(jí)監(jiān)控服務(wù)器結(jié)構(gòu),解決了主機(jī)之間不能相互訪問(wèn)的問(wèn)題。

    參考文獻(xiàn)

    [1] 陳康,鄭緯民.云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J].軟件學(xué)報(bào),2009,20(5):1337?1348.

    [2] 許丞,劉洪,譚良,等.Hadoop云平臺(tái)的一種新的任務(wù)調(diào)度和監(jiān)控機(jī)制[J].計(jì)算機(jī)科學(xué),2013,40(1):112?117.

    [3] 方薇,崔超遠(yuǎn),王儒敬,等.Eucalyptus開(kāi)源框架下云平臺(tái)的構(gòu)建與性能分析[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2012,21(6):1?5.

    [4] 成靜靜.基于Hadoop的分布式云計(jì)算/云存儲(chǔ)方案的研究與設(shè)計(jì)[J].數(shù)據(jù)通信,2012(5):14?18.

    [5] 張堯?qū)W,周悅芝.一種云計(jì)算操作系統(tǒng)TransOS:基于透明計(jì)算的設(shè)計(jì)與實(shí)現(xiàn)[J].電子學(xué)報(bào),2011,39(5):985?990.

    [6] 馮登國(guó),張敏,張妍,等.云計(jì)算安全研究[J].軟件學(xué)報(bào),2011,22(1):71?83.

    [7] 羅軍舟,金嘉暉,宋愛(ài)波,等.云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)[J].通信學(xué)報(bào),2011,32(7):3?21.

    [8] 穆俊.基于云平臺(tái)的并行關(guān)聯(lián)規(guī)則挖掘算法分析[J].現(xiàn)代電子技術(shù),2015,38(11):123?125.

    猜你喜歡
    云計(jì)算
    云計(jì)算虛擬化技術(shù)在電信領(lǐng)域的應(yīng)用研究
    基于云計(jì)算的醫(yī)院信息系統(tǒng)數(shù)據(jù)安全技術(shù)的應(yīng)用探討
    談云計(jì)算與信息資源共享管理
    志愿服務(wù)與“互聯(lián)網(wǎng)+”結(jié)合模式探究
    云計(jì)算與虛擬化
    基于云計(jì)算的移動(dòng)學(xué)習(xí)平臺(tái)的設(shè)計(jì)
    基于云計(jì)算環(huán)境下的ERP教學(xué)改革分析
    科技視界(2016年22期)2016-10-18 14:33:46
    基于MapReduce的故障診斷方法
    實(shí)驗(yàn)云:理論教學(xué)與實(shí)驗(yàn)教學(xué)深度融合的助推器
    云計(jì)算中的存儲(chǔ)虛擬化技術(shù)應(yīng)用
    科技視界(2016年20期)2016-09-29 13:34:06
    欧美日韩黄片免| 亚洲精品自拍成人| 99热网站在线观看| 久久青草综合色| 亚洲专区国产一区二区| 美女午夜性视频免费| 国产欧美亚洲国产| 69精品国产乱码久久久| 午夜免费鲁丝| 婷婷成人精品国产| 91麻豆精品激情在线观看国产 | 一区在线观看完整版| 日韩欧美在线二视频 | 啪啪无遮挡十八禁网站| 亚洲综合色网址| 看片在线看免费视频| 亚洲欧美激情在线| 少妇被粗大的猛进出69影院| 母亲3免费完整高清在线观看| 日本vs欧美在线观看视频| 久久久久久久久免费视频了| 激情视频va一区二区三区| 国产淫语在线视频| 99国产精品一区二区蜜桃av | 少妇被粗大的猛进出69影院| 在线观看午夜福利视频| 国产精品一区二区在线不卡| 亚洲成人免费电影在线观看| 精品乱码久久久久久99久播| 制服诱惑二区| 看免费av毛片| 男人舔女人的私密视频| 视频区欧美日本亚洲| 欧美精品一区二区免费开放| 亚洲欧美激情综合另类| 99国产精品一区二区蜜桃av | 日本a在线网址| 另类亚洲欧美激情| 日韩 欧美 亚洲 中文字幕| 精品一区二区三卡| 国产高清激情床上av| 午夜影院日韩av| 黑人巨大精品欧美一区二区蜜桃| 久久久久久免费高清国产稀缺| 精品少妇一区二区三区视频日本电影| 美女国产高潮福利片在线看| 亚洲一区中文字幕在线| 色综合婷婷激情| 精品欧美一区二区三区在线| 黄色片一级片一级黄色片| 精品久久久久久久毛片微露脸| 深夜精品福利| 啦啦啦免费观看视频1| 搡老熟女国产l中国老女人| 国产精品久久电影中文字幕 | 亚洲av片天天在线观看| 在线观看免费高清a一片| 9191精品国产免费久久| 黄色丝袜av网址大全| 高清在线国产一区| 热99re8久久精品国产| 久9热在线精品视频| 久久午夜亚洲精品久久| 国产精品偷伦视频观看了| 欧美日韩一级在线毛片| 日韩大码丰满熟妇| 99riav亚洲国产免费| 天堂中文最新版在线下载| 男女之事视频高清在线观看| 亚洲一码二码三码区别大吗| 视频在线观看一区二区三区| 中国美女看黄片| a在线观看视频网站| 久久精品成人免费网站| 欧美日韩福利视频一区二区| 国产精品 欧美亚洲| 日日爽夜夜爽网站| 欧美日韩精品网址| 亚洲精品在线美女| 精品久久久久久,| 99re6热这里在线精品视频| 国产男女超爽视频在线观看| 又大又爽又粗| 国产亚洲欧美98| 91大片在线观看| 窝窝影院91人妻| 中文字幕精品免费在线观看视频| 黄色怎么调成土黄色| 脱女人内裤的视频| 男男h啪啪无遮挡| 精品国产国语对白av| 一本综合久久免费| 国产精品一区二区精品视频观看| 天堂俺去俺来也www色官网| 久久久久久人人人人人| 国产野战对白在线观看| av在线播放免费不卡| 一进一出好大好爽视频| 亚洲第一青青草原| 麻豆国产av国片精品| 国产精品一区二区免费欧美| 成人特级黄色片久久久久久久| 国产一卡二卡三卡精品| 99精品久久久久人妻精品| 欧美最黄视频在线播放免费 | 一区二区三区激情视频| 久久精品人人爽人人爽视色| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲va日本ⅴa欧美va伊人久久| 丁香欧美五月| 18禁裸乳无遮挡免费网站照片 | 日韩精品免费视频一区二区三区| 嫁个100分男人电影在线观看| 最近最新中文字幕大全电影3 | 亚洲国产欧美一区二区综合| 欧美久久黑人一区二区| 日韩欧美国产一区二区入口| 男女免费视频国产| 久久午夜综合久久蜜桃| 久久人人97超碰香蕉20202| 90打野战视频偷拍视频| 法律面前人人平等表现在哪些方面| 水蜜桃什么品种好| 美女高潮喷水抽搐中文字幕| 色婷婷av一区二区三区视频| 欧美不卡视频在线免费观看 | 亚洲国产欧美一区二区综合| 欧美最黄视频在线播放免费 | 欧美在线黄色| 欧美成狂野欧美在线观看| 久久影院123| 黑人操中国人逼视频| 久久精品国产a三级三级三级| 精品国产一区二区三区久久久樱花| 可以免费在线观看a视频的电影网站| www日本在线高清视频| av在线播放免费不卡| 国产成人影院久久av| 久久青草综合色| 国产日韩欧美亚洲二区| 亚洲人成电影观看| 国产成+人综合+亚洲专区| 在线观看免费视频网站a站| 男人的好看免费观看在线视频 | 免费看a级黄色片| 久久久久久久精品吃奶| 日日夜夜操网爽| 新久久久久国产一级毛片| 大型av网站在线播放| 91大片在线观看| 91字幕亚洲| 少妇裸体淫交视频免费看高清 | 一级毛片高清免费大全| 久热这里只有精品99| 大香蕉久久成人网| 一本大道久久a久久精品| 国产av一区二区精品久久| 亚洲色图 男人天堂 中文字幕| 中文字幕高清在线视频| 1024香蕉在线观看| 少妇的丰满在线观看| 一级黄色大片毛片| 99在线人妻在线中文字幕 | 国产亚洲一区二区精品| 日韩三级视频一区二区三区| 高清av免费在线| 天堂俺去俺来也www色官网| 露出奶头的视频| 校园春色视频在线观看| 三上悠亚av全集在线观看| 国产男女超爽视频在线观看| 国产aⅴ精品一区二区三区波| 老熟妇仑乱视频hdxx| 欧美日韩乱码在线| 人妻丰满熟妇av一区二区三区 | 在线观看日韩欧美| 成年版毛片免费区| 午夜福利免费观看在线| 成人18禁高潮啪啪吃奶动态图| 国产欧美日韩一区二区三区在线| 免费女性裸体啪啪无遮挡网站| 欧美大码av| av线在线观看网站| 中亚洲国语对白在线视频| 丁香六月欧美| 热99久久久久精品小说推荐| 国产亚洲欧美98| 久久国产精品影院| 少妇裸体淫交视频免费看高清 | 免费在线观看完整版高清| 亚洲黑人精品在线| 高清av免费在线| 亚洲一区二区三区不卡视频| 一级a爱片免费观看的视频| 国产成人精品在线电影| 69精品国产乱码久久久| 国产1区2区3区精品| 天堂俺去俺来也www色官网| 一区福利在线观看| 久久精品91无色码中文字幕| av天堂久久9| 老熟妇乱子伦视频在线观看| 亚洲片人在线观看| 国产精品久久视频播放| 久久ye,这里只有精品| 免费日韩欧美在线观看| 国产不卡一卡二| 中文字幕另类日韩欧美亚洲嫩草| 日本撒尿小便嘘嘘汇集6| 精品少妇久久久久久888优播| 久热爱精品视频在线9| 国产xxxxx性猛交| 国内毛片毛片毛片毛片毛片| 很黄的视频免费| 国产精品电影一区二区三区 | 最近最新中文字幕大全电影3 | 欧美日韩一级在线毛片| 757午夜福利合集在线观看| 亚洲精品美女久久久久99蜜臀| av片东京热男人的天堂| 美女视频免费永久观看网站| 成人亚洲精品一区在线观看| 十分钟在线观看高清视频www| 色婷婷av一区二区三区视频| 亚洲中文av在线| 18禁裸乳无遮挡免费网站照片 | 精品国产乱码久久久久久男人| 欧美丝袜亚洲另类 | 日韩免费高清中文字幕av| 丝袜在线中文字幕| 少妇被粗大的猛进出69影院| av福利片在线| 成年人午夜在线观看视频| 欧美在线黄色| 一区二区三区精品91| 国产1区2区3区精品| 国产成人欧美| 国产精品二区激情视频| 18禁裸乳无遮挡免费网站照片 | 国产精品久久久久久人妻精品电影| 最新在线观看一区二区三区| 黑人欧美特级aaaaaa片| 日韩有码中文字幕| 人人澡人人妻人| 精品国产亚洲在线| 日韩欧美一区二区三区在线观看 | 操出白浆在线播放| 一级毛片高清免费大全| 自线自在国产av| 国产精品自产拍在线观看55亚洲 | 每晚都被弄得嗷嗷叫到高潮| 久久香蕉国产精品| 日本撒尿小便嘘嘘汇集6| 国产在视频线精品| 国产又爽黄色视频| 国产精品 国内视频| 久久影院123| 欧美日韩亚洲高清精品| 成人免费观看视频高清| 很黄的视频免费| 热99国产精品久久久久久7| 久久精品aⅴ一区二区三区四区| 国产成人av教育| 一边摸一边做爽爽视频免费| 大型av网站在线播放| 亚洲成人手机| 99精品欧美一区二区三区四区| 欧美成人免费av一区二区三区 | 欧美乱妇无乱码| 色婷婷久久久亚洲欧美| 99精国产麻豆久久婷婷| 亚洲中文日韩欧美视频| 国产精品九九99| av一本久久久久| 日韩成人在线观看一区二区三区| 久久这里只有精品19| 中文亚洲av片在线观看爽 | 亚洲三区欧美一区| 夜夜爽天天搞| 激情在线观看视频在线高清 | 老熟妇乱子伦视频在线观看| 51午夜福利影视在线观看| 亚洲色图综合在线观看| 免费看十八禁软件| 无限看片的www在线观看| 久久香蕉国产精品| 脱女人内裤的视频| 99国产精品免费福利视频| 亚洲综合色网址| 亚洲av成人不卡在线观看播放网| 久99久视频精品免费| 亚洲成人免费电影在线观看| 这个男人来自地球电影免费观看| 水蜜桃什么品种好| 啪啪无遮挡十八禁网站| a级毛片黄视频| 成人亚洲精品一区在线观看| 91老司机精品| 久久天堂一区二区三区四区| www.熟女人妻精品国产| 国产高清激情床上av| 女人被狂操c到高潮| 亚洲专区中文字幕在线| 波多野结衣一区麻豆| 老司机深夜福利视频在线观看| 啦啦啦 在线观看视频| 高清在线国产一区| 黄色女人牲交| www.熟女人妻精品国产| av在线播放免费不卡| 国产97色在线日韩免费| 国产野战对白在线观看| 夜夜夜夜夜久久久久| 亚洲专区中文字幕在线| 国产欧美日韩综合在线一区二区| 少妇粗大呻吟视频| 久久九九热精品免费| 一边摸一边抽搐一进一出视频| 国产午夜精品久久久久久| 久久热在线av| 美女高潮喷水抽搐中文字幕| 精品久久久久久久久久免费视频 | 中文字幕人妻丝袜一区二区| 亚洲在线自拍视频| 欧美激情 高清一区二区三区| 高清av免费在线| 免费黄频网站在线观看国产| 18禁裸乳无遮挡动漫免费视频| 嫩草影视91久久| 国产欧美日韩一区二区精品| 丝袜在线中文字幕| 中文字幕人妻熟女乱码| 每晚都被弄得嗷嗷叫到高潮| 午夜精品久久久久久毛片777| 精品国产超薄肉色丝袜足j| av超薄肉色丝袜交足视频| 无限看片的www在线观看| 国产男女超爽视频在线观看| 在线观看舔阴道视频| 国产精品九九99| 免费在线观看日本一区| 99在线人妻在线中文字幕 | 叶爱在线成人免费视频播放| 国产亚洲精品一区二区www | 午夜两性在线视频| 91国产中文字幕| 亚洲精品成人av观看孕妇| 一级片免费观看大全| 在线十欧美十亚洲十日本专区| 精品国产乱码久久久久久男人| 9191精品国产免费久久| 久久中文字幕一级| 成人永久免费在线观看视频| 精品免费久久久久久久清纯 | a在线观看视频网站| 一级a爱视频在线免费观看| 久久久久久久精品吃奶| 精品福利观看| 免费看十八禁软件| 天堂俺去俺来也www色官网| 亚洲人成电影观看| 国产一区二区三区视频了| 男人的好看免费观看在线视频 | 亚洲av美国av| 亚洲欧美日韩高清在线视频| 19禁男女啪啪无遮挡网站| 精品久久久久久久久久免费视频 | 黑丝袜美女国产一区| 色播在线永久视频| 天天添夜夜摸| 美国免费a级毛片| 欧美日韩亚洲综合一区二区三区_| 久久精品国产综合久久久| 国产男女超爽视频在线观看| 中文字幕精品免费在线观看视频| 高清黄色对白视频在线免费看| 欧美精品啪啪一区二区三区| 啪啪无遮挡十八禁网站| 精品少妇一区二区三区视频日本电影| 大香蕉久久成人网| 成人av一区二区三区在线看| 国产成人av教育| 亚洲av成人不卡在线观看播放网| 亚洲免费av在线视频| 女人高潮潮喷娇喘18禁视频| 可以免费在线观看a视频的电影网站| 日韩成人在线观看一区二区三区| 高清av免费在线| 欧美黑人精品巨大| 国产人伦9x9x在线观看| 91精品三级在线观看| 久久青草综合色| 久久香蕉国产精品| 91精品国产国语对白视频| 亚洲片人在线观看| 欧美丝袜亚洲另类 | 国产不卡一卡二| 久99久视频精品免费| 97人妻天天添夜夜摸| 国产一区二区三区在线臀色熟女 | 真人做人爱边吃奶动态| 精品乱码久久久久久99久播| www.精华液| 丝瓜视频免费看黄片| 久久精品91无色码中文字幕| 久久精品亚洲熟妇少妇任你| 国产免费现黄频在线看| 精品久久久久久久久久免费视频 | 免费在线观看影片大全网站| 丝袜人妻中文字幕| 美女福利国产在线| 婷婷精品国产亚洲av在线 | 女性被躁到高潮视频| 亚洲全国av大片| 中文字幕另类日韩欧美亚洲嫩草| 看黄色毛片网站| 一区二区日韩欧美中文字幕| 国产欧美日韩综合在线一区二区| 国产精品99久久99久久久不卡| 日韩视频一区二区在线观看| 国产成人av激情在线播放| 一a级毛片在线观看| 日本撒尿小便嘘嘘汇集6| 欧美日韩黄片免| 又大又爽又粗| 欧美激情久久久久久爽电影 | 女同久久另类99精品国产91| 国产亚洲精品久久久久5区| 看片在线看免费视频| 高清视频免费观看一区二区| 法律面前人人平等表现在哪些方面| 日韩成人在线观看一区二区三区| 三级毛片av免费| 丝袜在线中文字幕| 18禁裸乳无遮挡免费网站照片 | 变态另类成人亚洲欧美熟女 | 久久精品人人爽人人爽视色| 久久精品亚洲熟妇少妇任你| 热99re8久久精品国产| 妹子高潮喷水视频| 成人手机av| 大型黄色视频在线免费观看| 国产97色在线日韩免费| 久热这里只有精品99| 亚洲情色 制服丝袜| 大香蕉久久网| 久久精品亚洲熟妇少妇任你| 亚洲人成电影观看| 日韩制服丝袜自拍偷拍| 少妇的丰满在线观看| 国产蜜桃级精品一区二区三区 | 大陆偷拍与自拍| 欧美性长视频在线观看| 在线观看午夜福利视频| 久久久久久久国产电影| 欧美成人免费av一区二区三区 | 大片电影免费在线观看免费| 久久精品国产清高在天天线| 丁香六月欧美| 亚洲av日韩在线播放| 久久香蕉精品热| 欧美日韩一级在线毛片| 免费少妇av软件| 国产精品永久免费网站| 19禁男女啪啪无遮挡网站| 国产成+人综合+亚洲专区| a级毛片在线看网站| 国产成人欧美| 久久久久视频综合| 欧美激情 高清一区二区三区| 国产成人免费无遮挡视频| 国产精品av久久久久免费| 亚洲一区中文字幕在线| 亚洲熟女精品中文字幕| 男女午夜视频在线观看| 熟女少妇亚洲综合色aaa.| 亚洲第一av免费看| 国产成人欧美在线观看 | www.自偷自拍.com| 黄色视频,在线免费观看| 窝窝影院91人妻| 大型黄色视频在线免费观看| 男人的好看免费观看在线视频 | 国产有黄有色有爽视频| 99国产精品99久久久久| 另类亚洲欧美激情| 极品人妻少妇av视频| av线在线观看网站| 三级毛片av免费| 99久久人妻综合| 欧美日韩福利视频一区二区| 国产精品久久久久久精品古装| 最近最新免费中文字幕在线| 国产精品一区二区在线不卡| 国产精品亚洲一级av第二区| 中亚洲国语对白在线视频| 无限看片的www在线观看| 色94色欧美一区二区| 日日摸夜夜添夜夜添小说| 亚洲片人在线观看| 国产精品 欧美亚洲| 另类亚洲欧美激情| 色尼玛亚洲综合影院| 在线永久观看黄色视频| 人人妻人人添人人爽欧美一区卜| 人妻一区二区av| 亚洲欧洲精品一区二区精品久久久| 精品国产一区二区三区四区第35| 婷婷丁香在线五月| 日韩成人在线观看一区二区三区| 精品一区二区三区四区五区乱码| 大型黄色视频在线免费观看| 国产国语露脸激情在线看| 欧美+亚洲+日韩+国产| 99久久国产精品久久久| 男人舔女人的私密视频| 视频区图区小说| 日韩欧美国产一区二区入口| 热99re8久久精品国产| 乱人伦中国视频| 女人精品久久久久毛片| 在线视频色国产色| 欧美丝袜亚洲另类 | 99re在线观看精品视频| 国产精品久久电影中文字幕 | 成人手机av| 激情视频va一区二区三区| 日本一区二区免费在线视频| 久久亚洲精品不卡| 国产成人免费无遮挡视频| 交换朋友夫妻互换小说| 飞空精品影院首页| 亚洲avbb在线观看| 日韩三级视频一区二区三区| 激情在线观看视频在线高清 | 国产一区有黄有色的免费视频| 9色porny在线观看| 性色av乱码一区二区三区2| 热re99久久精品国产66热6| 国产成人免费观看mmmm| 亚洲男人天堂网一区| 又黄又粗又硬又大视频| 欧美乱妇无乱码| 国产在线观看jvid| 免费在线观看日本一区| cao死你这个sao货| 伊人久久大香线蕉亚洲五| 国产成人啪精品午夜网站| videosex国产| 国产视频一区二区在线看| 99热网站在线观看| 人人妻人人爽人人添夜夜欢视频| 99国产精品一区二区三区| 国产欧美日韩一区二区精品| 精品视频人人做人人爽| 中文字幕高清在线视频| 最新的欧美精品一区二区| 91成人精品电影| 最近最新中文字幕大全电影3 | 色播在线永久视频| 嫁个100分男人电影在线观看| 男女午夜视频在线观看| 亚洲在线自拍视频| 日本a在线网址| 午夜视频精品福利| svipshipincom国产片| 天天添夜夜摸| 久久久久久免费高清国产稀缺| 大码成人一级视频| 19禁男女啪啪无遮挡网站| 国产精品99久久99久久久不卡| 亚洲人成伊人成综合网2020| 亚洲,欧美精品.| 久久精品亚洲精品国产色婷小说| 成人黄色视频免费在线看| 久久国产精品男人的天堂亚洲| 日日爽夜夜爽网站| 一边摸一边抽搐一进一小说 | av天堂久久9| 国产亚洲精品久久久久5区| 黄色 视频免费看| 国产精品欧美亚洲77777| 黄色视频,在线免费观看| 欧美日韩黄片免| 欧美日韩亚洲国产一区二区在线观看 | avwww免费| 色综合婷婷激情| 久久精品亚洲av国产电影网| 亚洲第一av免费看| 男男h啪啪无遮挡| 国产精华一区二区三区| 国产一区在线观看成人免费| 在线观看免费高清a一片| 亚洲人成电影观看| 国产xxxxx性猛交| 亚洲中文日韩欧美视频| 国产精品偷伦视频观看了| 国产又色又爽无遮挡免费看| 亚洲av片天天在线观看| 欧美成狂野欧美在线观看| 亚洲片人在线观看| 搡老熟女国产l中国老女人| 欧美色视频一区免费| 国产av一区二区精品久久| 久久精品亚洲精品国产色婷小说| 欧美日韩一级在线毛片| 久久精品国产清高在天天线| 久久精品亚洲熟妇少妇任你| 无人区码免费观看不卡| 美女高潮喷水抽搐中文字幕| 亚洲色图av天堂| 国产97色在线日韩免费| 岛国毛片在线播放| 国产亚洲av高清不卡| 欧美成人免费av一区二区三区 |