• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向微服務(wù)架構(gòu)的軟件系統(tǒng)韌性增強(qiáng)技術(shù)研究*

    2021-10-26 06:32:08航,許
    關(guān)鍵詞:韌性容器組件

    余 航,許 博

    (陸軍工程大學(xué) 指揮控制工程學(xué)院,江蘇 南京 210007)

    0 引言

    對(duì)于軟件系統(tǒng),尤其是具有關(guān)鍵任務(wù)使命的系統(tǒng)而言,確保任務(wù)執(zhí)行不中斷、具備持續(xù)運(yùn)行能力、保證使命任務(wù)的完成至關(guān)重要。 事實(shí)上,許多風(fēng)險(xiǎn)都會(huì)對(duì)系統(tǒng)服務(wù)產(chǎn)生嚴(yán)重影響,例如自然災(zāi)害、硬件故障、性能過載、錯(cuò)誤配置、軟件漏洞、惡意程序、敵對(duì)攻擊等[1],故障風(fēng)險(xiǎn)的增加會(huì)嚴(yán)重降低已部署服務(wù)的質(zhì)量,甚至導(dǎo)致服務(wù)完全中斷。

    在安全領(lǐng)域,盡管許多科研人員仍然致力于構(gòu)建更加健全的外部安防體系,試圖將威脅拒止于受保護(hù)的系統(tǒng)之外,但一旦研究人員精心構(gòu)建的防被線被突破之后,所有的努力都將功虧一簣。 鑒于當(dāng)前網(wǎng)絡(luò)環(huán)境的復(fù)雜性、威脅形式的多樣性以及威脅的不可預(yù)測(cè)性,利用傳統(tǒng)的外部防御手段來實(shí)現(xiàn)無懈可擊的保護(hù)是不現(xiàn)實(shí)的。 并且復(fù)雜的安防系統(tǒng)會(huì)因?yàn)檫^于臃腫而導(dǎo)致資源的嚴(yán)重消耗以及系統(tǒng)網(wǎng)絡(luò)性能的下降[2],因此需要改變思維方式,考慮當(dāng)外部防御失敗后的狀況。 也就是說,系統(tǒng)必須考慮在面對(duì)已經(jīng)到來的破壞情況下,如何確保服務(wù)得以持續(xù),保證任務(wù)使命得以完成。

    1 相關(guān)背景

    1.1 系統(tǒng)韌性

    系統(tǒng)抵抗風(fēng)險(xiǎn)可能帶來的破壞性并在災(zāi)害、故障、攻擊到來時(shí)維持服務(wù)持續(xù)運(yùn)行、確保使命必達(dá)的能力通常被稱為系統(tǒng)韌性。自美國(guó)國(guó)防部于2014年提出并推行“網(wǎng)絡(luò)韌性”以來,“韌性”一詞便在計(jì)算機(jī)領(lǐng)域受到廣泛關(guān)注。

    韌性多用于表示實(shí)體或系統(tǒng)在發(fā)生擾動(dòng)后快速恢復(fù)到常態(tài)的能力[3]。 堪薩斯大學(xué) ResiliNets 項(xiàng)目對(duì)于韌性的定義是“當(dāng)正常操作面臨故障和挑戰(zhàn)時(shí)能夠提供并維持可接受的服務(wù)水平的能力”[4]。 而在軟件系統(tǒng)中,韌性能力是指確保軟件系統(tǒng)在遭受各種事故時(shí),仍然能夠保持關(guān)鍵服務(wù)的可用性與可持續(xù)性,確保任務(wù)能夠完成[5]。

    1.2 微服務(wù)架構(gòu)

    到目前為止,最常見的用于部署應(yīng)用程序的體系結(jié)構(gòu)是單體架構(gòu)。 在單體架構(gòu)中,每個(gè)部署單元都是處理所有功能的自治實(shí)體。 但單體架構(gòu)存在擴(kuò)展性差、可靠性低、可重用性低、維護(hù)成本高等問題,近年來提出的微服務(wù)架構(gòu)[6]給出了一種新的解決思路。

    微服務(wù)架構(gòu)最早由 Fred George 在2012 年 3 月的Agile India 上提出,Martin 和 James 在 Microservices[7]文中對(duì)其進(jìn)行了通俗易懂的闡述。 該架構(gòu)將復(fù)雜的應(yīng)用程序解耦為輕量級(jí)和松散耦合的組件,較為成功地克服了單體架構(gòu)的局限性。 每個(gè)組件都使用單獨(dú)的源代碼存儲(chǔ)庫(kù)獨(dú)立執(zhí)行微服務(wù),并且可以在不涉及其他組件的情況下進(jìn)行更新。 此外,考慮到不同應(yīng)用程序組件的不同資源需求,微服務(wù)體系結(jié)構(gòu)支持獨(dú)立擴(kuò)展每個(gè)組件。 簡(jiǎn)而言之,微服務(wù)架構(gòu)提供了改善應(yīng)用程序開發(fā)的可伸縮性和彈性的可能性。 當(dāng)前,在微服務(wù)架構(gòu)被廣泛應(yīng)用于應(yīng)用程序部署之前,其仍處于起步階段,面臨許多挑戰(zhàn)。基于容器的虛擬化技術(shù)由于其輕量級(jí)和即時(shí)性,被認(rèn)為是在實(shí)踐中加速微服務(wù)架構(gòu)應(yīng)用的良好選擇。 單體架構(gòu)與微服務(wù)架構(gòu)圖如圖1 所示。

    圖1 單體架構(gòu)與微服務(wù)架構(gòu)

    在微服務(wù)架構(gòu)中,應(yīng)用程序被解耦成了服務(wù)的集合,每個(gè)微服務(wù)都有單一的功能,都是獨(dú)立開發(fā)、部署和管理的[8]。 在微服務(wù)架構(gòu)下,軟件產(chǎn)品的更新和新特性可以以每天數(shù)百次的頻率不斷發(fā)布,使應(yīng)用程序非常動(dòng)態(tài)。 微服務(wù)這種松散耦合的特性給軟件系統(tǒng)韌性增強(qiáng)帶來了高度的敏捷性。

    微服務(wù)架構(gòu)下服務(wù)通常部署在容器中[9],尤其是近年來 Docker 容器技術(shù)[10]的興起,利用 Docker 技術(shù)構(gòu)建微服務(wù)架構(gòu)的軟件系統(tǒng)已經(jīng)成為了行業(yè)內(nèi)的實(shí)際標(biāo)準(zhǔn)。 為了簡(jiǎn)化容器的管理與編排,提高實(shí)際應(yīng)用中的生產(chǎn)效率,在一段時(shí)間內(nèi)出現(xiàn)了容器云管理平臺(tái)百家爭(zhēng)鳴的局面。 目前三大主流的容器平臺(tái)分別是 Swarm、Mesos 和 Kubernetes,其中 Google 公司的Kubernetes 目前已經(jīng)成為了行業(yè)內(nèi)的實(shí)際標(biāo)準(zhǔn)。

    2 微服務(wù)架構(gòu)下的韌性增強(qiáng)技術(shù)

    由于微服務(wù)松散耦合、分散治理的理念,使得微服務(wù)架構(gòu)的軟件系統(tǒng)能夠具備服務(wù)微小化、模塊化設(shè)計(jì)、高度自治、可獨(dú)立替換、組件可獨(dú)立升級(jí)等優(yōu)良特性[7],這些特性使得在微服務(wù)架構(gòu)的基礎(chǔ)上應(yīng)用大量韌性增強(qiáng)技術(shù)成為了可能,例如冗余、多樣性、資源擴(kuò)展、遷移等,本節(jié)主要介紹在微服務(wù)框架下的韌性增強(qiáng)技術(shù)。

    2.1 冗余與多樣性

    基于微服務(wù)架構(gòu)構(gòu)建的軟件系統(tǒng),得益于松散耦合的優(yōu)勢(shì),可以將軟件系統(tǒng)拆分成相互獨(dú)立的若干個(gè)部分,各個(gè)部分之間獨(dú)立工作,結(jié)合容器技術(shù),各個(gè)獨(dú)立的部分都可以打包成不同的實(shí)例,作為構(gòu)建完整軟件系統(tǒng)的組件。 這就給軟件系統(tǒng)的韌性增強(qiáng)提供了巨大的潛力,在此基礎(chǔ)之上應(yīng)用多樣性和冗余技術(shù),以此來提高系統(tǒng)的可用性。

    2.1.1 冗余

    虛擬化環(huán)境和微服務(wù)架構(gòu)提供的靈活性將取代傳統(tǒng)單體架構(gòu)下軟件系統(tǒng)的剛性。 在傳統(tǒng)單體架構(gòu)下,通常通過部署多個(gè)完整的軟件應(yīng)用來構(gòu)建一個(gè)有冗余的健壯的軟件系統(tǒng),從而導(dǎo)致高昂的成本。 而在基于虛擬化實(shí)現(xiàn)的微服務(wù)架構(gòu)軟件系統(tǒng)中,只需通過添加一組輔助或冗余組件來確保對(duì)關(guān)鍵組件發(fā)生故障時(shí)的恢復(fù)能力,如圖2 所示。

    圖2 系統(tǒng)冗余示意圖

    2.1.2 多樣性

    2016 年歐洲電信標(biāo)準(zhǔn)協(xié)會(huì)[11]提倡開發(fā)者設(shè)計(jì)和實(shí)現(xiàn)多樣性以作為容錯(cuò)的一種手段,并討論了旨在實(shí)現(xiàn)自動(dòng)控制軟件多樣性的技術(shù)方法。

    多樣性的基本思想在于用若干個(gè)擁有相同功能的不同實(shí)現(xiàn)組成的實(shí)例池替換單個(gè)實(shí)例。 如圖3所示,這些實(shí)例以并行方式集體地執(zhí)行與原始實(shí)例相同的功能,并且同時(shí)處理與原始實(shí)例相同的業(yè)務(wù),在這種情況下,其中部分實(shí)例的故障將不會(huì)對(duì)業(yè)務(wù)造成致命的影響。

    圖3 系統(tǒng)多樣性示意圖

    2.1.3 冗余、多樣性的相關(guān)研究

    冗余和多樣性的混合策略策略在服務(wù)功能鏈(SFC)的部署上已經(jīng)得到了廣泛應(yīng)用,Hmaity 等人[12]在服務(wù)功能鏈的冗余保護(hù)機(jī)制中提出了三種冗余保護(hù)方案,分別是:(1)端到端冗余保護(hù);(2)虛擬節(jié)點(diǎn)冗余保護(hù);(3)虛擬鏈路冗余保護(hù)。

    除此之外,使用冗余和多樣性方法后還帶來了實(shí)例的“放置”問題。 Herker 等人[13]開發(fā)了一種服務(wù)鏈嵌入算法,該算法考慮了服務(wù)可用性約束,并比較了使用不同數(shù)據(jù)中心架構(gòu)的幾種備份策略,提供了有關(guān)如何選擇可提供高可用性的“最佳”數(shù)據(jù)中心拓?fù)涞囊娊狻?依賴VNF 備份通常會(huì)導(dǎo)致路由路徑更長(zhǎng),從而增加了端到端延遲。 為了克服這個(gè)問題,Vizarreta 等人[14]提出了兩種 VNF 放置策略,可以在不影響可用性和端到端延遲的前提下,降低運(yùn)營(yíng)商的服務(wù)部署成本。 但是,基于可用性的放置會(huì)導(dǎo)致資源浪費(fèi),因?yàn)閷⒂肋h(yuǎn)不會(huì)使用不滿足所需可用性閾值的資源。 就資源利用而言,這與成本效益的最初目標(biāo)相矛盾。 類似地,Qu 等人[15]提出了一種解決方案,該方案使用混合流量路由策略提供了最佳的網(wǎng)絡(luò)服務(wù)放置,同時(shí)在帶寬消耗和端到端延遲性能之間取得了平衡。

    Alleg 等人提出了一種聯(lián)合選擇多樣性和定制的冗余機(jī)制[1],以在 NFV 框架中提供韌性服務(wù)。 為求解模型,作者提出了基于混合整數(shù)線性規(guī)劃(MILP)的服務(wù)功能鏈部署解決方案,旨在滿足目標(biāo)SFC 可用性級(jí)別,同時(shí)降低由于多樣性和冗余而導(dǎo)致的固有成本,這對(duì)于增強(qiáng)微服務(wù)架構(gòu)的軟件系統(tǒng)韌性同樣具有借鑒意義。

    由于大量使用冗余來保證可用性,這導(dǎo)致了微服務(wù)架構(gòu)的軟件系統(tǒng)中大部分微服務(wù)組件都是同質(zhì)的,大量共享漏洞被引入系統(tǒng)[16-17],因此容易受到利用多微服務(wù)中相同漏洞實(shí)施的多步攻擊[18]的威脅。 針對(duì)共享漏洞問題,Kennedy 等人提出了運(yùn)用動(dòng)態(tài)目標(biāo)防御(MTD)的思想來解決問題[19]。 為了防止攻擊者利用已知目標(biāo)系統(tǒng)的漏洞,Kennedy 等人先對(duì)微服務(wù)執(zhí)行風(fēng)險(xiǎn)分析來檢測(cè)漏洞并確定其優(yōu)先級(jí),再利用自動(dòng)代碼生成技術(shù)來轉(zhuǎn)換微服務(wù)的編程語(yǔ)言和容器鏡像,由此改變攻擊面,降低被攻擊成功的風(fēng)險(xiǎn)。

    2.2 服務(wù)編排

    關(guān)于編排問題的優(yōu)化解決方案,由于時(shí)間復(fù)雜度高,研究人員已經(jīng)證實(shí),在大規(guī)模云環(huán)境中,諸如混合整數(shù)非線性規(guī)劃(MINLP)或線性規(guī)劃(MIP)等方法是不可行的[20],遺傳算法已被廣泛用于優(yōu)化資源調(diào)度,服務(wù)編排和任務(wù)分配[21]。

    早期關(guān)于服務(wù)編排機(jī)制的工作主要基于QoS感知開展。 QoS 屬性通常包括響應(yīng)時(shí)間、可用性、可靠性和價(jià)格成本等,文獻(xiàn)[22]專注于基于 QoS 感知的服務(wù)組合及其在中間件中的實(shí)現(xiàn),然而沒有定量描述帶有風(fēng)險(xiǎn)的安全目標(biāo),并在實(shí)際的云環(huán)境中解決它們。

    大規(guī)模分布式云環(huán)境的高度復(fù)雜性導(dǎo)致了大量的不確定性,而這些不確定性無法通過常規(guī)信息安全方法的可用性來建模。Wen Zhenyu 等人[23]創(chuàng)新地從安全性角度出發(fā),針對(duì)內(nèi)部安全威脅和外部環(huán)境不確定性進(jìn)行建模,并提出了一種用于在基于云的服務(wù)組件不確定的情況下,定量測(cè)量安全級(jí)別及其可用性方面的通用方法。

    傳統(tǒng)的編排機(jī)制側(cè)重于單個(gè)服務(wù)鏈的QoS 優(yōu)化,而忽略了實(shí)例間的共享和競(jìng)爭(zhēng)。 為了解決這個(gè)問題,Ding 等人[24]提出了一種基于列表調(diào)度的微服務(wù)選擇算法MSS。 該算法采用工作流模型對(duì)服務(wù)鏈進(jìn)行描述,分析實(shí)例的處理速度、網(wǎng)絡(luò)傳輸速度和任務(wù)并發(fā)程度,計(jì)算每個(gè)任務(wù)的分期限,根據(jù)分期限和其他信息,實(shí)時(shí)計(jì)算和更新每個(gè)任務(wù)的調(diào)度緊迫性。 最后,提出了基于分期限和緊迫性的兩種服務(wù)選擇策略,以完成微服務(wù)實(shí)例選擇,構(gòu)成服務(wù)鏈。

    2.3 負(fù)載均衡

    負(fù)載均衡是指在單臺(tái)設(shè)備處理性能不足以支撐起系統(tǒng)業(yè)務(wù)需求的情況下,利用現(xiàn)有的設(shè)備、網(wǎng)絡(luò)等資源,將多臺(tái)設(shè)備通過一個(gè)共用的服務(wù)入口連接起來組成一個(gè)服務(wù)集群,在工作時(shí)將業(yè)務(wù)按照一定的規(guī)則分配到不同的服務(wù)節(jié)點(diǎn),整個(gè)集群共同承擔(dān)系統(tǒng)業(yè)務(wù),從而解決了單個(gè)服務(wù)節(jié)點(diǎn)性能不足的問題。

    負(fù)載均衡的方式巧妙地避免了因單臺(tái)設(shè)備性能不足而不得不購(gòu)買昂貴的高性能設(shè)備,降低了企業(yè)的部署成本。 除此之外,負(fù)載均衡的另一大優(yōu)勢(shì)是增強(qiáng)了系統(tǒng)韌性,設(shè)備故障是不可避免的,隨著使用年限的增長(zhǎng),設(shè)備的故障概率也隨之上升,同時(shí)還有遭受非正常因素破壞帶來的風(fēng)險(xiǎn)。 由單個(gè)高性能設(shè)備構(gòu)建的系統(tǒng)在面對(duì)意外與挑戰(zhàn)時(shí),一旦設(shè)備出現(xiàn)故障或遭到破壞, 系統(tǒng)運(yùn)行也將隨之停止,這對(duì)于關(guān)鍵系統(tǒng)而言是不可接受的。 而對(duì)使用了負(fù)載均衡技術(shù)的系統(tǒng)而言,單個(gè)設(shè)備或系統(tǒng)單個(gè)模塊的問題將無法對(duì)系統(tǒng)造成致命打擊,大大降低了系統(tǒng)停止服務(wù)的風(fēng)險(xiǎn),因而進(jìn)一步增強(qiáng)了系統(tǒng)韌性。

    2.4 資源擴(kuò)展

    如圖4 所示,關(guān)于資源的動(dòng)態(tài)擴(kuò)展,主要可以分為兩類:一種是添加更多的虛擬機(jī)或容器,這被稱為水平縮放,另一種方法是向已部署的虛擬節(jié)點(diǎn)分配更多資源,這稱為垂直擴(kuò)展。

    圖4 資源的水平擴(kuò)展與垂直擴(kuò)展

    在實(shí)踐中,已經(jīng)有學(xué)者做了一些工作來利用容器部署微服務(wù)架構(gòu)的應(yīng)用程序。Zhou 等人[25]研究了旨在最大化部署微服務(wù)收入的微服務(wù)調(diào)度問題。Guerrero 等人[26]設(shè)計(jì)了遺傳方法來確定分配給每個(gè)微服務(wù)的資源數(shù)量,以及如何在工作負(fù)載變化時(shí)有效地?cái)U(kuò)展規(guī)模。 但是,大多數(shù)現(xiàn)有工作并未考慮容器的功能,例如以細(xì)粒度進(jìn)行動(dòng)態(tài)資源縮放,圖像分層和庫(kù)重用,這將影響資源使用效率和應(yīng)用程序部署成本。 Wan 等人[2]基于以上工作存在的問題,結(jié)合Docker 容器的功能,提出一個(gè)可伸縮的框架ADMD 和一種以分布式和增量方式工作下的次優(yōu)算法來確定容器放置和任務(wù)分配,以根據(jù)系統(tǒng)需求和狀態(tài)動(dòng)態(tài)調(diào)整分配給每個(gè)應(yīng)用程序的資源量,并最大程度降低總成本,同時(shí)化解了全局最優(yōu)帶來的NP 難題,不足之處是沒能避免共享漏洞問題,同樣存在安全隱患。 微服務(wù)架構(gòu)下的資源擴(kuò)展圖如圖5所示。

    圖5 微服務(wù)架構(gòu)下的資源擴(kuò)展

    2.5 遷移技術(shù)

    為了進(jìn)一步保證軟件系統(tǒng)在遭受攻擊、出現(xiàn)故障或意外事故后仍然能夠按時(shí)完成所執(zhí)行的關(guān)鍵任務(wù),需要在前述基于Docker 容器技術(shù)的微服務(wù)架構(gòu)基礎(chǔ)之上,進(jìn)一步建立一種情境認(rèn)知的服務(wù)動(dòng)態(tài)部署遷移機(jī)制。 其基本思想在于利用容器化微服務(wù)所實(shí)現(xiàn)的應(yīng)用服務(wù)不再依賴于固定的物理網(wǎng)絡(luò)和物理設(shè)備這一特點(diǎn),使得網(wǎng)絡(luò)業(yè)務(wù)可以在不同物理設(shè)備和網(wǎng)絡(luò)之間按需進(jìn)行遷移,保證了服務(wù)的可遷移性。 由于服務(wù)運(yùn)行于虛擬化主機(jī)和網(wǎng)絡(luò)之上,避免了與具體的物理設(shè)備和物理網(wǎng)絡(luò)相關(guān)聯(lián)。

    在動(dòng)態(tài)遷移技術(shù)方面,目前已經(jīng)較為成熟的遷移技術(shù) 包括 Pre-copy、Post-copy、CRIU 等 。 除 此之外,還有一些利用日志記錄和重放手段實(shí)現(xiàn)的Docker容器熱遷移[27],但這種方法由于在容器運(yùn)行時(shí)間較長(zhǎng)的情況下宕機(jī)時(shí)間過長(zhǎng),并未得到業(yè)界的廣泛認(rèn)同。 Carpio 等人[28]基于復(fù)制和遷移技術(shù)提出了一種用于主動(dòng)配置的線性模型,以提高服務(wù)的可靠性。實(shí)驗(yàn)結(jié)果表明,復(fù)制與遷移相結(jié)合可以提高資源利用率,而不會(huì)降低可靠性。但是,由于沒有足夠的備用資源,他們的恢復(fù)解決方案不能為每個(gè)VNF 支持多個(gè)副本故障。 Nadgowda 等人[29]也提出了一種容器遷移服務(wù)Voyager,該技術(shù)與文件系統(tǒng)、供應(yīng)商無關(guān),可為開發(fā)人員提供一致的全系統(tǒng)遷移。

    目前關(guān)于虛擬機(jī)和容器的熱遷移技術(shù)已經(jīng)比較成熟, 然而大量關(guān)于遷移技術(shù)的研究都只聚焦于單個(gè)虛擬機(jī)或容器,與之相對(duì)應(yīng)的是,張強(qiáng)針對(duì)在Kubernetes 大規(guī)模應(yīng)用的背景下 Pod 遷移問題提出了一種解決方案PodMS[30],一種面向數(shù)據(jù)中心Kubernetes 環(huán)境的容器在線遷移機(jī)制,該機(jī)制支持Kubernetes 環(huán)境下的容器在線遷移,提供了 Pod 在線遷移的完整支持。 美中不足的是,該機(jī)制對(duì)網(wǎng)絡(luò)遷移的支持還存在不足,并且未對(duì)前文所提到的CRIU問題進(jìn)行完善和改進(jìn)。

    3 存在的問題

    3.1 復(fù)雜性問題

    軟件系統(tǒng)的微服務(wù)化不可避免地要對(duì)傳統(tǒng)單體架構(gòu)的軟件系統(tǒng)進(jìn)行拆分,并就微服務(wù)架構(gòu)的指導(dǎo)思想和目前的企業(yè)實(shí)踐而言,應(yīng)用的服務(wù)功能拆分得越細(xì)越好,在享受組件模塊化優(yōu)勢(shì)的同時(shí),也不可避免地導(dǎo)致了系統(tǒng)的進(jìn)一步復(fù)雜化,引入了大量復(fù)雜性問題。

    3.1.1 故障檢測(cè)復(fù)雜性

    盡管微服務(wù)架構(gòu)下系統(tǒng)具備一定的容錯(cuò)能力,但在發(fā)生故障之后必須及時(shí)發(fā)現(xiàn)并采取相應(yīng)的手段進(jìn)行恢復(fù)。 在一個(gè)大型微服務(wù)架構(gòu)的軟件系統(tǒng)中,系統(tǒng)由大量的微服務(wù)構(gòu)成,由于服務(wù)隨時(shí)可能發(fā)生故障,因此能否快速實(shí)現(xiàn)故障檢測(cè)顯得至關(guān)重要。 但由于系統(tǒng)微服務(wù)化,軟件的大量組件與設(shè)備都成為了需要監(jiān)視的對(duì)象,這將使得監(jiān)視系統(tǒng)的構(gòu)建與監(jiān)視數(shù)據(jù)的存儲(chǔ)、調(diào)用、組織成為了一件復(fù)雜的事情。

    對(duì)于這一問題,應(yīng)當(dāng)基于微服務(wù)基礎(chǔ)架構(gòu)平臺(tái)建立完善的監(jiān)視系統(tǒng),不僅包括對(duì)硬件設(shè)備的監(jiān)視,同時(shí)更應(yīng)著重于對(duì)應(yīng)用程序各組件、正在運(yùn)行的各項(xiàng)業(yè)務(wù)的監(jiān)控,完善的監(jiān)視系統(tǒng)可以為發(fā)生錯(cuò)誤的情況提供預(yù)警系統(tǒng),從而觸發(fā)自動(dòng)恢復(fù)機(jī)制,同時(shí)也有利于開發(fā)團(tuán)隊(duì)進(jìn)行跟進(jìn)和調(diào)查。

    3.1.2 模塊通信復(fù)雜性

    當(dāng)軟件系統(tǒng)的組件具有遠(yuǎn)程通信的服務(wù)功能時(shí),無論在系統(tǒng)重構(gòu)上還是調(diào)用組織上都將比單體架構(gòu)困難得多。 簡(jiǎn)單來說,微服務(wù)化軟件系統(tǒng)中各個(gè)組件的停機(jī)都將直接影響整個(gè)服務(wù)鏈上的業(yè)務(wù)運(yùn)行,進(jìn)而影響整個(gè)系統(tǒng)的業(yè)務(wù)執(zhí)行,這也是開發(fā)者不得不考慮的問題。

    針對(duì)這一問題,開發(fā)者應(yīng)當(dāng)基于統(tǒng)一的開發(fā)與編排平臺(tái),利用通用接口進(jìn)行開發(fā),以避免在調(diào)用時(shí)因接口不統(tǒng)一引發(fā)的業(yè)務(wù)邏輯問題。

    3.1.3 遷移復(fù)雜性

    傳統(tǒng)的遷移只需要考慮對(duì)單個(gè)虛擬機(jī)(或容器)進(jìn)行遷移,在運(yùn)行中的業(yè)務(wù)系統(tǒng)面言,則需要考慮盡可能減小遷移所帶來的影響,如造成停機(jī)則需要盡可能地縮短停機(jī)時(shí)間。 而在微服務(wù)架構(gòu)系統(tǒng)中則需要考慮一次性遷移數(shù)個(gè)容器,并且還需要配合底層平臺(tái)進(jìn)行相應(yīng)的修改,即遷移對(duì)象將不再是簡(jiǎn)單的單個(gè)容器,而是封裝在一個(gè)組件中的若干容器。當(dāng)前容器遷移已經(jīng)是相對(duì)比較成熟的技術(shù),并且已有例如CRIU 等相對(duì)成熟的技術(shù), 該問題最直接的解決方式,是在已有的技術(shù)和容器編排與管理平臺(tái)的條件下,進(jìn)行適應(yīng)性開發(fā),形成一套新的成熟的遷移機(jī)制。

    3.2 兼容性問題

    3.2.1 底層操作系統(tǒng)不兼容

    構(gòu)建微服務(wù)架構(gòu)的軟件系統(tǒng)最簡(jiǎn)單的方式是基于成熟容器的編排與管理平臺(tái),如Swarm、Mesos和Kubernetes 等,但這些平臺(tái)在部署時(shí)都必須要求底層設(shè)備使用相同的操作系統(tǒng),這對(duì)于實(shí)現(xiàn)系統(tǒng)多樣性指標(biāo)將成為一種阻礙,從而無法充分利用多樣性實(shí)現(xiàn)更加高層次的系統(tǒng)韌性。

    3.2.2 容器不兼容

    除了操作系統(tǒng)之外,容器多樣性的實(shí)現(xiàn)也存在相同的問題,基于不同容器的成熟管理平臺(tái)還未出現(xiàn),基于容器的編排與管理平臺(tái)進(jìn)行實(shí)現(xiàn)就必須使用同一種容器技術(shù),在這種情況下系統(tǒng)多樣性將無法得到進(jìn)一步拓展。

    兼容性問題的解決不是靠個(gè)別研究人員的努力就能實(shí)現(xiàn)的,這需要開發(fā)者、運(yùn)營(yíng)商、標(biāo)準(zhǔn)制定組織共同的努力。 對(duì)于研究人員而言,應(yīng)當(dāng)盡可能地基于統(tǒng)一的標(biāo)準(zhǔn)進(jìn)行開發(fā),從而獲得彼此之間相互兼容的技術(shù)產(chǎn)品。

    3.3 資源優(yōu)化問題

    運(yùn)用冗余和多樣性的目的在于應(yīng)對(duì)系統(tǒng)部分組件可能出現(xiàn)的故障與風(fēng)險(xiǎn),但同時(shí)也將不得不導(dǎo)致資源的浪費(fèi)問題。 組件的故障只是個(gè)概率問題,因此在各組件正常運(yùn)行的大量時(shí)間內(nèi),出于冗余和多樣性目標(biāo)所消耗的大量資源都造成嚴(yán)重的浪費(fèi)。過多的資源用于冗余和多樣性可能導(dǎo)致部分資源將一直處于閑置狀態(tài),而用于冗余和多樣性的資源不足則有可能導(dǎo)致無法起到保護(hù)作用或系統(tǒng)韌性無法滿足要求。

    資源優(yōu)化問題的解決,一方面需要兼顧資源優(yōu)化和韌性增強(qiáng)兩個(gè)方面,使得恰好能夠滿足系統(tǒng)韌性指標(biāo),同時(shí)最小化資源消耗。另一方面,進(jìn)一步增強(qiáng)軟件的可靠性與穩(wěn)定性,使得軟件系統(tǒng)需要的冗余度進(jìn)一步降低,而達(dá)到資源友好的目標(biāo)。除此之外,更好地將冗余和多樣性結(jié)合起來也是解決問題的關(guān)鍵。

    3.4 安全性問題

    3.4.1 容器安全問題

    盡管容器的輕量級(jí)特性使得其在物理機(jī)上可以更大規(guī)模地部署,從而提供更高的性能,但是和基于 Hypervisor 的虛擬化相比, 研究人員普遍認(rèn)為后者比容器技術(shù)更為安全[31]。原因在于基于Hypervisor的虛擬化下每一個(gè)VM 都帶有自身的內(nèi)核,運(yùn)行在VM 上的 APP 只需與 VM 內(nèi)核通信即可,隔離了主機(jī)內(nèi)核,如圖 6 所示。 而 Docker 之上的 APP 則可以直接與主機(jī)內(nèi)核進(jìn)行通信,相比前者更容易遭到攻擊。 在以“特權(quán)”身份運(yùn)行容器時(shí),Docker 會(huì)授予用戶對(duì)該容器的最高權(quán)限,這與在主機(jī)上本地運(yùn)行的進(jìn)程的訪問權(quán)限幾乎相同。

    圖6 Docker 容器和虛擬機(jī)對(duì)比圖

    容器逃逸問題也是研究人員最關(guān)心的問題之一, 內(nèi)核漏洞是對(duì)操作系統(tǒng)安全性的巨大挑戰(zhàn),盡管Docker 擁有許多用于自身安全性的設(shè)計(jì)和策略,但是其共享內(nèi)核的體系結(jié)構(gòu)模型使一些外部安全性問題擴(kuò)展到了容器中[32]。 Docker 面臨著被惡意用戶利用內(nèi)核漏洞進(jìn)行攻擊的風(fēng)險(xiǎn),一旦容器中的漏洞利用程序啟動(dòng)有效的逃逸攻擊,就可以獲得主機(jī)的根特權(quán),將影響其他容器和整個(gè)系統(tǒng)的可靠性。

    3.4.2 服務(wù)安全問題

    由于微服務(wù)框架下軟件系統(tǒng)由大量微服務(wù)組成,微服務(wù)之間可以根據(jù)標(biāo)識(shí)對(duì)其他微服務(wù)進(jìn)行調(diào)用,因此不得不考慮其中某一項(xiàng)微服務(wù)可能會(huì)被非法調(diào)用,即便不發(fā)生這樣的情況,在系統(tǒng)部分微服務(wù)進(jìn)行獨(dú)立升級(jí)時(shí),其中部分組件的更改也可能會(huì)破壞其他微服務(wù)。 開發(fā)者需要通過合理的設(shè)計(jì)以盡可能地容忍軟件系統(tǒng)中的變更,避免使用過多的版本控制。

    4 發(fā)展趨勢(shì)

    當(dāng)前,微服務(wù)正處于發(fā)展階段,專門將微服務(wù)用于軟件系統(tǒng)韌性增強(qiáng)領(lǐng)域的研究更是處于探索階段,因此未來的發(fā)展很大程度上將考慮進(jìn)一步挖掘微服務(wù)架構(gòu)可用于增強(qiáng)系統(tǒng)韌性方面的特性,本節(jié)將就下一步可能的發(fā)展方向進(jìn)行展望。

    一是在考慮冗余和多樣性的同時(shí)盡可能地減少資源消耗。 當(dāng)前的主要趨勢(shì)是優(yōu)化改進(jìn)調(diào)度策略以實(shí)現(xiàn)更優(yōu)的資源動(dòng)態(tài)擴(kuò)展,從而縮小冗余和多樣性的規(guī)模,減輕系統(tǒng)在資源消耗上的負(fù)擔(dān),從而在增強(qiáng)韌性的同時(shí),盡可能地縮減開支。

    二是增強(qiáng)兼容性,包括下層操作系統(tǒng)的兼容和對(duì)多種容器技術(shù)的兼容。 這對(duì)容器編排與管理平臺(tái)提出了更高的要求,這一問題的解決將使得微服務(wù)架構(gòu)下軟件系統(tǒng)的靈活性進(jìn)一步得到釋放,既有利于多樣性的發(fā)揮,又能使得部署更為輕松。

    三是盡可能解決現(xiàn)存在的安全問題,包括容器的安全問題和微服務(wù)框架下服務(wù)的安全問題。 其中Docker 容器的問題又需要從守護(hù)進(jìn)程(Docker Deamon)、容器鏡像、容器網(wǎng)絡(luò)等多角度入手解決。如可以通過將容器放置在虛擬機(jī)內(nèi)部來實(shí)現(xiàn)等方法。 針對(duì)可能的攻擊,可以在保持容器輕量級(jí)優(yōu)點(diǎn)的同時(shí)減小攻擊面,如引入攻擊面轉(zhuǎn)換技術(shù)。

    四是更加完善的動(dòng)態(tài)遷移技術(shù)。 在研究遷移策略時(shí),還需要考慮以下幾個(gè)原則:(1)需要帶狀態(tài)遷移,即熱遷移,以保證遷移完成后服務(wù)得以延續(xù);(2)遷移帶來的停機(jī)時(shí)間需盡可能短,讓用戶感覺不到有什么明顯的變化;(3)遷移目的需是負(fù)載較輕的節(jié)點(diǎn),以免帶來新的過載問題?;谝陨显瓌t,研究的方向在容器遷移、虛擬機(jī)遷移的基礎(chǔ)上,進(jìn)一步對(duì)微服務(wù)架構(gòu)下的服務(wù)遷移問題進(jìn)行研究。

    5 結(jié)論

    本文深入探討了軟件系統(tǒng)的韌性增強(qiáng)問題,針對(duì)微服務(wù)架構(gòu)松散耦合、獨(dú)立自治的重要特性進(jìn)行分析,并結(jié)合當(dāng)前生產(chǎn)實(shí)踐中使用的技術(shù)手段,根據(jù)當(dāng)前研究現(xiàn)狀總結(jié)了可在微服務(wù)架構(gòu)下用于增強(qiáng)系統(tǒng)韌性的相關(guān)技術(shù)手段,包括:冗余與多樣性、負(fù)載均衡、資源擴(kuò)展、遷移技術(shù)以及容器編排與管理技術(shù)。

    由于微服務(wù)架構(gòu)剛剛提出不久,該領(lǐng)域內(nèi)尚存在一些關(guān)鍵問題未能得到解決,主要包括復(fù)雜性問題、兼容性問題、資源優(yōu)化問題和安全性問題,這些問題的存在制約著微服務(wù)架構(gòu)下軟件系統(tǒng)的韌性增強(qiáng)問題的進(jìn)一步解決。

    由于當(dāng)前網(wǎng)絡(luò)攻擊成本的不斷下降,這使得如何增強(qiáng)軟件系統(tǒng)韌性更加具有重要意義。 因此,針對(duì)韌性增強(qiáng)需要解決的問題,結(jié)合當(dāng)前理論與實(shí)踐,本文提出一套完善的軟件系統(tǒng)韌性增強(qiáng)方法,對(duì)于保證關(guān)鍵業(yè)務(wù)的連續(xù)性,進(jìn)而保證軟件系統(tǒng)使命任務(wù)的完成,具有一定的意義。

    猜你喜歡
    韌性容器組件
    數(shù)字有韌性
    Different Containers不同的容器
    無人機(jī)智能巡檢在光伏電站組件診斷中的應(yīng)用
    能源工程(2022年2期)2022-05-23 13:51:50
    新型碎邊剪刀盤組件
    U盾外殼組件注塑模具設(shè)計(jì)
    難以置信的事情
    房地產(chǎn)市場(chǎng)韌性猶存
    韌性,讓成長(zhǎng)更美好
    中華家教(2018年11期)2018-12-03 08:08:20
    笑中帶淚的韌性成長(zhǎng)
    特別文摘(2016年15期)2016-08-15 22:04:26
    取米
    久久精品国产a三级三级三级| 18在线观看网站| 亚洲人与动物交配视频| 久久久国产精品麻豆| 在线天堂最新版资源| 国产免费一级a男人的天堂| 日本av免费视频播放| 国产麻豆69| 97在线视频观看| 亚洲精品久久午夜乱码| 王馨瑶露胸无遮挡在线观看| 校园人妻丝袜中文字幕| 丝袜美足系列| 欧美性感艳星| 中国美白少妇内射xxxbb| 久久久久久久大尺度免费视频| 99热6这里只有精品| 日韩熟女老妇一区二区性免费视频| 亚洲精品av麻豆狂野| 精品国产露脸久久av麻豆| 99热全是精品| 精品久久久久久电影网| 欧美 日韩 精品 国产| 丝袜在线中文字幕| 亚洲人与动物交配视频| 一级毛片我不卡| 亚洲国产色片| 丰满饥渴人妻一区二区三| 亚洲国产成人一精品久久久| 男女午夜视频在线观看 | 99香蕉大伊视频| 色吧在线观看| 伦理电影免费视频| 久久青草综合色| 一级毛片我不卡| 亚洲五月色婷婷综合| 国产欧美日韩一区二区三区在线| 婷婷色av中文字幕| 极品少妇高潮喷水抽搐| 亚洲av在线观看美女高潮| 久久国产精品大桥未久av| 成年人免费黄色播放视频| 免费看不卡的av| 亚洲精品美女久久久久99蜜臀 | 边亲边吃奶的免费视频| 亚洲精品久久久久久婷婷小说| 菩萨蛮人人尽说江南好唐韦庄| 一本—道久久a久久精品蜜桃钙片| 色哟哟·www| av在线播放精品| 在现免费观看毛片| 欧美亚洲日本最大视频资源| 日韩视频在线欧美| 90打野战视频偷拍视频| 最黄视频免费看| 亚洲国产精品一区三区| 欧美人与性动交α欧美软件 | 又粗又硬又长又爽又黄的视频| 热99国产精品久久久久久7| 久久国产精品男人的天堂亚洲 | 侵犯人妻中文字幕一二三四区| 免费人成在线观看视频色| 最近最新中文字幕大全免费视频 | 亚洲精品美女久久久久99蜜臀 | 国产一区有黄有色的免费视频| 国产有黄有色有爽视频| 黑人高潮一二区| 2021少妇久久久久久久久久久| tube8黄色片| 中文字幕人妻丝袜制服| 欧美少妇被猛烈插入视频| 久久精品夜色国产| 捣出白浆h1v1| 国产成人91sexporn| 一区二区三区乱码不卡18| 精品亚洲成国产av| 欧美精品人与动牲交sv欧美| 国产精品女同一区二区软件| 免费黄网站久久成人精品| 成人亚洲精品一区在线观看| 欧美精品国产亚洲| 妹子高潮喷水视频| 精品酒店卫生间| 日韩不卡一区二区三区视频在线| 久久精品国产综合久久久 | 一级a做视频免费观看| 国产精品一区www在线观看| 考比视频在线观看| 国产精品偷伦视频观看了| 97在线视频观看| 狂野欧美激情性bbbbbb| av线在线观看网站| 亚洲国产色片| 欧美日韩国产mv在线观看视频| 亚洲精品日本国产第一区| av黄色大香蕉| 久久久久国产网址| 国产成人精品久久久久久| 男的添女的下面高潮视频| 日产精品乱码卡一卡2卡三| www.色视频.com| 亚洲精品av麻豆狂野| 国产69精品久久久久777片| 热99久久久久精品小说推荐| 精品人妻偷拍中文字幕| 一级a做视频免费观看| 亚洲国产最新在线播放| 国内精品宾馆在线| 女的被弄到高潮叫床怎么办| 精品亚洲成a人片在线观看| 少妇的逼水好多| 精品一品国产午夜福利视频| 国产精品人妻久久久久久| 久热这里只有精品99| 十八禁网站网址无遮挡| 国产精品 国内视频| 国产一区二区在线观看av| 国产高清国产精品国产三级| 日韩免费高清中文字幕av| 性色av一级| 午夜视频国产福利| 亚洲成人av在线免费| 男人操女人黄网站| 欧美另类一区| 亚洲国产色片| 国产精品麻豆人妻色哟哟久久| 精品酒店卫生间| 我的女老师完整版在线观看| 国产精品国产三级国产专区5o| 欧美日本中文国产一区发布| 黑人高潮一二区| 国产黄色视频一区二区在线观看| 亚洲成av片中文字幕在线观看 | 国产精品成人在线| 亚洲欧美日韩卡通动漫| av在线app专区| 成年美女黄网站色视频大全免费| 欧美性感艳星| 国产深夜福利视频在线观看| 亚洲精品乱码久久久久久按摩| 巨乳人妻的诱惑在线观看| 国产一级毛片在线| 男女啪啪激烈高潮av片| 在线观看免费日韩欧美大片| 日日撸夜夜添| 91在线精品国自产拍蜜月| 水蜜桃什么品种好| 亚洲欧美色中文字幕在线| 精品酒店卫生间| 香蕉国产在线看| 国国产精品蜜臀av免费| 欧美人与性动交α欧美软件 | 国产福利在线免费观看视频| 久久久久久伊人网av| 一区二区三区四区激情视频| 久久久精品区二区三区| 久久亚洲国产成人精品v| 男的添女的下面高潮视频| av又黄又爽大尺度在线免费看| 日本av手机在线免费观看| 九色亚洲精品在线播放| 免费少妇av软件| 最近中文字幕2019免费版| 日韩中字成人| 日本爱情动作片www.在线观看| 在线观看国产h片| 久久久久久人人人人人| 精品福利永久在线观看| 免费观看性生交大片5| 老女人水多毛片| 一级,二级,三级黄色视频| 日日爽夜夜爽网站| 日韩欧美一区视频在线观看| 永久免费av网站大全| 中文字幕人妻熟女乱码| 成人免费观看视频高清| 五月伊人婷婷丁香| 九色成人免费人妻av| 亚洲av免费高清在线观看| 如何舔出高潮| 99re6热这里在线精品视频| 中文欧美无线码| 搡老乐熟女国产| 建设人人有责人人尽责人人享有的| 久久久a久久爽久久v久久| 亚洲欧美一区二区三区黑人 | 国产精品成人在线| www.熟女人妻精品国产 | 肉色欧美久久久久久久蜜桃| 十分钟在线观看高清视频www| 亚洲国产最新在线播放| 日韩制服丝袜自拍偷拍| 亚洲美女搞黄在线观看| 91精品三级在线观看| 亚洲av国产av综合av卡| 一边亲一边摸免费视频| 又黄又粗又硬又大视频| 国产欧美日韩一区二区三区在线| 亚洲精品美女久久久久99蜜臀 | 国产日韩一区二区三区精品不卡| 在线免费观看不下载黄p国产| 久久精品熟女亚洲av麻豆精品| 亚洲av日韩在线播放| 亚洲综合色惰| 午夜老司机福利剧场| 国产乱人偷精品视频| 国产成人精品在线电影| 亚洲av.av天堂| 中文字幕最新亚洲高清| 伊人久久国产一区二区| 国产黄频视频在线观看| 男人爽女人下面视频在线观看| 伦精品一区二区三区| 日韩三级伦理在线观看| 欧美成人午夜免费资源| 国产精品无大码| 美国免费a级毛片| 18禁国产床啪视频网站| 午夜激情久久久久久久| 亚洲伊人色综图| 汤姆久久久久久久影院中文字幕| 亚洲av免费高清在线观看| 亚洲精品美女久久久久99蜜臀 | 久久久久久久久久成人| 国产激情久久老熟女| 久久久久久久大尺度免费视频| 人成视频在线观看免费观看| 午夜91福利影院| 国产成人一区二区在线| 久久99蜜桃精品久久| 亚洲精品乱久久久久久| 日本色播在线视频| 色视频在线一区二区三区| 欧美成人精品欧美一级黄| 尾随美女入室| 菩萨蛮人人尽说江南好唐韦庄| 黄片播放在线免费| 亚洲精品456在线播放app| 精品酒店卫生间| 国产免费一级a男人的天堂| 有码 亚洲区| 国产亚洲一区二区精品| 秋霞伦理黄片| 永久网站在线| 青春草亚洲视频在线观看| 人妻系列 视频| 久久婷婷青草| 日韩av不卡免费在线播放| 成人漫画全彩无遮挡| 久热久热在线精品观看| 久久久久久久久久成人| 天天操日日干夜夜撸| 有码 亚洲区| 日韩一区二区三区影片| 伦精品一区二区三区| 免费观看a级毛片全部| 亚洲精品av麻豆狂野| 韩国精品一区二区三区 | 国产精品三级大全| 国产乱来视频区| 国产伦理片在线播放av一区| 日产精品乱码卡一卡2卡三| 免费大片18禁| 赤兔流量卡办理| 日韩av在线免费看完整版不卡| 亚洲av电影在线观看一区二区三区| 少妇 在线观看| 18禁国产床啪视频网站| 亚洲av中文av极速乱| 日韩精品有码人妻一区| 成人影院久久| 久久精品久久久久久久性| 久久鲁丝午夜福利片| 如日韩欧美国产精品一区二区三区| 人人妻人人添人人爽欧美一区卜| 久久久久久久大尺度免费视频| 人人妻人人澡人人爽人人夜夜| 亚洲综合色惰| 中文乱码字字幕精品一区二区三区| 午夜福利乱码中文字幕| 丝袜人妻中文字幕| 欧美日韩视频高清一区二区三区二| 三上悠亚av全集在线观看| 亚洲人成77777在线视频| 日韩中文字幕视频在线看片| 国产片特级美女逼逼视频| 考比视频在线观看| 一级毛片 在线播放| 亚洲国产成人一精品久久久| 日本午夜av视频| 欧美成人午夜精品| 久久久亚洲精品成人影院| 午夜福利影视在线免费观看| 亚洲,欧美精品.| 少妇人妻久久综合中文| 久久国内精品自在自线图片| 国产成人av激情在线播放| 国产精品熟女久久久久浪| 另类亚洲欧美激情| 男的添女的下面高潮视频| 久久热在线av| 成年av动漫网址| 欧美精品一区二区大全| 免费观看性生交大片5| 亚洲国产毛片av蜜桃av| 91精品三级在线观看| 国产免费一级a男人的天堂| 久久精品久久精品一区二区三区| 日本91视频免费播放| 制服丝袜香蕉在线| 成人18禁高潮啪啪吃奶动态图| 欧美成人午夜免费资源| av网站免费在线观看视频| 丰满迷人的少妇在线观看| 国产日韩欧美视频二区| 亚洲在久久综合| 日韩伦理黄色片| 亚洲成人手机| 久久国产精品男人的天堂亚洲 | 99九九在线精品视频| 精品国产一区二区三区四区第35| 亚洲av国产av综合av卡| 国产综合精华液| 十八禁高潮呻吟视频| 美女大奶头黄色视频| 久久97久久精品| 少妇精品久久久久久久| 免费高清在线观看视频在线观看| 91精品伊人久久大香线蕉| 亚洲三级黄色毛片| 哪个播放器可以免费观看大片| 王馨瑶露胸无遮挡在线观看| 99re6热这里在线精品视频| 丰满迷人的少妇在线观看| 少妇的逼水好多| 午夜久久久在线观看| 午夜影院在线不卡| 午夜激情久久久久久久| 在线观看免费视频网站a站| 国产成人精品婷婷| 秋霞伦理黄片| 狂野欧美激情性xxxx在线观看| 人妻 亚洲 视频| 国产精品三级大全| 国产精品人妻久久久久久| 丰满乱子伦码专区| 亚洲,欧美精品.| 在线观看国产h片| 免费看不卡的av| 丰满乱子伦码专区| 宅男免费午夜| 国产综合精华液| 人妻一区二区av| 中国国产av一级| 精品人妻在线不人妻| 大片电影免费在线观看免费| 久热这里只有精品99| 亚洲欧洲日产国产| 国产精品人妻久久久久久| 91久久精品国产一区二区三区| 久久精品aⅴ一区二区三区四区 | 久久韩国三级中文字幕| 国产男女超爽视频在线观看| 最近手机中文字幕大全| 满18在线观看网站| 亚洲人与动物交配视频| 久久99精品国语久久久| 黄色 视频免费看| 中文欧美无线码| 妹子高潮喷水视频| 最黄视频免费看| 在线亚洲精品国产二区图片欧美| 日韩不卡一区二区三区视频在线| 极品少妇高潮喷水抽搐| 亚洲国产欧美在线一区| 日韩精品免费视频一区二区三区 | 久久久国产欧美日韩av| 又粗又硬又长又爽又黄的视频| 男人添女人高潮全过程视频| av一本久久久久| 97超碰精品成人国产| av天堂久久9| 蜜桃在线观看..| 中国国产av一级| 人人妻人人爽人人添夜夜欢视频| 最近中文字幕高清免费大全6| 欧美日本中文国产一区发布| 亚洲婷婷狠狠爱综合网| 日本-黄色视频高清免费观看| 国产精品久久久久成人av| 国产免费福利视频在线观看| 狂野欧美激情性bbbbbb| av在线观看视频网站免费| 热re99久久精品国产66热6| 香蕉国产在线看| 晚上一个人看的免费电影| 久久精品国产自在天天线| 亚洲精品国产av蜜桃| 最新中文字幕久久久久| av黄色大香蕉| 一级片'在线观看视频| 久久精品aⅴ一区二区三区四区 | 美国免费a级毛片| 亚洲第一区二区三区不卡| 国产片特级美女逼逼视频| 天天躁夜夜躁狠狠久久av| 免费黄色在线免费观看| 日本与韩国留学比较| 国产成人欧美| 亚洲国产精品专区欧美| 国产成人精品一,二区| 日韩av免费高清视频| 精品人妻在线不人妻| 中国国产av一级| 久久久久精品人妻al黑| videossex国产| 天堂中文最新版在线下载| 亚洲国产精品成人久久小说| 最新的欧美精品一区二区| 欧美丝袜亚洲另类| 少妇人妻 视频| 十八禁高潮呻吟视频| 亚洲精品色激情综合| 成年动漫av网址| 国产亚洲最大av| 99re6热这里在线精品视频| 少妇猛男粗大的猛烈进出视频| 性高湖久久久久久久久免费观看| 春色校园在线视频观看| 亚洲精品乱码久久久久久按摩| 国产精品一二三区在线看| 69精品国产乱码久久久| 极品少妇高潮喷水抽搐| 国产精品免费大片| 人人妻人人爽人人添夜夜欢视频| av卡一久久| 免费女性裸体啪啪无遮挡网站| 亚洲欧美中文字幕日韩二区| 人体艺术视频欧美日本| 七月丁香在线播放| 九色亚洲精品在线播放| 90打野战视频偷拍视频| 欧美日韩视频高清一区二区三区二| 午夜影院在线不卡| 亚洲国产av新网站| 在线观看www视频免费| 欧美精品一区二区大全| 亚洲国产最新在线播放| 欧美激情国产日韩精品一区| 国产亚洲午夜精品一区二区久久| 少妇精品久久久久久久| 久久久久精品久久久久真实原创| 国产精品一二三区在线看| 日韩,欧美,国产一区二区三区| 日本爱情动作片www.在线观看| 欧美最新免费一区二区三区| 9热在线视频观看99| 一区二区三区精品91| 男人舔女人的私密视频| 一本色道久久久久久精品综合| 成年女人在线观看亚洲视频| 人人妻人人添人人爽欧美一区卜| 99国产综合亚洲精品| a 毛片基地| 香蕉国产在线看| 精品亚洲乱码少妇综合久久| 午夜激情久久久久久久| 亚洲成av片中文字幕在线观看 | 日本猛色少妇xxxxx猛交久久| 18禁国产床啪视频网站| 热re99久久国产66热| 国产免费福利视频在线观看| 天堂俺去俺来也www色官网| 99热国产这里只有精品6| 又黄又爽又刺激的免费视频.| 国产精品三级大全| 久久久久国产网址| 国产精品嫩草影院av在线观看| 日产精品乱码卡一卡2卡三| 天天躁夜夜躁狠狠躁躁| 欧美精品国产亚洲| 亚洲在久久综合| 亚洲综合精品二区| 蜜臀久久99精品久久宅男| 午夜精品国产一区二区电影| 日韩三级伦理在线观看| 尾随美女入室| 国语对白做爰xxxⅹ性视频网站| 22中文网久久字幕| 如何舔出高潮| 中文精品一卡2卡3卡4更新| 免费在线观看完整版高清| 卡戴珊不雅视频在线播放| 亚洲第一区二区三区不卡| 国产精品国产三级国产专区5o| 亚洲av成人精品一二三区| 男女无遮挡免费网站观看| 日韩成人av中文字幕在线观看| 亚洲成人av在线免费| 亚洲人与动物交配视频| 视频区图区小说| 青春草视频在线免费观看| 日韩成人av中文字幕在线观看| 香蕉丝袜av| 免费黄色在线免费观看| 日本wwww免费看| 久久久精品免费免费高清| 中文字幕av电影在线播放| 最近最新中文字幕大全免费视频 | 一本—道久久a久久精品蜜桃钙片| 久久久精品免费免费高清| 免费观看无遮挡的男女| 你懂的网址亚洲精品在线观看| 少妇 在线观看| 一区二区av电影网| 少妇被粗大的猛进出69影院 | 欧美激情 高清一区二区三区| 嫩草影院入口| 亚洲精品视频女| 欧美成人午夜免费资源| 男女高潮啪啪啪动态图| 女人久久www免费人成看片| 精品一区二区三区视频在线| 免费观看a级毛片全部| 巨乳人妻的诱惑在线观看| 午夜免费鲁丝| 最近最新中文字幕大全免费视频 | 亚洲精品乱久久久久久| 亚洲,欧美,日韩| 一本久久精品| 香蕉国产在线看| 亚洲欧美色中文字幕在线| 在线观看美女被高潮喷水网站| 免费观看av网站的网址| 国产精品久久久久久精品古装| 成人国语在线视频| 亚洲久久久国产精品| av不卡在线播放| 中文欧美无线码| 久久久久久久亚洲中文字幕| xxxhd国产人妻xxx| 边亲边吃奶的免费视频| 男人舔女人的私密视频| 精品一区在线观看国产| 成人亚洲欧美一区二区av| 人妻系列 视频| 色吧在线观看| 精品少妇黑人巨大在线播放| 亚洲四区av| 香蕉国产在线看| 国产xxxxx性猛交| 久久青草综合色| 亚洲av日韩在线播放| 久久久久久久大尺度免费视频| 亚洲内射少妇av| 久久精品人人爽人人爽视色| 欧美xxxx性猛交bbbb| 美女国产视频在线观看| 久久亚洲国产成人精品v| 最近手机中文字幕大全| 成人黄色视频免费在线看| 国产色婷婷99| 美女福利国产在线| 国产极品天堂在线| 国产一区有黄有色的免费视频| 日本爱情动作片www.在线观看| 国产女主播在线喷水免费视频网站| 天天躁夜夜躁狠狠躁躁| 伦理电影免费视频| 中文字幕另类日韩欧美亚洲嫩草| 欧美亚洲日本最大视频资源| 日本猛色少妇xxxxx猛交久久| 国产成人精品在线电影| 99热这里只有是精品在线观看| 各种免费的搞黄视频| 久久鲁丝午夜福利片| 亚洲欧美一区二区三区国产| 久久久久久伊人网av| 亚洲久久久国产精品| 曰老女人黄片| 精品一区二区三区四区五区乱码 | 2018国产大陆天天弄谢| 亚洲经典国产精华液单| 国产乱来视频区| 精品午夜福利在线看| 国产精品.久久久| 日韩一区二区三区影片| xxx大片免费视频| videosex国产| 国产日韩欧美视频二区| 大码成人一级视频| 国产欧美亚洲国产| 97精品久久久久久久久久精品| 最近最新中文字幕免费大全7| 欧美日本中文国产一区发布| 51国产日韩欧美| 日日撸夜夜添| 在线天堂中文资源库| 少妇 在线观看| 国产欧美另类精品又又久久亚洲欧美| 国产一区二区激情短视频 | 99国产精品免费福利视频| 国产精品久久久久久精品电影小说| 久久这里只有精品19| 欧美人与善性xxx| 欧美精品亚洲一区二区| 一级毛片 在线播放| 九草在线视频观看| 国产日韩欧美视频二区| 777米奇影视久久| 亚洲人成77777在线视频| 999精品在线视频| 欧美另类一区| 免费观看av网站的网址| 欧美成人午夜免费资源|