容器技術(shù)能否成為運(yùn)營(yíng)商轉(zhuǎn)型的“發(fā)動(dòng)機(jī)”

中國(guó)電信股份有限公司湖南分公司|劉印 林鴻雁

為了滿足新業(yè)務(wù)創(chuàng)新與交付的敏捷性需求，運(yùn)營(yíng)商一直在探索IT技術(shù)轉(zhuǎn)型，這種轉(zhuǎn)型有多個(gè)維度，應(yīng)用轉(zhuǎn)型是其中之一。容器技術(shù)最早出現(xiàn)在2000年左右，但直到2013年才開始成為熱點(diǎn)技術(shù)，近兩年有了飛速發(fā)展。由于運(yùn)營(yíng)商行業(yè)中有很多高并發(fā)應(yīng)用，對(duì)IT性能和彈性都有較高要求，分布式架構(gòu)可以很好地滿足這類應(yīng)用的需求，是應(yīng)用轉(zhuǎn)型的一個(gè)主要方向。因而，容器技術(shù)與分布式架構(gòu)相得益彰，未來(lái)會(huì)發(fā)展成為新型應(yīng)用平臺(tái)的核心。

容器平臺(tái)建設(shè)關(guān)鍵組件及技術(shù)選型要點(diǎn)

目前，以Docker為代表的新一代容器技術(shù)有幾個(gè)主要特點(diǎn)：第一個(gè)是共享底層操作系統(tǒng)，并提供了一定的隔離與資源訪問(wèn)控制能力，相對(duì)于虛擬化技術(shù)，可以更少地占用資源，更快地加載應(yīng)用；第二個(gè)是新的應(yīng)用封裝技術(shù)，極大地簡(jiǎn)化了應(yīng)用的交付與運(yùn)維管理，提高了應(yīng)用的可移植性和兼容性，但代價(jià)是需要重新打包應(yīng)用，甚至重構(gòu)應(yīng)用，才能充分利用容器技術(shù)的優(yōu)勢(shì)；第三個(gè)是開放性，容器及相關(guān)技術(shù)的飛速發(fā)展得益于開源社區(qū)的大力支持，在容器運(yùn)行時(shí)和容器編排等核心技術(shù)組件上標(biāo)準(zhǔn)化程度非常高，有利于運(yùn)營(yíng)商基于開源或商業(yè)產(chǎn)品來(lái)打造自己的解決方案，選型自由度高。

容器編排工具的選擇

在生產(chǎn)環(huán)境中大規(guī)模部署容器應(yīng)用時(shí)，必須選擇好容器編排工具進(jìn)行自動(dòng)化管理，容器編排工具的基本功能有4個(gè)。

●編排和調(diào)度。根據(jù)策略自動(dòng)化部署容器應(yīng)用，智能選擇部署位置，并對(duì)容器化應(yīng)用提供全生命周期管理。

●自動(dòng)擴(kuò)展與升級(jí)。自動(dòng)實(shí)現(xiàn)應(yīng)用的副本管理，根據(jù)負(fù)載實(shí)現(xiàn)應(yīng)用的彈性伸縮，滾動(dòng)升級(jí)以實(shí)現(xiàn)不中斷業(yè)務(wù)的應(yīng)用程序更新。

●服務(wù)可用性管理。監(jiān)測(cè)應(yīng)用和服務(wù)的可用性，出現(xiàn)故障時(shí)可以自動(dòng)修復(fù)，避免人工操作，這在大規(guī)模部署場(chǎng)景下尤為重要。

●與其它組件的集成。編排工具是核心但不是全部，需提供完善的管理接口，特別是API接口，以對(duì)接容器平臺(tái)上的其它功能組件。

最近兩年，主流的容器編排與調(diào)度工具主要有Kubernetes、Mesos(DC/OS)和Swarm三種，三種工具特色鮮明，下表是三者的對(duì)比分析。

由表項(xiàng)分析得出以下結(jié)論：Swarm與Docker容器引擎等組件結(jié)合緊密，優(yōu)點(diǎn)是使用簡(jiǎn)便，缺點(diǎn)是僅支持容器應(yīng)用的管理，擴(kuò)展能力相對(duì)較弱，適用于中小規(guī)模場(chǎng)景；Mesos曾經(jīng)是最受追捧的編排工具，對(duì)常見(jiàn)的工作負(fù)載均有較好支持，并且最先支持大規(guī)模容器部署環(huán)境，Mesos的弱項(xiàng)是跨平臺(tái)能力和可管理性；Kubernetes源自Google的Brog項(xiàng)目，社區(qū)活躍度高，發(fā)展速度最快，目前已經(jīng)發(fā)展成為最受歡迎的編排工具，K8s對(duì)微服務(wù)框架有非常好的支持，也有較強(qiáng)的跨平臺(tái)能力，技術(shù)先進(jìn)性明顯。Google將K8s項(xiàng)目移交給CNCF管理之后，生態(tài)系統(tǒng)變得更加完善，CNCF于 2017年發(fā)布的調(diào)查報(bào)告顯示，已經(jīng)有77%的容器用戶采用K8s作為編排工具。K8s已經(jīng)發(fā)展成為事實(shí)上的標(biāo)準(zhǔn)。

表 主流容器編排工具特性比較

容器鏡像管理

容器鏡像管理解決方案主要分為SaaS和本地部署兩類，出于性能、可靠性和安全性的考慮，企業(yè)環(huán)境下應(yīng)用容器時(shí)，都傾向于在本地部署容器鏡像倉(cāng)庫(kù)，例如Docker官方的公共鏡像倉(cāng)庫(kù)可以作為基礎(chǔ)鏡像的來(lái)源使用，但不適合用來(lái)存儲(chǔ)企業(yè)自身的容器鏡像，也不適合作為生產(chǎn)環(huán)境的鏡像源來(lái)使用。因此，運(yùn)營(yíng)商需要建立自己的企業(yè)級(jí)容器鏡像倉(cāng)庫(kù)。一個(gè)功能完善的鏡像倉(cāng)庫(kù)應(yīng)該具備下述三大功能。

圖1 容器網(wǎng)絡(luò)與安全配置示例

●支持多用戶的驗(yàn)證與授權(quán)機(jī)制。鏡像倉(cāng)庫(kù)是一種共享服務(wù)，必然要支持多用戶場(chǎng)景，因此集成的驗(yàn)證、授權(quán)與審計(jì)功能非常重要，還要支持不同用戶之間的協(xié)作，方便鏡像共享。

●鏡像安全服務(wù)。鏡像安全是容器安全中的重要一環(huán)，比較關(guān)鍵的技術(shù)手段是鏡像內(nèi)容的掃描和鏡像的發(fā)布控制。企業(yè)需要定期對(duì)鏡像包內(nèi)部的文件進(jìn)行安全性掃描，以發(fā)現(xiàn)脆弱性和安全風(fēng)險(xiǎn)；也要對(duì)鏡像進(jìn)行審核，只發(fā)布那些簽合安全與質(zhì)量控制規(guī)范的鏡像供用戶下載使用。

●鏡像的遠(yuǎn)程同步與分發(fā)。企業(yè)通常需要在多個(gè)場(chǎng)點(diǎn)上部署容器應(yīng)用，最佳策略是在每個(gè)場(chǎng)點(diǎn)部署本地鏡像倉(cāng)庫(kù)，同時(shí)實(shí)現(xiàn)這些鏡像存儲(chǔ)服務(wù)節(jié)點(diǎn)之間的智能復(fù)制，以提供鏡像分發(fā)和鏡像同步等服務(wù)。

容器的網(wǎng)絡(luò)與安全

相對(duì)于其它的管理任務(wù)，容器的網(wǎng)絡(luò)與安全管理最具挑戰(zhàn)性。計(jì)算和存儲(chǔ)資源相對(duì)獨(dú)立，可以基于集群來(lái)進(jìn)行管理。而網(wǎng)絡(luò)和安全則不同，地址與路由的管理以及訪問(wèn)控制策略的管理都必須是全局統(tǒng)一的。根據(jù)調(diào)研，發(fā)現(xiàn)目前可服務(wù)于容器的網(wǎng)絡(luò)與安全解決方案主要分為兩大類：基于物理網(wǎng)絡(luò)的解決方案和基于虛擬網(wǎng)絡(luò)的解決方案。

基于物理網(wǎng)絡(luò)的解決方案采用Underlay的方式來(lái)轉(zhuǎn)發(fā)數(shù)據(jù)包。以目前應(yīng)用最廣范的Calico為例，它采用純3層模式，通過(guò)管理iptables規(guī)則來(lái)實(shí)現(xiàn)跨主機(jī)的路由，不需要像Overlay方案一樣多次封包解包，這樣轉(zhuǎn)發(fā)效率可以得到保障。但最大的缺陷是功能受限，只能提供，基于iptables的路由和訪問(wèn)控制功能，可管理性差，與現(xiàn)有的網(wǎng)絡(luò)解決方案也不兼容。

基于虛擬網(wǎng)絡(luò)的解決方案特點(diǎn)是功能不受限于物理網(wǎng)絡(luò)，有更好的兼容性和擴(kuò)展性，但是和我們現(xiàn)有的網(wǎng)絡(luò)解決方案都不相容，功能也不夠完善，特別是監(jiān)控和分析能力和我們的需求有較大差距。這些項(xiàng)目中目前影響力最大的是Flannel，它也是Kubernetes缺省采用的容器網(wǎng)絡(luò)解決方案。

上述容器網(wǎng)絡(luò)解決方案的功能都不夠完整，企業(yè)可以考慮將現(xiàn)有虛擬化和云平臺(tái)中使用的SDN解決方案延伸到容器環(huán)境，這樣做可以帶來(lái)諸多好處。一是實(shí)現(xiàn)基于圖形化界面的統(tǒng)一管理能力，可以在一個(gè)管理平臺(tái)上統(tǒng)一管理物理機(jī)、虛擬機(jī)和容器的網(wǎng)絡(luò)和安全服務(wù)；二是層疊技術(shù)解耦了物理網(wǎng)絡(luò)，有非常好的兼容性，未來(lái)可以對(duì)接各種異構(gòu)網(wǎng)絡(luò)環(huán)境；三是功能全面，集成了南北向和東西向的路由及訪問(wèn)控制，負(fù)載均衡等功能，實(shí)現(xiàn)全面的策略驅(qū)動(dòng)網(wǎng)絡(luò)；四是缺省提供租戶間隔離功能，安全性較高。

K8s與NSX-T集成實(shí)現(xiàn)容器網(wǎng)絡(luò)與安全配置實(shí)例

圖1展示的是一個(gè)容器網(wǎng)絡(luò)與安全實(shí)現(xiàn)的參考范例，整體架構(gòu)是在現(xiàn)有的二/三層物理網(wǎng)絡(luò)基礎(chǔ)上構(gòu)建一個(gè)虛擬網(wǎng)絡(luò)，這個(gè)虛擬網(wǎng)絡(luò)通過(guò)邊界虛擬路由器集群與外界相連，實(shí)現(xiàn)南北向流量的轉(zhuǎn)發(fā)。內(nèi)部則利用多個(gè)虛擬交換機(jī)建立獨(dú)立的二層網(wǎng)絡(luò)，各網(wǎng)絡(luò)之間相互隔離。容器管理平臺(tái)PKS和網(wǎng)絡(luò)管理平臺(tái)NSX-T的管理資源采用獨(dú)立的網(wǎng)絡(luò)來(lái)部署，與虛擬化平臺(tái)等管理節(jié)點(diǎn)歸屬于現(xiàn)有的管理網(wǎng)絡(luò)，以保證管理平臺(tái)的性能和安全性。

此外，每個(gè)K8s集群，以及每個(gè)集群內(nèi)部的租戶分區(qū)命名空間都采用一套相互獨(dú)立的網(wǎng)絡(luò)，每個(gè)獨(dú)立網(wǎng)絡(luò)采用單獨(dú)的地址段，當(dāng)容器啟動(dòng)時(shí)自動(dòng)分配IP地址。上述能力的實(shí)現(xiàn)得益于PKS與NSX-T的集成，當(dāng)我們?cè)贙8s集群中創(chuàng)建新的命名空間時(shí)，NSX會(huì)自動(dòng)創(chuàng)建與之對(duì)應(yīng)的網(wǎng)絡(luò)，這樣可以降低管理負(fù)擔(dān)，并有效提升安全性。

容器技術(shù)主要應(yīng)用場(chǎng)景

當(dāng)前業(yè)界以容器技術(shù)為核心的解決方案主要有以下幾種場(chǎng)景，分別對(duì)應(yīng)新應(yīng)用改造的不同階段。

基礎(chǔ)容器平臺(tái)類。包括容器運(yùn)行時(shí)服務(wù)、容器集群服務(wù)等。這一類解決方案主要用來(lái)提供容器類應(yīng)用的運(yùn)行環(huán)境，因?yàn)槠浜w的組件相對(duì)較少，技術(shù)門檻低，通常在導(dǎo)入容器技術(shù)的第一階段采用，技術(shù)關(guān)鍵點(diǎn)是應(yīng)用封裝與鏡像管理、容器應(yīng)用的編排與調(diào)度，容器平臺(tái)資源服務(wù)實(shí)現(xiàn)、服務(wù)的可管理性與安全性。

以容器技術(shù)為核心的應(yīng)用服務(wù)平臺(tái)類。即新一代PaaS平臺(tái)，與傳統(tǒng)PaaS相比，有輕量化、非結(jié)構(gòu)化的特點(diǎn)，包括基礎(chǔ)容器平臺(tái)類服務(wù)，以及相關(guān)的各種應(yīng)用開發(fā)與管理組件，復(fù)雜度較高，需要同時(shí)考慮應(yīng)用開發(fā)與平臺(tái)運(yùn)維部門的需求，以建立一個(gè)貫穿應(yīng)用全生命周期的平臺(tái)，技術(shù)關(guān)鍵點(diǎn)是與IDE環(huán)境的集成，自動(dòng)化應(yīng)用交付與運(yùn)維，應(yīng)用擴(kuò)展性、可用性以及應(yīng)用的更新與升級(jí)。

PaaS平臺(tái)建設(shè)的第一階段是在生產(chǎn)環(huán)境中建設(shè)容器云平臺(tái)，主要服務(wù)內(nèi)容為容器集群及容器應(yīng)用的部署和運(yùn)維；第二階段是擴(kuò)展以容器為核心的新一代應(yīng)用平臺(tái)，完善容器集群服務(wù)，利用現(xiàn)有的開源或商業(yè)產(chǎn)品構(gòu)造具有特色的、自主可控的非結(jié)構(gòu)化PaaS平臺(tái)；第三階段是PaaS平臺(tái)的深入應(yīng)用，利用PaaS平臺(tái)的服務(wù)能力，加快應(yīng)用開發(fā)并加強(qiáng)基礎(chǔ)組件的共享，減少重復(fù)建設(shè)并提升應(yīng)用的運(yùn)維服務(wù)水平，實(shí)現(xiàn)新應(yīng)用在生產(chǎn)環(huán)境中高度智能化和自動(dòng)化運(yùn)維。

挑戰(zhàn)仍存，逐個(gè)突破

目前運(yùn)營(yíng)商對(duì)容器的應(yīng)用尚處在探索階段，部分省級(jí)運(yùn)營(yíng)商已經(jīng)成功地將一些新應(yīng)用部署到了容器平臺(tái)之上，積累了很多相關(guān)的經(jīng)驗(yàn)。但是結(jié)合實(shí)際情況，本文總結(jié)了容器云平臺(tái)建設(shè)的難點(diǎn)與挑戰(zhàn)。

●有大量不適配容器平臺(tái)的應(yīng)用。運(yùn)營(yíng)商行業(yè)信息化建設(shè)較早，經(jīng)過(guò)多年的發(fā)展，積累了很多應(yīng)用，這些應(yīng)用多是采用集中式架構(gòu)的有狀態(tài)應(yīng)用，雖然可以將這些應(yīng)用打包成容器鏡像，但簡(jiǎn)單地重新打包并不能充分發(fā)揮容器平臺(tái)的彈性優(yōu)勢(shì)，需要同時(shí)管理物理機(jī)、虛擬機(jī)和容器環(huán)境，這會(huì)增加運(yùn)維管理的復(fù)雜性。而創(chuàng)新型應(yīng)用，如一些面向互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的新業(yè)務(wù)，適于優(yōu)先部署到容器平臺(tái)。

●新技術(shù)帶來(lái)的學(xué)習(xí)成本與選擇成本較高。相對(duì)于虛擬化技術(shù)，容器平臺(tái)的門檻更高，需要掌握大量的新知識(shí)、新技能。容器生態(tài)環(huán)境中充斥著大量的開源組件，這些開源組件功能良莠不齊，發(fā)展路線與前景各有不同，路線選擇錯(cuò)誤可能導(dǎo)致不斷變換跑道的麻煩。如果全面擁抱容器開源體系，企業(yè)需要投入大量人力跟蹤前沿技術(shù)發(fā)展方向，解決開源組件的未知缺陷。

●如何保障容器平臺(tái)的可靠性與安全性。要在生產(chǎn)環(huán)境中采用容器技術(shù)，必須有一套經(jīng)過(guò)驗(yàn)證的、成熟的技術(shù)平臺(tái)。相對(duì)于虛擬化，以容器技術(shù)為核心的應(yīng)用平臺(tái)還處在發(fā)展階段，相關(guān)的工具和解決方案有待完善，原有的管理方法可能不適用于容器平臺(tái)，確保容器平臺(tái)安全可靠地運(yùn)行，是一項(xiàng)不可忽視的任務(wù)。

●如何構(gòu)建適應(yīng)容器應(yīng)用運(yùn)行的運(yùn)維體系。容器化改造之后，一臺(tái)宿主機(jī)上運(yùn)行的容器可以成百上千，如何對(duì)這些容器的故障進(jìn)行維護(hù)，需要對(duì)原有的運(yùn)維流程、團(tuán)隊(duì)與技術(shù)工具進(jìn)行更新升級(jí)以適應(yīng)新的業(yè)務(wù)情況?，F(xiàn)在主流的容器技術(shù)廠商可以提供包括K8S、多資源池管理、容器網(wǎng)絡(luò)管理和容器資源自動(dòng)化運(yùn)維的整體解決方案，可以幫助我們快速建設(shè)容器云并提供相關(guān)的容器運(yùn)維知識(shí)轉(zhuǎn)移，保障運(yùn)營(yíng)生產(chǎn)的安全和穩(wěn)定。

中國(guó)電信開發(fā) 運(yùn)維一體化的容器

在計(jì)劃建設(shè)容器云的時(shí)候，中國(guó)電信選擇建設(shè)一個(gè)支撐容器應(yīng)用部署和運(yùn)維的容器云。該容器云可以支持微服務(wù)化的應(yīng)用和各種云原生應(yīng)用（如圖2所示）。

圖2 容器云平臺(tái)總體架構(gòu)

首先確定K8S技術(shù)平臺(tái)的選型。將容器平臺(tái)定位于新應(yīng)用的運(yùn)行平臺(tái)，幫助解決傳統(tǒng)上應(yīng)用發(fā)布慢、彈性差、資源利用率低三個(gè)問(wèn)題，更加適應(yīng)新興云原生類應(yīng)用微服務(wù)化、分布式的開發(fā)與部署架構(gòu)。運(yùn)營(yíng)商等可以先試點(diǎn)后推廣，積累云原生類應(yīng)用容器平臺(tái)建設(shè)與運(yùn)行經(jīng)驗(yàn)，再逐步推進(jìn)舊應(yīng)用改造，遷移到容器平臺(tái)上來(lái)。

選擇主流的支持K8S容器技術(shù)方案，在麓谷與荷花園兩個(gè)數(shù)據(jù)中心之上構(gòu)建跨數(shù)據(jù)中心多活的K8S容器平臺(tái)?？鐢?shù)據(jù)中心的架構(gòu)讓應(yīng)用在兩個(gè)數(shù)據(jù)中心容器中平衡部署，利用容器調(diào)度平臺(tái)讓應(yīng)用節(jié)點(diǎn)在兩個(gè)數(shù)據(jù)中心平滑移動(dòng)，同時(shí)保證了高可用及容災(zāi)場(chǎng)景。

在容器網(wǎng)絡(luò)與安全方面，可以采用SDN的技術(shù)方案，替代開源的容器網(wǎng)絡(luò)組件，提高全網(wǎng)容器的安全隔離及網(wǎng)絡(luò)流量可視化的能力。

利用可視化自動(dòng)化與智能化手段，實(shí)現(xiàn)新舊應(yīng)用、虛擬機(jī)與容器、傳統(tǒng)部署架構(gòu)與微服務(wù)架構(gòu)等混合異構(gòu)環(huán)境統(tǒng)一監(jiān)控統(tǒng)一運(yùn)維。

將容器平臺(tái)能力包裝成自動(dòng)化服務(wù)，與現(xiàn)有IaaS服務(wù)平臺(tái)及ITIL運(yùn)維平臺(tái)整合。形成完整的基礎(chǔ)架構(gòu)即代碼（Infrastructure as a code）能力，為DevOps的推進(jìn)奠定堅(jiān)實(shí)的基礎(chǔ)。

容器平臺(tái)建設(shè)初步實(shí)現(xiàn)了敏態(tài)穩(wěn)態(tài)雙模業(yè)務(wù)一體化運(yùn)維，有利地支撐了開發(fā)運(yùn)維一體化進(jìn)程。后續(xù)我們將進(jìn)一步圍繞容器平臺(tái)推動(dòng)跨平臺(tái)一體化融合、智能化運(yùn)維提升以及新技術(shù)業(yè)務(wù)賦能等工作，加快網(wǎng)絡(luò)智能化、業(yè)務(wù)生態(tài)化、運(yùn)營(yíng)智慧化步伐。