基于容器的輕量資源交付技術(shù)試驗

梁奐，陳春華，姚文勝，喬宏明

基于容器的輕量資源交付技術(shù)試驗

梁奐，陳春華，姚文勝，喬宏明

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

為了解Docker技術(shù)成熟度、可運維能力和運行的可靠性，從軟件開發(fā)、測試到部署等環(huán)節(jié)對Docker集群管理以及相關(guān)技術(shù)進行驗證，介紹了容器實踐中容器性能、應(yīng)用容器化改造、規(guī)模部署與運維、安全性、容器兼容、持久化數(shù)據(jù)存儲6個方面的測試結(jié)果，并分享了容器的實踐經(jīng)驗和應(yīng)用建議。

輕量資源 容器 Docker 鏡像 虛擬機

1 引言

互聯(lián)網(wǎng)業(yè)務(wù)和虛擬化技術(shù)的發(fā)展推動IT基礎(chǔ)設(shè)施云化的進程，目前中國電信集團已經(jīng)建立了集中資源池，支撐了集團總部/省公司的業(yè)務(wù)和應(yīng)用，實現(xiàn)了IT資源資源共享和管理。在集中、開放的IT深化改革大背景下，集團總部和各省IT資源池規(guī)模越來越大，需承載的應(yīng)用越來越多，需要資源池以更低的成本提供更加靈活、高效的資源服務(wù)能力。

目前資源主要是以虛擬機（VM）/裸機等重資源交付方式為主，存在虛擬機開通效率較低，虛擬機跨平臺遷移困難，應(yīng)用發(fā)布工作量大、耗時長，操作系統(tǒng)兼容性差等問題。為此，需要考慮采用新的技術(shù)來提升資源交付的效率。

本次試驗是在IT資源池上驗證輕量級資源交付技術(shù)，驗證應(yīng)用系統(tǒng)從開發(fā)、測試到部署的技術(shù)方案，以及容器技術(shù)的成熟度、可運維能力和系統(tǒng)運行可靠性。

2 輕量資源交付技術(shù)

容器技術(shù)是一種輕量的操作系統(tǒng)級虛擬化技術(shù)，也是一種輕量的資源交付技術(shù)。而Docker是目前容器中關(guān)注度最高的技術(shù)，可以說是當前容器技術(shù)的事實標準。

2.1 Docker容器

Docker容器技術(shù)是近年來新興的虛擬化工具，它可以與傳統(tǒng)虛擬機一樣實現(xiàn)資源和系統(tǒng)環(huán)境的隔離。容器與虛機的實現(xiàn)框架如圖1所示：

圖1 虛機和容器的實現(xiàn)架構(gòu)

Docker是一種操作系統(tǒng)級的輕量化虛擬化技術(shù)。與傳統(tǒng)虛擬化技術(shù)相比，容器技術(shù)以容器引擎替代了傳統(tǒng)虛擬化技術(shù)的用戶操作系統(tǒng)（OS）層和虛擬化（Hypervisor）層，與宿主機共用操作系統(tǒng)內(nèi)核。因為容器不需要為每個應(yīng)用分配單獨的操作系統(tǒng)，所以容器會擁有更高的資源使用效率。同時，容器實例規(guī)模更小，創(chuàng)建和遷移速度也更快，這意味相比于虛擬機，相同的硬件設(shè)備當中，可以部署數(shù)量更多的容器實例。因此，容器在資源交付效率、啟動速度和運行性能上更有優(yōu)勢[1]。

2.2 容器鏡像技術(shù)

Docker鏡像跟傳統(tǒng)虛機的鏡像不一樣。在虛擬機中，鏡像是一個系統(tǒng)的完整體，包括了系統(tǒng)、用戶在上面做的操作等。而在Docker中，鏡像是一組文件的疊加。

圖2 Docker鏡像結(jié)構(gòu)

如圖2所示，Docker鏡像是一個只讀的靜態(tài)文件，包含了其應(yīng)用運行所需文件系統(tǒng)、應(yīng)用二進制文件、應(yīng)用運行依賴的軟件包等數(shù)據(jù)。當鏡像加載完成后，會產(chǎn)生容器，并隨之創(chuàng)建一個讀寫層。之前加載的鏡像都是只讀的，所有的修改操作都會放在這個讀寫層中。如果修改的是下面只讀層的內(nèi)容，則會拷貝到讀寫層再修改，這樣就保證了層的讀寫分離。Image不保存用戶狀態(tài)，可以用于模板重建和復(fù)制[2]。

鏡像倉庫是集中存放鏡像文件的場所，倉庫分為公開倉庫（Public）和私有倉庫（Private）兩種形式。

2.3 容器的資源隔離和限制

容器通過Linux內(nèi)核的namespace和cgroup技術(shù)實現(xiàn)資源隔離和限制[3]。

內(nèi)核的namespace類型包括進程、網(wǎng)絡(luò)、進程間通信信號、文件系統(tǒng)、用戶等，不同的Docker使用不同的namespace。在同一個namespace下的進程可以感知彼此的變化，但無法感知外部進程的存在。這樣就可以讓容器中的用戶產(chǎn)生錯覺，仿佛自己置身于一個獨立的系統(tǒng)環(huán)境中，以此達到獨立和隔離的目的。

Cgroups是Linux內(nèi)核提供的一種機制，這種機制可以根據(jù)特定的行為，把一系列系統(tǒng)任務(wù)及其子任務(wù)按資源劃分等級劃分到不同組內(nèi)，從而為系統(tǒng)資源管理提供一個統(tǒng)一的框架。它不僅可以限制被namespace隔離起來的物理資源（包括CPU、memory、IO等），還可以為資源設(shè)置權(quán)重、計算使用量、操控進程啟停等。

2.4 資源交付方案

容器技術(shù)（Docker）不僅是一個容器框架，也是一套應(yīng)用打包和部署的解決方案。容器技術(shù)對于應(yīng)用依賴封裝完整，同一鏡像可重復(fù)地在測試、集成、生產(chǎn)等環(huán)境部署，適用于持續(xù)集成、持續(xù)部署環(huán)境。容器技術(shù)所提供的輕量級虛擬化技術(shù)適用于微服務(wù)架構(gòu)，實現(xiàn)秒級部署、彈性擴展，并更高效地利用計算資源。容器鏡像正逐漸成為應(yīng)用交付的標準，加之迅速成長的生態(tài)系統(tǒng)，將會是應(yīng)用發(fā)布、分享的首選方式[4]。

Docker將應(yīng)用和應(yīng)用運行的依賴環(huán)境封裝成為鏡像，并將鏡像作為交付物推送到鏡像倉庫中。在進行應(yīng)用部署時，再從鏡像倉庫中下載鏡像，部署到不同的運行環(huán)境中去，從而實現(xiàn)了應(yīng)用“一次構(gòu)建，處處運行”。

3 輕量資源交付技術(shù)驗證與實踐

3.1 Docker容器驗證

為驗證輕量級資源技術(shù)成熟度、運維支持能力和運行可靠性，我們從資源管理、容器平臺和應(yīng)用管理3個層面，選取企業(yè)關(guān)注焦點進行驗證。驗證的內(nèi)容包括容器性能、應(yīng)用容器化改造、規(guī)模部署與運維、安全性、互聯(lián)互通、存儲6個方面，涉及了軟件構(gòu)建、測試到部署的全過程。

（1）Docker容器性能測試

本次實驗中采用sysbench 0.4.8作為壓力測試工具，針對相同配置下（32核、64 G內(nèi)存、Centos7.1）的不同場景，對CPU利用率、內(nèi)存利用率、磁盤IO效率、網(wǎng)絡(luò)IO和Redis訪問效率進行測試。測試場景包括物理機、物理機+容器、虛機、虛機+容器等四種，測試結(jié)果顯示：

1）CPU利用率：物理機容器CPU利用率比虛機高25%；

2）內(nèi)存性能：物理機容器與虛機比較，內(nèi)存讀效率高27%、寫效率高32%；

3）磁盤IO訪問效率：虛機相對物理機性能下降超過50%，容器化與宿主機相比無差異；

4）網(wǎng)絡(luò)IO訪問效率：虛機相對物理機性能下降超過8%，容器化與宿主機相比無差異；

5）Redis讀寫性能：應(yīng)用部署在物理機容器上與應(yīng)用運行在虛機比較：前者讀效率高20%、寫效率高12%。

因此，我們認為：容器資源利用效率明顯高于虛擬機，資源利用效率接近宿主機。

（2）持久化數(shù)據(jù)儲存能力

根據(jù)容器的技術(shù)特性，用戶數(shù)據(jù)會隨著容器的銷毀而丟棄，因此，用戶須將持久化數(shù)據(jù)保存在容器外部。在容器實際應(yīng)用中，容器支持以Volume數(shù)據(jù)卷方式掛載外部存儲空間來保存持久化數(shù)據(jù)。

我們采用容器Flocker Plugin方式實現(xiàn)對外部儲存（FusionStorage分布式存儲系統(tǒng)）的訪問。測試內(nèi)容包括：新增、刪除、查看和管理數(shù)據(jù)卷；刪除容器后，驗證容器數(shù)據(jù)卷完整性；驗證可移動性：數(shù)據(jù)卷在集群中的任何容器上使用；驗證容器跨主機遷移后數(shù)據(jù)卷是否隨著容器在主機之間移動等。

通過本次測試，得出如下主要結(jié)論：

1）通過容器云平臺可以實現(xiàn)對外部分布式存儲，可以實現(xiàn)存儲卷的創(chuàng)建、掛載、刪除及遷移等功能。

2）通過第三方插件Flocker可以接收北向API收到的存儲請求，如創(chuàng)建、刪除、加載、卸載和遷移數(shù)據(jù)卷（volume）等，并傳遞給底層數(shù)據(jù)平面去完成實際的存儲操作。

（3）容器安全隔離

容器技術(shù)是資源池管理和調(diào)度應(yīng)用中的新技術(shù)，其安全性是生產(chǎn)應(yīng)用中必須重點考慮的問題，為此結(jié)合電信業(yè)務(wù)場景和容器技術(shù)特點，對容器安全進行研究，并進行隔離能力驗證，保障基于容器部署的IT服務(wù)能力滿足企業(yè)安全管理和平穩(wěn)運營要求。

本次驗證將從容器常見的安全問題入手，選定5個驗證項：Cgroup資源限制針對資源獨占的問題；Namespace資源隔離針對內(nèi)核漏洞及容器突破的問題；鏡像安全針對含毒鏡像及加密校驗等問題；此外還選擇了生產(chǎn)環(huán)境中應(yīng)重點考慮的如網(wǎng)絡(luò)隔離、安全增強等方面進行驗證。

本次是基于福富公司的FCSP容器云平臺進行測試，主要結(jié)論如下：

1）容器技術(shù)通過Cgroup可以實現(xiàn)容器與容器之間、容器與宿主機之間CPU、內(nèi)存、磁盤IO的資源限制；

2）容器技術(shù)通過Namespace可以實現(xiàn)容器與容器之間，容器與宿主機之間UTS、IPC、PID、Network、Mount、User等資源的隔離；

3）通過創(chuàng)建多個overlay網(wǎng)絡(luò)，可以實現(xiàn)不同Vxlan間的隔離；

4）鏡像的安全訪問通過鏡像倉庫的權(quán)限控制及鏡像校驗得到保障。

（4）容器兼容能力

容器技術(shù)是一種新型的虛擬化技術(shù)，在一定時期內(nèi)，會與傳統(tǒng)虛擬化技術(shù)并存，因此我們驗證了容器技術(shù)與傳統(tǒng)虛擬化技術(shù)混合組網(wǎng)的應(yīng)用場景。服務(wù)端和客戶分別部署在容器或VM環(huán)境中，進行相互之間的互通性測試。

選擇生產(chǎn)環(huán)境中最常用的四個互聯(lián)互通場景（HTTP、SSH、FTP、DB數(shù)據(jù)庫），驗證容器環(huán)境與傳統(tǒng)物理、虛擬環(huán)境混合并存的可行性。選擇某些在運行的應(yīng)用系統(tǒng)，將部分應(yīng)用（Web應(yīng)用服務(wù)）進行容器化改造和部署，驗證系統(tǒng)系統(tǒng)在混合部署模式下是否能正常運行。

測試的結(jié)果顯示：

1）容器與虛機之間的應(yīng)用服務(wù)訪問（HTTP、SSH、FTP、DB數(shù)據(jù)庫）正常；

2）部分模塊容器化部署后，應(yīng)用系統(tǒng)能夠正常運行。容器環(huán)境與傳統(tǒng)虛擬環(huán)境混合并存是可行的。

（5）應(yīng)用交付效率

由于容器快速部署、環(huán)境一致性等特性，DevOps理論與實踐也伴隨Docker技術(shù)成為研究熱點。因此，我們對Docker環(huán)境下的應(yīng)用交付模式進行了測試，分析Docker交付模式與傳統(tǒng)交付模式在開發(fā)、測試、部署和運維方面的差異以及兩種交付模式下工作量對比分析。

本次是在Daocloud容器云環(huán)境對統(tǒng)一賬戶管理系統(tǒng)部分進行容器化試驗，主要結(jié)論如下：

1）Docker模式下，開發(fā)人員構(gòu)建鏡像，運維及測試人員只需獲取鏡像啟動容器即可（無需修改配置更新代碼），減輕了工作量，節(jié)省資源；

2）容器啟動時間短：輕量化的容器可以秒級啟動；

3）應(yīng)用容器化后可以在線升級：以新版本進行啟動容器，舊版本容器關(guān)閉，在線更新；

4）大大縮短了應(yīng)用交付的速度，水平擴容耗時短：

◆容器鏡像啟動，自動服務(wù)發(fā)現(xiàn)與負載均衡配置，耗時約5分鐘；

◆虛擬機實例復(fù)制、負載均衡配置，耗時約20～60分鐘。

（6）應(yīng)用部署及運維能力

為了驗證容器技術(shù)規(guī)模應(yīng)用部署及運維支撐能力，本次試驗選擇了5家具有代表性的容器云平臺，包括傳統(tǒng)IT廠商和新興互聯(lián)網(wǎng)公司。測試主要從如下幾方面進行測試驗證：容器及平臺管理、服務(wù)與應(yīng)用管理、多租戶管理、鏡像管理、編排部署、運維支撐等。

本次是在廣州研究院IT實驗室進行測試，結(jié)果顯示如下：

1）從參加測試的容器管理產(chǎn)品來看，商用案例還不多，成熟度仍有待提升；

2）傳統(tǒng)IT廠商能從資源池管理角度，考慮了容器與虛機、物理機的聯(lián)動管理；而互聯(lián)網(wǎng)公司則主要關(guān)注容器的管理，不涉及底層物理資源管理；

3）參測的管理平臺基本能提供控制臺、容器啟停、集群管理等運維管理功能，可查看容器信息、集群信息、性能信息和日志信息；支持應(yīng)用快速擴展和負載均衡等能力；具備故障自動恢復(fù)能力。

3.2 應(yīng)用實踐效果

本次試驗過程中，除了在實驗室進行測試外，還分別對兩個省公司應(yīng)用系統(tǒng)的Docker化進行了實踐。

截至2017年1月，安徽分公司已經(jīng)有統(tǒng)一認證平臺、統(tǒng)一日志平臺、自動化運維平臺3個生產(chǎn)系統(tǒng)部署在Docker云平臺集群中，實現(xiàn)了生產(chǎn)系統(tǒng)的Docker化部署和微服務(wù)拆分。實測統(tǒng)一認證平臺每秒認證次數(shù)達到1 000以上，并且運行穩(wěn)定，達到了很好的應(yīng)用效果。

廣西公司將電信激活系統(tǒng)的服務(wù)接口模塊、工單調(diào)度與解析模塊、回單模塊、前端Web模塊等進行容器化改造（6個鏡像），并在生產(chǎn)環(huán)境下進行驗證。驗證結(jié)果顯示：容器部署成功，且可以進行新老接口的開通工單接收，完成工單/子工單的配置操作。

3.3 容器技術(shù)使用建議

通過本次學(xué)習(xí)和實踐，認為容器集群管理平臺、編排工具等已逐步成熟，生態(tài)體系較完整。容器技術(shù)屬于操作系統(tǒng)級的虛擬化技術(shù)，是傳統(tǒng)虛擬技術(shù)的補充，一定時期內(nèi)并存，可以用來解決IaaS層與PaaS層的銜接問題，容器可以快速搭建企業(yè)PaaS平臺，可以在基礎(chǔ)設(shè)施優(yōu)化、CI/CD、DevOps等領(lǐng)域發(fā)揮其獨有的優(yōu)勢。

從目前的容器應(yīng)用場景來看，容器非常適合于短連接、無狀態(tài)的應(yīng)用，如Web服務(wù)器、數(shù)據(jù)分析應(yīng)用、restful API等，支持業(yè)務(wù)的快速、動態(tài)伸縮。但在支持有狀態(tài)應(yīng)用運行方面，目前尚未有更好的方案。

對于應(yīng)用容器化引入時機方面，我們建議可以在自開發(fā)測試環(huán)境中積極使用，并逐步在生產(chǎn)環(huán)境擴大應(yīng)用范圍；可以擴大在生產(chǎn)系統(tǒng)的驗證范圍，如網(wǎng)廳/掌廳等BSS前端系統(tǒng)；可以基于容器的搭建Devops平臺，解決應(yīng)用的快速部署、伸縮和編排等問題。

4 結(jié)束語

通過本次試驗，可知容器技術(shù)是一種輕量的虛擬化技術(shù)，是傳統(tǒng)虛擬化技術(shù)的一種補充。由于容器技術(shù)本身也是在不斷的完善中，實際應(yīng)用過程中仍有存在很多的“坑”，使用就是不斷填坑的過程。在容器技術(shù)大規(guī)模應(yīng)用前，我們建議企業(yè)需要提前做好容器技術(shù)人才的儲備，做好容器維護隊伍建設(shè)和容器運維制度建設(shè)等方面的準備工作。

[1] 徐錦韜. 虛擬機、容器與Docker技術(shù)對比[J]. 科學(xué)與財富, 2016,8(4).

[2] 汪愷. 基于容器虛擬化技術(shù)研究[J]. 計算機技術(shù)與發(fā)展, 2015(8): 138-141.

[3] 伍陽. 基于Docker的虛擬化技術(shù)研究[J]. 信息技術(shù), 2016(1): 121-123.

[4] 高禮. Docker技術(shù)在軟件開發(fā)過程中的應(yīng)用研究[J]. 軟件, 2016,37(3): 110-113.

[5] 衛(wèi)彪. 深入淺出Docker輕量級虛擬化[J]. 電子技術(shù)與軟件工程, 2016(10): 252.

[6] 劉思堯. 基于Docker技術(shù)的容器隔離性研究[J]. 軟件, 2015,36(4): 110-113.

[7] 于燁. Docker技術(shù)的移植性分析研究[J]. 軟件, 2015(7): 57-60.

[8] 陸鋼. 電信運營商對容器技術(shù)的探索和思考[J]. 電信科學(xué), 2016,32(8): 159-163.

[9] 許麗婷,傅翔君,楊晶晶. 基于Docker技術(shù)的分層式數(shù)據(jù)安全性防護系統(tǒng)[J]. 信息化研究, 2017(1): 51-55.

[10] 張楠. 云計算中使用容器技術(shù)的信息安全風(fēng)險與對策[J]. 信息網(wǎng)絡(luò)安全, 2015(9): 278-282. ★

梁奐：國家正式注冊咨詢（投資）工程師，碩士畢業(yè)于暨南大學(xué)計算機軟件專業(yè)，現(xiàn)任職于中國電信股份有限公司廣州研究院，從事電信IT系統(tǒng)規(guī)劃與IT服務(wù)管理方面的研究工作。

陳春華：高級工程師，碩士畢業(yè)于湖南大學(xué)工業(yè)自動化專業(yè)，現(xiàn)任職于中國電信股份有限公司廣州研究院，從事電信企業(yè)信息化規(guī)劃和IT服務(wù)管理方面的研究工作。

姚文勝：高級工程師，現(xiàn)任職于中國電信股份有限公司廣州研究院，從事運營商信息化規(guī)劃與建設(shè)相關(guān)工作。

Experiment on Lightweight Resource Delivery Technology Based on Container

LIANG Huan, CHEN Chunhua, YAO Wensheng, QIAO Hongming
(Guangzhou Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China)

In order to understand the technical maturity, operation ability and reliability of Docker technology, the Docker cluster management and related technology were validated from aspects of the software development, test and deployment. The container performance, container transformation, scale development, operation, maintenance, security, container compatibility and persistent data storage in the container practice were introduced. The container practical experience and application suggestion were shared.

lightweight resource container Docker image virtual machine

10.3969/j.issn.1006-1010.2017.15.010

TP399

A

1006-1010(2017)15-0050-05

梁奐,陳春華,姚文勝,等. 基于容器的輕量資源交付技術(shù)試驗[J]. 移動通信, 2017,41(15): 50-54.

2017-04-28

責(zé)任編輯：黃耿東 huanggengdong@mbcom.cn