輕量級網(wǎng)絡(luò)安全攻防PaaS平臺(tái)研究與實(shí)現(xiàn)

游貴榮， 陳 杰， 樂寧莉

（福建商學(xué)院信息技術(shù)中心，福州350012）

0 引 言

信息安全與國家安全休戚相關(guān)，2017 年《中華人民共和國網(wǎng)絡(luò)安全法》的施行，國家對網(wǎng)絡(luò)空間信息安全的重視達(dá)到前所未有的高度。高校作為培養(yǎng)網(wǎng)絡(luò)安全人才的主要陣地［1］，為跟上信息安全技術(shù)日新月異發(fā)展的步伐，需不斷進(jìn)行網(wǎng)絡(luò)安全人才培養(yǎng)模式改革與機(jī)制創(chuàng)新。國家相關(guān)教育機(jī)構(gòu)也對改革進(jìn)行引導(dǎo)，為滿足實(shí)踐教學(xué)的需要，資助建設(shè)虛擬仿真實(shí)驗(yàn)教學(xué)平臺(tái)，引入各大安全服務(wù)廠商承辦各類信息安全競賽。如近幾年來在全國各地如火如荼舉辦的奪旗賽（Capture The Flag，CTF），旨在檢驗(yàn)信息安全人才培訓(xùn)模式的成效與發(fā)掘信息安全優(yōu)秀人才。

將CTF引入信息安全專業(yè)教學(xué)，可提高學(xué)生的學(xué)習(xí)興趣與實(shí)戰(zhàn)性，但廠商所提供的CTF教學(xué)平臺(tái)普遍價(jià)格偏高，對于多數(shù)非“雙一流”建設(shè)的應(yīng)用型高校來說是一項(xiàng)資金負(fù)擔(dān)，且平臺(tái)的復(fù)雜度與封閉性不利于維護(hù)和擴(kuò)展，對廠商的售后維護(hù)依賴性較強(qiáng)。針對此問題，本文提出利用Docker容器構(gòu)建輕量級網(wǎng)絡(luò)安全攻防服務(wù)平臺(tái)（Platform as a Service，PaaS）的解決方案，利用高校已有的云平臺(tái)資源，通過微服務(wù)（microservice）的方式整合師生身份認(rèn)證、資源調(diào)度與分發(fā)等功能，為學(xué)生提供一個(gè)貼近實(shí)戰(zhàn)的教學(xué)實(shí)踐平臺(tái)。

1 網(wǎng)絡(luò)安全攻防平臺(tái)現(xiàn)狀

信息安全涉及技術(shù)面非常廣，根據(jù)中國信息安全測評中心提供的注冊信息安全專業(yè)人員（Certified Information Security Professional，CISP）知識(shí)體系大綱［2］，CISP認(rèn)證對信息安全技術(shù)主要考核的內(nèi)容有：密碼技術(shù)、訪問控制技術(shù)，網(wǎng)絡(luò)、操作系統(tǒng)（OS）、數(shù)據(jù)庫和應(yīng)用軟件安全，以及安全攻防和軟件安全開發(fā)等。CTF賽的主要內(nèi)容也包括：網(wǎng)絡(luò)信息嗅探、欺騙，漏洞的掃描、利用與修補(bǔ)，密碼破解，逆向工程，WEB 攻防，安全加固等［3］。因網(wǎng)絡(luò)安全實(shí)驗(yàn)本身具有的復(fù)雜性、破壞性和不可逆性等特點(diǎn)，采用真實(shí)硬件設(shè)備來構(gòu)建網(wǎng)絡(luò)安全攻防教學(xué)實(shí)踐平臺(tái)明顯不現(xiàn)實(shí)，故普遍采用虛擬仿真的方式。常見的有：PC 機(jī)虛擬機(jī)（Virtual Machine，VM）方案、云平臺(tái)VM方案和安全廠商專業(yè)方案3 種，各方案實(shí)現(xiàn)方式與優(yōu)缺點(diǎn)見表1。

表1 常見網(wǎng)絡(luò)安全虛擬仿真實(shí)現(xiàn)方式對比

以上3 種方案各具特色，PC機(jī)虛擬機(jī)方案無須額外投入建設(shè)成本；云平臺(tái)VM 與安全廠商專業(yè)方案有利于提高資源的利用率與共享，便于學(xué)生遠(yuǎn)程開展實(shí)驗(yàn)和充分利用碎片化的時(shí)間進(jìn)行學(xué)習(xí)［4］；安全廠商專業(yè)方案是在開源Openstack［5-6］云平臺(tái)基礎(chǔ)上進(jìn)行二次開發(fā)與封裝，使用和維護(hù)簡單，但總體部署效率都較低，擴(kuò)展性較差。

2 主流輕量級PaaS平臺(tái)技術(shù)架構(gòu)

傳統(tǒng)重量級PaaS平臺(tái)使用硬件虛擬化技術(shù)，創(chuàng)建的每個(gè)VM都包含一個(gè)完整的OS。針對不同的運(yùn)行環(huán)境需要，可利用VM模板，先克隆出基礎(chǔ)系統(tǒng)后進(jìn)行定制。雖然每個(gè)VM 可保存增量快照，但無法在現(xiàn)有快照的基礎(chǔ)上簡單擴(kuò)展出新的VM，只能復(fù)制整個(gè)VM，不僅浪費(fèi)存儲(chǔ)空間，而且部署效率低。

大數(shù)據(jù)的迅猛發(fā)展、云平臺(tái)的深入應(yīng)用，傳統(tǒng)的應(yīng)用程序框架從最初的單一應(yīng)用（All-in-One）發(fā)展到垂直（Vertical）應(yīng)用、分布式的彈性（Elastic）應(yīng)用、到目前熱門的微服務(wù)架構(gòu)。云平臺(tái)中的應(yīng)用需要考慮可移植、依賴、集群、負(fù)載均衡及快速部署等因素，以實(shí)現(xiàn)高性能、高可用。傳統(tǒng)基于VM的PaaS 平臺(tái)已逐漸無法滿足新的需求，基于容器虛擬化的輕量級PaaS平臺(tái)應(yīng)運(yùn)而生。主流容器虛擬化技術(shù)主要有LXC、Open VZ、Docker與Rocket／Rkt 4 種。

2.1 LXC

Linux容器（LinuX Containers，LXC）是一種OS 級別的虛擬化技術(shù)［7］，可在OS 層級為進(jìn)程提供虛擬的執(zhí)行環(huán)境，一個(gè)虛擬的執(zhí)行環(huán)境就是一個(gè)容器。LXC作為Linux內(nèi)核的功能，主要有下面3 個(gè)核心的技術(shù)。

（1）Cgroups?？刂平M（Control groups，Cgroups）是Linux內(nèi)核提供的一種可以限制、記錄、隔離進(jìn)程組使用物理資源的機(jī)制。LXC 主要通過cgroup 實(shí)現(xiàn)對于資源的管理和控制。

（2）Namespace。命名空間（Namespace）提供一個(gè)進(jìn)程相互隔離的獨(dú)立網(wǎng)絡(luò)空間，不同容器的進(jìn)程pid可相同且不相互影響，也可共享底層的計(jì)算和存儲(chǔ)資源。

（3）Rootfs／Chroot。Chroot 通過創(chuàng)建一個(gè)虛擬的根目錄文件系統(tǒng)，實(shí)現(xiàn)不同容器的虛擬文件系統(tǒng)相互隔離，并共享底層的文件系統(tǒng)。

2.2 Open VZ

OpenVZ［8］是基于Linux內(nèi)核和作業(yè)系統(tǒng)的OS 級虛擬化技術(shù)，互聯(lián)網(wǎng)上眾多虛擬專用服務(wù)器（Virtual Private Server，VPS）主機(jī)就是采用此技術(shù)。OpenVZ可將一臺(tái)服務(wù)器分割成多個(gè)VPS，每個(gè)VPS 都可分配獨(dú)立公網(wǎng)IP 地址、OS、內(nèi)存、CPU 資源、系統(tǒng)配置等，用戶可自行安裝程序與重啟。OpenVZ 作為一個(gè)系統(tǒng)容器運(yùn)行環(huán)境，可引導(dǎo)一個(gè)完整的系統(tǒng)映像，其高效設(shè)計(jì)與輕量級處理損耗，是運(yùn)行應(yīng)用服務(wù)和實(shí)時(shí)數(shù)據(jù)生產(chǎn)型服務(wù)器虛擬化的最佳選擇。

2.3 Docker

Docker作為一個(gè)基于LXC 技術(shù)的開源應(yīng)用容器引擎，于2013 年發(fā)布，在LXC 基礎(chǔ)上重新進(jìn)行封裝，設(shè)計(jì)目標(biāo)是快速構(gòu)建、交付和運(yùn)行分布式應(yīng)用［9］。開發(fā)者可將應(yīng)用及其相關(guān)依賴包打包到一個(gè)可移植的容器中，因Docker 采用分層鏡像機(jī)制，使得部署與運(yùn)維工作較為簡單，且啟動(dòng)速度快、占用資源少、移植性更強(qiáng)。近年來Docker發(fā)展很快且開啟了商業(yè)化之路，目前分為企業(yè)商用版和社區(qū)免費(fèi)版，基于Docker 容器技術(shù)的生態(tài)圈已基本形成。

2.4 Rocket／Rkt

Rocket應(yīng)用容器項(xiàng)目于2014 年發(fā)布，后改名為Rkt［10］。Rkt與Docker 類似，但其更加專注于解決安全、兼容、執(zhí)行效率等方面的問題，如Rkt 在下載和運(yùn)行鏡像前，需要將鏡像發(fā)布者的簽名信任添加到本地信任列表中。

3 輕量級網(wǎng)絡(luò)安全攻防PaaS平臺(tái)構(gòu)建方案

3.1 輕量級PaaS平臺(tái)技術(shù)架構(gòu)選型

傳統(tǒng)重量級PaaS 平臺(tái)，由于構(gòu)建復(fù)雜度較高，與云計(jì)算中的基礎(chǔ)設(shè)施即服務(wù)（Infrastructure as a Service，IaaS）和軟件即服務(wù)（Software as a Service，SaaS）相比，明顯發(fā)展滯后。Docker 自誕生以來，到目前為止已形成事實(shí)上應(yīng)用交付的標(biāo)準(zhǔn)，有業(yè)界人士也認(rèn)為Docker的出現(xiàn)催生了新一代的PaaS［11］。

盡管Docker本身已有較為出色的用戶體驗(yàn)，但其畢竟就是一個(gè)虛擬化工具，缺乏與之匹配的編排和易用性服務(wù)，要實(shí)現(xiàn)PaaS 平臺(tái)的易用性，還需要很多組件的支持。Kubernetes（簡稱K8s）作為一個(gè)開源的容器集群管理系統(tǒng)，提供了容器部署運(yùn)行、資源調(diào)度、服務(wù)發(fā)現(xiàn)、負(fù)載均衡與動(dòng)態(tài)伸縮等功能，可作為Docker的調(diào)度與維護(hù)層。對于構(gòu)建微服務(wù)應(yīng)用來說，基于K8s及Docker容器的分布式系統(tǒng)支撐平臺(tái)是目前的主流方案［12］。因K8s的安裝和部署都較復(fù)雜，不利于推廣。RKE（Rancher K8s Engine）的出現(xiàn)，改變了此現(xiàn)狀。RKE 是一個(gè)用Go 語言編寫的K8s 簡易安裝程序，能給普通用戶帶來很好的K8s安裝、部署體驗(yàn)，且Rancher本身就是一個(gè)開源的企業(yè)級全棧化容器部署及管理平臺(tái)，通過它可以管理Docker 集群，實(shí)現(xiàn)集群的高可用性。Rancher 的易用性與極致用戶體驗(yàn)，使得它作為一個(gè)管理K8s平臺(tái)工具，深受用戶青睞。

文獻(xiàn)［13］中對Docker、OpenVZ 與Rkt 虛擬化性能進(jìn)行了測試比較，得出Docker 的高效性、快速性較好，但隔離性較弱的結(jié)論，適合對快速性和高效性有高要求的PaaS場景。根據(jù)網(wǎng)絡(luò)安全攻防平臺(tái)的具體要求，采用Docker 容器技術(shù)，在K8s 集群的基礎(chǔ)上構(gòu)建輕量級PaaS 平臺(tái)是比較合適的選擇，它易于構(gòu)建隔離、標(biāo)準(zhǔn)化運(yùn)行環(huán)境，且橫向擴(kuò)展方便［14］。

3.2 輕量級PaaS平臺(tái)結(jié)構(gòu)圖

本研究設(shè)計(jì)并實(shí)現(xiàn)的輕量級PaaS平臺(tái)，是在現(xiàn)有云計(jì)算基礎(chǔ)設(shè)施上創(chuàng)建主機(jī)集群，將用于各種攻防場景的容器鏡像組置于集群中的私有容器倉庫中，以微服務(wù)的方式對外提供統(tǒng)一的Web 訪問入口。該平臺(tái)從下至上主要包括資源層、容器層、接口層和業(yè)務(wù)層，平臺(tái)邏輯結(jié)構(gòu)如圖1 所示。

圖1 輕量級PaaS平臺(tái)結(jié)構(gòu)圖

（1）資源層。通過整合IaaS 平臺(tái)中的計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)資源，在X86 裸機(jī)或VM 中部署Docker 環(huán)境，用Rancher 來管理K8s 集群，為網(wǎng)絡(luò)安全攻防平臺(tái)提供基礎(chǔ)資源支撐。因OS 漏洞挖掘?qū)嶒?yàn)環(huán)境無法使用容器進(jìn)行模擬，只能由VM來完成。

（2）容器層。容器層主要包括支持PaaS 平臺(tái)的代理、認(rèn)證、緩存、消息隊(duì)列、持久化、日志等服務(wù)，以及支持各種網(wǎng)絡(luò)安全攻防場景的容器鏡像組。編排一個(gè)網(wǎng)絡(luò)安全攻防場景可能需要多個(gè)容器服務(wù)組成，圖2所示為一個(gè)典型的Web 攻防場景所需的容器組合。HTML5 的普及，使得應(yīng)用程序Web 化的趨勢越來越明顯，為便于網(wǎng)絡(luò)用戶使用不同類型終端訪問，此場景中用戶以Web方式訪問K8s提供的代理服務(wù)，登錄到容器內(nèi)部私有網(wǎng)絡(luò)中的Jumpserver 堡壘跳板機(jī)，由該跳板機(jī)提供的Web Terminal 方案來訪問場景中的各種虛擬主機(jī)；這些虛擬主機(jī)使用K8s的虛擬軟件定義網(wǎng)絡(luò)（Software Defined Networking，SDN）交換機(jī)接入到容器內(nèi)部私有網(wǎng)絡(luò)；Quagga 路由組件則用來模擬Internet網(wǎng)絡(luò)環(huán)境，并將帶漏洞的靶機(jī)連接起來。不同場景的容器組可利用K8s的Namespace命名空間進(jìn)行隔離。為加快場景部署，這些容器鏡像組都事先存入本地私有容器倉庫。

圖2 攻防場景容器組示意圖

（3）接口層。將容器層中提供的各種微服務(wù)，按資源表征狀態(tài)轉(zhuǎn)移（Resource Representational State Transfer，REST）API 方式進(jìn)行封裝和定義。REST 是Roy Fielding博士所提出來的一種軟件架構(gòu)風(fēng)格［15］，REST風(fēng)格的Web服務(wù)通過一個(gè)簡潔清晰的URI來提供資源鏈接，并使用JavaScript 對象標(biāo)記來傳遞數(shù)據(jù)。因REST模式的Web 服務(wù)簡單先進(jìn)，Docker、K8s 與Rancher也都提供REST API，其中Rancher 是對K8s的REST API進(jìn)行了重新封裝。對于平臺(tái)用戶來說，直接使用REST API 仍有較大困難，一般還需要在此基礎(chǔ)上進(jìn)行UI與接口的二次開發(fā)。

（4）業(yè)務(wù)層。以Web 服務(wù)方式提供給用戶與管理人員的門戶，通過對服務(wù)的調(diào)度與編排、組合和控制，實(shí)現(xiàn)網(wǎng)絡(luò)攻防場景的部署、切換、用戶訪問控制，以及VM主機(jī)的管理等功能。利用自動(dòng)化腳本實(shí)現(xiàn)一鍵部署高可用、高可靠、高性能的網(wǎng)絡(luò)攻防平臺(tái)。

3.3 常用支持Docker的網(wǎng)絡(luò)安全攻防組件

互聯(lián)網(wǎng)上有眾多現(xiàn)成用于快速部署攻防測試環(huán)境的VM鏡像，如：開放式Web應(yīng)用程序安全項(xiàng)目（Open Web Application Security Project， OWASP［16］）、metasploitable、Kioptix 等。這些早期以VM 方式發(fā)布的系統(tǒng)，多數(shù)是基于Linux 系統(tǒng)，易于進(jìn)行Docker 移植。隨著Docker生態(tài)系統(tǒng)的完善，越來越多的系統(tǒng)將以Docker容器鏡像的方式發(fā)布，且Docker容器倉庫中的共享鏡像資源更新也很快。

用于網(wǎng)絡(luò)安全攻防的組件主要分為3 類：一是用于構(gòu)建網(wǎng)絡(luò)環(huán)境，二是預(yù)設(shè)漏洞的靶機(jī)，三是用于滲透測試的安全攻擊工具。常用組件列表見表2。

表2 常用網(wǎng)絡(luò)安全攻防組件列表

4 平臺(tái)測試結(jié)果分析

為驗(yàn)證上述輕量級網(wǎng)絡(luò)安全攻防平臺(tái)能否滿足日常教學(xué)與實(shí)踐需要，設(shè)計(jì)相關(guān)測試實(shí)驗(yàn)，并進(jìn)行性能分析。

4.1 測試平臺(tái)環(huán)境

本測試環(huán)境采用一臺(tái)機(jī)架服務(wù)器作為宿主機(jī)，利用vSphere ESXi 6.0 虛擬出4 個(gè)Linux VM作為Docker容器主機(jī)，并構(gòu)建具有3 個(gè)節(jié)點(diǎn)的K8s 容器集群。據(jù)VMware官方提供的測試報(bào)告［17］，在vSphere的VM中部署Docker二次虛擬化對應(yīng)用程序性能的影響不大，最大計(jì)算性能損耗為5%。具體環(huán)境配置見表3。

4.2 平臺(tái)測試結(jié)果

（1）容器部署時(shí)間。網(wǎng)絡(luò)攻防環(huán)境的部署所花費(fèi)的時(shí)間，與需要啟動(dòng)容器的數(shù)量、容器中運(yùn)行的服務(wù)與容器鏡像的大小有關(guān)。本文根據(jù)班級人數(shù)30、50、100（對應(yīng)小班、中班、大班）的實(shí)驗(yàn)需求（每人啟動(dòng)一個(gè)靶機(jī)容器）進(jìn)行部署測試，所用容器鏡像（存于本地私有倉庫）見表4。

表3 測試環(huán)境配置

表4 容器鏡像大小

統(tǒng)計(jì)部署時(shí)間的方法采用在容器啟動(dòng)后，執(zhí)行腳本訪問指定Web 服務(wù)器來記錄時(shí)間戳。開始部署的時(shí)間戳與Web服務(wù)器記錄的時(shí)間戳之間的間隔，即為部署所耗費(fèi)的時(shí)間。測試結(jié)果見圖3。

圖3 容器部署啟動(dòng)所耗費(fèi)時(shí)間

由圖3 可知，容器啟動(dòng)速度很快，總體上容器啟動(dòng)時(shí)長與容器鏡像大小成正比。若節(jié)點(diǎn)主機(jī)已存在鏡像的部分分層文件，鏡像文件大的容器，啟動(dòng)速度不一定會(huì)很慢。正常部署一個(gè)滿足100 用戶的攻防環(huán)境在幾分鐘內(nèi)就可完成，相比于啟動(dòng)一個(gè)重量級的VM 就需要花幾分鐘來說，部署效率優(yōu)勢明顯。

（2）容器資源利用率。此測試環(huán)境啟動(dòng)一個(gè)web-dvwa帶漏洞Web靶機(jī)容器，設(shè)置該容器的內(nèi)存預(yù)留為128 MiB（MiB 為K8s 內(nèi)存資源的計(jì)量單位，1 MiB ＝220Byte），CPU 預(yù)留為300 milli-CPUs（K8s CPU資源的計(jì)量單位為“毫核”，millicores），不限制內(nèi)存與CPU 的使用，即允許容器使用超出預(yù)留資源的設(shè)定值。使用Linux 壓力測試工具ab，對靶機(jī)進(jìn)行模擬DoS攻擊，攻擊時(shí)長為120 s，用于測試并發(fā)訪問對容器資源的開銷，內(nèi)存與CPU使用峰值測試結(jié)果如圖4所示。由圖4 可見，容器資源的利用率基本上隨并發(fā)訪問量的增長而增大，也存在一定的波動(dòng)現(xiàn)象。在實(shí)際使用中，可通過Rancher的UI界面隨時(shí)調(diào)整容器實(shí)例數(shù)量，以滿足并發(fā)訪問的需要。

圖4 并發(fā)訪問對容器資源利用率影響

（3）容器自動(dòng)擴(kuò)展壓力測試。當(dāng)K8s 開啟水平Pod 自動(dòng)縮放（Horizontal Pod Autoscaling，HPA）功能后，可實(shí)現(xiàn)支持服務(wù)的容器水平自動(dòng)伸縮（增減容器數(shù)量）。本測試容器鏡像采用web-dvwa，將其配置成支持HPA的一個(gè)Web 服務(wù)，為容器內(nèi)存預(yù)留為128 MiB、最大限制為256 MiB，為CPU 預(yù)留100 milli CPUs、最大限制為300 milli CPUs，最小容器實(shí)例數(shù)為1，最大容器實(shí)例數(shù)為10，內(nèi)存與CPU 利用率閾值為70%。利用Tsung［18］壓力測試工具來模擬真實(shí)環(huán)境下用戶的Web請求，壓力測試持續(xù)10 分鐘，每秒鐘產(chǎn)生50 個(gè)模擬用戶，每個(gè)用戶訪問10 個(gè)URL 連接。測試容器實(shí)例數(shù)量隨負(fù)載波動(dòng)的情況，測試結(jié)果見圖5。

圖5 工作負(fù)載對容器實(shí)例數(shù)量的影響

圖5 表明，開啟HPA功能后，隨著用戶并發(fā)數(shù)（即工作負(fù)載）的增加，當(dāng)容器資源利用率超過事先設(shè)定的閾值時(shí)，K8s會(huì)自動(dòng)創(chuàng)建新的容器，以實(shí)現(xiàn)彈性伸縮功能。新增容器的數(shù)量與用戶并發(fā)數(shù)之間基本上呈線性關(guān)系。

以上測試實(shí)驗(yàn)表明，輕量級網(wǎng)絡(luò)安全攻防平臺(tái)在環(huán)境部署的效率方面優(yōu)勢明顯，對系統(tǒng)資源的消耗較少，體現(xiàn)其輕量性，且對于某些要求并發(fā)訪問、資源消耗較大的場景，可以利用平臺(tái)的HPA 機(jī)制，實(shí)現(xiàn)資源的彈性伸縮。通過平臺(tái)測試實(shí)驗(yàn)，驗(yàn)證了該平臺(tái)的可用性，可實(shí)現(xiàn)教學(xué)、實(shí)踐場景的快速部署。

5 結(jié) 語

本文分析了現(xiàn)有網(wǎng)絡(luò)安全攻防平臺(tái)常見的3 種構(gòu)建方案及其優(yōu)缺點(diǎn)，闡述了目前主流輕量級PaaS平臺(tái)技術(shù)的常用架構(gòu)，重點(diǎn)探討了利用開源Docker、Kubernetes、Rancher及相關(guān)網(wǎng)絡(luò)安全攻防組件來實(shí)現(xiàn)輕量級網(wǎng)絡(luò)安全攻防平臺(tái)的方法。通過相關(guān)實(shí)驗(yàn)測試，此平臺(tái)能夠滿足日常教學(xué)與實(shí)踐需要，性能良好、可擴(kuò)展性強(qiáng)且建設(shè)成本相對廉價(jià)，具有較好的應(yīng)用前景。不足之處是Docker 容器的OS 依賴于宿主機(jī)，無法模擬帶有漏洞的某個(gè)OS 版本，只能模擬具體有漏洞的組件，此不足可用重量級VM來彌補(bǔ)。另外，盡管Rancher管理平臺(tái)提供了較為人性化的圖形操作界面，其應(yīng)用商店也在逐步完善，但K8s 平臺(tái)本身比較復(fù)雜，要深入了解并應(yīng)用此PaaS 平臺(tái)，對平臺(tái)管理員的專業(yè)知識(shí)掌握程度要求較高。