互聯(lián)網(wǎng)企業(yè)安全運維實踐

雷英

安全領(lǐng)域眾多，分享這個議題是因為在之前的工作過程中發(fā)現(xiàn)大家非常關(guān)心的機密數(shù)據(jù)泄露、資產(chǎn)盜竊、數(shù)據(jù)篡改、服務(wù)中斷及物理邏輯的破壞行為通常都發(fā)生在安全運維環(huán)節(jié)，需要通過安全運維確保整個系統(tǒng)在一定的安全級別中運行。

安全建設(shè)思考

當(dāng)企業(yè)開始著手考慮安全建設(shè)時，要考慮的因素有很多，其中包括管理層的期望、業(yè)務(wù)部門的安全訴求、組織環(huán)境和企業(yè)治理模式等。綜合了解這些信息后，需要評估這時安全所處的階段，可能還會做同行差距分析，然后才著手做安全規(guī)劃，一般來說建設(shè)信息安全有4個階段。

第1個階段通常是“救火”。優(yōu)先解決業(yè)務(wù)痛點，同時做一些基礎(chǔ)的“保命”工作，來降低安全事件發(fā)生的概率，快速找到可能導(dǎo)致內(nèi)外網(wǎng)安全入侵的安全隱患并修復(fù)，比如無線安全、VPN遠程訪問、弱口令和服務(wù)器后門等。此時也是最困難的，要人沒有、錢也很有限，更關(guān)鍵的是買設(shè)備也來不及，只能根據(jù)以住滲透經(jīng)驗轉(zhuǎn)換成防御方法，按照2/8法則做最有效的工作。另一個方面快速組織團隊，因為你的安全項目計劃里已經(jīng)有很多活要等著干。

第2個階段是體系化建設(shè)階段。過了救火期，可以稍微喘口氣，進行有序的安全建設(shè)。主要精力是在基礎(chǔ)安全建設(shè)，比如安全老三樣：堡壘機、雙因素和VPN等。這個階段還不能用互聯(lián)網(wǎng)，因為團隊里基本上不具備開發(fā)能力，主要是以商業(yè)安全設(shè)備為主，外加少量的安全工具自研，提升運維的效率。這個階段也可以參考ISO27001體系出臺三、四級的管理規(guī)范，并推動落地，確保從源頭解決問題，否則永遠處在擦地板的過程，因為水桶有洞，水不斷滴出來，擦一次是干凈了，過一會兒又流出來了。

第3個階段屬于安全的高階階段。商用系統(tǒng)可能并不能很好地滿足需求，所以需要大量自研工具來解決實際問題，有能力的話可以考慮加入安全大數(shù)據(jù)和APT。

第4個階段進入安全的智能級別。智能的檢測、阻斷和響應(yīng)代表公司安全未來的方向。

架構(gòu)一詞，起源于古羅馬時代，是描述如何構(gòu)建一個建筑物以及它的實用和非實用功能繪畫的過程和相關(guān)的藝術(shù)科學(xué)，這個詞同樣在IT領(lǐng)域廣泛使用。

軟件架構(gòu)尤其在運行環(huán)境中會比較抽象，以往做安全系統(tǒng)的架構(gòu)，由于對系統(tǒng)缺乏全面了解，通常都是拿一張平面的網(wǎng)絡(luò)拓撲圖。其實架構(gòu)是分不同的層次和視圖的，根據(jù)業(yè)務(wù)的差別、功能的不同和關(guān)注人員的差別，需要不同視角的視圖。

系統(tǒng)安全的架構(gòu)應(yīng)該包含哪些東西？個人認為它至少應(yīng)該包含3個主要的維度：第1個就是系統(tǒng)自然的技術(shù)堆棧，在IT技術(shù)里，任何系統(tǒng)的技術(shù)堆棧都是天然存在的。最常見的系統(tǒng)分層架構(gòu)，有客戶端或者瀏覽器、APP；下面有運行的代碼，它可能運行在中間件服務(wù)器上；再下面可能是數(shù)據(jù)庫、操作系統(tǒng)、服務(wù)器、網(wǎng)絡(luò)和基礎(chǔ)設(shè)施，這是一個最簡單的分層方式。

第2個維度是業(yè)務(wù)流程視角，其實和安全這個課題是沒有太大關(guān)系，它更多的是關(guān)注業(yè)務(wù)功能的實現(xiàn)。比如說支付業(yè)務(wù)有支持業(yè)務(wù)的流程，網(wǎng)購有網(wǎng)購業(yè)務(wù)的流程，理財業(yè)務(wù)有理財?shù)牧鞒?，它隨系統(tǒng)差別來實現(xiàn)不同的業(yè)務(wù)目標(biāo)。

第3個維度是安全視圖，比如客戶端、應(yīng)用、中間件和DB都有不同的保護機制。在另外一個維度就是業(yè)務(wù)流程，業(yè)務(wù)的每個模塊也需要不同的保護機制，這些保護機制最后貫穿成一個網(wǎng)狀的結(jié)構(gòu)，如何選擇合適的保護機制對它進行保護，那就需要第3個軸安全技術(shù)來構(gòu)成三維視角，在安全的機制里它分為2類：第一類是系統(tǒng)自身的防護；第2類是對業(yè)務(wù)系統(tǒng)的保護。

為了便于理解，我們把這個框架對應(yīng)到建筑架構(gòu)上，第1層是地基，代表基礎(chǔ)設(shè)施；第2層是網(wǎng)絡(luò)；第3層是服務(wù)器；第4層是中間件及應(yīng)用。再往上就是應(yīng)用、客戶端，系統(tǒng)堆棧的概念比較好理解。

業(yè)務(wù)系統(tǒng)視圖對應(yīng)的橫軸，比如可能有101，102，103等多個房間，業(yè)務(wù)流程把它想象在101房間先辦理注冊，102房間去選1個東西，103加到購物車，104可能是支付，105完成退出。

接下來看第3個軸，系統(tǒng)自身的保護。構(gòu)建一個房子，自身要堅固，柱子要牢靠、墻體要結(jié)實，這樣這個建筑才能穩(wěn)定。除了本身安全，還要考慮在里面住的客人，要為他們提供安全保護，走廊、消防和空調(diào)的排布是不是合理的，能否有效保護內(nèi)部用戶的安全。這就能看出系統(tǒng)安全架構(gòu)的基本維度，而對于保護機制的選擇有一個逐步評估分解的過程。這里還需要大家注意每一個IT系統(tǒng)，不管是系統(tǒng)開發(fā)還是安全開發(fā)，都有生命周期的概念，而生命周期對安全架構(gòu)的設(shè)計是有影響的。

今天我們能感覺到網(wǎng)絡(luò)攻擊已經(jīng)在進化，比如基于國家、政治團體以及有組織的犯罪機構(gòu)發(fā)起的攻擊越來越多，攻擊者更有耐心，可能會從不起眼的用戶入手。還有一個變化是一些高級的攻擊逃逸技術(shù)越來越先進。還有一些攻擊是針對個人的，針對人的弱點進行社會工程學(xué)的攻擊，非常難防范，會突破我們原來認為不會被攻破的防御系統(tǒng)，把一些惡意的程序注入到你的系統(tǒng)里。

但是我們?nèi)匀豢梢岳^續(xù)遵循基本的計算機安全實踐，來構(gòu)建安全體系。按照合規(guī)的方法去做，這一點非常重要。我們都知道在禁止酒駕立法之前，發(fā)生非常多酒駕引起的人員傷亡的事故，但是立法之后很少有人去觸碰法律的紅線。信息安全也一樣，如果真正做到監(jiān)管合規(guī)的要求，你的安全等級已經(jīng)到達一個比較高的維度了。

第3個身份管理，這個人是誰，在我的系統(tǒng)里面有什么樣的權(quán)限，授予他可以訪問哪些數(shù)據(jù)。

第4個是數(shù)據(jù)保護，數(shù)據(jù)保護目前仍是很多企業(yè)最關(guān)心和最擔(dān)心的問題，因為全球90 %的企業(yè)都認為自己可能有數(shù)據(jù)泄漏方面的風(fēng)險。

從整個2016年來看，全球總共爆發(fā)900多起非常嚴重的數(shù)據(jù)泄露事件，泄漏數(shù)據(jù)達到5億多條，包括小米、京東和雅虎在2016年都發(fā)生過大規(guī)模的數(shù)據(jù)泄漏的事件。

另外一塊是日志，記錄和監(jiān)控可以協(xié)助發(fā)現(xiàn)未經(jīng)經(jīng)授權(quán)的安全事件，有助于確定安全措施有意義的改進，以保護公司的機密信息。這里只是一個示例，我們在構(gòu)建技術(shù)保障體系的時候，按分層原則，每個層次上都需要考慮相應(yīng)的保護機制。

除了像BAT一樣的先進公司，大多數(shù)企業(yè)在安全運維層面還是離不開找到合適的人、買到合適的設(shè)備這2條。這里談?wù)勝I到合適的設(shè)備時的一些經(jīng)驗。

給大家講個與老板偏好相關(guān)的真實案例。之前老板傳達的信息是買設(shè)備，別買大了，省下的錢公司用于投資，會產(chǎn)生更多的收益。聽上去沒毛病，所以我們在選購數(shù)據(jù)中心邊界防火墻時，按年30 %的復(fù)合增長計算，1套墻滿足3年業(yè)務(wù)增長是沒有問題的，到第4年插塊板卡，就能扛5年。結(jié)果2年后，業(yè)務(wù)以每年超過100 %的速度增長，在這個過程中，新老板上任了，說容量怎么不夠了，就把之前的設(shè)計翻出來，也說得通，那就買板卡擴容吧。沒想到只過了6 ～7個月，容量又報警了，業(yè)務(wù)成長實在太快了，只好去找新老板說板卡已經(jīng)擴到頭了；只能換一套更強處理能力的設(shè)備，可以體會一下向老板做匯報的心情。

第2個案例是關(guān)于品牌的。在采購過程中，有個品牌為了進來，殺低價中標(biāo)。都是國際一線品牌，按道理來說沒什么問題，但是有點水土不服，各種奇怪問題全來了，在短時內(nèi)就發(fā)生了7次嚴重故障，所以用了不到1年，果斷換掉。這次之后，我們對品牌的考慮更加慎重，和采購死磕，提升技術(shù)評分的比例，確保不讓不符合預(yù)期的產(chǎn)品進來。

關(guān)于中心端產(chǎn)品的容量，如果是互聯(lián)網(wǎng)公司，建議按當(dāng)前量放大5 ～10倍考慮，因為業(yè)務(wù)的增長往往是倍數(shù)成長，非常嚇人，不能總是出現(xiàn)性能瓶頸；另外一方面需要考慮架構(gòu)優(yōu)化，用Scal Out方式橫向擴容。

關(guān)于測試，這里指實際環(huán)境測試。實驗室不全面，如果條件允許，時間、人充足，測試當(dāng)然沒有壞處。如果時間緊、人手不足的情況下，就選擇性地進行測試，比如性能類產(chǎn)品首次選擇使用時，最好先測試一下。

另外，這幾者之間要互相平衡，它們之間都是有聯(lián)系的。比如容量估算不準(zhǔn)，又沒做實際環(huán)境測試，等設(shè)備買來，一上線直接掛掉也是有可能的。

安全運維之術(shù)

這一部分主要介紹安全運維需要考慮的一些問題。

這里講2個重要概念。Due care中文通常翻譯成適度關(guān)注或應(yīng)用的注意，Due diligence翻譯成適度勤勉或是盡職調(diào)查；在信息安全領(lǐng)域，Due care實際上是說一個企業(yè)要制定各種各樣的策略、規(guī)程和標(biāo)準(zhǔn)等，用來對企業(yè)信息資產(chǎn)的保護，也就是企業(yè)應(yīng)該做的事情。而Due diligence則是要保證Due care要做的那些事情一直保持在最新狀態(tài)。

舉個例子，比如你要外出時做了2個動作：

1想著手機會不會電不夠用，不夠用怎么辦；

2隨手把充電寶裝口袋里。

其中1是你的思想活動，有沒有“想”就屬于Due care，也可能會順手查看手機電量。想過之后，可能會覺得電夠用不帶充電寶，也可能會覺得不夠用而帶上充電寶，這都不重要，重要的是你“想沒想”，有沒有檢查手機電量的意識。

第2是你的實際動作。如果你覺得電不夠用帶了充電寶，但沒檢查充電寶是否有電，或忘了充電線，那就是沒做到Due Diligence。也就是說雖然采取了相應(yīng)的動作，但沒達到預(yù)期的效果。

對于安全來說，需要想到如果沒有采取這個措施，可能存在怎樣的安全風(fēng)險，為了降低風(fēng)險，采取了一定的行動，并且要確保這個行動是有效的、而且一定要真實的執(zhí)行。

IT系統(tǒng)會有各種各樣的變更，如發(fā)布、升級、割接和改造等。變更是最容易引發(fā)系統(tǒng)故障的操作，為了降低變更對系統(tǒng)的影響，我們推進三思而行的3步工作法。做變更之前先問自己3個問題，首先我是這項工作的合適人選嗎？其次我有能力執(zhí)行這個任務(wù)嗎？最后我能控制整個變更嗎？

當(dāng)3個問題得到的答案是肯定的，再去申請執(zhí)行這個變更；如果任何問題的答案有遲疑，就要和自己的主管協(xié)商，制定最佳方案，包括變更失敗的回退計劃。通過這一舉措大大降低了變更造成的業(yè)務(wù)影響。

研發(fā)的同事通常關(guān)注的是HTTP xxx返回值相關(guān)問題、延遲、擴展性、代碼重用、Deadline、KPI、需求變更、框架、形式源、功能如何實現(xiàn)以及代碼質(zhì)量等問題，最主要關(guān)注代碼有沒有Bug；運維的同事通常關(guān)注HTTP 4xx及5xx錯誤、性能、可靠性、對閥值進行預(yù)警、監(jiān)控圖斷崖和是否出現(xiàn)異常，也最關(guān)心別出故障。

研發(fā)和運維的同事對安全的理解會有不同，但大體上對安全的理解包括DDoS攻擊、病毒木馬、堡壘機、數(shù)據(jù)脫敏、拖庫和數(shù)據(jù)泄露，只能理解和自己工作關(guān)系比較大的那個部分。而負責(zé)安全的同事則關(guān)注1～7層上的防護措施會不會被繞過，然后就是各種漏洞，開源框架的、編程語言的、代碼里的和邏輯上存在的各種安全漏洞公交站，傳輸過程中以及存儲過程中的漏洞、Bug的修復(fù)和更高級的漏洞利用方式。找出各種高、中、低危漏洞。除此之外還要時刻關(guān)注無線滲透、弱口令、0day、彩虹表、各種馬、注入和后門。這里就不一一列舉了，反正就是能黑進入系統(tǒng)、能拿數(shù)據(jù)以及能偷錢的技術(shù)都需要了解和防范。

其他非技術(shù)部門的同事對安全的關(guān)注僅僅是看看熱點，誰家出什么事了，旁觀者心態(tài)。視野的不同決定了在安全工作上采取行動的不同。

在安全運維的過程中，有時不得不去做一些高危操作，就像給飛行中的飛機更換故障發(fā)動機，因為站點業(yè)務(wù)是7×24服務(wù)的，不可能或很少能遇到停機操作窗口。前面已經(jīng)說過，做變更有一套方法規(guī)避風(fēng)險，包括參與變更人員、廠商和我們工作時的配合。但總有疏漏的時候，有一次我們更換防火墻引擎故障，結(jié)果導(dǎo)致防火墻雙活，業(yè)務(wù)中斷約10分鐘。后來復(fù)盤故障時領(lǐng)導(dǎo)也覺得這類操作的確很危險，即使再小心，也是十分危險的。所以就設(shè)定了Outage Window操作，高危操作放在這個窗口內(nèi)，訂單損失是不計入ATP監(jiān)控的，并沒有人會因此濫用這個窗口。

關(guān)于漏洞

漏洞年年有，今年特別多，像前段時間出的Struts2；還有2019年4月15日國外黑客組織Shadow Brokers泄露出了一份機密文檔，其中包含了多個Windows遠程漏洞利用工具，可以覆蓋全球70 %的Windows服務(wù)器，影響程度非常巨大。這2次事件影響面都非常廣，修復(fù)花很大力氣，在企業(yè)里面推動補丁管理還是挺難的。簡單來說就是補洞的人不懂安全，懂安全的插不上手。需要說的是補丁是必須要打的，不然就給入侵者留下方便之門，不做為，亦作惡。

關(guān)于安全意識

需要足夠的耐心，一次次去宣講，普通員工到技術(shù)人員到管理層，大家整體的安全意識才會提高，特別是管理層，宣講的時候講技術(shù)通常效果不好。這時應(yīng)該選擇講案例，將安全與商業(yè)價值聯(lián)系起來管理層才會真正重視。安全工作成功的關(guān)鍵是高層、重視和承諾。

關(guān)于變化

這個也好理解，整個IT環(huán)境是不斷動態(tài)變化的，當(dāng)前有效的安全防護措施，因為某個不安全系統(tǒng)的上線，就有了突破口，需要持續(xù)檢查，發(fā)現(xiàn)變化帶來的新風(fēng)險。

關(guān)于堅持

其實安全運維是整個安全的基石，需要耐心去踏踏實實做一些事情，而很多我們身邊的“大?！痹谧畛跞胄袝r也是從調(diào)設(shè)備寫代碼開始的，通過真正接觸一線的工作，在后期的提升會比較快，而不是說看幾本安全的書就能怎樣。

安全運維自動化

我們?yōu)榱颂嵘踩\維效率，在運維自動化方面有過很多嘗試，比如防御DDoS攻擊方面，分布式漏洞掃描方面、交換機封IP、基于VPN的鏈路容災(zāi)方案，防火運維自動化方面等，在DevOps深入推進的今天，可以說能夠自動化你想自動化的一切。

關(guān)于DDoS攻擊分為2種類型，一種是已經(jīng)被打怕的人，另外一種是已經(jīng)被打習(xí)慣的人。DDoS攻擊目前仍是網(wǎng)絡(luò)安全的頭號大敵，超過100 G規(guī)模的攻擊很常見。筆者是被打習(xí)慣的一類人，在戰(zhàn)斗中增加經(jīng)驗值，并且考慮了一些自動化的防御手段，比如自研DDoS攻擊看板、實時了解受攻擊情況、與運營商BGP聯(lián)動、實現(xiàn)被攻擊IP一鍵丟黑洞及快速釋放被攻擊帶寬。另外云端防護是必須要借助的，因為現(xiàn)在的攻擊量太大了，需要云清洗能力。

我們自研的DDoS攻擊看板分成3個狀態(tài)，第一塊是誰正在被攻擊，第二塊是哪些被攻擊系統(tǒng)正在引流，第三塊顯示哪些被引流的系統(tǒng)正在做流量清洗。正在做流量清洗的系統(tǒng)，需要特別關(guān)注業(yè)務(wù)的運行情況，確保業(yè)務(wù)得到保護。

講一下交換器封IP，由于我們系統(tǒng)架構(gòu)的特殊性，需要由交換機設(shè)備完成IP自動封鎖的任務(wù)。先看一下流程，比較簡單，分為4個過程：發(fā)現(xiàn)惡意IP，可以通過IPS或其他系統(tǒng)檢測出來；送入IP封鎖系統(tǒng)進行規(guī)則匹配；符合封鎖條件的IP直接自動下發(fā)到交換機進行封鎖；達到封鎖時間則自動解封。

再看一下實現(xiàn)原理。最上面通過API對接Web Portal和惡意IP識別系統(tǒng)，Web可以實現(xiàn)IP的增刪查以及交換機ACL查詢，有IP白名單機制，確保受保護IP不會被封鎖。比如分公司IP或合作伙伴IP地址，ACL下推到交換機時增加了防呆機制，防止系統(tǒng)發(fā)生將不該封的IP封鎖或是大批量封鎖用戶IP的情況發(fā)生。

這個是一個基于VPN的鏈路容災(zāi)系統(tǒng)設(shè)計，我們做的自動化有幾塊。一個是全國有幾百家汽車站需要與總部系統(tǒng)通訊，如果采購商用VPN系統(tǒng)造價很高，那我們在某寶上買了Netgear的路由器，安裝Openwrt開源固件提供VPN服務(wù)，大約節(jié)省80多萬元成本。這個設(shè)計的專利部分是設(shè)計了一套全冗余的結(jié)構(gòu)，冗余的程度達到就算任何一個機房的鏈路壞了、設(shè)備壞了甚至其中1個IDC全部crash，這套系統(tǒng)仍然可以持續(xù)運行。

維護和管理幾百條VPN隧道是非常麻煩的事情，我們開發(fā)了VPN管理工具，可以批量生成中心端VPN的配置信息，遠端的VPN小盒子也通過腳本實現(xiàn)即插即用，大大降低了維護的復(fù)雜度。

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，在線網(wǎng)站的規(guī)模越來越大，防火墻作為網(wǎng)絡(luò)的安全屏障在廣泛使用，其數(shù)量也在不斷增加。據(jù)了解，使用幾臺到幾十臺的企業(yè)有很多，也有一些大型集團公司或跨國公司使用數(shù)百臺防火墻。面對這么多防火墻，要把它管理好，難度是很大的。有些廠商說你可以使用我們的防火墻集中管理系統(tǒng)，幫助降低運維復(fù)雜度。但當(dāng)告訴他，我們有好幾個品牌的墻，他們往往會說對不起，其他的系統(tǒng)管不了，只能管自家的墻。有商用產(chǎn)品可以實現(xiàn)不同品牌防火墻策略集中管理，但是按License算錢，價格昂貴，而且不靈活，不能實現(xiàn)個性化的需求。在這種多品牌，多數(shù)量的情況下，防火墻系統(tǒng)的運維難度和挑戰(zhàn)將變得非常大。

我們自主開發(fā)了防火墻運維管理系統(tǒng)，通過計算路由，生成防火墻拓撲，判斷出一個策略需求，經(jīng)過哪幾臺防火墻。策略查詢2個功能，一是用戶自助查詢2點間的防火墻策略；二是申請策略時后臺會自動判斷是否已有策略支持，如果有的話，會返回消息告訴用戶說已經(jīng)有策略了，無須申請。

策略生成模塊，抽象策略對象，判斷策略申請是增、刪、改哪種場景生成相應(yīng)的工藝。工單對接是指如何與企業(yè)中的變更管理、工單管理系統(tǒng)對接。自動化不能逾越流程，反而要嚴格遵循流程，在工單對接環(huán)節(jié)會重點強調(diào)。其他工具，VPN管理、改密碼、審批關(guān)系維護和墻元素查詢，都非常有價值，極大提升運維工作效率。

最后簡單談一些感想。第1，做安全運維也要理解業(yè)務(wù)，理解業(yè)務(wù)才能針對不同業(yè)務(wù)實施不一樣的保護級別，如果全部采用相同保護級別的話，安全成本會非常高。

第2，要有充分的預(yù)案，因為我們不知道接下來會發(fā)生什么，我們通常認為防火墻HA部署的可靠性已經(jīng)很高了，但是極端情況下會出現(xiàn)2臺防火墻同時壞掉的悲劇，就需要有應(yīng)急預(yù)案處理這樣的極端情況。

第3，定期演練。即使有了預(yù)案，還需要定期演練，不然真出現(xiàn)問題，對方案不熟悉或是預(yù)案針對的環(huán)境已經(jīng)發(fā)生變化，預(yù)案早已不再有效卻沒有及時發(fā)現(xiàn)。

第4，善用乙方的資源，在系統(tǒng)的專業(yè)性方面，乙方的工程師可能比較強，但對于業(yè)務(wù)本身，當(dāng)然是甲方工程師更清楚，要利用相應(yīng)的優(yōu)勢，為業(yè)務(wù)提供保護。

第5，創(chuàng)新思維，就是用創(chuàng)新的想法去解決實際問題，并且成為一種能力。

第六，全面安全視角，安全運維不僅是對各種安全設(shè)備和軟件進行運維保障系統(tǒng)安全，還要兼顧運維安全，解決研發(fā)、運維同時產(chǎn)生的各種危險點，基本上涵蓋了整個系統(tǒng)安全的方方面面。所以需要有全面的安全視角，才能應(yīng)對不斷產(chǎn)生的安全風(fēng)險和挑戰(zhàn)。