應(yīng)急響應(yīng)預(yù)案編制與管理

應(yīng)急響應(yīng)預(yù)案是為了降低安全事故帶來(lái)的損失，就事故發(fā)生后的應(yīng)急響應(yīng)組織和人員、應(yīng)急響應(yīng)所需的資源、處理的步驟和綱領(lǐng)、控制事故發(fā)展的方法和程序等，預(yù)先做出的科學(xué)的計(jì)劃和安排。應(yīng)急響應(yīng)預(yù)案的編制和管理屬于應(yīng)急響應(yīng)處理的準(zhǔn)備階段，在整個(gè)應(yīng)急響應(yīng)管理體系中尤為重要，應(yīng)急響應(yīng)預(yù)案是否合理、完善，是評(píng)估整個(gè)應(yīng)急響應(yīng)體系的重要指標(biāo)。

應(yīng)急響應(yīng)預(yù)案的內(nèi)容應(yīng)該具備針對(duì)性和可操作性，針對(duì)不同安全事件制定不同的應(yīng)急響應(yīng)預(yù)案。預(yù)案里的操作步驟要詳細(xì)、可行，每個(gè)步驟必須經(jīng)過(guò)嚴(yán)格驗(yàn)證。

制定好應(yīng)急響應(yīng)預(yù)案后，必須要對(duì)相關(guān)人員進(jìn)行培訓(xùn)，使相關(guān)人員了解并熟悉故障恢復(fù)流程，讓?xiě)?yīng)急響應(yīng)預(yù)案得到理解并發(fā)揮實(shí)際作用。

俗話(huà)說(shuō)“動(dòng)口不如動(dòng)手”，要使預(yù)案能夠真正得到驗(yàn)證并貫徹落實(shí)，開(kāi)展應(yīng)急演練活動(dòng)是最好的方式。下面將結(jié)合實(shí)際案例對(duì)應(yīng)急預(yù)案編制和管理進(jìn)行說(shuō)明。

該案例的背景和前面文章所述一致，在此不再贅述，本次需要編制一份“聯(lián)通Internet線(xiàn)路故障”的安全事故的應(yīng)急響應(yīng)預(yù)案，下面將介紹該應(yīng)急預(yù)案的要點(diǎn)。

編制應(yīng)急響應(yīng)預(yù)案

1.確定此次安全事故的具體處理人員；事故發(fā)生后，由公司應(yīng)急響應(yīng)處理小組第一時(shí)間進(jìn)行協(xié)調(diào)和安排，本案例中的具體處理人員是網(wǎng)絡(luò)管理員。

2.網(wǎng)絡(luò)管理人員到位后，要迅速判斷故障節(jié)點(diǎn)，查明故障原因。如果屬于聯(lián)通Internet線(xiàn)路局端故障，則立即將業(yè)務(wù)流量切換到備用的電信線(xiàn)路上，保障業(yè)務(wù)的連續(xù)性，同時(shí)向聯(lián)通大客戶(hù)專(zhuān)線(xiàn)10019進(jìn)行報(bào)修。如果屬于防火墻、IPS等網(wǎng)絡(luò)設(shè)備故障，網(wǎng)絡(luò)管理人員立即進(jìn)行檢測(cè)，如果屬于配置文件損壞，可立即利用備份的配置文件進(jìn)行恢復(fù)，如果屬于硬件故障，則利用備機(jī)進(jìn)行替換（主要網(wǎng)關(guān)設(shè)備均有備機(jī)），并聯(lián)系廠(chǎng)商進(jìn)行報(bào)修。

3.故障修復(fù)后，還需要網(wǎng)絡(luò)管理人員將網(wǎng)絡(luò)由應(yīng)急狀態(tài)恢復(fù)至正常狀態(tài)。

預(yù)案演練

應(yīng)急響應(yīng)預(yù)案編制完畢后，為檢驗(yàn)其有效性，必須定期組織相關(guān)人員進(jìn)行應(yīng)急演練。下面將介紹此次安全事故的應(yīng)急演練全過(guò)程，演練中的角色包括用戶(hù)、應(yīng)急響應(yīng)小組成員、應(yīng)急響應(yīng)小組組長(zhǎng)和網(wǎng)絡(luò)管理人員。整個(gè)演練流程如下。

1.用戶(hù)發(fā)現(xiàn)無(wú)法訪(fǎng)問(wèn)Internet，將故障反映給應(yīng)急響應(yīng)處理小組成員，小組成員立即通知組長(zhǎng)，組長(zhǎng)通知網(wǎng)絡(luò)管理人員進(jìn)行處理。

2.網(wǎng)絡(luò)管理人員立即趕赴現(xiàn)場(chǎng)，先利用“traceroute-d 202.99.96.68”命令（202.99.96.68為聯(lián)通DNS地址）判斷故障位置，如果故障點(diǎn)在核心交換機(jī)，可登錄Zabbix監(jiān)控系統(tǒng)，查看核心交換機(jī)的實(shí)時(shí)運(yùn)行狀態(tài)，特別是CPU和內(nèi)存利用率。如果運(yùn)行狀態(tài)正常，則利用Telnet工具登錄核心交換機(jī)，查看其配置文件，特別是路由的相關(guān)配置，看是否遭受篡改，必要情況下，可利用TFTP工具重新導(dǎo)入備份的配置文件進(jìn)行恢復(fù)。如果Zabbix監(jiān)控狀態(tài)異常，比如CPU利用率過(guò)高，則利用“monitor session”命令進(jìn)行端口鏡像，然后利用Sniffer或者Wireshark抓包工具進(jìn)行數(shù)據(jù)分析，查看是哪些數(shù)據(jù)導(dǎo)致核心交換機(jī)狀態(tài)異常，然后聯(lián)系相關(guān)人員進(jìn)行處理。如果確定核心交換機(jī)硬件故障，則迅速將備機(jī)上線(xiàn)，同步相關(guān)配置，恢復(fù)網(wǎng)絡(luò)的正常運(yùn)轉(zhuǎn)，同時(shí)聯(lián)系供應(yīng)商進(jìn)行維修。

3.如果故障點(diǎn)在核心交換機(jī)的下一跳，則需要確定到底是IPS故障，還是防火墻故障。因?yàn)镮PS是以透明橋接的模式接入網(wǎng)絡(luò)，traceroute結(jié)果只能反映網(wǎng)絡(luò)層的路由結(jié)果，不論是IPS故障還是防火墻故障，traceroute的結(jié)果都是一樣。這里可以采用物理隔離的辦法進(jìn)行判斷，即將IPS設(shè)備從網(wǎng)絡(luò)線(xiàn)路中剝離出來(lái)，看線(xiàn)路是否恢復(fù)正常，如果線(xiàn)路恢復(fù)正常，則可以斷定故障點(diǎn)就是IPS設(shè)備，直接向廠(chǎng)商報(bào)修即可。如果線(xiàn)路仍然未能恢復(fù)正常，說(shuō)明故障點(diǎn)在防火墻，同樣利用Zabbix監(jiān)控系統(tǒng)查看其狀態(tài)，如果設(shè)備自身CPU利用率、并發(fā)連接數(shù)等異常，則可以采取抓包分析的方式來(lái)定位故障源頭。如果是配置遭到篡改，可重新導(dǎo)入配置文件進(jìn)行恢復(fù)；如果硬件故障，則立即啟用防火墻備機(jī)，同步配置，故障設(shè)備聯(lián)系廠(chǎng)家進(jìn)行維修。

4.如果故障點(diǎn)在防火墻的下一跳，則說(shuō)明問(wèn)題出現(xiàn)在運(yùn)營(yíng)商局端位置，此時(shí)需要將線(xiàn)路流量切換到備用電信線(xiàn)路上，然后撥打10019電話(huà)進(jìn)行報(bào)修。切換線(xiàn)路的具體操作步驟如下所述。

首先登錄防火墻修改默認(rèn)路由，將默認(rèn)路由的下一跳IP由聯(lián)通局端地址改為電信局端地址；在防火墻控制臺(tái)輸入命令“set route 0.0.0.0/0 interface ethernet1/1 gateway 221.239.110.131”即可，其中ethernet1/1為聯(lián)通線(xiàn)路接口，221.239.110.131為電信局端IP，更改完畢后，內(nèi)網(wǎng)用戶(hù)訪(fǎng)問(wèn)Internet的數(shù)據(jù)包都會(huì)從電信線(xiàn)路轉(zhuǎn)發(fā)。

其次需要對(duì)防火墻的DIP設(shè)置做出更改，原來(lái)的DIP設(shè)置是針對(duì)聯(lián)通線(xiàn)路設(shè)置的，目的是將Trust→LT_Untrust方向的數(shù)據(jù)包源地址都變更為聯(lián)通外網(wǎng)地址。現(xiàn)在需要啟用Trust→DX_Untrust方向的DIP設(shè)置，目的是將內(nèi)網(wǎng)通過(guò)電信線(xiàn)路轉(zhuǎn)發(fā)至外網(wǎng)的數(shù)據(jù)包的源地址都轉(zhuǎn)換為電信的外網(wǎng)地址，這樣才能保證用戶(hù)通過(guò)電信線(xiàn)路訪(fǎng)問(wèn)Internet的合法性。

DIP設(shè)置的方法如下：通過(guò)Web頁(yè)面登錄防火墻，Network→Interface→ethe rnet3/3→Edit，點(diǎn)擊上方菜單“DIP”，點(diǎn)擊“New”按鈕，新建一個(gè)DIP實(shí)例，按照要求填寫(xiě)對(duì)應(yīng)的電信外網(wǎng) 地 址221.239.110.145，點(diǎn)擊“OK”保存即可（其中ethernet3/3是防火墻上電信線(xiàn)路的接口）。

DIP實(shí)例創(chuàng)建完畢后，需要建立Trust→DX_Untrust的策略，用來(lái)調(diào)用該DIP實(shí)例。點(diǎn)擊菜單Policy→Policies，選擇“From Trust to DX_Untrust”方向的策略，點(diǎn)擊“New”按鈕新建一條策略，“source”選擇“Any”，“Destination”選擇“Any”，“Service” 選擇“Any”，“Action”選擇“Permit”，然后點(diǎn)擊頁(yè)面下方的“Advanced”按鈕，進(jìn)入高級(jí)設(shè)置。在NAT設(shè)置中選中“Source Translation”，后面下拉框中選擇剛才建立的電信DIP實(shí)例，其他選項(xiàng)保持默認(rèn)即可。最后點(diǎn)擊“OK”保存并生效。

下一步需要將發(fā)布在聯(lián)通外網(wǎng)的服務(wù)器切換到電信鏈路，保證外網(wǎng)用戶(hù)能夠正常訪(fǎng)問(wèn)這些服務(wù)器。下面以IP為10.100.1.23這臺(tái)服務(wù)器為例，方法如下：在防火墻的Web頁(yè)面，依次訪(fǎng)問(wèn)菜單Network→Interface→ether net3/3→Edit，點(diǎn)擊上方的菜單“MIP”，點(diǎn)擊“New”按鈕，新建一個(gè)MIP實(shí)例，“Mapped IP”填寫(xiě)給該服務(wù)器分配的電信地址221.239.110.146，“Host IP”填寫(xiě)服務(wù)器的內(nèi)網(wǎng)地址10.100.1.23，點(diǎn)擊“OK”保存。然后創(chuàng)建DX_Untrust→Trust方向的策略，調(diào)用該MIP實(shí)例，左邊菜單Policy→Policies，然后選擇“From DX_Untrust to Trust”方向的策略，點(diǎn)擊“New”按鈕新建一條策略，“source”選擇“Any”，“Destination”選 擇“MIP（221.239.110.146）”，“Service” 選擇“Any”，“Action”選擇“Permit”，其他選項(xiàng)保持默認(rèn)，最后點(diǎn)擊“OK”保存并生效。若有其他服務(wù)器需要切換，參照此步驟進(jìn)行。

既然發(fā)布在外網(wǎng)的服務(wù)器的IP發(fā)生了變化，下面就需要在公司外網(wǎng)DNS服務(wù)器（Linux平臺(tái)）上修改對(duì)應(yīng)的解析記錄，方法如下。

利用SSH連接外網(wǎng)DNS服務(wù)器，然后使用root用戶(hù)登錄，輸入命令“vi /var/named/XXX.com.zone”，進(jìn)入XXX域的數(shù)據(jù)解析文件，修改對(duì)應(yīng)的A記錄，然后保存并退出該文件，最后輸入“rndc reload”使變更后的解析記錄生效。

最后需要修改內(nèi)網(wǎng)DHCP服務(wù)器（Windows Server 2003）下發(fā)的DNS地址，需要從聯(lián)通DNS改為電信DNS，具體方法如下。

遠(yuǎn)程桌面登錄DHCP服務(wù)器，打開(kāi)DHCP控制臺(tái)，點(diǎn)擊對(duì)應(yīng)的作用域，然后選中“作用域選項(xiàng)”，在右邊的展示框中選中“DNS服務(wù)器”，右鍵選擇“屬性”，將DNS服務(wù)器IP改為 219.150.32.132（電信DNS），點(diǎn)擊“確定”保存即可。如果有多個(gè)作用域，重復(fù)此步驟，全部修改完畢之后，通知用戶(hù)重啟電腦或者網(wǎng)卡，重新獲取IP配置，即可利用電信線(xiàn)路恢復(fù)上網(wǎng)。

5.上述步驟實(shí)施完畢后，Internet線(xiàn)路從故障狀態(tài)過(guò)渡為應(yīng)急狀態(tài)，各項(xiàng)重要業(yè)務(wù)得到一定程度的恢復(fù)，但是由于備用線(xiàn)路帶寬只有20Mbps，如果并發(fā)用戶(hù)過(guò)多，很容易造成網(wǎng)絡(luò)擁塞而導(dǎo)致業(yè)務(wù)系統(tǒng)訪(fǎng)問(wèn)緩慢，所以在主線(xiàn)路沒(méi)有恢復(fù)之前，必須利用流控設(shè)備對(duì)重要業(yè)務(wù)做帶寬保障，對(duì)非重要業(yè)務(wù)做帶寬限制，保證有限的帶寬資源用在“刀刃”上。

6.待聯(lián)通Internet線(xiàn)路修復(fù)后，還需要將網(wǎng)絡(luò)從應(yīng)急狀態(tài)恢復(fù)到正常狀態(tài)，恢復(fù)操作的步驟相對(duì)簡(jiǎn)單，只需要按照前五個(gè)步驟進(jìn)行反向操作，即操作順序改為5→4→3→2→1、刪除電信線(xiàn)路相關(guān)配置、添加聯(lián)通線(xiàn)路相關(guān)配置，這樣就可回退到網(wǎng)絡(luò)最初的運(yùn)行狀態(tài)。恢復(fù)操作完成后，還需要利用Traceroute命令檢測(cè)路由是否正確，同時(shí)利用帶寬測(cè)試工具來(lái)檢測(cè)網(wǎng)絡(luò)的質(zhì)量，保證網(wǎng)絡(luò)狀態(tài)恢復(fù)成功。

預(yù)案評(píng)估

對(duì)整個(gè)應(yīng)急演練活動(dòng)進(jìn)行評(píng)估，總結(jié)經(jīng)驗(yàn)，改進(jìn)不足。演練活動(dòng)結(jié)束后，應(yīng)急響應(yīng)工作小組應(yīng)該開(kāi)展評(píng)估和總結(jié)，并將評(píng)估的結(jié)果提交上級(jí)領(lǐng)導(dǎo)。

一套完整的應(yīng)急響應(yīng)預(yù)案的形成并不是一蹴而就，由于網(wǎng)絡(luò)架構(gòu)環(huán)境處于動(dòng)態(tài)變化之中，相應(yīng)安全事件的應(yīng)急響應(yīng)預(yù)案也必須隨之動(dòng)態(tài)調(diào)整，制定、演練、更新，這樣不斷循環(huán)往復(fù)，可以形成一個(gè)良性的循環(huán)機(jī)制，保證應(yīng)急響應(yīng)預(yù)案的可行性，減少安全事故發(fā)生時(shí)的損失。