利用交換機(jī)的端口環(huán)回（或端口反射）功能接入多套鏡像設(shè)備及故障處理

◆丁軍 盧啟明 余宙 袁錫文

（海南省地震局 海南 570203）

1 引言

隨著網(wǎng)絡(luò)安全形勢的日益復(fù)雜，局域網(wǎng)內(nèi)接收鏡像數(shù)據(jù)的安全設(shè)備越來越多，如全流量監(jiān)控設(shè)備、安全審計(jì)設(shè)備、入侵檢測設(shè)備、網(wǎng)絡(luò)協(xié)議分析設(shè)備等。為了全面了解網(wǎng)絡(luò)狀態(tài)，這些安全設(shè)備往往都要接在核心交換機(jī)上，可是核心交換機(jī)的鏡像組數(shù)量有限，不一定都能滿足接入的所有安全設(shè)備的鏡像需求。例如海南地震局核心交換機(jī)組型號(hào)是華為CloudEngine 6850，該設(shè)備支持4 路鏡像，但是科來全流量監(jiān)控系統(tǒng)的內(nèi)、外網(wǎng)和進(jìn)、出方向流量監(jiān)控已經(jīng)把核心交換機(jī)組的4 路鏡像資源全部用完，新的電子公文項(xiàng)目的安全審計(jì)設(shè)備和入侵檢測設(shè)備無法接入核心交換機(jī)組獲取鏡像數(shù)據(jù)。采用鏡像流量分流器可以解決鏡像端口不足的問題，但是高端分流器價(jià)格不菲，需要走采購流程，項(xiàng)目完成時(shí)間緊迫不被允許，而低端分流器性能無法滿足性能要求。采用增加交換機(jī)做遠(yuǎn)程端口鏡像也可以解決這個(gè)問題，但是也要增加新的硬件設(shè)備。其實(shí)華為交換機(jī)有個(gè)端口內(nèi)環(huán)回的功能，在不增加硬件設(shè)備的情況下，可以解決本地鏡像端口不足的問題，本文將介紹華為交換機(jī)的端口內(nèi)環(huán)回功能接入多套鏡像設(shè)備的應(yīng)用情況，H3C 交換機(jī)的端口也有類似功能，不過名稱叫端口反射，原理和功能是一樣的，也可以通過端口反射配置實(shí)現(xiàn)接入多套鏡像設(shè)備。

2 原理

在華為交換機(jī)中，開啟端口loopback internal 配置，利用以太網(wǎng)端口環(huán)回檢測功能，從端口發(fā)出去的報(bào)文通過系統(tǒng)內(nèi)部發(fā)回給該端口，把鏡像報(bào)文引入該端口和鏡像VLAN，關(guān)閉該端口的MAC 地址學(xué)習(xí)功能和stp 功能，退出VLAN 1，將報(bào)文在鏡像VLAN 內(nèi)廣播到其他實(shí)際的鏡像觀察口，多套安全設(shè)備接在相應(yīng)的實(shí)際鏡像觀察口上就可以獲取鏡像報(bào)文。

端口退出VLAN 1 是為了避免流量成環(huán)，因?yàn)槟J(rèn)情況下端口是允許VLAN1 報(bào)文通過的。關(guān)閉端口的MAC 地址學(xué)習(xí)功能，防止內(nèi)部環(huán)回端口學(xué)習(xí)到外部的MAC 地址，將外部接收到的報(bào)文在內(nèi)部環(huán)回轉(zhuǎn)發(fā)。環(huán)回端口上配置stp disable，是因?yàn)槿绻粨Q機(jī)在全局狀態(tài)下配置stp enable，而環(huán)回端口沒有配置stp disable，則端口接收到自己發(fā)出去的報(bào)文會(huì)將端口置為discarding 狀態(tài)，進(jìn)而將端口堵塞。

3 華為交換機(jī)配置

3.1 配置前準(zhǔn)備工作

由于是在核心交換機(jī)做配置，為了穩(wěn)妥起見，配置之前先抓取當(dāng)前配置保存，以便失敗后可以根據(jù)當(dāng)前配置恢復(fù)，然后在華為核心交換機(jī)上使用display cpu 和display memory命令查詢內(nèi)存和CPU 開銷，如果開銷太大或接近閾值就不宜再做端口內(nèi)部環(huán)回配置。使用display observe-port 命令查看并記錄鏡像觀察端口，使用display port-mirroring 命令查看并記錄鏡像源端口。

3.2 端口環(huán)回及新鏡像配置部署：

華為 CloudEngine 6850 核心交換機(jī)組的原鏡像觀察口是10GE1/0/22 和10GE2/0/22 端口還是內(nèi)、外網(wǎng)鏡像觀察口，在這兩個(gè)端口上配置端口內(nèi)環(huán)回功能，之后這兩個(gè)端口不接鏡像設(shè)備，鏡像設(shè)備接到新配置的鏡像VLAN 相應(yīng)的端口，例如科來全流量系統(tǒng)內(nèi)網(wǎng)鏡像接到新配置的interface 10GE1/0/31，電子公文項(xiàng)目的內(nèi)網(wǎng)入侵檢測系統(tǒng)鏡像接到interface 10GE1/0/33，科來全流量系統(tǒng)外網(wǎng)鏡像接到interface 10GE2/0/31，全網(wǎng)的安全審計(jì)系統(tǒng)鏡像接到 interface 10GE2/0/33。

新建VLAN 4002 為外網(wǎng)鏡像VLAN

[～HNDZJ-SW-6850]VLAN 4002

[～HNDZJ-SW-6850-VLAN4002]description WaiWang-mirror-observe VLAN

把10GE2/0/22 外網(wǎng)鏡像觀察口1 與鏡像VLAN 綁定

[～HNDZJ-SW-6850]observe-port 1 interface 10GE2/0/22 VLAN 4002

進(jìn)入10GE2/0/22 鏡像觀察端口

[*HNDZJ-SW-6850]interface 10GE2/0/22

配置端口環(huán)回

[*HNDZJ-SW-6850-10GE2/0/22]loopback internal

關(guān)閉端口mac 地址學(xué)習(xí)

[*HNDZJ-SW-6850-10GE2/0/22]mac-address learning disable

關(guān)閉端口stp 功能

[*HNDZJ-SW-6850-10GE2/0/22]stp disable

配置端口類型為trunk

[*HNDZJ-SW-6850-10GE2/0/22]port link-type trunk

配置端口允許鏡像VLAN 通過

[*HNDZJ-SW-6850-10GE2/0/22]port trunk allow-pass VLAN 4002

配置端口不允許VLAN1 通過

[*HNDZJ-SW-6850-10GE2/0/22]undo port trunk allow-pass VLAN 1

結(jié)束外網(wǎng)鏡像觀察口環(huán)回配置，退出端口

[*HNDZJ-SW-6850-10GE2/0/22]quit

內(nèi)網(wǎng)鏡像觀察端口環(huán)回配置如10GE2/0/22，不再贅述。由于鏡像觀察端口關(guān)閉了mac 地址學(xué)習(xí)功能，開啟了端口內(nèi)環(huán)回，于是該端口將接收到的報(bào)文在鏡像VLAN 內(nèi)廣播到其他若干個(gè)實(shí)際鏡像觀察端口，實(shí)際鏡像觀察口10GE2/0/31 配置如下：

進(jìn)入10GE2/0/31 實(shí)際鏡像觀察端口，該端口接科來系統(tǒng)外網(wǎng)鏡像觀察設(shè)備

[～HNDZJ-SW-6850]interface 10GE1/0/31

[～HNDZJ-SW-6850-10GE2/0/31]description mirror-observe-kelai-waiwang

配置端口類型為trunk

[～HNDZJ-SW-6850-10GE2/0/31]port link-type trunk

配置端口允許外網(wǎng)鏡像VLAN 4002 通過

[～HNDZJ-SW-6850-10GE2/0/31]port trunk allow-pass VLAN 4002

配置端口不允許VLAN1 通過

[～HNDZJ-SW-6850-10GE2/0/31]undo port trunk allow-pass VLAN 1

結(jié)束端口配置，退出端口

[～HNDZJ-SW-6850-10GE2/0/31]quit

其他實(shí)際鏡像觀察口配配置如10GE2/0/31，需要接幾套鏡像觀察設(shè)備就配置幾個(gè)實(shí)際鏡像觀察口。

鏡像源端口配置如下：

進(jìn)入10GE1/0/7 鏡像源端口配置

[～HNDZJ-SW-6850]int 10GE 1/0/7

[～HNDZJ-SW-6850-10GE1/0/7]description intrnet-line

配置到觀察口1 組的雙向鏡像

[～HNDZJ-SW-6850-10GE1/0/7]port-mirroring observe-port 1 both

退出鏡像源端口配置，提交配置，結(jié)束所有配置

[～HNDZJ-SW-6850-10GE1/0/7]commit

[～HNDZJ-SW-6850-10GE1/0/7]quit

4 故障及處理

配置完成后在科來系統(tǒng)的內(nèi)網(wǎng)實(shí)時(shí)監(jiān)控界面發(fā)現(xiàn)環(huán)回現(xiàn)象（如圖1），鏡像觀察口流量值瞬間上升到1G，但是科來系統(tǒng)外網(wǎng)實(shí)時(shí)監(jiān)控沒有發(fā)現(xiàn)環(huán)回現(xiàn)象（如圖2），由于內(nèi)網(wǎng)鏡像和外網(wǎng)鏡像是兩個(gè)不同的端口，外網(wǎng)鏡像沒有環(huán)回，說明端口環(huán)回和鏡像配置是正確的，問題在內(nèi)網(wǎng)鏡像上，否則內(nèi)外網(wǎng)鏡像都會(huì)有環(huán)回。

圖1 啟用端口環(huán)回功能后科來系統(tǒng)內(nèi)網(wǎng)實(shí)時(shí)流量監(jiān)控出現(xiàn)環(huán)回現(xiàn)象

圖2 啟用端口環(huán)回功能后科來系統(tǒng)的外網(wǎng)實(shí)時(shí)流量監(jiān)控正常

華為核心交換機(jī)組的內(nèi)網(wǎng)鏡像總共有39 個(gè)鏡像源端口做inboud、outbound 雙向鏡像，為了排查環(huán)回現(xiàn)象，先把內(nèi)網(wǎng)的源鏡像端口的鏡像配置都刪除，然后一個(gè)一個(gè)端口添加鏡像配置，先添加inboud鏡像，確認(rèn)沒有環(huán)回后再添加outbound 鏡像，最后發(fā)現(xiàn)對(duì)端是交換機(jī)端口的outbound 鏡像，添加進(jìn)來后，內(nèi)網(wǎng)鏡像VLAN 就產(chǎn)生環(huán)回。

Inbound 方向的鏡像沒有產(chǎn)生環(huán)回，說明環(huán)回不是對(duì)端設(shè)備產(chǎn)生的，應(yīng)重點(diǎn)排查本端設(shè)備的配置情況，尤其是接口對(duì)端是交換機(jī)的那些端口配置。檢查發(fā)現(xiàn)華為核心交換機(jī)組連接交換機(jī)的端口都配置了trunk 口，允許所有VLAN通過，也就是包含了內(nèi)網(wǎng)鏡像VLAN 4003，當(dāng)華為核心交換機(jī)內(nèi)網(wǎng)鏡像觀察口配置loopback internal 后，內(nèi)網(wǎng)鏡像VLAN 的環(huán)回報(bào)文又包含了VLAN 4003，因此引入outbound 方向的鏡像后就產(chǎn)生了環(huán)回現(xiàn)象。外網(wǎng)鏡像沒有產(chǎn)生環(huán)回，是因?yàn)橥饩W(wǎng)鏡像的源端口是access 口，只允許互聯(lián)網(wǎng)VLAN 通過，華為核心交換機(jī)外網(wǎng)鏡像觀察口配置loopback internal 后，外網(wǎng)鏡像VLAN 的環(huán)回報(bào)文只有互聯(lián)網(wǎng)VLAN，所以不會(huì)產(chǎn)生環(huán)回。找到原因后，我們就在華為核心交換機(jī)組的trunk 口都設(shè)置了不允許鏡像VLAN 4002、4003 通過（建議各trunk 口配置僅允許相關(guān)VLAN 通過，不要配置允許所有VLAN 通過），如上例中的interface 10GE1/0/7 端口更改后配置如下：

interface 10GE1/0/7

description S5700-1_NeiWang

port link-type trunk

port trunk allow-pass VLAN 2 to 4001 4004 to 4094

port-mirroring observe-port 2 inbound

port-mirroring observe-port 2 outbound

然后再配置鏡像端口的環(huán)回功能，就不會(huì)產(chǎn)生環(huán)回現(xiàn)象，實(shí)現(xiàn)了在華為CloudEngine 6850 交換機(jī)組上接入科來系統(tǒng)內(nèi)、外網(wǎng)、入侵檢測設(shè)備內(nèi)網(wǎng)和安全審計(jì)設(shè)備內(nèi)外全網(wǎng)進(jìn)出流量鏡像。

5 H3C 交換機(jī)配置

H3C 交換機(jī)也可以使用端口反射功能，利用鏡像報(bào)文在遠(yuǎn)程鏡像VLAN 中廣播的原理，實(shí)現(xiàn)本地鏡像支持多套鏡像觀察設(shè)備，具體如下：

創(chuàng)建遠(yuǎn)程源鏡像組1

[device]mirroring-group 1 remote-source

將端口加入源鏡像組1，并配置端口鏡像方向?yàn)檫M(jìn)出雙向

[device]mirroring-group 1 mirroring-port 1 GigabitEthernet1/0/1 both

將交換機(jī)上某未使用的端口（此處為GigabitEthernet1/0/52 置為鏡像組1 的反射口

[device]mirroring-group 1 reflector-port GigabitEthernet 1/0/52

This operation may delete all settings made on the interface.Continue? [Y/N]：y

創(chuàng)建VLAN 4003，并把鏡像觀察設(shè)備的端口加入VLAN 4003

[device]VLAN 4003

[device-VLAN4003]port GigabitEthernet 1/0/2 GigabitEthernet 1/0/3

配置VLAN 4003 作為鏡像組1 的遠(yuǎn)程鏡像VLAN，然后鏡像觀察設(shè)備接入VLAN 4003 的端口就可以獲取到鏡像數(shù)據(jù)。

[device]mirroring-group 1 remote-probe VLAN 4003

6 結(jié)束語

故障排除后，截止至2021 年1 月底，華為CloudEngine 6850 核心交換機(jī)組的端口內(nèi)環(huán)回功能后接入3 套鏡像設(shè)備，4 路雙向鏡像，經(jīng)過2 個(gè)多月的平穩(wěn)運(yùn)行，累計(jì)鏡像數(shù)據(jù)流量達(dá)66TB，沒有出現(xiàn)故障，這證明利用端口環(huán)回功能接多套鏡像設(shè)備是可靠的。理論上只要交換機(jī)背板帶寬和內(nèi)存、CPU 支持，想要接入幾套鏡像觀察設(shè)備，就將幾個(gè)觀察端口劃入鏡像VLAN，這樣就能實(shí)現(xiàn)在一臺(tái)交換機(jī)上接入多套鏡像設(shè)備，解決交換機(jī)鏡像觀察口的規(guī)格限制。但是鏡像觀察端口配置loopback internal 后，需要退出VLAN 1，關(guān)閉MAC 地址學(xué)習(xí)和關(guān)閉stp 功能，鏡像源端口如果是trunk 口，要配置不允許鏡像VLAN 通過，避免報(bào)文在鏡像VLAN 內(nèi)形成環(huán)回。